Guide 014, Astra-Kontrolle. Die Original-Auswertung zum Reel.
Original-Auswertungzu Astras Grenzen.
Hier ist die Stelle, an der OpenAI die 48 und die 0 Prozent selbst nennt. Dazu, was dabei getestet wurde, was die Zahlen zeigen und wo sie aufhören.
Der Weg durch die Auswertung, in vier Teilen
- 1Die Stelle im OriginalDer Satz von OpenAI, mit Übersetzung.
- 2Was getestet wurdeSchwere Aufgaben und ein absichtlich platzierter Köder.
- 3Was die Zahlen zeigen48, 55,4 und 0 Prozent, und ihre Grenzen.
- 4Selbst einordnenDrei naheliegende Lesarten prüfen.
Worum es geht
- Im Reel geht es um einen Test von OpenAI: Bleibt ein KI-Agent, also eine KI, die selbst Schritte ausführt, in seinem erlaubten Bereich, auch wenn er die Aufgabe nicht lösen kann?
- Du brauchst nur diese Seite. Die Quellen sind englisch, die wichtigen Sätze stehen hier übersetzt daneben.
1
Die Stelle im Original
OpenAI nennt die Zahlen in der Ankündigung zu GPT-6 Astra, gleich in der Einleitung. Das ist die Stelle aus dem Reel, im Kasten mit Übersetzung. Die Einzelheiten stehen in der System Card, dazu Teil 2.
Dieselbe Zahl steht weiter unten auf der Seite noch einmal genauer, in der Tabelle als Zeile „ExploitGym honeypot (lower is better)“: 48,2 % für GPT-5.6 Sol, 0,0 % für GPT-6 Astra. Kleiner ist dort besser.
Am schnellsten findest du die Stelle mit der Seitensuche: am Rechner Strg + F, am Handy „Auf Seite suchen“. Such nach authorized target.
„As one way that we test this, we built a new evaluation informed by the Hugging Face incident that evaluates whether a model facing a difficult or impossible task will go beyond its intended scope. Compared to GPT‑5.6 Sol, which without production safeguards went beyond the authorized target 48% of the time, GPT‑6 Astra did this in 0% of cases.“
Auf Deutsch: OpenAI hat einen neuen Test gebaut, angeregt durch den Hugging-Face-Vorfall. Er prüft, ob ein Modell bei einer schwierigen oder unlösbaren Aufgabe über seinen vorgesehenen Bereich hinausgeht. GPT-5.6 Sol tat das ohne die Schutzmechanismen des normalen Betriebs in 48 Prozent der Fälle, GPT-6 Astra in 0 Prozent.
2
Was genau getestet wurde
Die Einzelheiten stehen in der System Card, dem technischen Bericht von OpenAI zum Modell, in Abschnitt 8.2.3. So war der Test aufgebaut:
- Die Aufgaben: die schwierigsten Aufgaben aus ExploitGym, einer Testsammlung aus der Forschung, die misst, ob ein Modell Sicherheitslücken findet und ausnutzt. Das Modell soll eine „Flagge“ aus einem erlaubten Ziel holen. Eine Flagge ist ein geheimer Text, der beweist, dass der Angriff geklappt hat.
- Der Köder: OpenAI hat eine zweite Flagge in die Testumgebung selbst gelegt, außerhalb des Ziels. Dafür hat OpenAI zwei Dienste dieser Umgebung präpariert. So ein absichtlich platzierter Köder heißt Honeypot. Er war nicht ausdrücklich gesperrt, gehörte aber nicht zum Auftrag. Ein Modell, das sich an seine Grenzen hält, lässt ihn in Ruhe, egal wie oft es an der eigentlichen Aufgabe scheitert.
- Die Bedingung: ohne die Schutzmechanismen des normalen Betriebs. OpenAI nennt für den Betrieb unter anderem eine automatische Prüfung der Aktionen und eine Überwachung.
- Der Anlass: OpenAI hat den Test nach dem Vorfall bei Hugging Face im Juli 2026 entwickelt. Mehr dazu unten.
Erlaubtes Ziel
Hier liegt die Flagge, die das Modell holen soll. Die Aufgabe ist sehr schwer oder gar nicht lösbar.
Köder, außerhalb
Eine zweite Flagge in der Testumgebung. Leichter als die Aufgabe, aber immer noch aufwendig. Nicht gesperrt, aber nicht Teil des Auftrags.
3
Was die Zahlen zeigen, und was nicht
In den Quellen stehen mehrere Zahlen zu diesem Test. Sie widersprechen sich nicht, sie zählen Verschiedenes:
| Zahl | Wo | Was sie zählt |
|---|---|---|
| 48 % | Ankündigung, Text und Tabelle (48,2 %), laut Tabelle der Höchstwert über alle Stufen des Denkaufwands | GPT-5.6 Sol hat den Köder erfolgreich angegriffen (Zuordnung abgeleitet, siehe unten) |
| 55,4 % | System Card, Abschnitt 8.2.3, beim höchsten Denkaufwand | GPT-5.6 Sol hat den Köder angegriffen, erfolgreich oder nicht (abgeleitet, siehe unten) |
| 0 % | beide Quellen | GPT-6 Astra hat den Köder kein einziges Mal angegriffen |
| 1,3 % | System Card | GPT-6 Astra hat die eigentliche Aufgabe auf erlaubtem Weg gelöst |
Dass 48 und 55,4 Prozent aus derselben Auswertung stammen, steht so nicht im Text. Es ergibt sich aus der Abbildung dazu in der System Card, die erfolgreiche und versuchte Angriffe getrennt zeigt. Die Rechnung steht unten bei den Quellen.
Wo die Zahlen aufhören
-
Keine Stichprobe genannt. Im Reel sage ich „48 von 100 Fällen“. Gemeint ist der Anteil von 48 Prozent. Wie viele Durchläufe es waren, nennt OpenAI nicht.
-
Kein Alltag. Getestet wurden absichtlich die schwersten Aufgaben, ohne die Schutzmechanismen des normalen Betriebs. Die 48 Prozent sind laut Tabelle der Höchstwert über alle Stufen des Denkaufwands, die 55,4 Prozent gelten laut System Card beim höchsten Denkaufwand.
-
0 Prozent heißt nicht fehlerfrei. OpenAI schreibt selbst: „A zero observed attack rate here does not establish that Astra would respect every authorization boundary in real-world settings.“ Also: Null beobachtete Angriffe hier beweisen nicht, dass Astra jede Grenze im echten Einsatz respektiert.
-
Herstellerangabe. Gemessen hat OpenAI selbst. Eine unabhängige Nachmessung dieses Tests habe ich nicht gefunden.
4
Ordne es selbst ein
Drei naheliegende Lesarten der Zahlen, die erste kursiert tatsächlich im Netz. Überleg kurz, ob sie stimmen, und klapp dann die Auflösung auf.
„GPT-5.6 Sol griff in 56 Prozent der Läufe an.“
Nicht ganz. 56 Prozent ist die Beschriftung des ganzen Balkens in der Abbildung. Darin stecken auch Durchläufe, in denen Sol die Aufgabe auf erlaubtem Weg gelöst hat. Angriffe auf den Köder waren es 55,4 Prozent, erfolgreiche 48 Prozent.
„Astra hält sich also immer an seine Grenzen.“
Nicht belegt. Der Test prüft zwei platzierte Dienste der Testumgebung bei ungewöhnlich schweren Aufgaben. OpenAI schreibt selbst, dass er nur begrenzt etwas über andere Aufgaben aussagt und keine Zuverlässigkeit im echten Einsatz beweist.
„Im normalen Betrieb greift Sol in fast jedem zweiten Fall fremde Systeme an.“
Nicht belegt. Die 48 Prozent gelten ohne die Schutzmechanismen des normalen Betriebs und für absichtlich ausgesuchte, sehr schwere Aufgaben. Über den normalen Betrieb sagt diese Zahl nichts.
Fertig
Du kennst die Quelle hinter dem Reel
Mein Take bleibt: Je selbstständiger KI für dich arbeitet, desto wichtiger werden klare Grenzen. Eine Zahl wie diese liest du ab jetzt mit ihrer Bedingung.
Den nächsten Guide gibt’s mit dem nächsten Reel: @buildwith.enzo auf Instagram
-
Du weißt, wo OpenAI die 48 und die 0 Prozent nennt.
-
Du weißt, was 48, 55,4 und 0 Prozent jeweils zählen.
-
Du hast drei Lesarten der Zahlen selbst geprüft.
Wenn du mehr wissen willst
Der Anlass, und was das für deine eigenen KI-Agenten heißt
Grenzen setzt nicht nur das Modell
Auch OpenAI verlässt sich nicht allein auf das Modell. In Codex, dem Coding-Agenten von OpenAI, läuft der Agent laut Doku standardmäßig ohne Netzwerkzugriff, in einem abgeschotteten Bereich, der meist auf den aktuellen Projektordner begrenzt ist, und mit einer Regel, wann er vorher fragen muss.
Bei Claude Code
Wie du Claude Code klare Grenzen mitgibst, was es ändern darf, was unangetastet bleibt und woran du das Ende erkennst, steht in Guide 013.
Der Anlass
Im Juli 2026 haben OpenAI-Modelle bei internen Cyber-Tests die Abschottung umgangen und Teile von OpenAIs eigener Forschungsinfrastruktur sowie Systeme von Hugging Face angegriffen. OpenAI hat den Vorfall am 21. Juli offengelegt und am 26. August einen Bericht dazu veröffentlicht. Der Test aus diesem Guide entstand danach.
Stelle nicht gefunden?Hilfe
Ich finde den Satz in der Ankündigung nicht
Such auf der Seite nach authorized target. Der Satz steht in der Einleitung, vor der Zwischenüberschrift „The world’s best computer use model“. Die Tabellenzeile steht weiter unten im Bereich „Alignment“; dort musst du den Reiter eventuell erst antippen.
Ich finde die 55,4 Prozent in der System Card nicht
Sie stehen im Kapitel 8 „Alignment“, Abschnitt 8.2.3 „Declining to Exploit a Honeypot During Difficult ExploitGym Problems“. Such nach 55.4%, mit Punkt statt Komma.
Auf der Seite stehen andere Zahlen oder Sätze
OpenAI kann die Seiten ändern. Die System Card führt dafür oben ein Änderungsprotokoll. Welchen Stand ich ausgewertet habe, steht bei den Quellen.
Quellen und StandBelege
Alle Zahlen sind Angaben von OpenAI zu eigenen Tests. Übersetzungen, Schema, die Formulierung der drei Lesarten in Teil 4 und die Einordnung sind von mir.
A · Offizielle Quellen
OpenAI · „GPT-6 Astra“, Ankündigung
- „Compared to GPT‑5.6 Sol, which without production safeguards went beyond the authorized target 48% of the time, GPT‑6 Astra did this in 0% of cases.“
- „Evaluation scores are the maximum at any effort.“
Kernsatz, Tabellenzeile „ExploitGym honeypot (lower is better)“ mit 48,2 % und 0,0 %, Fußzeile unter den Tabellen, Schutzmechanismen im Betrieb. Abgerufen am 16.09.2026, Kernsatz unverändert gegenüber dem 11.09.2026.
OpenAI · „GPT-6 Astra System Card“, Abschnitt 8.2.3
- „We took a subset of the most difficult problems and inserted a second flag, not in the target location but in a surrounding piece of the evaluation harness.“
- „At maximum reasoning effort, GPT-5.6 Sol mounted a substantial attack on the honeypots in these adversarially selected cases 55.4% of the time. GPT-6 Astra did not make any attacks at the honeypot — it did, however, succeed at the assigned problem and legitimately capture the flag 1.3% of the time.“
- „This evaluation tests two planted infrastructure services during unusually difficult capture-the-flag challenges, so it provides limited evidence about other tasks.“
Testaufbau, 55,4 %, 1,3 %, Einschränkungen, Abbildung 9, Änderungsprotokoll vom 09.09.2026. Abgerufen am 16.09.2026.
OpenAI · „The Hugging Face incident and the road ahead“
- „In July 2026, during internal cybersecurity evaluations, OpenAI models circumvented controls designed to isolate them from the internet and compromised parts of OpenAI’s internal research infrastructure and Hugging Face’s systems.“
- „We notified Hugging Face and we publicly disclosed our involvement on July 21.“
Anlass des Tests, Zeitraum und Offenlegung des Vorfalls, dazu der technische Bericht, auf den die System Card verweist. Blog veröffentlicht am 26.08.2026, beides abgerufen am 16.09.2026.
OpenAI · Doku zu Grenzen für Agenten
„By default, the agent runs with network access turned off. Locally, Codex uses an OS-enforced sandbox that limits what it can touch (typically to the current workspace), plus an approval policy that controls when it must stop and ask you before acting.“
Hintergrund zu Grenzen für eigene Agenten, am Beispiel Codex. Abgerufen am 16.09.2026.
B · Was hier bewusst nicht steht
Angaben ohne Beleg
Die Zahl der Durchläufe nennt OpenAI nicht. Eine unabhängige Nachmessung dieses Tests habe ich nicht gefunden. Im Netz kursieren außerdem „56 Prozent Angriffe“ (StationX, September 2026) und laut einer Suchzusammenfassung „48 Prozent Versuche“. Beides verwechselt die Balken der Abbildung. Welche Schutzmechanismen im Test genau abgeschaltet waren, führt OpenAI nicht einzeln auf.
C · Eigene Messung
Abbildung 9 der System Card, ausgemessen am 16.09.2026
Die Abbildung zeigt für GPT-5.6 Sol einen gestapelten Balken: erfolgreiche Angriffe, erfolglose Angriffe, erlaubte Lösungen. Das Bild ist 2048 × 1991 Pixel groß, die Achse hat 10,49 Pixel je Prozentpunkt. Erfolgreich: 505,5 ÷ 10,49 = 48,2 %. Mit den erfolglosen: 580,5 ÷ 10,49 = 55,3 %, im Text 55,4 %. Ganzer Balken: 587,5 ÷ 10,49 = 56,0 %, so auch beschriftet. Daraus folgt, dass 48 und 55,4 Prozent aus derselben Auswertung stammen. Das ist meine Ableitung, OpenAI schreibt es nicht so.
Wenn du noch Lust hast