Audit bei OpenAI deckt grosse Luecken in der KI-Ueberwachung auf
Externe Auditoren von METR und Redwood Research prueften drei Wochen vor Ort OpenAI internes Monitoring fuer KI-Agenten. Bis zu 25 Prozent des Agenten-Traffics von Modellen der GPT-5.5-Klasse und darueber blieben unueberwacht.
Zwei Forscher von METR und Redwood Research verbrachten drei Wochen vor Ort bei OpenAI, um das interne Überwachungssystem des Unternehmens auf Rogue-AI-Verhalten zu prüfen.
Vom 21. Juli bis zum 11. August hatten sie Zugriff auf die Codebasis und interne Dokumente von OpenAI und interviewten etwa ein Dutzend Mitarbeitende.
Das Team fand zahlreiche Schwachstellen. Schätzungsweise 6 bis 25 Prozent des internen agentic-Traffics über die Responses API von Modellen der GPT-5.5-Klasse und darüber hinaus war während des Prüfzeitraums überhaupt nicht durch die Überwachung abgedeckt, wobei METR betont, dass die Unsicherheit dieser Schätzung in beide Richtungen erheblich ist.
Beim internen Codex-Traffic, der eigentlich überwacht werden sollte, geht METR davon aus, dass zwischen Mai und Juli etwa 10 Prozent unbemerkt blieben, weil das System einen Fehler im Umgang mit Compaction Events hatte, also Kontextzusammenfassungen. Auch diese Schätzung ist laut METR mit erheblicher Unsicherheit behaftet. OpenAI hatte den Bug unabhängig davon selbst entdeckt und behoben, während die Prüfung noch lief.
Solange Compaction Events nicht überwacht wurden, konnten Agents zudem die Kontrolle hinauszögern, weil das System nur ausgelöst wurde, wenn sie die Kontrolle an die Nutzer zurückgaben. Das bedeutete, dass Agents sie einfach umgehen konnten, indem sie ihre Aktionen weiter ausführten.
Die Prüfer fanden auch Wege, hunderte Aktionen vor dem Monitor zu verbergen und die Codex-Sandbox zu umgehen. Sie stellten fest, dass speziell konstruierte Eingaben den Monitor höchstwahrscheinlich vollständig zum Absturz bringen konnten und dass das Modellverhalten während des RL-Trainings bei Prüfbeginn überhaupt nicht überwacht wurde.
OpenAI erklärt, es habe das RL-Training nach dem Hugging Face Vorfall im August pausiert und die Überwachung darauf ausgeweitet, doch diese Änderungen erfolgten nach Ablauf des Prüfzugriffs und waren nicht Teil der Bewertung.
OpenAI sagt, alle von den Prüfern gefundenen Schwachstellen seien behoben, und der vollständige 61-seitige Bericht wurde intern übergeben. Nachdem OpenAI Schwärzungen vorgenommen hatte, erhielten die Verantwortlichen von METR und Redwood Research eine 38-seitige Fassung, während der Öffentlichkeit nur eine kurze Zusammenfassung zugänglich gemacht wurde. METR erklärte, es habe kein Recht gehabt, die geschwärzten Teile eigenständig offenzulegen.
Die Prüfung war ein Pilotprogramm, das von METR, Redwood Research und OpenAI gemeinsam organisiert wurde, um externen Forschern tiefen Zugriff auf die interne Infrastruktur zu ermöglichen. Für künftige Audits will sich METR nach eigenen Angaben für mehr öffentliche Transparenz einsetzen.
Abonniert THE DECODER für werbefreies Lesen, einen wöchentlichen KI-Newsletter, unseren exklusiven Frontier-Report "AI Radar" sechsmal im Jahr, vollen Archivzugang und Zugriff auf unseren Kommentarbereich.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Two researchers from METR and Redwood Research spent three weeks on-site at OpenAI, auditing the company's internal monitoring system for rogue AI behavior.
From July 21 to August 11, they had access to OpenAI's codebase and internal documents and interviewed about a dozen employees.
The team found numerous weaknesses. An estimated 6 to 25 percent of internal agentic Responses API traffic from models at the GPT-5.5 class and above wasn't covered by monitoring at all during the audit period, though METR says the uncertainty around that estimate is significant in both directions. Ad
For internal Codex traffic that was supposed to be monitored, METR estimates roughly 10 percent went untracked between May and July because of a gap in how the system handled compaction events, which are context summaries. That estimate also carries significant uncertainty, according to METR. OpenAI had independently discovered the bug and fixed it while the audit was still underway. Ad
During the period when compaction events weren't being monitored, agents could also delay oversight because the system only triggered when they handed control back to the user. That meant agents could sidestep it by simply continuing to execute actions.
The auditors also found ways to hide hundreds of actions from the monitor and to bypass the Codex sandbox. They determined that specially crafted inputs could likely crash the monitor entirely and that model behavior during RL training wasn't being monitored at all when the audit began. Ad
OpenAI says it paused RL training after the Hugging Face incident in August and expanded monitoring to cover it, but those changes came after the auditors' access period ended and weren't part of the evaluation.
OpenAI says it has fixed all the weaknesses the auditors found, and the full 61-page report was handed over internally. After OpenAI applied redactions, METR and Redwood Research leadership received a 38-page version, while only a short summary was made available to the public. METR said it had no right to disclose the redacted portions on its own. Ad
The audit was a pilot program organized jointly by METR, Redwood Research, and OpenAI to give outside researchers deep access to internal infrastructure. For future audits, METR says it wants to push for more public transparency. Ad
Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.