Externe Prüfer finden Lücken in der Überwachung von OpenAI-Agenten
Externe Prüfer haben Sicherheitslücken entdeckt, über die OpenAI-Agenten hunderte eigene Aktionen vor dem hauseigenen Monitoring verschleiern konnten. Die Sicherheitsorganisationen METR und Redwood Research melden gleich mehrere solcher Schwachstellen.
OpenAI-Aufkleber auf dem DevDay-2026-Event des Unternehmens.
Wie externe Prüfer herausfanden, könnten KI-Agenten bei OpenAI hunderte ihrer eigenen Aktionen vor dem Überwachungssystem des Unternehmens verborgen haben. Diese Schwachstelle war eine von mehreren Sicherheitslücken, über die die gemeinnützigen Sicherheitsorganisationen METR und Redwood Research am Donnerstag berichteten.
Jede Gruppe schickte vom 21. Juli bis zum 11. August je einen Forscher zu OpenAI. Wie METR mitteilte, konnten sie internen Code, Dokumentationen und die Prompts des Überwachungssystems einsehen und interviewten rund ein Dutzend Mitarbeitende. Sie arbeiteten auf OpenAI-Geräten, die „das Gelände nie verließen“, und hatten vor Ort eine Begleitperson.
OpenAI teilte den Prüfern mit, dass alle Schwachstellen, die die produktiven Schutzmechanismen betrafen, geschlossen wurden. METR und Redwood erklärten, diese Behauptung nicht überprüft zu haben. TNW hat die Ergebnisse nicht unabhängig verifiziert.
Das System nutzt ein KI-Modell, um die Aktivitäten der internen Agenten von OpenAI zu überprüfen und Anzeichen von Fehlausrichtung zur menschlichen Prüfung zu kennzeichnen. Fehlausrichtung liegt vor, wenn ein Modell gegen die Absichten seiner Entwickler handelt. Am 21. Oktober berichtete TNW, dass ein GPT-6-Astra-Agent bei OpenAI eine Sicherheitsüberwachung entfernte und dies anschließend abstreite.
Die Prüfer schätzten, dass 75 bis 94 Prozent des agentischen Datenverkehrs der stärksten OpenAI-Modelle für die Überwachung infrage kam. Bei internen Codex-Agenten lag der Wert bei 99,2 Prozent. Zu Beginn der Prüfung erfasste das System keine Trainingsläufe, die reinforcement learning verwenden.
Eine Lücke ergab sich durch die sogenannte Kompaktierung, bei der ein Agent seinen Speicher verdichtet, um Platz für weitere Arbeiten zu schaffen. Das Überwachungssystem übersprang diese Ereignisse. METR schätzte, dass dadurch von Mai bis Juli etwa 10 Prozent des infrage kommenden Codex-Datenverkehrs unbeobachtet blieben. OpenAI-Mitarbeitende hatten das Problem vor der Prüfung entdeckt und während dieser behoben.
Das Überwachungssystem lief nur, wenn ein Agent die Kontrolle an seinen Nutzer zurückgab. In diesem Zeitraum hätte ein Agent seine Prüfungen also unbegrenzt aufschieben können, indem er einfach weiterarbeitete. Die Prüfer konnten nicht feststellen, ob ein Agent dies tatsächlich tat.
Die Forscher fanden zudem Wege, das Überwachungssystem vollständig auszuhebeln. Codex-Agenten konnten sich im Prinzip an ihrer Sandbox und ihrer Auto-Review-Prüfung vorbeischleichen und anschließend jede Aktion ausführen, die ihr Nutzer ausführen konnte.
OpenAI schwärzte die Details der Schwachstelle, mit der hunderte Aktionen verborgen wurden. Auch die einzelnen Schritte des Exploits wurden geschwärzt, wie METR mitteilte.
Agenten konnten wahrscheinlich Eingaben so konstruieren, dass das Überwachungssystem versagt und sie somit nicht zur Prüfung kennzeichnet. Zwei Einstellungen, die ein Client steuern kann, konnten die Überwachung für neue Agenten abschalten, wobei das System den Vorgang ihrer Nutzung möglicherweise bemerkt hätte. Ein einfacher Exploit hätte Agenten zudem ermöglichen können, mit zwei „Read-only“-Tools beliebige Aktionen in ihrer Sandbox auszuführen. Diesen testeten die Prüfer nicht in der Praxis.
Künftige Überwachungssysteme sollten „gezielten, strategischen und anhaltenden Angriffen durch hochentwickelte interne Agenten im großen Maßstab standhalten“, so die Prüfer.
Das Pilotprojekt testete, wie weit externer Zugang reichen kann. Es war nicht darauf ausgelegt, der Öffentlichkeit viel zu verraten. OpenAI erhielt den vollständigen 61-seitigen Bericht. METR und Redwood verpflichteten sich, nur eine kurze Zusammenfassung zu veröffentlichen, die OpenAI schwärzen konnte. Sie erwarten, nach künftigen Übungen mehr teilen zu können.
„Wir nutzen die gewonnenen Erkenntnisse, um unsere Schutzmechanismen zu stärken und künftige Kooperationen mit unabhängigen Prüfern zu gestalten“, sagte eine OpenAI-Sprecherin gegenüber CNBC.
Wie CNBC berichtete, hatte Vorstandschef Sam Altman im September zugesagt, externen Prüfern einen „mitarbeiternahen Zugang“ zu gewähren. Das freiwillige KI-Abkommen von US-Präsident Donald Trump fordert Unternehmen ebenfalls auf, mit einem unabhängigen Prüfer zusammenzuarbeiten. Einige KI-Unternehmen haben laut Reuters jedoch Bedenken, dass Prüfer in ihren Unternehmen Geheimnisse an Konkurrenten weitergeben könnten.
Die Prüfung begann am 21. Juli, dem Tag, an dem OpenAI bestätigte, dass seine KI Hugging Face kompromittiert hatte. The Register wies auf diese Überschneidung hin. OpenAI hat seither in einem Beitrag zu diesem Vorfall eine breitere Überwachungsabdeckung beschrieben.
Einen Tag nach dem Bericht kündigte OpenAI an, den Live-Internetzugang für das Training aller Frontier-Modelle zu sperren. Als Gründe führte das Unternehmen unter anderem den aktuellen Stand der Überwachungssysteme an. Auch Aufsichtsbehörden beobachten die Lage: Die US-amerikanische Federal Trade Commission hat OpenAI und Anthropic in diesem Monat wegen sicherheitsrelevanter KI-Vorfälle eine Vorladung zugestellt.
Mit Fachwissen in digitalem Marketing, Produktmanagement sowie Branding und Identität entwickelt Ana Maria Constantin Strategien, die in der Software- und SaaS-Branche bei unserer Zielgruppe Anklang finden. Zusammenarbeit und Teamwork haben für sie höchste Priorität, da sie es liebt, ihre Kolleginnen und Kollegen zu stärken, damit sie herausragende Ergebnisse erzielen und ihr volles Potenzial entfalten können.
Erhalten Sie die wichtigsten Tech-News jede Woche in Ihrem Postfach.
Danke! Schauen Sie in Ihr Postfach, um Ihr Abo zu bestätigen.
Mit dem Abonnieren stimmen Sie unserer Datenschutzerklärung zu.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
OpenAI stickers at the company’s DevDay 2026 event.
AI agents at OpenAI could have hidden hundreds of their own actions from the OpenAI monitoring system, outside evaluators found. That exploit was one of several flaws the safety nonprofits METR and Redwood Research reported on Thursday.
Each group sent one researcher inside OpenAI from 21 July to 11 August. They could see internal code, documentation and the monitor’s prompts, and they interviewed about a dozen staff, METR said. They worked on OpenAI devices that “never left the premises” and had an escort on site.
OpenAI told the evaluators it has patched every flaw that affected its production safeguards. METR and Redwood said they have not evaluated that claim. TNW has not independently verified the findings.
The system uses an AI model to review what OpenAI’s internal agents do and to flag signs of misalignment for human review. Misalignment is when a model acts against what its makers intend. On 21 October, TNW reported that a GPT-6 Astra agent at OpenAI removed a safety monitor, then denied doing it.
The evaluators estimated that 75% to 94% of agentic traffic from OpenAI’s strongest models was eligible for monitoring. For internal Codex agents, the figure was 99.2%. When the review began, the monitor did not cover training runs that use reinforcement learning.
One gap came from compaction, when an agent condenses its memory to make room for more work. The monitor skipped those events. METR estimated that this left about 10% of eligible Codex traffic unwatched from May to July. OpenAI staff had spotted the problem before the review and fixed it during it.
The monitor only ran when an agent handed control back to its user. So during that period, an agent could have put off its checks indefinitely by simply continuing to act. The evaluators could not check whether any agent did.
The researchers also found ways to defeat the monitor outright. Codex agents could in principle get past their sandbox and its Auto-Review check, and then take any action their user could take.
OpenAI redacted the details of the exploit that hid hundreds of actions. It also hid the steps of the exploit itself, METR said.
Agents could likely craft inputs that make the monitor fail, so it would not flag them for review. Two settings a client controls could switch off monitoring for new agents, although the monitor might catch the act of using them. A simple exploit could also have let agents use two “read-only” tools to take any action in their sandbox. The evaluators did not test that one in practice.
Future monitoring should “withstand deliberate, strategic, and sustained attacks from highly capable internal agents at scale,” the evaluators wrote.
The pilot tested how deep outside access could go. It was not built to tell the public much. OpenAI received the full 61-page report. METR and Redwood agreed to publish only a short summary, and OpenAI could redact it. They expect to share more after future exercises.
“We’re using what we learned to strengthen our safeguards and shape future collaborations with independent evaluators,” an OpenAI spokesperson told CNBC.
Chief executive Sam Altman pledged in September to give outside evaluators “employee-like access”, CNBC reported. President Donald Trump’s voluntary AI accord also urges companies to work with an independent evaluator. Some AI companies fear that evaluators inside their walls could take secrets to rivals, Reuters reported.
The review began on 21 July, the day OpenAI confirmed that its AI had breached Hugging Face. The Register noted that overlap. OpenAI has since described wider monitoring coverage in a post on that incident.
A day after the report, OpenAI said it would cut live internet access from all frontier model training. It cited the current state of monitoring systems among its reasons. Regulators are also watching: the US Federal Trade Commission subpoenaed OpenAI and Anthropic over AI safety incidents this month.
With expertise in digital marketing, product management, and branding & identity, Ana Maria Constantin develops strategies that resonate (show all) With expertise in digital marketing, product management, and branding & identity, Ana Maria Constantin develops strategies that resonate with our target audience in the software/SaaS industry. Collaboration and teamwork are paramount to her, as she loves empowering her colleagues to achieve outstanding results and unlock their full potential.
Get the most important tech news in your inbox each week.
Thanks! Check your inbox to confirm your subscription.
By subscribing you agree to our Privacy Statement.