OpenAI entlaesst Sicherheitsexperten und vertiegt damit seine Krise

OpenAI verschärft die Vertrauenskrise um seine aus dem Ruder gelaufenen KI-Agenten immer weiter.

Bereits im Mai 2024 brach Jan Leike, damals Leiter der Abteilung für Superintelligenz-Sicherheit, seine Beziehung zum Unternehmen ab, als er seinen früheren Arbeitgeber öffentlich angriff und zu Anthropic wechselte. Die Sicherheitskultur und die entsprechenden Prozesse blieben hinter OpenAIs glänzenden Produkten zurück, so Leike.

Seitdem hatte OpenAI keine Verschnaufpause mehr und stolperte von einem Vorfall zum nächsten. Zuletzt war es der Hack von Hugging Face, der scheinbar jede Befürchtung bestätigte, die Kritiker bestätigte und, wie wir inzwischen wissen, weit über Hugging Face hinausging.

Die Entlassung von drei Sicherheitsforschern im Zusammenhang mit dem Vorfall hat die Lage verschärft. In einem offenen Brief an OpenAIs Safety and Security Committee, die Safety Advisory Group und den Mission Advisory Council warnen die drei, dass ihre Kündigungen die verbliebenen Mitarbeitenden einschüchtern.

Die Kündigungen erfolgten abrupt und öffentlich und haben Angst im gesamten Team verbreitet. Wenn Verhalten, das noch im vergangenen Monat als normal galt, nun als Grund für eine plötzliche Entlassung durchgeht, bleibt für alle bei OpenAI nur Rätseln, wo die Grenze verläuft, heißt es in dem Brief.

Tomek Korbak, einer der drei Betroffenen, beschrieb seine Entlassung auf X. Er wurde zu einem Meeting mit dem Leiter der Sicherheitsabteilung gebeten, wo man ihm mitteilte, dass OpenAI ihm nicht mehr vertraue. Ein Sicherheitsmitarbeiter nahm ihm seinen Ausweis ab und führte ihn aus dem Gebäude. Anschließend erfuhr er, dass auch seine Kolleginnen und Kollegen Jasmine Wang und Mikita Balesni entlassen worden waren.

Korbak und Balesni waren beide unmittelbar an der Untersuchung des Hacks von Hugging Face beteiligt. Korbak fungierte als OpenAIs zentraler technischer Ansprechpartner für METR, das externe Sicherheitslabor, das den Vorfall untersuchte. Balesni arbeitete parallel an branchenweiten Verpflichtungen zur Überwachbarkeit von KI-Modellen. Wang wurde offenbar aus einem anderen Grund entlassen: Sie hatte im Rahmen der Personalgewinnung delegierten Zugriff auf das E-Mail-Postfach einer Führungskraft, und die IT hatte ihn auf ihre Nachfrage hin nie entfernt. Als sie versehentlich eine sensible E-Mail öffnete, meldete sie dies innerhalb weniger Minuten.

Korbak zufolge wurde ihm mündlich mitgeteilt, dass er wegen seiner Kommunikation mit METR entlassen werde. Niemand sagte ihm, was genau er falsch gemacht hatte, und schriftlich wurde nichts festgehalten. Zur Klarstellung: Mit METR zu sprechen war meine Aufgabe, schreibt Korbak auf X.

Korbak sagt, er habe monatelang intern Sicherheitsbedenken geäußert, weil er befürchtete, dass OpenAI die Fähigkeit verliere zu überwachen, was KI-Agenten denken. Diese Chain-of-Thought-Überwachbarkeit ist eines der wenigen verlässlichen Instrumente, um Fehlverhalten von KI-Systemen zu erkennen. Er glaubt, dass dies der wahre Grund für seine Entlassung war.

Die drei bestreiten, die Quelle derInformationen an The Information über angeblich neue, schwerer überwachbare Architekturen gewesen zu sein. Der Artikel habe ihrer eigenen Arbeit sogar geschadet, schreiben sie, weil er laufende Bemühungen untergrub, branchenweite Beschränkungen für nicht überwachbare Architekturen festzulegen.

Die Untersuchung des Hacks von Hugging Face sei beispiellos gewesen, heißt es in dem Brief. Interne Richtlinien wurden gewissermaßen in Echtzeit verfasst, Korbak hielt sich an die damals geltenden Normen, und Balesni arbeitete mit Einbindung von Vorstandsmitgliedern und der Führungsetage, wobei er sensible Details aus den Materialien entfernte, bevor er sie teilte.

Was die Gerüchte über ein Memo auf Vorstandsebene angeht, so sei die zugrunde liegende Annahme falsch. Das Thema sei ihnen gegenüber nie angesprochen worden, und sie hätten nie die Gelegenheit erhalten, darauf zu reagieren.

Die Forscher erheben drei Forderungen. OpenAI muss seine öffentlichen Zusagen einhalten, externe Sicherheitsauditeure wie METR mit Zugriffsrechten auf Mitarbeiterebene in die Organisation zu integrieren. Außerdem muss das Unternehmen die Überwachbarkeit von Frontier-Modellen erhalten, da die Branche noch immer nicht weiß, wie man Modelle, die nicht überwacht werden können, sicher entwickeln kann. Und es muss klar definieren, wie Mitarbeitende mit externen Sicherheitsgruppen zusammenarbeiten dürfen.

Ohne diese Regeln könne das Risiko eines katastrophalen Ausgangs wachsen, weil Mitarbeitende zu ängstlich sein würden, Sicherheitsprobleme anzusprechen. KI ist keine normale Technologie, und OpenAI ist kein normales Unternehmen, schreiben sie.

Eine gründliche Untersuchung habe ergeben, dass die drei Mitarbeitenden gegen klare Richtlinien zum Umgang mit sensiblen Informationen verstoßen hätten, erklärte OpenAI in einer Stellungnahme. Die interne Prüfung habe einen erheblichen Vertrauensbruch aufgedeckt, der über das hinausgehe, was in dem veröffentlichten Brief dargelegt sei, doch OpenAI sagt nicht, worin dieser Vertrauensbruch tatsächlich bestand, was angesichts der sehr konkreten Darstellung der drei Forscher merkwürdig erscheint.

OpenAI betont, dass die Entlassungen nichts mit geäußerten Sicherheitsbedenken zu tun hatten. Wir haben noch nie und entlassen auch heute keine Mitarbeitenden, weil sie Bedenken geäußert haben, heißt es in der Erklärung. OpenAI veröffentlichte ihre Stellungnahme über @OpenAINewsroom, das offizielle Konto mit der kleinsten Reichweite aller Kanäle des Unternehmens. Das Unternehmen bestätigte zudem, dass es an Verträgen mit externen Sicherheitsauditeuren arbeitet, und stimmte zu, dass die Überwachbarkeit von Frontier-Modellen eine branchenweite Verpflichtung erfordert.

Abonniere THE DECODER für werbefreies Lesen, einen wöchentlichen KI-Newsletter, unseren exklusiven Frontier-Report AI Radar sechsmal im Jahr, vollen Zugriff auf das Archiv und Zugang zu unserem Kommentarbereich.