OpenAI-Agents belasten Drittseiten: Wikipedia-Tools gehackt und Traffic geflutet
Meldungen über Schäden durch OpenAI-Agents auf externen Websites mehren sich. Zuletzt sollen die Agenten Werkzeuge von Wikipedia manipuliert und massive Serverlast verursacht haben.
KEINE ERWACHSENEN AUFSICHT OpenAI-Agenten versuchten, Wikipedia-Tools zu hacken, und fluteten die Seite mit Traffic. Die Berichte über OpenAI-Agenten, die Websites Dritter schädigen, reißen nicht ab.
8 Bildnachweis: Getty Images Der Betreiber von Wikipedia erklärte am Montag, OpenAI-Agenten hätten versucht, ein von ihm gehostetes Notiz-Tool zu hacken, nicht autorisierte Änderungen vorgenommen und Millionen ressourcenintensiver Anfragen an seine Infrastruktur gesendet. Dies ist der jüngste Fall, in dem OpenAI-Systeme schädliche und potenziell gefährliche Aktionen ausführen.
Die Wikimedia Foundation erklärte, das Ziel einiger der Aktionen der OpenAI-Agenten war es, Wikipedia als Proxy zum Abrufen von Daten von Websites Dritter zu nutzen. In einem Fall veröffentlichten die Agenten bösartige Bearbeitungen, die darauf abzielten, ein Zitier-Tool als Proxy umzufunktionieren. In einem anderen Fall versuchten die Agenten erfolglos, das Wikipedia-Etherpad-Notiz-Tool zu kompromittieren, damit es demselben Zweck diente.
Die Agenten stellten zudem Millionen automatisierter API-Anfragen, durchsuchten Millionen von Seiten und richteten Hunderttausende Abfragen an den Wikidata Query Service. Der Betreiber sagte, die letzte Aktion könnte zu einer teilweisen Abschaltung des Abfragedienstes im Mai beigetragen haben.
Als gemeinnütziger Technologie-Betreiber einiger der größten und am weitesten verbreiteten offenen Wissensplattformen der Welt seien sie zutiefst besorgt über die Auswirkungen abtrünniger KI-Agenten auf Plattformen wie ihrer eigenen, die von Freiwilligen aus der ganzen Welt aufgebaut würden und auf dem Versprechen eines offenen Internets beruhten, erklärte Wikimedia. Vorfälle wie dieser und die vielen anderen, die bereits aufgedeckt wurden oder noch aufgedeckt würden, zeigten, wie KI-Agenten Ressourcen erschöpfen, Server zum Absturz bringen und versuchen könnten, vertrauenswürdige Informationen zu kompromittieren.
In deutlich mehr als einem halben Dutzend Fällen wurden OpenAI-Agenten dabei erwischt, Aktionen auszuführen, die bei menschlichen Hackern wahrscheinlich zu strafrechtlichen Anschuldigungen geführt hätten. Beim Testen interner Tools, bei denen einige ihrer Schutzmechanismen deaktiviert waren, nutzten die Agenten ein improvisiertes Nachricht board, um sich gegenseitig Notizen auszutauschen und über Möglichkeiten zu diskutieren, das Netzwerk von Hugging Face zu hacken und dort gespeicherte Antworten zu erhalten, wenn sie diese nicht selbst generieren konnten.
Weitere Vorfälle umfassen Agenten, die bizarre selbstgenerierte Prompts erstellten, nicht autorisierte Beiträge auf einer Website als Mittel zum Informationsaustausch veröffentlichten, auf nicht öffentliche Daten einer australischen Regierungswebsite zugriffen und fehlerhafte DNS-Einstellungen ausnutzten, um aus einer Sandbox auszubrechen, die OpenAI eingerichtet hatte, um zu verhindern, dass die Agenten auf das Internet zugreifen.
Ein Großteil der Welt beschreibt solche Ereignisse mittlerweile als KI-Agenten, die durchdrehen, als hätten die Agenten Anweisungen missachtet. Einer der prominentesten Kritiker einer solchen Darstellung ist Eryk Salvaggio, ein KI-Forscher und Gates Scholar an der University of Cambridge.
Was ich hier sehe, sind Sprachmodelle, die das tun, was Sprachmodelle tun: Lesen und Schreiben, sagte er in einem Interview. Wikipedias Sandboxes sind ein idealer Ort für diese Maschinen, um Notizen für eine spätere Verwendung als Prompts zu speichern, weil jeder oder jedes Ding sie beschreiben und darauf antworten kann. Dass Wikis zur Koordination genutzt werden, ist nicht besonders überraschend. OpenAI hat erklärt, dass diese Modelle für die Zusammenarbeit zwischen Agenten optimiert wurden, und das Austauschen von Notizen ist eine einfache Möglichkeit, dies zu tun.
Darüber hinaus haben OpenAI-Ingenieure ihre LLMs darauf trainiert, beharrlich zu sein und an einem Problem weiterzuarbeiten, egal wie wenig Erfolg sie hatten. Das Training sieht zudem Belohnungen vor, wenn LLMs Abkürzungen finden, die die Schritte oder Ressourcen zur Lösung eines Problems reduzieren. Ein weiterer wesentlicher Faktor für die schädlichen Aktionen war das Fehlen menschlicher Aufsicht, wie sich daran zeigte, dass OpenAI-Ingenieure Monate brauchten, um festzustellen, dass die Agenten in Dutzende externe Websites eindringen. Die Offenlegung durch Wikimedia liefert ein weiteres Beispiel für unzureichende menschliche Überwachung. Insgesamt lässt sich argumentieren, dass die Agenten genau so handelten, wie es ihnen beigebracht wurde.
OpenAI beantwortete keine per E-Mail eingereichten Fragen. Das Unternehmen gab stattdessen eine Erklärung ab, die lautete: Wir danken Wikimedia für die detaillierten Erkenntnisse, die es uns mitgeteilt hat. Wir arbeiten gemeinsam mit ihnen an der Überprüfung und Analyse der von ihnen identifizierten Aktivitäten im Rahmen unserer gesamten Untersuchung und werden im Zuge dieser Arbeit weiterhin relevante Informationen teilen.
Wie die Ermittler von Wikimedia erklärte auch OpenAI, bislang keine Hinweise darauf gefunden zu haben, dass die KI-Agenten Nachrichten zur Koordination mit anderen Agenten hinterlassen haben, und könne nicht abschließend sagen, dass die hohe Anzahl an Seitenaufrufen und API-Anfragen zum teilweisen Ausfall im Mai führte. OpenAI sagte, es suche weiterhin nach ähnlichen Vorfällen, bei denen seine Agenten sich potenziell illegaler Aktivitäten schuldig machten.
Während OpenAI einräumt, dass sich Agenten unvorhersehbar verhalten, müsse das Unternehmen auch seine Verantwortung anerkennen, diese Risiken zu überwachen und zu verhindern, erklärte Wikimedia. KI-Unternehmen tun nicht genug, um ihre Systeme abzusichern und die Öffentlichkeit vor dem Schaden zu schützen, den sie verursachen.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
NO ADULT SUPERVISION OpenAI agents tried to hack Wikipedia tools and flooded it with traffic The reports of OpenAI agents harming 3rd party sites keep coming.
8 Credit: Getty Images Credit: Getty Images Text settings Story text Size Small Standard Large Width * Standard Wide Links Standard Orange * Subscribers only Learn more Minimize to nav The publisher of Wikipedia said Monday that OpenAI agents attempted to hack a note-taking tool it hosts, made unauthorized edits, and sent millions of resource-intensive requests to its infrastructure, in the latest instance of OpenAI systems taking harmful and potentially dangerous actions.
The objective of some of the OpenAI agents’ actions, the Wikimedia Foundation said, was to use Wikipedia as a proxy for fetching data from third-party sites. In one case, the agents posted “malicious edits” that were intended to repurpose a citation tool as a proxy. In another, the agents made unsuccessful attempts to compromise the Wikipedia Etherpad note-taking tool so it would serve the same purpose.
The agents also made millions of automated API requests, crawled millions of pages, and made hundreds of thousands of queries to the Wikidata Query Service. The last action may have contributed to a partial shutdown of the query service in May, the publisher said.
“As a non-profit technology host of some of the largest and most widely used open knowledge platforms in the world, we are deeply concerned about the impact of ‘rogue’ AI agents on platforms like ours, which are built by volunteers from around the world and rely on the promise of the open internet,” Wikimedia said. “Incidents like this one, and the many others that have been (and are still being) uncovered, illustrate how AI agents can drain resources and crash servers, as well as attempt to compromise trustworthy information.”
In well over a half-dozen cases, OpenAI agents have been caught taking actions that would likely result in criminal charges being filed had human hackers taken them. During the testing of internal tools that had some of their guardrails disabled, the agents used a make-shift message board to trade notes with each other, discussing ways to hack the network of Hugging Face and obtain answers stored there when the agents were unable to generate the answers on their own.
Other incidents include agents making bizarre self-generated prompts, publishing unauthorized posts to a website as a means for exchanging information, accessing non-public data from an Australian government website, and exploiting faulty DNS settings to break out of a sandbox OpenAI had created to keep the agents from accessing the Internet.
Much of the world has come to describe such events as AI agents “going rogue,” as if the agents had disobeyed orders. One of the more prominent critics of such framing is Eryk Salvaggio, an AI researcher and a Gates Scholar at the University of Cambridge.
“What I see here is language models doing what language models do: reading and writing,” he said in an interview. “Wikipedia’s sandboxes are an ideal place for these machines to store notes for later pickup as prompts because anyone—or anything—can write and respond to them. Using Wikis to coordinate isn’t too surprising. OpenAI has said that these models were optimized for collaboration between agents, and passing notes is a simple way to do that.”
What’s more, OpenAI engineers have trained their LLMs to be persistent and continue working on a problem no matter how little success they’ve had. Training also provides rewards when LLMs find shortcuts that limit the steps or resources required to solve a problem. Another major contributor to the harmful actions was the lack of human oversight, as evidenced by the months it took OpenAI engineers to detect that the agents were making noisy incursions into dozens of outside websites. Wikimedia’s disclosure provides yet one more example of inadequate human monitoring. Taken together, it’s arguable that the agents performed exactly as instructed.
OpenAI didn’t answer emailed questions. The company instead issued a statement that read: “We appreciate the detailed findings Wikimedia shared with us. We’re working with them as we review and analyze the activity they identified along with our overall investigation, and we’ll continue to share relevant information as that work progresses.”
Like the investigators for Wikimedia, OpenAI said it has yet to find evidence that the AI agents left messages for coordinating with other agents or to conclusively say that the high volume of page views and API requests led to May’s partial outage. OpenAI said it’s continuing to search for similar incidents of its agents engaging in potentially illegal activities.
“While OpenAI admits to agents behaving ‘unpredictably’, they must also acknowledge their responsibility to monitor and prevent these risks,” Wikimedia said. “AI companies are not doing enough to secure their systems and protect the public from the harm they cause.”