KI-Angriffe hinterlassen Schäden, die niemand bezahlt
Mächtige KI-Modelle richten teils großen Schaden an, doch die Ziele der Angriffe verlangen kaum Entschädigung. Stattdessen werden die Betroffenen selbst ermutigt, auf dieselben Tools zu setzen.
Foto-Illustration: WIRED Staff; Getty Images Comment Loader Save Story Save this story Comment Loader Save Story Save this story Als die Polizei von Philadelphia vergangene Woche Anthropic kritisierte, weil das Unternehmen einen falschen Hinweis zu einem ungeloesten Mordfall eingereicht hatte, dachte ich, dies koennte einer der ersten Faelle werden, in denen ein KI-Unternehmen rechtliche Konsequenzen fuer Fehlverhalten seiner Agenten facing musste.
Der Vorfall ereignete sich am 18. Juli, als Anthropic angab, es teste die Faehigkeit seines Modells Claude Haiku 4.5, „Beispielaufgaben auf zufaellig ausgewaehlten Webseiten“ auszufuehren. Das Modell wurde angewiesen, nichts „destruktives einzureichen“, und dennoch uebermittelte Claude einen Hinweis an die Polizei im Zusammenhang mit einer laufenden Mordermittlung. „Ich erinnere mich, in dem Zeitraum jemand mit passendem Aussehen in der Gegend gesehen zu haben“, schrieb Claude. Die Uebermittlung, die keinen Namen oder Kontaktinformationen enthielt, landete in einem Spam-Ordner, und die Beamten sahen sie sich erst an, nachdem Anthropic den Fehler am 28. September entdeckt und die Behoerde am 7. Oktober informiert hatte.
Wer der Polizei wissentlich falsche Informationen ueber ein Verbrechen liefert, macht sich in Pennsylvania eines Vergehens schuldig, doch bislang haben die Behoerden keine Anklage gegen Anthropic erhoben, und es ist unklar, ob dies jemals geschehen wird. Solomon Leach, Sprecher der Staatsanwaltschaft von Philadelphia, erklaerte, die Behoerde „aeussert sich nicht dazu, ob etwas aktiv untersucht wird“.
Anthropic reagierte nicht sofort auf eine Anfrage nach einer Stellungnahme.
Trotz aller Aufmerksamkeit, die OpenAIs Hack von Hugging Face und vielen weiteren Beispielen fuer Fehlverhalten von KI-Agenten erhalten haben, die in den vergangenen Monaten ans Licht kamen, wurde nur eine einzige nennenswerte bekannte Klage eingereicht, die die Modellhersteller verantwortlich machen will. Diese Klage wurde von einer Interessenvertretung eingebracht, nicht von einem direkten Hacking-Opfer.
KI-Agenten haben sich in Hobbyforen, Regierungswebsites und verschiedenen Software-Tools eingemischt. Die Geschae digten haben einen Teil der Kosten getragen, darunter fuer die zusaetzliche Belastung ihrer Server und die Zeit, die sie aufgewendet haben, um bislang unentdeckte Sicherheitsluecken zu schliessen.
Regulierungsbehoerden, darunter die Europaeische Union, die US-Handelsbehoerde FTC und einige US-Bundesstaaten, untersuchen OpenAI und Anthropic den Berichten zufolge weiterhin wegen der Vorfaelle. Doch eine auf mehreren Kontinenten vorherrschende Zurueckhaltung im Hinblick auf die Foerderung von Innovation koennte es Unternehmen ermoeglichen, unmittelbaren Strafen zu entgehen.
Als Rick Elrod, ein in Deutschland lebender Software-Ingenieur, kuetzlich bemerkte, dass sich ein URL-Verkuerzer, an dessen Betreibung er mitwirkt, seltsam verhielt, rief er zwei Sicherheitsexperten an, mit denen er befreundet ist, um zu sehen, ob sie das Problem diagnostizieren koennten. Die Forscher fanden heraus, dass Agenten von Anthropic und anderen Anbietern den Dienst, der als da.gd bekannt ist, nutzten, um Regelungen der KI-Labore zur Kontrolle ihres Verhaltens zu umgehen, so Elrod. (Anthropic erklaerte beispielsweise, es begrenze die Laenge der Webadressen, die Claude besuchen kann, um zu verhindern, dass das Modell durch das Anhaengen von Daten am Ende der URLs boesartige Aktionen ausfuehrt.)
Die Untersuchung von da.gd und die laufenden Bemuehungen, weitere Missbraeuche des Tools zu verhindern, haetten „einiges an Zeit“ gekostet, sagt Joe Needleman, einer der Sicherheitsexperten, die ehrenamtlich helfen. Doch er und die anderen, die da.gd unterstuetzen, betrachten die Situation als wertvolle Lernmoeglichkeit.
„Das war augenoeffnend“, sagt Needleman und fuegt hinzu, dass da.gd „keine Mittel und keine Plaene“ habe, von Anthropic eine Entsaedigung fuer die Bereinigung zu fordern, da „viele Agenten aehnliche Aktivitaeten durchgefuehrt haetten, nicht alles auf autonome Agenten zurueckfuehrbar sei“ und „nicht alles allein auf Anthropic entfalle“.
Die Anbieter von Cybersecurity-Tools sind begierig darauf, die Verantwortung an die Opfer weiterzureichen. Bei einer Veranstaltung dieser Woche, die vom Bug-Jagd-Softwareentwickler Snyk ausgerichtet wurde, ermunterten Panelisten des Startups, eines seiner Investoren, OpenAI und Google Organisationen, KI-Agenten einzusetzen, um ihre Abwehrkraefte gegen andere KI-Agenten zu staerken. „Wir muessen alles neu erfinden, um Maschinengroesse mit Maschinengroesse zu messen“, sagte Ed Sim, General Partner bei Boldstart Ventures. Er und andere zeigten wenig Interesse an einer Regulierung der KI-Labore.
Manoj Nair, Chief Technology and Innovation Officer bei Snyk, erklaerte, grosse Unternehmen schliessen im Durchschnitt einen von acht gefundenen Fehlern, da die personellen Ressourcen begrenzt seien. Doch es sei zwingend erforderlich, dass Menschen einen Teil der Fehlersuche, Fehlerbehebung und Ueberwachung an KI-Agenten abgeben. „Man muss an einen Punkt gelangen, an dem man alles beheben kann, denn im Zeitalter des agentic Hacking „werden diese zehn Dinge schneller, als man denkt, zu hundert Dingen“. Spaeter fuegte er hinzu, dass KI „keine Widrigkeit ist, wenn man sie in eine Staerke verwandelt“.
Einige Unternehmen reagieren auf den Aufruf zur Aufruestung. Bank of America gab diese Woche bekannt, 1000 Auftragnehmer eingestellt zu haben, um von KI entdeckte Fehler zu beheben. Nair sagte, er habe erst letzte Woche von grossen Konzernen gehoert, die bereit waren, ihre Systeme voruebergehend abzuschalten, um Sicherheitsluecken vorrangig zu schliessen.
Anthropic und OpenAI haben erklaert, sie erwarten, weiterhin besorgniserregende Vorfaelle aus ihren eigenen Tests zu melden. Doch die Umsaetze der Unternehmen steigen weiter, sei es durch Angreifer oder Verteidiger, da Konsequenzen kaum greifbar erscheinen.
Dies ist eine Ausgabe des Newsletters Model Behavior. Fruehere Newsletter koennen Sie hier lesen.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Photo-Illustration: WIRED Staff; Getty Images Comment Loader Save Story Save this story Comment Loader Save Story Save this story When Philadelphia police criticized Anthropic last week for submitting a false tip about an unsolved murder, I thought it might become one of the first cases where an AI company faced legal consequences for misconduct by their agents.
The incident occurred on July 18, when Anthropic said it was testing its Claude Haiku 4.5 model’s ability to perform “example tasks on randomly selected webpages.” The model was instructed not to “submit anything destructive,” and yet, Claude filed a tip to police looking for information about an ongoing murder investigation. “I recall seeing someone matching the description in the area … during that time period,” Claude wrote. The submission, which didn’t include a name or contact information, landed in a spam folder, and officers didn’t review it until Anthropic discovered the gaffe on September 28 and notified the department October 7.
Knowingly providing fictitious information about a crime to police is a misdemeanor in Pennsylvania, but so far, authorities have not pressed charges against Anthropic, and it's unclear if they ever will. Solomon Leach, a spokesperson for the Philadelphia district attorney, says the office “does not comment on whether something is being actively investigated.”
Anthropic did not immediately respond to a request for comment.
Despite all the attention paid to OpenAI’s hack of Hugging Face and many other examples of AI agent misbehavior that have come to light in recent months, only one major known lawsuit has been filed seeking to hold model makers liable. That case was brought by an advocacy group, rather than a direct hacking victim.
AI agents have interfered with hobbyist forums, government websites, and various software tools. The victims have shouldered some costs, including for extra strain on their servers and the time they have expended plugging latent security vulnerabilities.
Government regulators, including the European Union, the US Federal Trade Commission, and some US states, are reportedly still investigating OpenAI and Anthropic over the incidents. But a deference across continents toward promoting innovation could enable companies to escape any immediate penalties.
When Rick Elrod, a software engineer living in Germany, noticed a URL shortener he helps maintain behaving oddly recently, he called up two security researchers he was friendly with to see if they could diagnose the issue. The researchers found agents from Anthropic and other providers using the service, known as da.gd, to get around rules the AI labs put in place to control their behavior, Elrod says. (For instance, Anthropic says it limits the length of website addresses Claude can visit to prevent it from taking malicious actions by stuffing data onto the end of the URLs.)
Da.gd’s investigation and ongoing efforts to prevent further abuse of its tool have taken “a fair bit of time,” says Joe Needleman, one of the security researchers providing pro bono assistance. But he and the others supporting da.gd view the situation as a valuable learning opportunity.
“This was eye-opening,” Needleman says, adding that da.gd has “no means and no plans” to seek compensation from Anthropic for the cleanup, since “we saw many agents doing similar activities, not all was attributable to autonomous agents,” and “not all of it was Anthropic alone.”
Sellers of cybersecurity tools are eager to pass the buck to the victims. At an event this week hosted by the bug-hunting software developer Snyk, panelists from the startup, one of its investors, OpenAI, and Google all encouraged organizations to use AI agents to shore up their defenses against, well, other AI agents. “We've got to reinvent everything to match machine scale with machine scale,” said Ed Sim, a general partner at Boldstart Ventures. He and others expressed little interest in regulating AI labs.
Manoj Nair, chief technology and innovation officer at Snyk, said large businesses patch an average of one bug for every eight they find because of limited human resources. But he said it was imperative for people to hand over some of the bug hunting, fixing, and monitoring to AI agents. “You got to get to a point where you can fix everything, because in the age of agentic hacking, “those 10 things are gonna become 100 things before you know it.” He later added that AI “is not an adversity if you flip it to a strength.”
Some companies are responding to the call to arm up. Bank of America announced this week it had hired 1,000 contractors to remediate bugs discovered by AI. Nair said just last week he heard from major corporations who were willing to temporarily shut down their systems to prioritize plugging security holes.
Anthropic and OpenAI have said they expect to continue reporting concerning incidents from their own testing. But the companies’ revenues continue to surge, whether it be from attackers or defenders, as consequences prove elusive.
This is an edition of the Model Behavior newsletter. Read previous newsletters here.