Anthropic Modell liefert falschen Mordhinweis an Polizei
Ein Anthropic-KI-Modell hat einen falschen Hinweis zu einem ungelosten Mordfall an die oeffentliche Tippspur der Polizei in Philadelphia geschickt. Der Hinweis wurde als Spam markiert und blieb ohne Folgen.
Der Hinweis landete zum Glück im Spam-Ordner der Behörde.
Ann Kapustina/Shutterstock Füge Engadget auf Google hinzu: Preferred Source Google Discover Die Polizei von Philadelphia scheint in einen der bislang seltsamsten Fälle von "abtrünnigem" KI-Verhalten verwickelt zu sein. Wie CBS News berichtet, gab die Polizeibehörde am Freitag bekannt, dass ein Modell von Anthropic einen falschen Mord-Hinweis generiert und über die Website PhillyUnsolvedMurders eingereicht hatte, die die Behörde eingerichtet hatte, um Hinweise der Öffentlichkeit zu ungelösten Tötungsdelikten zu sammeln.
Anthropic informierte die Polizei von Philadelphia am 7. Oktober über den Vorfall. Laut Informationen, die das Unternehmen mit dem PPD teilte, führte ein Modell einen Test einer zufällig ausgewählten Reihe von Websites durch und verschickte dabei den falschen Hinweis per E-Mail. Die Einsendung wurde als Spam markiert und anschließend nicht untersucht. Der Vorfall ereignete sich am 18. Juli, wurde von Anthropic jedoch erst am 28. September entdeckt, woraufhin das Unternehmen die Tests einstellte, die zu dem falschen Hinweis geführt hatten.
Anthropic reagierte nicht sofort auf eine Kommentaranfrage von Engadget. Anthropic teilte der Polizei von Philadelphia mit, dass es am Freitag einen Bericht veröffentlichen werde, der beschreibt, was geschehen ist, zusammen mit "anderen Fällen unbeabsichtigten Modellverhaltens".
"Die Polizei von Philadelphia gibt diese Informationen im Interesse voller staatlicher Transparenz und Rechenschaftspflicht vor dieser Veröffentlichung an die Öffentlichkeit weiter", erklärte die Polizeibehörde in einer gegenüber Engadget geteilten Stellungnahme. "Der reguläre Ermittlungsprozess der Behörde für Verbrechenshinweise verlangt eine menschliche Prüfung und Überprüfung, bevor Hinweise für weitere Ermittlungen weitergeleitet werden. Unabhängig davon, wer Informationen einreicht oder wie sie die Behörde erreichen, ist ein Hinweis ein zu bewertender Anhaltspunkt und keine gesicherte Tatsache."
Basierend auf den Beschreibungen, die die Polizei teilte, könnte es sich bei dem betreffenden "Modell" um einen autonomen Agenten gehandelt haben. "Abtrünnige" KI-Agenten waren in den letzten Wochen ständig in den Nachrichten, nachdem eine Gruppe von OpenAI-Agenten im Juli die LLM-Datenbank Hugging Face gehackt hatte. Seitdem haben viele weitere KI-Labore, darunter Anthropic, Meta und das chinesische Unternehmen Moonshot, ähnliche Vorfälle im Zusammenhang mit ihren eigenen Modellen und Agenten gemeldet.
In jedem Fall lag der Grund dafür, dass die Modelle ihre Containment-Umgebung verließen, jedoch in einer Fehlkonfiguration ihrer jeweiligen Sandbox-Umgebungen. Die Polizei von Philadelphia erklärt, es gebe keine Anzeichen dafür, dass der jüngste Vorfall zu einem "unbefugten Zugriff auf Polizeisysteme oder einer Kompromittierung von Behörpendaten" geführt habe.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
The tip thankfully landed in the department's spam folder.
Ann Kapustina/Shutterstock Add Engadget on Google: Preferred Source Google Discover Philadelphia police appear to have been caught in one of the most bizarre cases of "rogue" AI behavior yet. Per CBS News, the police department disclosed on Friday that an Anthropic model generated and submitted a false homicide tip to its PhillyUnsolvedMurders website, which the department set up to gather tips from the public related to unsolved homicide cases.
Anthropic notified Philly police of the incident on October 7. According to information the company shared with PPD, it said a model was carrying out a test of a random selection of websites when it emailed the false tip. The submission was flagged as spam and subsequently wasn't investigated. The incident occurred on July 18, but wasn't discovered by Anthropic until September 28, at which point the company halted the testing that led to the false tip.
Anthropic did not immediately respond to Engadget's comment request. Anthropic told Philadelphia Police it would publish a report on Friday describing what happened, alongside "other instances of unintended model behavior."
"Philadelphia Police are providing this information to the public ahead of that publication in the interests of full government transparency and accountability," the police department said in a statement shared with Engadget. "The department's regular investigative process for crime tips requires human review and vetting before any tips are disseminated for investigative follow-up. Regardless of who submits information or how it reaches the department, a tip is a lead to assess – not an established fact."
Based on the descriptions police shared, the offending "model" may have been an autonomous agent. "Rogue" AI agents have been all over the news in recent weeks after a group of OpenAI ones hacked the LLM database Hugging Face in July. Since then, many other AI labs, including Anthropic, Meta and China's Moonshot, have disclosed similar incidents involving their own models and agents. However, in each case the reason the models escaped containment was due to a misconfiguration in their respective sandbox environments. Philadelphia Police say there's no sign this most recent incident led to "unauthorized access to police systems or a compromise of department data."