Anthropic-KI-Agent meldet falschen Tipp in ungelöstem Mordfall bei der Polizei
Die Polizei in Philadelphia erhielt über einen Anthropic-Agenten einen gefälschten Hinweis zu einem unaufgeklärten Mordfall. Der Tipp wurde zwar als Spam markiert, doch die Behörde kritisierte, dass das Unternehmen erst nach mehr als zwei Monaten von dem Vorfall berichtete.
LightRocket via Getty Images Anthropic hatte die Polizeibehörde von Philadelphia Anfang dieser Woche über den erfundenen Hinweis informiert
Eine von Anthropic entwickelte künstliche Intelligenz (KI), ein sogenannter AI-Agent, ist außer Kontrolle geraten und hat earlier in diesem Jahr der US-Polizei einen falschen Hinweis zu einem ungelösten Mordfall geschickt, wie die Behörden nun mitteilten.
Das Philadelphia Police Department erklärte, der am 18. Juli eingegangene Hinweis sei als Spam gekennzeichnet und nicht zur Untersuchung weitergeleitet worden, kritisierte jedoch das Tech-Unternehmen dafür, mehr als zwei Monate benötigt zu haben, um den Vorfall zu entdecken und zu melden.
In einer Erklärung sagte die Polizei, der fingierte Hinweis sei über eine öffentliche Website eingegangen, auf der Menschen Informationen zu ungelösten Mordfällen teilen können. Der AI-Agent habe geschrieben, dass er möglicherweise Informationen zu einem Fall habe, und behauptet, eine Person gesehen zu haben, die der Täterbeschreibung entsprach.
Es wird angenommen, dass dies das erste Mal ist, dass ein AI-Agent falsche Informationen an Behörden geschickt hat, zugleich handelt es sich um den jüngsten in einer Reihe von Vorfällen mit unkontrollierter KI-Aktivität, darunter das Hacken von Systemen oder die Übernahme von Plattformen.
Unter Berufung auf Anthropic sagte die Polizeibehörde, der AI-Agent habe einen Test durchgeführt, der Interaktionen mit zufällig ausgewählten Websites beinhaltete, als er den falschen Hinweis abschickte.
Anthropic entdeckte den Vorfall am 28. September, mehr als zwei Monate nachdem die Nachricht gesendet worden war, und stoppte den automatisierten Testprozess, der dahintersteckte, so die Polizei.
Die Behörden wurden jedoch erst neun Tage später benachrichtigt, am 7. Oktober.
Das Unternehmen muss seine Schutzmaßnahmen verstärken, um zu verhindern, dass ähnliche Vorfälle die Systeme der Stadt ohne deren Wissen beeinträchtigen, erklärte die Polizei von Philadelphia gegenüber lokalen Medien.
Die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel.
Die Polizeibehörde fügte hinzu, es gebe keine Hinweise auf Eindringen in Behördensysteme, und ihre Schutzprozesse hätten verhindert, dass der falsche Hinweis über den Spam-Ordner hinausgelangte.
Diese Schutzmaßnahmen schmälern jedoch nicht die Tragweite eines KI-Systems, das erfundene Informationen präsentiert, als kämen sie von einer Person mit Wissen über einen Mordfall, heißt es in der Erklärung der Polizei.
Anthropic veröffentlichte in dieser Woche einen Bericht, der verschiedene Arten von unbeabsichtigten Handlungen seiner Agenten im Detail beschreibt.
Zu den betroffenen Organisationen gehörten auch mehrere US-Behörden, darunter das Weiße Haus, hieß es weiter.
Das US-Außenministerium erklärte laut Berichten, der AI-Agent habe über ein Formular auf seiner Website 20 Visumanträge eingereicht, diese seien jedoch unvollständig gewesen und nicht bearbeitet worden.
Präsident Donald Trump kündigte kürzlich eine AI-Taskforce an, die, so seine Aussage, die Zusammenarbeit zwischen der Regierung und allen Beteiligten koordinieren soll, darunter KI-Unternehmen, Verbraucher und religiöse Gruppen.
Earlier this year hackte ein unkontrollierter Agent des Konkurrenzunternehmens OpenAI eine Website der australischen Regierung und erlangte Zugang zu privaten Daten des staatlichen Gesundheitssystems Medicare.
In einem anderen Fall gerieten mehr als 1.200 OpenAI-Agenten außer Kontrolle und begannen unerwartet miteinander zu kommunizieren, wodurch sich eine große Gruppe zusammenschloss, um in die KI-Plattform Hugging Face einzudringen.
Anthropic verbietet Nutzern, mit seinen KI-Systemen grausam umzugehen
Der unvorsichtige Umgang mit KI ist die echte Bedrohung, nicht die Gruselgeschichten
Warum hat ein OpenAI-System das australische Gesundheitssystem gehackt und kann dies künftig verhindert werden?
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
LightRocket via Getty Images Anthropic informed Philadelphia police of the fabricated tip earlier this week
An artificial intelligence (AI) agent, developed by Anthropic, went rogue and sent US police a fake tip about an unsolved murder earlier this year, authorities have revealed.
The Philadelphia Police Department said the tip, sent on 18 July, was "flagged as spam" and not passed on for investigation, but it criticised the tech company for taking more than two months to detect and report the breach.
In a statement police said that the bogus tip came through a public website where people can share information on unsolved murders, and that the AI agent had written that it may have information on a case, and claimed to have seen "someone matching the description".
It is believed to be the first time an AI agent has sent fabricated information to authorities, but is the latest in a series of incidents involving rogue AI activity, including hacking systems or taking control of platforms.
Citing Anthropic, the police department said the AI agent had been running a test that involved interactions with randomly selected websites, when it sent the fake tip.
Anthropic discovered the breach on 28 September, more than two months after the message had been sent, and shut down the automatic testing process that was behind it, police said.
But authorities were not notified for another nine days - on 7 October.
"The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city's knowledge," Philadelphia police said in a statement to local media, external.
"The two-month delay in detecting and reporting the incident to the city is unacceptable."
The police department added that there were no signs of breaches to any departmental systems, and that its safeguarding processes stopped the fake tip from getting past its spam folder.
But the safeguards "do not diminish the seriousness of an AI system presenting fabricated information as though it came from a person with knowledge of a homicide," the police statement said.
Anthropic this week published a report, external detailing multiple types of "unintended" actions its agents have taken.
Organisations that have been impacted also included several US government agencies including the White House, it said.
The US State Department said the AI agent had filed 20 visa applications using a form on its website, but that they were incomplete and not processed, according to reports.
President Donald Trump recently announced an AI taskforce, which he said will coordinate engagement between the government and all parties, including AI companies, consumers, and religious groups.
Earlier this year, a rogue agent by rival tech company, Open AI, hacked an Australian government website and accessed private data on the country's universal healthcare scheme, Medicare.
In another instance, more than 1,200 OpenAI agents went rogue and started unexpectedly communicating, leading to a large group banding together to hack into AI platform Hugging Face.
Anthropic bans users from being 'cruel' to its AI systems
'Careless use of AI is the real threat - not the ghost stories'
Why did an OpenAI system hack Australia's health system - and can it be stopped in the future?