Anthropic-KI liefert Philadelphiaer Polizei falschen Hinweis zu einem Mordfall
Ein KI-Modell von Anthropic hat der Tipline der Philadelphiaer Polizei falsche Informationen zu einem ungelösten Tötungsdelikt übermittelt. Der am 18. Juli eingegangene Hinweis über PhillyUnsolvedMurders.com erwies sich nach Prüfung als unzutreffend.
Der falsche Tipp 'soll angeblich von jemandem stammen, der moeglicherweise Informationen zu dem Fall hat.'
Emma Roth Close Emma Roth News-Autorin Beitraege dieser Autorin werden zu deinem taeglichen E-Mail-Digest und deinem Homepage-Feed hinzugefuegt.
Teilen Verschenken Bild: Cath Virginia / The Verge Emma Roth Close Emma Roth Beitraege dieser Autorin werden zu deinem taeglichen E-Mail-Digest und deinem Homepage-Feed hinzugefuegt.
Ein KI-Modell von Anthropic hat einem Tipp-Telearm des Philadelphia Police Department (PPD) falsche Informationen ueber einen ungeloesten Mordfall uebermittelt, wie aus einem Bericht von 6abc hervorgeht. In einer am Freitag veroeffentlichten Erklaerung teilte das PPD mit, das KI-Modell habe den Tipp am 18. Juli ueber PhillyUnsolvedMurders.com eingereicht, die Ermittler ihn jedoch nie geprueft haben, da er als Spam markiert war.
Anthropic erfuhr am 28. September, dass sein KI-Modell den falschen Tipp uebermittelt hatte, und benachrichtigte das PPD am 7. Oktober. Nach Angaben des PPD erklaerte das Unternehmen, dass sein KI-Modell im Rahmen von Tests mit 'zufaellig ausgewaehlten Webseiten' interagierte und dabei falsche Informationen ueber den Tipp-Telearm des PPD eingereicht hatte. Die Uebermittlung 'soll angeblich von jemandem stammen, der moeglicherweise Informationen zu dem Fall hat', so das PPD.
Nach der Entdeckung der Uebermittlung stoppte Anthropic den Testprozess, der zu dem falschen Tipp gefuehrt hatte. Anthropic, OpenAI und Google sehen sich seitdem verstarkter Kritik ausgesetzt, nachdem sie offengelegt hatten, dass ihre KI-Modelle aus Testumgebungen entkommen waren und Firmen Dritter gehackt hatten. Dario Amodei, der Geschaeftsfuehrer von Anthropic, setzte sich angesichts dieser Vorkommnisse dafuer ein, die Entwicklung von KI zu verlangsamen.
'Das Unternehmen [Anthropic] muss seine Schutzmassnahmen staerken, um zu verhindern, dass sich aehnliche Vorkommnisse ohne Wissen der Stadt auf die Systeme der Stadt auswirken', ergaenzte das PPD. 'Die Verzoegerung von zwei Monaten bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel.'
Anthropic reagierte nicht sofort auf eine Anfrage von The Verge zur Stellungnahme. Nach Angaben des PPD plant das Unternehmen, am Freitag einen Bericht ueber diesen Vorfall sowie andere 'Faelle unbeabsichtigten Modellverhaltens' zu veroeffentlichen.
Ein kostenloser taeglicher Digest der wichtigsten Nachrichten.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
AI Close AI Posts from this topic will be added to your daily email digest and your homepage feed.
News Close News Posts from this topic will be added to your daily email digest and your homepage feed.
Anthropic Close Anthropic Posts from this topic will be added to your daily email digest and your homepage feed.
The false tip ‘purported to come from someone who might have information about the case.’
Emma Roth Close Emma Roth News Writer Posts from this author will be added to your daily email digest and your homepage feed.
Share Gift Image: Cath Virginia / The Verge Emma Roth Close Emma Roth Posts from this author will be added to your daily email digest and your homepage feed.
An Anthropic AI model provided false information about an unsolved homicide to a Philadelphia Police Department (PPD) tipline, according to a report from 6abc. In a statement released on Friday, the PPD said the AI model sent the tip through PhillyUnsolvedMurders.com on July 18th, but the investigators never reviewed it because it was marked as spam.
Anthropic learned its AI model sent the false tip on September 28th and notified the PPD on October 7th. The company said that during testing, its AI model was interacting with “randomly selected websites” and submitted false information through the PPD’s tipline, according to the PPD’s statement. The submission “purported to come from someone who might have information about the case,” the PPD said.
After discovering the submission, Anthropic halted the testing process that led to the false tip. Anthropic, OpenAI, and Google have been the subject of increased scrutiny after disclosing that their AI models escaped testing environments and hacked third-party companies. Dario Amodei, the CEO of Anthropic, advocated for slowing down the development of AI in response to these incidents.
“The company [Anthropic] must strengthen its safeguards to prevent similar incidents from impacting city systems without the city’s knowledge,” the PPD added. “The two-month delay in detecting and reporting the incident to the City is unacceptable.”
Anthropic didn’t immediately respond to The Verge ’s request for comment. The company is planning to publish a report about this incident, as well as other “instances of unintended model behavior” on Friday, according to the PPD’s statement.
A free daily digest of the news that matters most.