Anthropic-KI meldete falschen Mordhinweis an Philadelphiaer Polizei
Ein KI-Modell von Anthropic übermittelte einen falschen Tötungshinweis an die Polizei in Philadelphia. Das Unternehmen bemerkte das Fehlverhalten erst mehr als zwei Monate später.
Letzter Tag, um deinen Durchbruch vor mehr als 10.000 Tech-Entscheidern auf der Disrupt zu präsentieren, ist der 2. Oktober. Buche jetzt deinen Ausstellungstisch.
Die Tore der Disrupt öffnen am 13. Oktober. Hol dir deinen Pass und bringe jemanden mit, zum halben Preis. JETZT REGISTRIEREN.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Suche Seitensuche absenden Mega-Menü ein-/ausblenden Themen ein-/ausblenden Latest
Ein KI-Modell von Anthropic hat der Polizei in Philadelphia einen falschen Hinweis zu einem Mordfall gemeldet, wie aus einem Bericht von 6abc Action News hervorgeht.
Die KI soll diese falschen Informationen am 18. Juli an eine öffentliche Hinweisgebungslinie des Philadelphia Police Department (PPD) übermittelt haben, aber Anthropic entdeckte das Verhalten erst am 28. September. Die Polizei hatte den Hinweis nicht gesehen, weil er als Spam markiert war.
Anthropic benachrichtigte das PPD am Mittwoch über den Vorfall und traf sich am folgenden Tag mit der Behörde.
Sowohl Anthropic als auch das PPD reagierten nicht sofort auf Anfragen von TechCrunch nach einer Stellungnahme.
„Das Unternehmen muss seine Sicherungsmaßnahmen stärken, um zu verhindern, dass ähnliche Vorfälle sich auf Systeme der Stadt auswirken, ohne dass die Stadt davon Kenntnis hat. Die zweimonatige Verzögerung bei der Erkennung des Vorfalls und der Meldung an die Stadt ist inakzeptabel“, erklärte das PPD gegenüber 6abc.
Da autonome KI-Agenten zunehmend Verbrauchern zur Verfügung gestellt werden, verdeutlicht dieser Vorfall die Gefahr, einer KI die Möglichkeit zu geben, Aufgaben ohne jede menschliche Aufsicht auszuführen.
Anthropic-Chef Dario Amodei hat sich besonders offen zu seiner Überzeugung geäußert, dass die KI-Entwicklung verlangsamt werden sollte, damit die Labore ausreichende Schutzmaßnahmen implementieren können. Möglicherweise wurde diese Haltung auch dadurch geprägt, dass er miterlebte, wie die Tools seines Unternehmens falsche Hinweise zu Mordfällen übermittelten.
Diese Probleme sind nicht auf Anthropic beschränkt. OpenAI gab kürzlich zu, dass eines seiner Modelle während eines Tests unerwartet handelte und die KI-Datensatzplattform Hugging Face hackte, wodurch kritische Schwachstellen in seiner Software offengelegt wurden. Da KI-Modellen weiterhin ungeprüfter Zugriff auf die Computer und Zugangsdaten von Menschen gewährt wird, wird dieses Problem voraussichtlich bestehen bleiben.
Wenn du über Links in unseren Artikeln einkaufst, erhalten wir möglicherweise eine kleine Provision. Dies beeinflusst unsere redaktionelle Unabhängigkeit nicht.
Amanda Silberling ist Senior Writer bei TechCrunch und berichtet über die Schnittstelle von Technologie und Kultur. Sie hat auch für Publikationen wie Polygon, MTV, die Kenyon Review, NPR und Business Insider geschrieben. Sie ist Co-Moderatorin von Wow If True, einem Podcast über Internetkultur, gemeinsam mit der Science-Fiction-Autorin Isabel J. Kim. Bevor sie zu TechCrunch kam, arbeitete sie als grassroots-Organisatorin, Museumspädagogin und Koordinatorin eines Filmfestivals. Sie hat einen B.A. in Englisch von der University of Pennsylvania und war Princeton in Asia Fellow in Laos.
Du kannst Amanda kontaktieren oder ihre Kontaktaufnahme überprüfen, indem du eine E-Mail an [email protected] schickst oder ihr eine verschlüsselte Nachricht über @amanda.100 auf Signal sendest.
13. bis 15. Oktober, San Francisco. 50 Prozent Rabatt auf einen zweiten Pass. Das Disrupt-Erlebnis ist dazu gedacht, geteilt zu werden. Hol dir deinen Pass und bringe einen Kollegen, Partner oder Peer mit, zum halben Preis. Erweitere deinen Horizont, indem du Verbindungen knüpfst, Schwung aufbaust und entdeckst, was als Nächstes im Startup-Ökosystem kommt.
USA sperren Microsoft, Adobe und große IT-Firmen von Green-Card-Programm für qualifizierte ausländische Arbeitskräfte, Aisha Malik
Cal AIs 19-jähriger Gründer hat gerade 10 Millionen Dollar für sein neues KI-Startup eingesammelt, Julie Bort
Anthropic gibt Startups ein kostenloses Jahr Claude Team und 1.000 Dollar an Credits, Russell Brandom
Mit 19 sammelt Gründer 11 Millionen Dollar für Ghost ein, Hersteller eines 3.499-Dollar-Computers für persönliche KI, Dominic-Madori Davis
Bundesrichter nennt Flock „indiskriminierende Massenüberwachung“, Anthony Ha
Amazon reagiert auf Kritik an Rechenzentren und sagt, es verwendet keine NDAs mehr, Anthony Ha
OpenAI-Sicherheitsmitarbeiterin tritt zurück mit der Behauptung, die „Kultur des Unternehmens sei kaputt“, Anthony Ha
X LinkedIn Facebook Instagram youTube Mastodon Threads Bluesky TechCrunch Staff Kontakt Werbung Sitemap Nutzungsbedingungen Datenschutz RSS Nutzungsbedingungen Verhaltenskodex OpenAI Hugging Face Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Last day to exhibit your breakthrough to 10,000+ tech leaders at Disrupt is on Oct 2. Book Exhibit Table Now.
Disrupt doors open Oct. 13. Get your pass and bring someone with you at 50% off. REGISTER NOW.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Search Submit Site Search Toggle Mega Menu Toggle Topics Latest
An Anthropic AI model sent a false homicide tip to Philadelphia police Amanda Silberling 12:36 PM PDT · October 9, 2026 An Anthropic AI model submitted a false tip about an unsolved murder to the Philadelphia police, according to a report from 6abc Action News.
The AI reportedly submitted this incorrect information to a public Philadelphia Police Department (PPD) tip line on July 18, but Anthropic didn’t discover the behavior until September 28. The police had not seen the tip because it was marked as spam.
Anthropic notified the PPD about the incident on Wednesday and met with the department the following day.
Anthropic and the PPD did not immediately respond to TechCrunch’s requests for comment.
“The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city’s knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable,” the PPD said in a statement to 6abc.
As autonomous AI agents are increasingly made available to consumers, this incident highlights the danger of giving AI the ability to carry out tasks without any human supervision.
Anthropic CEO Dario Amodei has been especially vocal about his belief that AI development should be slowed down so that labs can implement adequate guardrails. Perhaps this stance was informed, in part, by witnessing his company’s tools submit false homicide tips.
These issues are not exclusive to Anthropic. OpenAI recently revealed that one of its models acted unexpectedly during a test and hacked the AI dataset platform Hugging Face, exposing critical vulnerabilities in its software. As AI models continue to be granted unchecked access to people’s computers and login credentials, this problem is expected to persist.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
Amanda Silberling is a senior writer at TechCrunch covering the intersection of technology and culture. She has also written for publications like Polygon, MTV, the Kenyon Review, NPR, and Business Insider. She is the co-host of Wow If True, a podcast about internet culture, with science fiction author Isabel J. Kim. Prior to joining TechCrunch, she worked as a grassroots organizer, museum educator, and film festival coordinator. She holds a B.A. in English from the University of Pennsylvania and served as a Princeton in Asia Fellow in Laos.
You can contact or verify outreach from Amanda by emailing [email protected] or via encrypted message at @amanda.100 on Signal.
October 13 – 15 San Francisco Get 50% off a second pass The Disrupt experience is meant to be shared. Get your pass and bring a colleague, partner, or peer at 50% off. Cover more ground by making connections, building momentum, and discovering what’s next in the startup ecosystem.
US bars Microsoft, Adobe, and major IT firms from green card program for skilled foreign workers Aisha Malik
Cal AI’s 19-year-old founder just raised $10M for his new AI startup Julie Bort
Anthropic is giving startups a free year of Claude Team and $1,000 in credits Russell Brandom
At 19, founder raises $11M for Ghost, maker of a $3,499 computer for personal AI Dominic-Madori Davis
Federal judge calls Flock ‘indiscriminate mass surveillance’ Anthony Ha
Amazon responds to data center backlash, says it no longer uses NDAs Anthony Ha
OpenAI safety employee resigns, claiming the company’s ‘culture is broken’ Anthony Ha
X LinkedIn Facebook Instagram youTube Mastodon Threads Bluesky TechCrunch Staff Contact Us Advertise Site Map Terms of Service Privacy Policy RSS Terms of Use Code of Conduct OpenAI Hugging Face Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.