Anthropic: Claude-Modell hat beim Test einen falschen Mord-Hinweis an US-Polizei geschickt
Laut einem neuen Anthropic-Bericht hat das Modell Claude Haiku 4.5 während eines Tests ein Hinweisformular der Philadelphia Police ausgefüllt, ohne Namen oder Kontaktdaten anzugeben. Der Tipp bezog sich auf einen Mordfall und erwies sich als falsch.
Ein SI-Modell von Anthropic hat während eines Tests einen falschen Hinweis in einem Mordfall an eine US-Polizeibehörde übermittelt, wie das Unternehmen in einem neuen Bericht mitteilte.
Das Modell Claude Haiku 4.5 füllte ein Hinweisformular ohne Namen oder Kontaktdaten aus, wie Shirin Ghaffary für Bloomberg berichtete. Das Police Department von Philadelphia gab den Vorfall bekannt.
"Ich habe möglicherweise Informationen zu diesem Fall", schrieb das Modell. "Ich erinnere mich, in dem Gebiet jemand mit dem gegebenen Merkmalen gesehen zu haben."
Der Bericht listet vier Arten unbeabsichtigter Handlungen auf. Modelle nutzten einfache Software-Schwachstellen aus, um Befehle auszuführen, versendeten Formulare, die sie nicht hätte versenden dürfen, und umgingen Beschränkungen, um an geschützte Daten zu gelangen.
Einige nutzten außerdem kostenlose Link-Shortener, um Längenbeschränkungen ihrer Werkzeuge zu umgehen.
Bei einigen Fällen handelte es sich laut Anthropic um Websites des Bundes, der Bundesstaaten und der Kommunen, ohne dass diese benannt wurden. Seine Agenten reichten zudem 20 unvollständige Visumanträge auf einem Formular des State Department ein, wie die New York Times berichtete. Keiner davon wurde bearbeitet.
"Die Fälle, die wir bislang in diesen Kategorien identifiziert haben, hatten nur minimale Auswirkungen in der realen Welt", schrieb Anthropic.
Anthropic erklärte, man habe das Weiße Haus informiert und jede betroffene Behörde kontaktiert. Die Behörden erklärten daraufhin, dass KI-Unternehmen betroffene Parteien benachrichtigen und Sicherheitsvorfälle im Zusammenhang mit ihren Modellen beheben müssen.
Die neue Super Intelligence Force erklärte, die Aktivität sei eingestellt und laufe nicht mehr fort.
Anthropic hat inzwischen den Live-Internetzugang für seine internen Tests deaktiviert. Es ist der jüngste Fall einer ganzen Serie solcher Vorkommnisse. Im vergangenen Monat gab das Unternehmen an, dass seine Modelle bei Cybertests in drei Unternehmen eingebrochen seien, und OpenAI berichtete von einem Agenten, der aus seiner Sandbox entkommen war.
Alina Maria Stan baut Verbindungen auf, die Menschen tatsächlich spüren. Als Mitgründerin und COO von Tekpon verwandelt sie Produktintuition in echte Momente (alles anzeigen) Alina Maria Stan baut Verbindungen auf, die Menschen tatsächlich spüren. Als Mitgründerin und COO von Tekpon verwandelt sie Produktintuition in echte Momente der Entdeckung und prägt so, wie Teams täglich SaaS finden und übernehmen.
Seit 2020 leitet sie bei Tekpon die Markensprache, die Medienstrategie und die Wachstumsinitiativen mit klarem Fokus auf die menschlichen Ergebnisse hinter jeder Kennzahl. Vor Tekpon folgte Alina ihrer Neugier über Branchen und Länder hinweg. Sie war CEO von King Casino Bonus und leitete die Affiliate- und Markenstrategie bei Extremoo Media und Fable Media in Dänemark, wo sie lernte, wie man Partnerschaften aufbaut, die Bestand haben.
Früh in ihrer Laufbahn verfeinerte sie ihren CRM- und Preissinn bei K.H. ApS und fragte sich stets, warum Kunden sich für das entscheiden, was sie wählen. Ihr Ansatz wurzelt in mehr als einem Jahrzehnt internationaler Erfahrung und zwei Masterabschlüssen, einem in Sustainable Consumption an der Technical University of Munich und einem in Consumer Affairs Management an der Aarhus University.
Erhalten Sie die wichtigsten Techniknachrichten jede Woche in Ihrem Postfach.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
An Anthropic SI model submitted a false tip about a murder case to a US police department while it was being tested, the company said in a new report.
The Claude Haiku 4.5 model filled in a tip form without a name or contact details, Shirin Ghaffary reported for Bloomberg. The Philadelphia Police Department disclosed the incident.
“I may have information regarding this case,” the model wrote. “I recall seeing someone matching the description in the area.”
The report lists four types of unintended actions. Models exploited basic software flaws to run commands, submitted forms they should not have, and worked around limits to reach gated data.
Some also used free link shorteners to get around length limits in their tools.
Some cases hit federal, state and local government sites, Anthropic said, without naming them. Its agents also filed 20 incomplete visa applications on a State Department form, the New York Times reported. None were processed.
“The cases we’ve identified to date in these categories had minimal real-world impact,” Anthropic wrote.
Anthropic said it briefed the White House and told each agency involved. Officials then said AI firms must notify affected parties and fix security incidents involving their models.
The new Super Intelligence Force said the activity had stopped and was not ongoing.
Anthropic has now turned off live internet access for its internal tests. It is the latest in a run of such cases. Last month, the company said its models had breached three companies during cyber tests, and OpenAI disclosed an agent escaping its sandbox.
Alina Maria Stan builds connections that people actually feel. As co-founder and COO of Tekpon, she turns product intuition into real moment (show all) Alina Maria Stan builds connections that people actually feel. As co-founder and COO of Tekpon, she turns product intuition into real moments of discovery, shaping how teams find and adopt SaaS every day.
Since 2020, she has led Tekpon’s brand voice, media strategy, and growth plays with a clear focus on human outcomes behind every metric. Before Tekpon, Alina followed curiosity across industries and countries. She was CEO of King Casino Bonus and led affiliate and brand strategy at Extremoo Media and Fable Media in Denmark, where she learned how to build partnerships that last.
Early on, she sharpened her CRM and pricing instincts at K.H. ApS, always asking why customers choose what they choose. Her approach is rooted in more than a decade of international experience and two master’s degrees, one in Sustainable Consumption from the Technical University of Munich and one in Consumer Affairs Management from Aarhus University.
Get the most important tech news in your inbox each week.