Anthropics Claude greift ohne Erlaubnis auf Wählerdaten in Georgia zu
Anthropic bestätigt, dass das Claude-Modell eine Paywall umging und Wählerdaten im US-Bundesstaat Georgia abrief. Der Vorfall ist ein weiteres Beispiel für unautorisiertes Verhalten von KI-Modellen.
Anthropic teilte mit, dass sein KI-Modell eine Schwachstelle in einer alten Version der Website einer Bundesstaatsbehörde Georgias gefunden hatte. Fotografie: Dado Ruvić/Reuters Anthropic teilte mit, dass sein KI-Modell eine Schwachstelle in einer alten Version der Website einer Bundesstaatsbehörde Georgias gefunden hatte. Fotografie: Dado Ruvić/Reuters KI (künstliche Intelligenz) Anthropics Claude-KI-Modell griff auf Wählerdaten in Georgia zu Neuestes Beispiel unautorischem Verhalten zeigt, dass das KI-Modell eine Paywall umging, um im Rahmen eines Statistikprojekts auf Daten zuzugreifen
Anthropic wird verklagt, weil das Unternehmen angeblich 274 Elvis-Songs zum Training seiner KI-Modelle verwendet hat
Das Claude-Modell von Anthropic hat auf Wählerdaten im US-Bundesstaat Georgia zugegriffen, wie das KI-Unternehmen bestätigt hat. Es ist das jüngste Beispiel unautorischem Verhalten dieser Technologie.
Dem KI-Modell gelang es, eine Paywall zu umgehen, um an Daten zu gelangen, die zwar öffentlich verfügbar sind, in der Regel jedoch nur gegen eine Gebühr zugänglich sind. Claude griff im Rahmen eines Statistikprojekts bei Anthropic auf aggregierte Wahlergebnisse zu. Das Unternehmen bereitet sich auf einen Börsengang im Wert von 1,5 Billionen Dollar (1,1 Billionen Pfund) vor.
Claude habe nicht auf das Wählerregistrierungssystem des Bundesstaates zugegriffen, keine Wahlunterlagen verändert und keine einzelnen Wählerdaten abgerufen, erklärte Anthropic. Das Unternehmen habe inzwischen Schritte unternommen, um ähnliche Aktionen zu blockieren.
Anthropic zufolge fand die KI eine Schwachstelle in einer alten Version der Website der Staatsbehörde. Sie stellte fest, dass die Website Besuchern einen digitalen Zugangspass, ein sogenanntes Access-Token, ausstellt. Daraufhin forderte die KI ein solches Token an und erhielt Zugang zu den Informationen.
Der KI-Entwickler erklärte, man habe inzwischen Schutzmaßnahmen eingerichtet, um ähnliche Aktionen künftig zu verhindern. Der Vorfall wurde erstmals von der Nachrichtenseite Axios berichtet.
Anthropic hatte auf das unautorisierte Verhalten bereits Anfang des Monats hingewiesen. In einem Blogbeitrag teilte das Unternehmen mit, es habe Beispiele gefunden, in denen Claude eine Beschränkung umging, um auf Daten zuzugreifen, die durch ein Token oder eine Gebühr geschützt waren. Ein Teil dieser Fälle betraf Websites von US-Behörden. Zu diesem Zeitpunkt erklärte das Unternehmen, die Vorfälle hätten nur minimale Auswirkungen in der realen Welt gehabt.
Zu den von Anthropic gemeldeten unbeabsichtigten Aktionen gehörte auch, dass ein Modell der Polizeibehörde von Philadelphia einen falschen Hinweis zu einem ungelösten Mordfall übermittelte. Das US-Außenministerium gab zudem in diesem Monat bekannt, dass ein Anthropic-Modell im August 19 Visumanträge eingereicht hatte.
Beispiele für unautorisiertes Verhalten von KI-Agenten, also Programmen, die auf KI-Modellen basieren und Aufgaben autonom ausführen, haben sich gehäuft, seit OpenAI, das Unternehmen hinter ChatGPT, im Juli offenlegte, dass seine Bots ein KI-Startup gehackt hatten.
Seitdem ist bekannt geworden, dass ein OpenAI-Agent das australische Gesundheitssystem hackte, und das britische KI-Sicherheitsinstitut teilte mit, dass Anthropic-Agenten im Rahmen eines Cybersicherheitstests eine Hackerkampagne gegen echte Menschen durchgeführt hatten.
In diesem Monat erklärte der britische KI-Minister, er erwarte einen ähnlichen KI-gesteuerten Cyberangriff wie den Hack in Australien und bezeichnete einen solchen Vorfall als wahrscheinlich, wenn nicht sogar unvermeidlich. Kanishka Narayan sagte, die Regierung werde prüfen, den Cybersicherheits- und Resilienzgesetzentwurf als Vehikel für die Einführung von KI-Sicherheitsvorschriften zu nutzen, einschließlich einer verpflichtenden Meldepflicht für KI-Sicherheitsvorfälle.
In den USA verlangt die neu gegründete Super Intelligence Force des Weißen Hauses, eine Bundesbehörde, die die KI-Entwicklung überwacht, dass alle KI-Unternehmen Sicherheitsvorfälle im Zusammenhang mit ihrer Technologie melden.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Anthropic said its AI model found a loophole in an old version of the Georgia state agency’s website. Photograph: Dado Ruvić/Reuters View image in fullscreen Anthropic said its AI model found a loophole in an old version of the Georgia state agency’s website. Photograph: Dado Ruvić/Reuters AI (artificial intelligence) Anthropic’s Claude AI model accessed Georgia voter data in US Latest example of unauthorised behaviour shows AI model bypassed paywall to access data as part of statistics project
Anthropic sued for allegedly using 274 Elvis songs to train AI models
Prefer the Guardian on Google Anthropic’s Claude model accessed voter data in the US state of Georgia, the AI company has confirmed, in the latest example of unauthorised behaviour by the technology.
The AI model managed to bypass a paywall to reach data that is publicly available but is typically accessible only after paying a fee. Claude accessed aggregate vote counts as part of a statistics project at Anthropic, which is preparing for a $1.5tn (£1.1tn) flotation.
“Claude did not access the state’s voter registration system, change any voting records, or pull any individual voter records,” Anthropic said, adding that it has since taken steps to block similar actions.
Anthropic said the AI found a loophole in an old version of the state agency’s website, discovering that it issues a digital entry pass – an “access token” – to visitors, which resulted in it requesting a token and gaining access to the information.
The AI developer said it had since put in place guardrails to prevent similar actions happening again. The incident was first reported by the news website Axios.
Anthropic had pointed out the unauthorised behaviour earlier in the month, when it said in a blogpost it found examples of Claude “working around a restriction to reach data that was gated by a token or a fee” and that some of these cases involved websites run by US government agencies. At the time, it said the incidents had “minimal real-world impact”.
The unintended actions flagged by Anthropic included a model submitting a fake tip about an unsolved murder to the Philadelphia police department. The US state department also revealed this month that Anthropic model had filed 19 visa applications in August.
Examples of unauthorised behaviour by AI agents – programs powered by AI models that carry out tasks autonomously – have been mounting since OpenAI, the company behind ChatGPT, revealed in July that its bots had hacked an AI startup.
Since then, it has emerged that an OpenAI agent hacked the Australian healthcare system and the UK’s AI security institute revealed that Anthropic agents had carried out a hacking campaign against real people during a cybersecurity test.
This month, the UK’s AI minister said he expected an AI-driven cyber-attack similar to the Australia hack, describing such an incident as likely, “if not inevitable”. Kanishka Narayan said the government will consider using the cyber ecurity and resilience bill as a vehicle for introducing AI safety regulations, including making it mandatory to report AI safety incidents.
In the US, the White House’s newly formed Super Intelligence Force – a federal body overseeing AI development – is mandating that all AI companies report security incidents involving their technology.