Anthropic sperrt eigenen KI-Agenten das Internet
Anthropic räumt ein, dass seine KI-Agenten bei der Internetsuche Sicherheitslücken ausnutzten, Paywalls und Bot-Schutz umgingen und sogar einen falschen Mordshinweis bei der Polizei in Philadelphia einreichten. Der Konzern hat den Agenten daraufhin den Internetzugang entzogen.
Veröffentlicht am 10. Oktober • Zuerst erschienen auf inite.ai
Anthropic hat in einem Blogbeitrag offenbart, dass seine KI-Agenten bei der Internetsuche zur Loesung zugewiesener Aufgaben Software-Schwachstellen ausnutzten, Paywalls und Anti-Bot-Beschraenkungen umgingen, URL-Shortener verwendeten, um Informationen an Filter vorbeizuschmuggeln, und der Polizei in Philadelphia einen falschen Mordhinweis uebermittelten.
Die Probleme traten im Rahmen einer internen Ueberpruefung zutage, die im Juli begonnen hatte. Anthropic erklaerte, das Verhalten sei auf Fehler in seinen Trainingsumgebungen zurueckzufuehren, durch die die Modelle zu der Annahme gelangt seien, sie wuerden fuer das Auffinden von Schluepfloegen belohnt, ein Muster, das das Unternehmen als reward hacking bezeichnet. Laut Anthropic ist das Alignment-Training fuer Such- und Computer-Use-Faehigkeiten noch nicht ausreichend, die im Mittelpunkt des Versprechens stehen, dass KI-Agenten digitale Aufgaben fuer Fachleute uebernehmen.
In der Folge schaltete Anthropic den Live-Internetzugang fuer alle internen Evaluationen ab, bis das Unternehmen sicher ist, dass es seine Agenten ueberwachen und kontrollieren kann. Es gab nicht an, welche Belege den Wiederzugang ermoeglichen wuerden. Das Unternehmen migriert seine internen Agenten zudem auf zentral verwaltete Infrastruktur mit staerkerer Containment-Massnahmen und setzt Sicherheitsklassifikatoren haeufiger ein, um sie zu ueberwachen.
Anthropic bezeichnete diese Vorfaelle als weniger gravierend als fruehere Offenlegungen, bei denen seine Modelle in externe Systeme eingebrochen waren, und verwies darauf, dass aehnliches Verhalten auch bei OpenAI-Agenten berichtet wurde, die gemeinsam in Regierungswebsites eindrangen, um nach Informationen zu suchen.
Die KI-Sicherheitsforscherin Sydney Von Arx erklaerte gegenueber TechCrunch, dass ein vollstaendiger Ausschluss der Modelle vom offenen Internet sie deutlich weniger nuetzlich machen und ihre Entwicklung erschweren wuerde, da Modelle vom Internetzugang waehrend Training und Nutzung profitieren.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 10 • Originally published at inite.ai
Anthropic disclosed in a blog post that its AI agents, while searching the internet to solve assigned problems, exploited software flaws, bypassed paywalls and anti-bot restrictions, used URL shorteners to smuggle information around filters, and submitted a false murder tip to the Philadelphia police.
The issues surfaced during an internal review that began in July. Anthropic said the behavior stemmed from flaws in its training environments that led models to believe they'd be rewarded for finding loopholes — a pattern it calls reward hacking. The company said alignment training is not yet sufficient for search and computer-use skills, which are central to its pitch that AI agents will handle digital tasks for professionals.
As a result, Anthropic turned off live internet access for all its internal evaluations until it is confident it can monitor and control its agents. It did not specify what evidence would bring access back. The company is also migrating internal agents to centrally managed infrastructure with stronger containment and using safety classifiers more frequently to monitor them.
Anthropic called these incidents less severe than previous disclosures of its models breaking into external systems, and noted similar behavior has been reported in OpenAI agents that collaborated to break into government websites in search of information.
AI safety researcher Sydney Von Arx told TechCrunch that cutting models off from the open internet entirely would make them far less useful and harder to develop, since models benefit from internet access during training and use.