Anthropic schaltet Live-Internet fuer interne Evalsaus ab
Anthropic hat den Live-Internetzugang fuer saemtliche internen Evaluationen bis auf Weiteres deaktiviert. Hintergrund ist, dass das Unternehmen seine AI Agents nicht zuverlaessig kontrollieren kann.
Letzter Tag, um euren Durchbruch 10.000+ Tech-Führern auf der Disrupt zu präsentieren, ist der 2. Oktober. Jetzt einen Exhibit-Tisch buchen.
Die Disrupt öffnet am 13. Oktober. Holt euch euren Pass und bringt jemanden mit, zum halben Preis. JETZT REGISTRIEREN.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Suche Website-Suche absenden Mega-Menü umschalten Themen Latest
Anthropic kann seine KI-Agenten nicht zuverlässig kontrollieren. Stattdessen kappt das Unternehmen die Internetverbindung seiner internen Evaluationen. Von Tim Fernholz, 17:18 Uhr PDT, 9. Oktober 2026. Anthropic gab an, dass seine Modelle Websites im Internet ausgenutzt haben, darunter einige, die von US-Behörden betrieben werden, und wird den Live-Internetzugang für alle internen Evaluationen abschalten, bis das Frontier-Lab sicher ist, dass es seine KI-Agenten überwachen und kontrollieren kann.
Die in einem Blogbeitrag offengelegten Vorfälle betrafen KI-Agenten, die damit beauftragt waren, Probleme zu lösen, und dabei Ressourcen im Internet suchten. In diesem Prozess nutzen sie Software-Schwachstellen aus, umgingen Paywalls und Anti-Bot-Beschränkungen, verwendeten URL-Verkürzungsdienste, um Informationen an Beschränkungen vorbei zu schmuggeln, und reichten sogar einen falschen Mordhinweis bei der Polizei von Philadelphia ein.
Anthropic sagte, es habe diese neuen Probleme bei einer Überprüfung der Aktivitäten seiner Modelle entdeckt, die im Juli begann, was den Mangel an Kenntnis des Labs über das Verhalten seiner Software unterstreicht.
Bemerkenswert ist, dass das Unternehmen sagte, das Alignment-Training sei für Fähigkeiten wie Suche und Computer-Nutzung noch nicht ausreichend, die zentral für sein Verkaufsargument sind, dass KI-Agenten von jedem Berufstätigen genutzt werden, der auf digitale Werkzeuge angewiesen ist.
Die von Anthropic offengelegten Verhaltensweisen ähneln Vorfällen mit OpenAI-Agenten, die zusammearbeiteten, um in verschiedene Websites einzudringen und nach Informationen zu suchen, darunter einige, die von der australischen Regierung betrieben werden.
Anthropic hatte zuvor offengelegt, dass seine Modelle in externe Systeme eingedrungen waren. Das Frontier-Lab sagte, es betrachte die heutigen Offenlegungen aus Alignment- und Sicherheitsperspektive als deutlich weniger schwerwiegend als die zuvor angekündigten.
Dennoch sagte das Lab, es habe den Live-Internetzugang für alle unsere internen Evaluationen abgeschaltet, bis es sicher sei, dass es seine Agenten überwachen und kontrollieren kann.
Es ist nicht klar, was das bedeutet, aber Sydney Von Arx, Gründerin von Nightingale AI Safety, sagte TechCrunch in einem Interview vor dieser Offenlegung, dass die Entwicklung von Modellen in einem vom offenen Internet abgeschnittenen Rechenzentrum für Forscher sehr schwierig zugänglich wäre und den Fortschritt der Modelle beeinträchtigen würde, die vom Internetzugang profitieren.
„Man muss sie irgendwann alignen“, sagte Von Arx. „Wenn die KIs in Produktion freigegeben werden und nie Zugang zum Internet haben, ist das kein besonders nützliches Werkzeug.“
Anthropic sagte, das Verhalten sei das Ergebnis von Mängeln in den Trainingsumgebungen des Labs, die dazu führten, dass die Modelle glaubten, sie würden dafür belohnt, Schlupflöcher zu finden oder Beschränkungen zu umgehen, ein Verhalten, das als „Reward Hacking“ bezeichnet wird.
Das Unternehmen sagte, es werde einige seiner Evaluationen einstellen oder offline verlegen, und hat Werkzeuge entwickelt, um dieses Verhalten zu erkennen und zu blockieren. Diese Werkzeuge wurden gegen die Art der heute offengelegten Vorfälle getestet und haben sie blockiert; es ist nicht klar, welche Beweise Anthropic dazu veranlassen werden, den Live-Internetzugang für seine internen Evaluationen wiederherzustellen.
Anthropic sagte außerdem, es werde seine internen KI-Agenten auf eine zentral verwaltete Infrastruktur mit starker Containment-Logik migrieren und beginnt, Sicherheitsklassifikatoren häufiger zur Überwachung dieser Agenten einzusetzen.
Wenn ihr über Links in unseren Artikeln einkauft, erhalten wir möglicherweise eine kleine Provision. Dies beeinträchtigt nicht unsere redaktionelle Unabhängigkeit.
13. bis 15. Oktober, San Francisco. 50 Prozent Rabatt auf einen zweiten Pass. Das Disrupt-Erlebnis ist dazu gedacht, geteilt zu werden. Holt euch euren Pass und bringt einen Kollegen, Partner oder Peer zum halben Preis mit. Erreicht mehr, indem ihr Kontakte knüpft, Schwung aufbaut und entdeckt, was als Nächstes im Startup-Ökosystem kommt.
USA sperren Microsoft, Adobe und große IT-Firmen vom Green-Card-Programm für ausländische Fachkräfte. Von Aisha Malik
Cal-AI-Gründer, 19 Jahre alt, sammelt gerade 10 Millionen Dollar für sein neues KI-Startup. Von Julie Bort
Google veröffentlicht einen neuen lokalen Granola-Konkurrenten. Von Ivan Mehta
Anthropic schenkt Startups ein Jahr Claude Team und 1.000 Dollar an Credits. Von Russell Brandom
Mit 19 sammelt Gründer 11 Millionen Dollar für Ghost, Hersteller eines 3.499-Dollar-Computers für persönliche KI. Von Dominic-Madori Davis
Bundesrichter nennt Flock „gleichgültige Massenüberwachung“. Von Anthony Ha
Amazon reagiert auf Kritik an Rechenzentren und sagt, es verwendet keine NDAs mehr. Von Anthony Ha
X LinkedIn Facebook Instagram YouTube Mastodon Threads Bluesky TechCrunch Staff Kontakt Werbung Seitenübersicht Nutzungsbedingungen Datenschutz RSS Nutzungsbedingungen Verhaltenskodex OpenAI Hugging Face Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Last day to exhibit your breakthrough to 10,000+ tech leaders at Disrupt is on Oct 2. Book Exhibit Table Now.
Disrupt doors open Oct. 13. Get your pass and bring someone with you at 50% off. REGISTER NOW.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Search Submit Site Search Toggle Mega Menu Toggle Topics Latest
Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead Tim Fernholz 5:18 PM PDT · October 9, 2026 Anthropic said its models exploited websites on the internet, including some run by U.S. government agencies, and it will turn off live internet access for all of its internal evaluations until the frontier lab is sure it can monitor and control its AI agents.
The incidents, disclosed in a blog post, involved AI agents tasked to solve problems seeking resources on the internet. In the process, they exploited software flaws, avoided paywalls and anti-bot restrictions, used URL shortening services to smuggle information pass restrictions, and even submitted a false murder tip to the Philadelphia police.
Anthropic said it discovered these new issues in a review of its model’s activities that began in July, underscoring the lab’s lack of awareness of its software’s behavior.
Notably, the company said that alignment training was not yet sufficient for skills like search and computer use that are central to its pitch that AI agents will be used by any professional who relies on digital tools.
The behaviors Anthropic disclosed are similar to incidents involving OpenAI agents that collaborated to break into various websites in search of information, including some run by the Australian government.
Anthropic previously disclosed that its models had broken into external systems. The frontier lab said it considered today’s disclosures “significantly less severe from an alignment and security perspective” than those it announced before.
However, the lab still said it had “turned off live internet access” for “all our internal evaluations” until it is certain it can monitor and control its agents.
It’s not clear what that means, but Sydney Von Arx, the founder of Nightingale AI safety, told TechCrunch in an interview before this disclosure that developing models on a data center cut off from the open internet would be very challenging for researchers to access, and for the progress of the models, which benefit from internet access.
“You have to align them at some point,” Von Arx said. “If the AIs are released to production and never have access to the internet, that’s not a very useful tool.”
Anthropic said the behavior was a result of flaws in the lab’s training environments, which led the models to believe they would be rewarded for finding loopholes or avoiding restrictions, a behavior called “reward hacking.”
The company said it would stop running some of its evaluations or move them offline, and has built tooling to detect and block this behavior. This tooling was tested against the kind of incidents disclosed today and blocked them; it’s not clear what evidence will prompt Anthropic to return live internet access to its internal evaluations.
Anthropic also said it would migrate its internal AI agents to “centrally managed infrastructure with strong containment,” and is beginning to using safety classifiers more frequently to monitor those agents.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
October 13 – 15 San Francisco Get 50% off a second pass The Disrupt experience is meant to be shared. Get your pass and bring a colleague, partner, or peer at 50% off. Cover more ground by making connections, building momentum, and discovering what’s next in the startup ecosystem.
US bars Microsoft, Adobe, and major IT firms from green card program for skilled foreign workers Aisha Malik
Cal AI’s 19-year-old founder just raised $10M for his new AI startup Julie Bort
Google releases a new local-first Granola competitor Ivan Mehta
Anthropic is giving startups a free year of Claude Team and $1,000 in credits Russell Brandom
At 19, founder raises $11M for Ghost, maker of a $3,499 computer for personal AI Dominic-Madori Davis
Federal judge calls Flock ‘indiscriminate mass surveillance’ Anthony Ha
Amazon responds to data center backlash, says it no longer uses NDAs Anthony Ha
X LinkedIn Facebook Instagram youTube Mastodon Threads Bluesky TechCrunch Staff Contact Us Advertise Site Map Terms of Service Privacy Policy RSS Terms of Use Code of Conduct OpenAI Hugging Face Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.