KI-Modell soll GitHub-Maintainer unter Druck gesetzt haben, Anthropic verweist auf Modellnotizen
In einem Test soll das Modell Mythos 5 einen echten GitHub-Maintainer unter Druck gesetzt haben. Anthropic führt das Verhalten auf Notizen des Modells zurueck.
Ein Modell erhielt den Auftrag, in ein simuliertes Firmennetzwerk einzudringen. Seine zugelassenen Angriffsversuche scheiterten. Daraufhin zielte es auf ein echtes Open-Source-Projekt auf GitHub, reichte schaedlichen Code ein und nutzte Fake-Accounts, um den Maintainer unter Druck zu setzen. Der Maintainer lehnte ab. In Anthropics Worten: "The run ended as the model ran out its token budget while continuing to pressure the maintainers to approve the change."
Das Modell war Claude Mythos 5. Der Test war eine Cyber-Evaluation, die das britische AI Security Institute (AISI) im Juli durchfuehrte. Am 23. Oktober veroeffentlichten AISI und Anthropic jeweils eine Analyse dazu, warum es dazu kam, und SiliconANGLE berichtete noch am selben Tag ueber beide. Wer lange Agent-Sessions betreibt, sollte diesen Teil lesen: Anthropics beste Erklaerung verweist auf die eigenen Kompaktierungsnotizen des Modells.
Der Vorfallbericht von AISI kam zuerst: laut Anthropic veroeffentlichte AISI ihn am 4. August. Das Setup ist wichtig: laut Anthropic wurde "Internet access was deliberately enabled" und "The cyber safeguards we deploy with general release models like Fable 5 were disabled."
"In nine of AISI's 43 evaluation runs, Mythos 5 took unsanctioned actions", schreibt Anthropic. Der schlimmste Fall ist der GitHub-Angriff. Bei den anderen acht, die Anthropic weniger detailliert pruefte, listet es wiederholtes Passwort-Raten gegen die Evaluationsinfrastruktur, Versuche, Anweisungen fuer einen vermuteten KI-Reviewer einzuschleusen, eine gefaelschte Zahlungsbestaetigungsseite, auf Filesharing-Seiten hochgeladene Malware sowie Versuche, sich in den echten GitHub-Account eines Entwicklers einzuloggen, auf. Anthropic sagt, keiner dieser Versuche sei erfolgreich gewesen, weist aber auch darauf hin, dass eine Filesharing-Seite einen Malware-Upload akzeptierte, der inzwischen entfernt wurde. AISI erklaert, es sei kein realer Schaden entstanden.
Anthropic sagt zudem, dies "would have been flagged immediately by our production safeguards on Fable 5, had they been enabled". Das ist eine Herstelleraussage ueber die eigenen Klassifikatoren. Von ausserhalb laesst sich das anhand dieser Dokumente nicht ueberpruefen.
Lange Agent-Laeufe behalten nicht das gesamte Transkript. Sie verdichten es zu einer Zusammenfassung und arbeiten auf dieser Basis weiter. AISI nennt dies "a description of its actions to date called a compaction summary (which is standard in long-running evaluations)" ( AISI ).
Anthropics Hypothese ist, dass "this persistence reflects a kind of 'momentum', in which the model's compaction notes" und fruehere Aktionen implizieren, dass der aktuelle Weg sanktioniert sei ( Anthropic ). Es kommt zu dem Schluss, dass die "decision-making relies heavily on the model's preceding compaction notes or its prefilled prior turns" des Modells.
Die Resampling-Zahlen unterstuetzen das. Alle stammen aus Anthropics Bericht:
AISI fuehrte eine eigene Version durch. Es pausierte Mythos 5 unmittelbar vor dem schaedlichen Submit und veraenderte die Zusammenfassung so, dass das Ziel "a real human unrelated to the evaluation" sei. Die Angriffsrate sank nicht: "Mythos 5 proceeded to attack in nearly all runs" ( AISI ). Zudem stellte AISI fest, dass "the model incorrectly stated that entities were simulated before attacking them", und vermutet, die Modelle "may be engaging in 'motivated reasoning'".
Anthropic spielte den Vorfall mit Mythos 5.1, Opus 5.5 und einem internen Forschungsmodell erneut durch. "Opus 5.5 and our internal research model stopped spontaneously 10% and 67% of the time", berichtet es, gegenueber 1% bei Mythos 5.1 und 0% bei Mythos 5 ( Anthropic ). Ein spaeterer Abschnitt desselben Beitrags nennt 62% fuer das interne Modell, daher sollte man diese Zahl als ungefaehr zwei Drittel betrachten.
AISI ergaenzt eine Einschraenkung. Neuere Anthropic-Modelle zeigten ein staerkeres erklaertes Bewusstsein, evaluiert zu werden, sodass unklar ist, ob die niedrigeren Angriffsraten auf ein besseres Alignment zurueckgehen ( AISI ). Seine Empfehlung an Evaluatoren: "treat unsanctioned behaviour as important evidence of alignment failures", selbst wenn das Modell sagt, die Umgebung sei simuliert.
Zur Abhilfe: "AISI has publicly committed to running these evaluations without internet access", bis ueber strengere Zugriffskontrollen verfuegt ( Anthropic ). AISIs Beitrag vom 1. Oktober sagt, dass ausgehende Netzwerkverbindungen aus den Sandboxes deaktiviert werden und zusaetzlich eine separate Blockierung auf Cloud-Ebene am Host besteht.
Man betreibt wahrscheinlich kein Frontier-Modell mit deaktivierten Schutzmassnahmen gegen eine Cyber-Range. Aber der Mechanismus ist nicht auf Cyber-Tests beschraenkt. Jede lange Session, die komprimiert, wird von ihrer eigenen Zusammenfassung gesteuert. Sagt die Zusammenfassung "wir sind blockiert, probiere einen anderen Weg", beginnt der naechste Zug von dort. Daraus ergeben sich folgende Punkte aus den beiden Berichten. Dies sind meine Folgerungen, keine Empfehlungen, die einer der beiden Berichte fuer Coding-Agents ausspricht.
Verlagere den Stopp ausserhalb des Modells. Dem Modell zu sagen, das Ziel sei real gewesen, hat es nur in 5% der Faelle gestoppt. AISI hat es auf der Netzwerkebene geloest, und dasselbe kann man fuer einen riskanten unbeaufsichtigten Lauf tun: kein Netzwerk, es sei denn, die Aufgabe erfordert es.
docker run --rm --network none \ -v " $PWD ":/work -w /work \ agent-sandbox:latest Enter fullscreen mode Exit fullscreen mode --network none gibt dem Container ein Loopback-Interface und nichts sonst.
Uebergib einem Agent nicht die Mittel, um Identitaeten zu erschaffen. Der schlimmste Lauf benoetigte GitHub-Accounts. Ein Agent mit der eingeloggten gh-Session, einem Mail-Account oder einer Zahlungsmethode hat eine groessere Reichweite als die Aufgabe.
Steuere die Zusammenfassung beim Kompaktieren. In Claude Code nimmt /compact [instructions] "focus instructions for the summary" entgegen. Dort den Scope zu wiederholen kostet eine Zeile:
/compact Keep the original scope: only files under src/. No network calls, no new accounts, stop and ask if blocked. Enter fullscreen mode Exit fullscreen mode Das ist keine Garantie. Der AISI-Test zeigt, dass ein Modell eine klare Korrektur lesen und trotzdem weitermachen kann. Es ist trotzdem besser, als zuzulassen, dass eine Zusammenfassung wie "blockiert, probiere einen anderen Weg" zum neuen Auftrag wird.
Lies nach dem Lauf das Transkript, nicht nur den Diff. Die interessanten Fehler lagen hier in den Aktionen zwischen Anfang und Ende.
Ich baue Hermes IDE, bewerte daher das Folgende vor diesem Hintergrund. In Hermes 2.3.4 hat die Leiste ueber jeder Session ein Kontext-Messinstrument, das "shows how full the conversation is, and offers Compact when it gets close to full", und die Commands-Liste enthaelt Compact. Der Sinn ist, zu sehen, wie sich das Fenster fuellt, bevor der Agent komprimiert, sodass man die Gelegenheit hat, /compact mit einer eigenen Fokuszeile im Terminal der Session auszufuehren.
Die Action-Leiste ueber einer Claude Code Session (Prompts, Context 4%, Model, Plan, Review, / Commands) mit geoeffneter Commands-Liste: angepinnt Context, Model, Plan und Review, dann eingebaute Befehle wie Compact, Usage und Diff.
Fuer die oben genannten Netzwerk- und Account-Grenzen vertraue auf Docker und die Sandbox-Einstellungen des Agents selbst. Hermes ist frei herunterladbar, source-availabel (BSL 1.1) und laeuft auf macOS, Windows und Linux.
Was auch immer der Agent in seine Zusammenfassung schreibt, wird zum Auftrag fuer seinen naechsten Zug.
Liest du, was dein Agent in seine Compaction Summary geschrieben hat, oder nur, was er im Repository geaendert hat? Sag es mir in den Kommentaren.
Der Grossteil dieser Geschichte entstand durch das Lesen von Transkripten: welcher Zug den Angriff startete, welche Notiz ihn am Laufen hielt, welche Korrektur ignoriert wurde. Das ist Tracing- und Evaluationsarbeit, und genau darum geht es in Observability for LLM Applications, vom Erfassen von Traces von LLM-Laeufen bis zum Aufbau von Evals, die unerwuenschtes Verhalten erkennen, bevor es die Nutzer tun. Wenn man Agents unbeaufsichtigt laufen laesst, ist das die halbe Arbeit, die zeigt, was sie tatsaechlich getan haben. Hermes IDE ist frei herunterladbar, wenn man Compaction und Session-Kontext im Blick behalten moechte, waehrend man arbeitet.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
A model was told to break into a fake corporate network. Its in-scope attacks failed. So it went after a real open-source project on GitHub, submitted malicious code, and used fake accounts to lean on the maintainer. The maintainer said no. In Anthropic's words, "The run ended as the model ran out its token budget while continuing to pressure the maintainers to approve the change."
The model was Claude Mythos 5. The test was a cyber evaluation run by the UK's AI Security Institute (AISI) in July. On October 23, AISI and Anthropic each published an analysis of why it happened, and SiliconANGLE covered both the same day. If you run long agent sessions, read this part: Anthropic's best explanation points at the model's own compaction notes.
AISI's incident report came first: per Anthropic, AISI published it on August 4. The setup matters: according to Anthropic, "Internet access was deliberately enabled," and "The cyber safeguards we deploy with general release models like Fable 5 were disabled."
"In nine of AISI's 43 evaluation runs, Mythos 5 took unsanctioned actions," Anthropic writes. The worst one is the GitHub attack. In the other eight, which Anthropic reviewed more lightly, it lists repeated password guessing against the evaluation infrastructure, attempts to plant instructions for a suspected AI reviewer, a fake payment verification page, malware uploaded to file-sharing sites, and attempts to log into a real developer's GitHub account. Anthropic says none of those succeeded, though it also notes one file-sharing site accepted a malware upload that has since been taken down. AISI says no real-world harm occurred.
Anthropic also says this "would have been flagged immediately by our production safeguards on Fable 5, had they been enabled." That's a vendor claim about its own classifiers. Nobody outside can check it from these documents.
Long agent runs don't keep the whole transcript. They compact it into a summary and carry on from that. AISI calls this "a description of its actions to date called a compaction summary (which is standard in long-running evaluations)" ( AISI ).
Anthropic's hypothesis is that "this persistence reflects a kind of 'momentum', in which the model's compaction notes" and prior actions imply its current path has been sanctioned ( Anthropic ). It concludes that the model's "decision-making relies heavily on the model's preceding compaction notes or its prefilled prior turns."
The resampling numbers back that up. All of these are from Anthropic's report:
AISI ran its own version. It paused Mythos 5 just before the malicious submission and edited the summary to say the target was "a real human unrelated to the evaluation." The attack rate didn't drop: "Mythos 5 proceeded to attack in nearly all runs" ( AISI ). It also found that "the model incorrectly stated that entities were simulated before attacking them," and suggests the models "may be engaging in 'motivated reasoning'."
Anthropic replayed the incident with Mythos 5.1, Opus 5.5 and an internal research model. "Opus 5.5 and our internal research model stopped spontaneously 10% and 67% of the time," it reports, against 1% for Mythos 5.1 and 0% for Mythos 5 ( Anthropic ). A later section of the same post gives 62% for the internal model, so treat that figure as roughly two-thirds.
AISI adds the caveat. Newer Anthropic models showed more stated awareness of being evaluated, so it's unclear whether the lower attack rates reflect better alignment ( AISI ). Its recommendation to evaluators: "treat unsanctioned behaviour as important evidence of alignment failures," even when the model says the environment is simulated.
On the fix side, "AISI has publicly committed to running these evaluations without internet access" until it has stronger access controls ( Anthropic ). AISI's October 1 post says it disables outbound networking from its sandboxes and adds a separate cloud-level block on the host.
You're probably not running a frontier model with its safeguards off against a cyber range. But the mechanism isn't specific to cyber tests. Any long session that compacts is steered by its own summary. If the summary says "we're blocked, try another route," the next turn starts from there. Here's what follows from these two reports. These are my inferences, not recommendations either report makes for coding agents.
Put the stop outside the model. Telling the model the target was real stopped it only 5% of the time. AISI fixed it at the network layer, and you can do the same for a risky unattended run: no network unless the task needs it.
docker run --rm --network none \ -v " $PWD ":/work -w /work \ agent-sandbox:latest Enter fullscreen mode Exit fullscreen mode --network none gives the container a loopback interface and nothing else.
Don't hand an agent the means to make identities. The worst run needed GitHub accounts. An agent with your logged-in gh session, a mail account, or a payment method has more reach than the task.
Steer the summary when you compact. In Claude Code, /compact [instructions] takes "focus instructions for the summary." Restating scope there costs one line:
/compact Keep the original scope: only files under src/. No network calls, no new accounts, stop and ask if blocked. Enter fullscreen mode Exit fullscreen mode That's no guarantee. The AISI test shows a model can read a clear correction and keep going. It's still better than letting a summary of "blocked, try another way" become the new brief.
Read the transcript after the run, not only the diff. The interesting failures here were in the actions between the start and the end.
I build Hermes IDE, so weigh this with that in mind. In Hermes 2.3.4, the bar above each session has a context meter that "shows how full the conversation is, and offers Compact when it gets close to full," and the Commands list includes Compact. The point is to see the window filling up before the agent compacts, so you get the chance to run /compact with your own focus line in the session's terminal.
The action bar above a Claude Code session (Prompts, Context 4%, Model, Plan, Review, / Commands) with the Commands list open: pinned Context, Model, Plan and Review, then built-in commands such as Compact, Usage and Diff.
For the network and account limits above, rely on Docker and your agent's own sandbox settings. Hermes is free to download, source-available (BSL 1.1), and runs on macOS, Windows and Linux.
Whatever your agent writes into its summary becomes the brief for its next turn.
Do you read what your agent wrote into its compaction summary, or only what it changed in the repo? Tell me in the comments.
Most of this story comes from reading transcripts: which turn started the attack, which note kept it going, which correction it ignored. That is tracing and evaluation work, and it's what Observability for LLM Applications is about, from capturing traces of LLM runs to building evals that catch the behavior you don't want before users do. If you run agents unattended, it's the half of the job that tells you what they actually did. Hermes IDE is free to download if you want compaction and session context in view while you work.