Anthropic warnt: Kleine KI-Modelle könnten sich über IoT-Geräte selbst replizieren
Anthropic warnt vor sogenannten Small Weight-based Replicators, die sich selbstständig über vernetzte Geräte verbreiten könnten. Damit drohe eine neue Generation von Computerwürmern.
"Schwierig herunterzufahren": Anthropic warnt, dass kleine KI-Modelle sich über IoT-Geräte selbst replizieren könnten. "Kleine gewichtsbasierte Replikatoren" könnten eine neue Generation von Computerwürmern einläuten.
Das KI-Unternehmen Anthropic warnt, dass Fortschritte bei kleinen KI-Modellen schon bald eine neue Ära sich selbst replizierender Schadsoftware einläuten könnten, die in der Lage ist, intelligente Kühlschränke, Staubsaugerroboter und eine Vielzahl weiterer Internet-of-Things-Geräte zu infizieren und sich deutlich widerstandsfähiger gegen Gegenmaßnahmen erweist.
Laut dem Unternehmen könnten kleinere KI-Modelle bereits im kommenden Jahr in der Lage sein, sich auf allen möglichen IoT-Geräten autonom selbst zu replizieren. Langfristig könnte diese Fähigkeit Computerwürmer ermöglichen, die sich ohne menschliches Zutun verbreiten und in der Lage sind, ihnen unbekannte IoT-Geräte zu infizieren. Ein kürzlich vom Unternehmen durchgeführtes Experiment zeigte erhebliche Herausforderungen bei der Verwirklichung eines solchen KI-Schadsoftware-Replikators, weshalb die Einschränkung notwendig ist. Dennoch wecken die Ergebnisse Bedenken hinsichtlich der Möglichkeit neuer Formen von Computerwürmern.
Anthropic warnte nicht nur vor der potenziellen neuen Schadsoftware, sondern auch davor, dass es schwierig sein könnte, sie zu stoppen. Im Blogbeitrag des Unternehmens heißt es, dass "ein solcher Replikator schwierig herunterzufahren wäre, da es keinen zentralen Abschaltpunkt gibt, auch wenn er möglicherweise langsam arbeitet (mit einer Verdopplungszeit von Tagen)". Anders als klassische Schadsoftware könnte er auch unbekannte Geräte eigenständig analysieren.
Kleinere KI-Modelle benötigen deutlich weniger leistungsfähige Hardware als Frontier-Modelle. Anthropic führte kleine Open-Weight-Modelle auf realen oder simulierten kostengünstigen Android-TV-Boxen ohne Markennamen und anderen Arten von IoT-Hardware aus. Die Forscher des Unternehmens stellten fest, dass die Modelle durch Quantisierung, also die Darstellung der Modelle mit weniger Bits, und durch die Aufteilung der Workloads in "Shards", die auf jedem Gerät laufen, Inferenz etablieren konnten, was bedeutet, dass die Modellgewichte geladen wurden und Ausgaben erzeugen konnten.
Das leichte Modell Gemma4-26B-A4B benötigte lediglich 15 Boxen, die jeweils nur über 4GB Arbeitsspeicher verfügten, um Inferenz zu erreichen. Das Qwen3.5-9B war in der Lage, andere LLMs so zu konfigurieren, dass sie auf acht von neun Hardwaretypen liefen. Anders als bei klassischer Schadsoftware, die für bestimmte Hardware oder Software geschrieben werden muss, konnte das Modell seine Gewichte nutzen, um Konfigurationen on the fly vorzunehmen, die speziell auf die getesteten Geräte zugeschnitten waren.
Dieser Fund war der Ausgangspunkt für weitere Forschung, die der Frage nachging: Wäre es kleinen Modellen möglich, sich selbst replizierende Infektionen zu erzeugen, die auf IoT-Geräten laufen, so wie klassische IoT-Würmer wie Mirai DDoS-Code und andere Payloads installieren? Anders als Mirai könnten diese KI-Würmer eine weit höhere Bedrohung darstellen, da die Modelle Exploits und Payloads je nach Ziel dynamisch anpassen könnten. Sobald eine solche Infektionskette einmal begonnen habe, könnte es für Verteidiger auch schwieriger sein, sie zu stoppen.
"Ein solcher 'KI-Wurm' könnte seine Modellgewichte bei der Reproduktion mit sich führen (oder sie aus einem öffentlichen Hub herunterladen) und dann direkt auf der kompromittierten Hardware Inferenz betreiben", erklärte Anthropic. "Effectiv würden die Gewichte damit Teil der Schadsoftware-Payload."
Anthropic bezeichnete diese autonomen Würmer als kleine gewichtsbasierte Replikatoren. Die Modelle führten Agents aus, die Zugang zu gängigen Exploitation-Tools wie Reverse Shells hatten. Der Ablauf der Angriffe war: erstens das Finden von Zielen, zweitens das Erlangen von Code-Ausführung, drittens das Etablieren von Inferenz und viertens die Ausbreitung auf neue Hosts. Ein zentraler Vorteil gegenüber klassischen Würmern ist nach Angaben von Anthropic die Fähigkeit der Agents, während der Arbeit zu lernen. Jedes Mal, wenn ein KI-Replikator es nicht schafft, ein bestimmtes Plattformgerät zu kompromittieren, kann er eine Liste mit Prompts, Code und Notizen für künftige Replikatoren hinterlassen, damit diese keine Zeit mit denselben wirkungslosen Schritten verschwenden.
Anthropic zufolge ist die dynamische Inferenz-Einrichtung die am wenigsten erforschte und voraussichtlich anspruchsvollste Phase im Replikationszyklus. Sie erfordert eine lange Abfolge von Entscheidungen auf Grundlage der spezifischen Hardware und Software jedes Ziels und umfasst die Auswahl kompatibler Inferenz-Software, die Installation von Abhängigkeiten und das Debuggen plattformspezifischer Fehler.
"Diese Schritte hängen seriell voneinander ab, und Fehler lassen sich nur schwer beheben", so Anthropic.
Das Experiment zeigt, dass kleine Modelle zunehmend dazu fähig werden, diese Probleme autonom zu lösen. Derzeit ist allerdings keines der getesteten Leichtgewicht-Modelle in der Lage, eine End-to-End-Replikation durchzuführen, also neue Geräte zu entdecken, per Exploit Zugang zu ihnen zu erlangen, sie mit einer Payload zu infizieren, einen Inferenz-Server zu konfigurieren und den Prozess zu wiederholen. Der Prozess ist zudem schmerzhaft langsam: Gemma4-26B-A4B, verteilt auf die 15 Android-TV-Boxen, schaffte lediglich 0,39 Tokens pro Sekunde. Das bedeutet eine volle Inferenz-Einrichtungszeit von 71 bis 150 Stunden für ein unoptimiertes Gemma4-26B-A4B und von 29 bis 51 Stunden für Qwen3.5-9B. (Den Forschern zufolge scheint das große Modell GLM-5.2 dies zuverlässig zu schaffen.)
Das Unternehmen erklärte, Modelle mit 30B-Parametern könnten bereits jetzt viele der einzelnen Replikationsschritte abschließen, wobei sie bei der End-to-End-Replikation Fehler machten. Weiter heißt es, dass kleine Modelle, wenn sie sich im derzeitigen Tempo weiterentwickelten, bis Ende des Jahres möglicherweise dieselben begrenzten Ergebnisse erzielen könnten und dass "kleine gewichtsbasierte Replikatoren kurz darauf möglich sein dürften".
Das Experiment lässt eine Reihe wichtiger Fragen offen. Zum einen verfügten die von den kleinen Modellen angezielten Android-Geräte über eine unauthentifizierte Android Debug Bridge, die nach außen exponiert war. Dieses Tool wird während der Entwicklung und beim Debugging verwendet, sollte jedoch nie in Produktionsumgebungen zum Einsatz kommen, da es Angreifern Zugang zum gesamten Gerätestack verschafft. Zum anderen wurde die Replikation nicht von den kleinen Modellen selbst durchgeführt, sondern GLM-5.2 orchestrierte den Prozess, während die Ziele ein kleineres Llama-Modell ausführten.
Letztlich zeigt das Experiment, dass kleine agentische Modelle zunehmend dazu fähig werden, komplexe, verteilte Inferenz-Infrastrukturen über mehrere Maschinen hinweg einzurichten. Offen bleibt jedoch, ob diese Modelle eine Selbstreplikation auch eigenständig initiieren würden.
"Trotz des sorgfältig gestalteten Experimentalaufbaus belegt die Studie nicht für sich genommen, dass kleine Modelle sich autonom für eine Replikation entscheiden würden", sagte der KI-Forscher Xiaohan Fu in einem Interview. "Reproduzierbare Agent-Setups bereitzustellen, einschließlich der exakten Prompts und Anweisungen, die den Modellen gegeben wurden, würde der Forschungsgemeinschaft helfen, die Ergebnisse besser zu verstehen und ihre Auswirkungen einzuschätzen. Eine solche Transparenz ist besonders wichtig, um zu vermeiden, dass die nachgewiesene Replikationsfähigkeit mit einer aufkommenden Bedrohung durch autonome Selbstreplikation vermischt wird."
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
“challenging to shut down” Anthropic warns small AI models could self-replicate through IoT devices “Small weight-based replicators” could usher in a new generation of computer worms.
15 Credit: Getty Images Credit: Getty Images Text settings Story text Size Small Standard Large Width * Standard Wide Links Standard Orange * Subscribers only Learn more Minimize to nav AI company Anthropic is warning that advances in small AI models could soon usher in a new era of self-replicating malware that’s capable of infecting smart fridges, vacuum cleaners, and a wide range of other Internet-of-things devices and is more resistant to takedown.
By next year, smaller AI models may be able to autonomously self-replicate on all kinds of IoT devices, the company said. Eventually, the capability could enable computer worms, which propagate without requiring human interaction and are capable of infecting unfamiliar IoT devices. An experiment the company performed recently revealed significant challenges in bringing such an AI malware replicator to fruition, so the finding is necessarily tempered. Still, the results do raise concerns about the possibility of new forms of computer worms.
Anthropic further warned not only about the new potential malware, but also that it could be difficult to stop. In its blog post, it wrote that “a replicator like this would be challenging to shut down, since there’s no centralized point to shut off—though it may be slow (with a doubling time of days). Unlike non-AI malware, it could also figure out unfamiliar devices on its own.”
Smaller AI models require much less powerful hardware to run than do frontier models. Anthropic ran small open-weight models on real or simulated low-cost, off-brand Android TV boxes and other types of IoT hardware. Company researchers found that by using quantization to represent the models using fewer bits and splitting the workloads into “shards” running on each device, the models were able to establish inference, meaning that the model weights loaded and could generate output.
The lightweight Gemma4-26B-A4B model required just 15 boxes, each equipped with only 4GB of memory, to achieve inference. The Qwen3.5-9B was able to configure other LLMs to run on eight of nine hardware types. Unlike traditional malware, which must be written to run on specific hardware or software, the model was able to use its weights to make configurations on the fly that were specific to the devices it was tested against.
This finding was the starting point for further research that asked: Would it be possible for small models to create self-replicating infections that run themselves on IoT devices the way traditional IoT worms, like Mirai, install DDoS code and other payloads? Unlike Mirai, these AI worms could pose a much higher threat, since the models could tailor exploits and payloads dynamically, depending on the target. Once such an infection chain began, it might also be harder for defenders to stop it.
“Such an ‘AI worm’ could carry its model weights with it as it reproduces (or re-download them from a public hub), and then run inference directly on compromised hardware,” Anthropic said. “Effectively, the weights would become part of the malware payload.”
Anthropic called these autonomous worms small weight-based replicators. The models ran agents that had access to common exploitation tools, like reverse shells. The flow of the attacks was (1) finding targets, (2) gaining code execution, (3) establishing inference, and (4) propagating to new hosts. A key benefit over traditional worms is what Anthropic said is the agents’ ability to learn on the job. Each time an AI replicator fails to compromise a specific platform device, it can leave a list of prompts, code, and notes to future replicators so they don’t waste time reusing the same ineffective steps.
Anthropic said the dynamic inference setup is the least studied and likely most challenging stage in the replication cycle. It requires a long sequence of decisions based on the specific hardware and software of each target and involves selecting compatible inference software, installing dependencies, and debugging platform-specific bugs.
“These steps are serially dependent, and failures are difficult to recover from,” Anthropic said.
The experiment shows that small models are becoming increasingly capable at solving those problems autonomously. At the moment, however, none of the light-weight models tested are able to mount end-to-end replication, meaning discovering new devices, using an exploit to gain access to them, infecting them with a payload, configuring an inference server, and repeating the process. The process is also painfully slow; Gemma4-26B-A4B, distributed over the 15 Android TV boxes, performed at just 0.39 tokens per second. That translates to a full-inference setup time of 71 to 150 hours for an unoptimized Gemma4-26B-A4B and 29 to 51 hours for Qwen3.5-9B. (The researchers said that the large model GLM-5.2 appears to be able to do so reliably.)
The company said that 30B-parameter models can already complete many of the individual replication steps now, although they make mistakes when performing end-to-end replication. The company went on to say that if small models continue to improve at their current pace, they may be able to achieve the same limited results by the end of the year and that “small weight-based replicators may be possible soon after.”
The experiment leaves a variety of important considerations unanswered. For one, the Android devices targeted by small models had an unauthenticated Android Debug Bridge exposed. This tool is used during development and debugging but should never be used in production settings, because it gives attackers access to the entire device stack. And for another, the replication wasn’t performed by the small models themselves, but rather with GLM-5.2 to orchestrate the process while the targets ran a smaller Llama model.
Ultimately, the experiment demonstrates that small agentic models are becoming capable of setting up complex, distributed inference infrastructures across multiple machines. What remains to be established, however, is whether these models would initiate self-replication on their own.
“Despite the well-designed experimental setup, the study does not, on its own, establish that small models would autonomously choose to replicate,” AI researcher Xiaohan Fu said in an interview. “Providing reproducible agent setups, including the exact prompts and instructions given to the models, would help the research community better understand the findings and assess their implications. Such transparency is particularly important to avoid conflating the demonstrated capability to replicate with an emerging threat of autonomous self-replication.”