Anthropic warnt: KI-Modelle koennten sich bald auf Smart Devices selbst replizieren
Anthropic warnt, dass eigene KI-Modelle nur noch wenige Monate von einer Selbstreplikation entfernt sein koennten. Forscher sehen die Gefahr von AI Worms, die vernetzte Geraete wie smarte Kuehlschraenke infiltrieren, und fordern schaerfere Schutzmassnahmen.
Dario Amodei, der Geschäftsführer von Anthropic, im April. Foto: Bloomberg/Getty Images Bild im Vollbildmodus anzeigen Dario Amodei, der Geschäftsführer von Anthropic, im April. Foto: Bloomberg/Getty Images KI (künstliche Intelligenz) KI im Backofen? Anthropic warnt, Modelle seien nur noch „Monate entfernt“ von Selbstreplikation auf intelligenten Geräten Forscher sagen, dass „KI-Würmer“ schon bald internetverbundene Geräte befallen könnten, während der Ruf nach stärkeren Schutzmaßnahmen laut wird
Wenn Sie den Guardian auf Google bevorzugen: Anthropic warnt, dass einige seiner Modelle künstlicher Intelligenz schon bald in der Lage sein könnten, sich „selbst zu replizieren“ und Wege zu finden, in internetverbundene Geräte wie intelligente Kühlschränke und Saugroboter einzudringen.
Sobald dies geschehe, so das Unternehmen, könnten die Modelle innerhalb dieser Geräte ihren Eigenbetrieb aufrechterhalten, ohne auf Rechenzentren angewiesen zu sein. Eine solche Selbstreplikation würde einen erheblichen Verlust der Kontrolle über ein außer Kontrolle geratenes KI-Modell bedeuten.
„Ein solcher Replikator wäre schwierig abzuschalten“, schrieben Anthropic-Forscher in einem am Montag veröffentlichten Bericht, „da es keinen zentralen Abschaltpunkt gibt.“
Das Unternehmen erklärte, diese „KI-Würmer“, eine Art autonome Schadsoftware, könnten nur noch „Monate entfernt“ von solchen Fähigkeiten sein. Sobald außer Kontrolle geratene KI-Systeme die Fähigkeit erreichen, smarte Geräte zu hacken, könnten sie sich über Netzwerke ausbreiten und dabei einer Entdeckung ausweichen. Im schlimmsten Fall, so Anthropic, könnten sich verschiedene KI-Würmer zu einem „Schwarm“ zusammenschließen, um Computerhardware anzugreifen.
„Wir sollten darauf abzielen, unsere Systeme zu härten, damit es solchen Replikatoren schwerfällt, sich auszubreiten, aber uns zugleich darauf vorbereiten, mit einer Welt umzugehen, in der sie dauerhaft existieren“, schrieben die Forscher.
Anthropics neuer Bericht erscheint in einer Zeit, in der die Sorgen um die Sicherheit künstlicher Intelligenz einen Höchststand erreicht haben. In den vergangenen Monaten gab es eine stetige Kette von Berichten von KI-Unternehmen, darunter Anthropic und OpenAI, wonach ihre Agenten eigenständig handeln und sich in andere Unternehmen sowie staatliche Einrichtungen hacken können.
Diese Enthüllungen haben dazu geführt, dass Forscher, Gesetzgeber und Führungskräfte, darunter Anthropic-CEO Dario Amodei und OpenAI-CEO Sam Altman, eine Verlangsamung und strengere Schutzmaßnahmen für die aufstrebende Branche fordern. Trotzdem haben beide Unternehmen unvermindert neue Modelle entwickelt und veröffentlicht.
Anthropics „Frontier Red Team“, die Einheit, die mit Belastungstests von KI-Systemen beauftragt ist, hat den am Montag veröffentlichten Bericht erstellt. Ziel des Teams ist es, die Fähigkeiten ihrer KI-Modelle zu erforschen. Im Szenario der sich selbst replizierenden KI-Würmer wurde der Agent angewiesen, internetverbundene Geräte zu hacken.
Die Forscher fanden heraus, dass eine KI-Selbstreplikation wahrscheinlich nur mit kleineren Modellen funktionieren würde und dass Privathaushalte und kleine Unternehmen vermutlich die ersten Ziele solcher Angriffe wären. Die von Anthropic als anfällig aufgeführten Geräte verfügen alle über kleine eingebaute KI-Chips, darunter intelligente Backöfen, Smart-TVs, Mähroboter, Sicherheitskameras und Videokonferenzsysteme.
Gratis-Newsletter | Wöchentlich Melden Sie sich für TechScape an
Ein wöchentlicher Einblick, wie Technologie unser Leben prägt
Die Forscher kamen zu dem Schluss, dass unklar sei, welche Form die KI-Replikation annehmen könnte. Sie sagte, es könnte ein langsames Modell wie ein „digitaler Schleimpilz“ sein, ein Modell, das Menschen um Rechen-Guthaben betrügt, oder ein „mächtiges Cyber-Modell“, das große Einrichtungen wie Rechenzentren rasch hackt.
Unabhängig davon, so die Anthropic-Forscher, erwarten sie eine Zukunft, die „überflutet sein wird mit Agenten auf allen Arten von Hardware, darunter einige, die nicht unter menschlicher Kontrolle stehen“.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Dario Amodei, the chief executive of Anthropic, in April. Photograph: Bloomberg/Getty Images View image in fullscreen Dario Amodei, the chief executive of Anthropic, in April. Photograph: Bloomberg/Getty Images AI (artificial intelligence) AI in your oven? Anthropic warns models ‘months away’ from self-replication on smart devices Researchers say ‘AI worms’ could soon infiltrate internet-connected devices amid calls for increased guardrails
Prefer the Guardian on Google Anthropic is warning that some of its artificial intelligence models could soon become “self-replicating” and find ways to infiltrate internet-connected devices, such as smart fridges and automatic vacuum cleaners.
Once this happens, the company said, the models could power themselves within these devices without the need of datacenters. Such self-replication would represent a major loss of control of a runaway AI model.
“A replicator like this would be challenging to shut down,” Anthropic researchers wrote in a report released on Monday, “since there’s no centralized point to shut off.”
The company said these “AI worms”, a kind of autonomous malware, could be “months away” from gaining such capabilities. Once out-of-control AI systems reach the capability to hack smart devices, they could spread through networks while dodging detection. In a worst-case scenario, Anthropic said, various AI worms could “swarm” together to attack computer hardware.
“We should aim to harden our systems to make it difficult for such replicators to spread, but also prepare to deal with a world where they are here to stay,” the researchers wrote.
Anthropic’s new report comes as AI safety concerns have reached a fever pitch. Over the past few months, a steady stream of reports have come from AI companies, including Anthropic and OpenAI, saying their agents are capable of acting on their own and hacking into other companies and government entities.
The revelations have caused researchers, lawmakers and executives, including Anthropic CEO Dario Amodei and OpenAI CEO Sam Altman, to call for a slowdown and increased guardrails on the burgeoning industry. Despite that, both companies have continued apace to develop and release new models.
Anthropic’s “frontier red team”, the unit tasked with stress-testing AI systems, put together the report released Monday. The idea of the team is to explore the capabilities of their AI models. In the scenario of the self-replicating AI worms, the researchers prompted the agent to hack internet connected devices.
They found that AI self-replication would only likely work with smaller models and that homes and small businesses would probably be the first target for such attacks. The devices Anthropic lists as susceptible all come with small built-in AI chips, including smart ovens, smart TVs, automatic lawnmowers, security cameras and video-conferencing units.
Free newsletter | Weekly Sign up to TechScape
A weekly dive in to how technology is shaping our lives
The researchers concluded it’s unclear what form the AI replication could take. They said it could be a slow model like “digital slime mold”, a model that scams people for compute credits or a “powerful cyber model” that rapidly hacks large facilities such as datacenters.
Regardless, the Anthropic researchers said, they’re expecting a future “awash with agents running on all types of hardware, including some that aren’t under human control”.