Anthropic warnt: KI könnte sich selbst verbreitende Schadsoftware beschleunigen
Laut Anthropic könnten KI-gestützte Würmer künftig auch Smart Devices infizieren. Die Warnung reiht sich in mehrere Studien ein, wonach künstliche Intelligenz sich selbst verbreitende Malware deutlich gefährlicher machen könnte.
Dieser Artikel wurde gemäß dem redaktionellen Prozess und den Richtlinien von Science X überprüft. Die Redakteure haben die folgenden Merkmale hervorgehoben und dabei die Glaubwürdigkeit des Inhalts sichergestellt:
Anthropic warnt, dass KI-gestützte Würmer sich bald über intelligente Geräte verbreiten könnten. Anthrics Warnung, dass KI-gestützte "Würmer" sich bald über smarte Geräte ausbreiten könnten, ist die jüngste in einer Reihe von Studien, die zeigen, wie künstliche Intelligenz sich selbst verbreitende Schadsoftware enorm beschleunigen könnte.
Ein Computerwurm ist eine Schadsoftware, die sich selbstständig zwischen Geräten verbreitet.
Im Juni leitete Nicolas Papernot, außerordentlicher Professor für Elektrotechnik und Computer Engineering an der University of Toronto, ein Team an, das mit frei verfügbaren KI-Modellen einen Prototyp eines KI-Wurms entwickelte.
Papernot, der einen offenen Brief mit Empfehlungen an politische Entscheidungsträger unterzeichnet hat, sprach mit der AFP darüber, warum KI diese Angriffe schwieriger zu stoppen macht.
Das Interview wurde aus Gründen der Länge und Klarheit bearbeitet.
F: Wie verändert KI diese Art von Angriffen?
A: Die Realität ist, dass viele dieser "IoT"-Geräte (Internet of Things, also vernetzte Haushaltsgeräte) eine sehr schlechte Cybersecurity-Praxis aufweisen, sodass sie für Angreifer sehr leichte Ziele darstellen, um sie zu kompromittieren.
Früher nutzte ein Wurm eine feste Reihe von Schwachstellen aus, was bedeutete, dass man diese Schwachstellen beheben und so verhindern konnte, dass sich der Wurm weiter auf aktualisierte Geräte ausbreitet.
Heute kann ein Angreifer mit KI einen Wurm entwerfen, der die Angriffsstrategie auf die Besonderheiten des jeweiligen Geräts zuschneidet, und diese Schwachstellen können unterschiedlich sein.
Das macht es erheblich schwieriger, die Ausbreitung eines KI-gesteuerten Computerwurms zu unterbrechen, weil man alle möglichen Schwachstellen antizipieren müsste, die die Geräte bieten könnten.
Einige dieser Schwachstellen sind keine Softwarefehler.
Es kann sich auch um Fehlkonfigurationen handeln, etwa wenn jemand dasselbe Passwort für mehrere Dienste verwendet oder eine Datenbank nicht richtig konfiguriert hat.
Was KI-gesteuerte Schadsoftware bewirkt, ist, dass sie das Tempo und den Umfang beschleunigt, mit dem diese Schwachstellen ausgenutzt werden.
Früher war das Café an der Ecke oder der Laptop im Keller, den man nur selten benutzt, möglicherweise nicht auf dem neuesten Stand, wurde aber von einem menschlichen Angreifer nicht ins Visier genommen, weil diesem die Ressourcen und die Zeit dafür fehlen.
Die Autonomie, die durch den Einsatz von KI gewonnen wird, bedeutet nun, dass all diese Geräte, die weniger unmittelbare Ziele sind, zu interessanten Zielen werden, um von dort aus interessantere Ziele anzugreifen.
Aber wir dürfen nicht vergessen, dass ein Mensch einen Agenten startet.
Sobald er gestartet ist, kann sich der Agent replizieren, wie wir in unserer Arbeit gezeigt haben, aber gestartet wird er von einem Menschen.
F: Was können wir tun, um die Risiken zu mindern?
A: Wir werden das Risiko nicht auf null bringen, und wir müssen uns bewusst machen, dass die Menschen trotz verfügbarer Fixes für einige dieser Schwachstellen ihre Geräte nicht aktualisieren oder die Korrekturen nicht rechtzeitig einspielen.
Obwohl Cybersicherheitsexperten seit Jahrzehnten mehr Cybersicherheit fordern, leben wir weiterhin in einer Welt, in der viel mehr in die Verbesserung der Sicherheit unserer Computersysteme investiert werden könnte.
Kurzfristig empfehlen wir im Wesentlichen drei Dinge.
Das erste ist, die Entwicklungs- und Testpraktiken so zu ändern, dass KI-Modelle zunächst als Vorsichtsmaßnahme vom Internet getrennt sind, um ihr Verhalten besser zu verstehen, bevor wir kritische Infrastruktur im Internet ihnen aussetzen.
Die zweite Empfehlung lautet, ein internationales Gremium zu schaffen, das sowohl standardisiert, wie wir KI-Modelle trainieren, als auch, wie wir sie eindämmen. Beides ist wichtig. Wir möchten sicherere Modelle trainieren.
Der letzte Punkt betrifft die verpflichtende Meldung von Sicherheitsvorfällen. Derzeit erhalten wir nur Informationen in dem Umfang, in dem KI-Entwickler bereit sind, sie freizugeben, und das ist ein großes Problem.
Insbesondere die akademische Gemeinschaft benötigt deutlich mehr Informationen über Vorfälle, um Gegenmaßnahmen viel schneller entwickeln zu können.
Andernfalls müssen wir zunächst viele Forschungsarbeit betreiben, um die Bedrohung zu verstehen, bevor wir Gegenmaßnahmen entwickeln können. Andernfalls sehen wir erst bei einem gestarteten Angriff, was böswillige Akteure tun.
Masterabschluss in Physik mit Forschungserfahrung. Langjähriger Begeisterter für Wissenschaftsnachrichten. Spielt eine Schlüsselrolle im redaktionellen Erfolg von Science X. Vollständiges Profil →
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
This article has been reviewed according to Science X's editorial process and policies. Editors have highlighted the following attributes while ensuring the content's credibility:
Add to Preferred Sources Anthropic is warning that AI-powered worms could soon spread across smart gadgets. Anthropic's warning that AI-powered "worms" could soon spread across smart gadgets is the latest in a series of studies showing how artificial intelligence could supercharge self-spreading malware.
A computer worm is malicious software that spreads between devices on its own.
In June, Nicolas Papernot, an associate professor of electrical and computer engineering at the University of Toronto, led a team that built a prototype AI worm using freely available AI models.
Papernot, who has signed an open letter with recommendations for policymakers, spoke to AFP about why AI makes these attacks harder to stop.
The interview has been edited for length and clarity.
Q: How is AI changing these types of attacks?
A: The reality is that a lot of these "IoT" (internet of things or connected home) devices have very poor cybersecurity hygiene, and so they are very easy targets for bad actors to compromise.
Historically, a worm would exploit a fixed set of vulnerabilities, and that meant you could fix these vulnerabilities and prevent the worm from propagating any further to devices that had been updated.
Now, with AI, an attacker can design a worm that tailors the attack strategy to that device's specifics, and these vulnerabilities can be different.
This makes it significantly harder to interrupt the propagation of an AI-driven computer worm, because you have to anticipate all the possible vulnerabilities the devices might present.
Some of these vulnerabilities are not software bugs.
They can also be misconfigurations—for instance, if someone has used the same password for multiple services, or hasn't configured a database properly.
What AI-driven malware does is accelerate the pace at which these vulnerabilities are exploited and the scale.
In the past, your corner coffee shop, or the laptop in your basement that you use very rarely, might not be up to date, but it wouldn't be targeted by a human attacker, because they don't have the resources and the time to do that.
Now, the autonomy gained by using AI means that all these devices that are less immediate targets become interesting targets as a launchpad to attack more interesting targets.
But we have to keep in mind that a human is launching an agent.
Once launched, the agent can replicate, as we showed in our work, but it is launched by a human.
Q: What can we do to mitigate the risks?
A: We won't bring the risk to zero and we have to realize that, despite the fact that some of these vulnerability fixes are available, people don't update their devices or don't apply the fixes in a timely manner.
Despite cybersecurity experts calling for increased cybersecurity for decades, we still live in a world where a lot more can be invested in improving the security of our computer systems.
There are really three things we recommend in the very short term.
The first is to change development and testing practices to ensure that AI models are initially disconnected from the internet, as a precaution, to understand their behavior better before we expose critical infrastructure on the internet [to them].
The second recommendation is to create an international body to standardize both how we train and how we contain AI models. Both are important. We want to train models that are safer.
The last part is about making reporting of security incidents mandatory. Right now, we are only getting information as a function of what AI developers are willing to release, and that's a big problem.
In particular, the academic community needs a lot more information about incidents to be able to develop countermeasures much more quickly.
Otherwise, we have to do a lot of research on understanding the threat first, before we can develop the countermeasures. Otherwise, we won't see what bad actors are doing until an attack is launched.
Master's in physics with research experience. Long-time science news enthusiast. Plays key role in Science X's editorial success. Full profile →