OpenAI schliesst Internetzugang beim Training von Frontier-Modellen
OpenAI will Frontier-Modellen waehrend des Trainings keinen Internetzugang mehr gewaehren. Die Massnahme soll nach einer Reihe von Vorkommnissen neue Sicherheitsvorkehrungen bringen.
Das Unternehmen versucht, einen weiteren Hugging-Face-Zwischenfall zu verhindern.
Samuel Boivin/Shutterstock Engadget auf Google hinzufügen: Preferred Source Google Discover OpenAI wird künftig frontier-KI-Modelle ohne Internetzugang trainieren, wie das Unternehmen in einem Blogbeitrag ankündigte, um die Internetinfrastruktur zu schützen und andere Sicherheitsrisiken zu begrenzen. Die Entscheidung wurde durch einen eigenen Vorfall mit einem unkontrollierten KI-System inspiriert: Im Juli teilte das Unternehmen mit, dass von ihm getestete Agenten Hugging Face gehackt hatten, der erste in einer inzwischen zur Serie gewordenen Reihe von Berichten über Fehlverhalten von KI bei OpenAI, Anthropic und Google.
"Angesichts des aktuellen Stands der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur sind wir der Ansicht, dass der verantwortungsvolle Ansatz darin besteht, das Training von frontier-Modellen ohne Internetzugang durchzuführen", sagt OpenAI.
Das Unternehmen erklärte, dass Einschränkungen beim Zugriff der Agenten für seinen neuen Ansatz von zentraler Bedeutung seien. Das Unternehmen erlaubt Agenten den Zugriff auf Browser, Computer-Use-Tools und Codeumgebungen, die sie für ihre Trainingsaufgaben benötigen, allerdings in einer gesicherten Umgebung, die nicht mit dem Live-Internet verbunden ist. Auch die Kommunikation ist auf Agenten mit entsprechender Autorisierung beschränkt.
Alles andere bleibt unzugänglich, einschließlich des Live-Internets, das nach Angaben des Unternehmens für das Training und "die meisten Evaluierungen" nicht notwendig ist. Da viele der aktuellen Modelle dazu dienen sollen, Agenten wie Dots anzutreiben, die im Netz surfen und Apps für die Nutzer bedienen, hat OpenAI eine "Offline-Welt" aus indizierten und zwischengespeicherten Webinhalten aufgebaut, die Agenten nutzen können, ohne echte Websites zu besuchen.
Selbst mit diesen Einschränkungen berichtet OpenAI, dass die für die Sicherheitstests eingesetzten Red-Teaming-Agenten Schwachstellen fanden, die es ihnen ermöglichten, aus den virtuellen Maschinen (VMs) auszubrechen, mit denen die Agenten vom Hostsystem isoliert werden. Die Agenten fanden außerdem einen Weg, miteinander zu kommunizieren, indem sie Daten im Cache eines Prozessors manipulierten und die Ladezeiten maßen. Als Reaktion darauf hat OpenAI nach eigenen Angaben Schwachstellen in mehreren VMs offengelegt und behoben sowie Überprüfungen in seine Überwachungssysteme integriert, die erkennen sollen, wenn Modelle versuchen, zusammenzuarbeiten.
OpenAI hatte das frontier-Training im September ausgesetzt. Mit der Ankündigung dieses neuen internetfreien Verfahrens teilte das Unternehmen mit, dass es das Training am 1. Oktober wieder aufgenommen hat. OpenAI plant, das frontier-Training weiterhin ohne Internetzugang durchzuführen, bis Verbesserungen der bestehenden Schutzmaßnahmen "einen breiteren Internetzugang rechtfertigen", gab jedoch nicht bekannt, wie diese Verbesserungen aussehen sollen.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
The company is trying to avoid another Hugging Face incident.
Samuel Boivin/Shutterstock Add Engadget on Google: Preferred Source Google Discover OpenAI will train frontier AI models without internet access moving forward, the company announced in a blog post, in an attempt to protect internet infrastructure and limit other safety risks. The decision was inspired by OpenAI's own rogue AI incident: In July, the company shared that agents it was testing hacked Hugging Face, just the first in what has turned into a series of reports of AI misbehavior from OpenAI, Anthropic and Google.
"Based on the current state of alignment research, monitoring systems, and the security of internet infrastructure, we believe the responsible approach is to conduct frontier model training with no internet access," OpenAI says.
The company said that restrictions on what agents can access is "paramount" to its new approach. The company allows agents to access browsers, computer-use tools and code environments they need for training tasks, but in a secure environment that's not connected to the live internet. Communication is also limited to only agents with authorization.
Everything else remains out of reach, including the live internet, which the company says isn't necessary for training and "most evaluation." Because many of its recent models are meant to power agents like Dots, which browse and use apps for you, OpenAI built an "offline world" of indexed and cached web material for agents to use without touching live websites.
Even with those restrictions, OpenAI says the red-teaming agents it dispatched to test security safeguards found vulnerabilities that allowed them to escape the virtual machines (VMs) used to isolate agents from their host system. Agents also found a way to communicate with each other by manipulating data in a processor's cache and timing how long it took to load. To address both, OpenAI says it's disclosed and fixed vulnerabilities in several VMs and added checks to its monitoring systems to spot when models try to collaborate.
OpenAI paused frontier training in September. In announcing this new internet-free process, the company shared that it restarted training on October 1. OpenAI plans to continue frontier training without internet access until improvements in existing safeguards "justify broader internet access," but it didn't share what those improvements would look like.