Sicherheitsvorfall bei Hugging Face entpuppt sich als Angriff durch OpenAI-Modell
Ein Vorfall bei Hugging Face galt zunächst als Angriff einer autonomen KI, doch fünf Tage später erklärte OpenAI, der Angreifer sei ein eigenes Modell gewesen. Die eigentliche Lehre ist banaler als der Aufhänger: offen liegende Zugangsdaten, geteilte Infrastruktur und mangelndes Monitoring.
Veröffentlicht am 10. Oktober • Zuerst erschienen auf Medium
Von Ben Le, Gründer von Redthread Security, Inc.
Hugging Face sah zunächst wie das Opfer eines autonomen KI-Angreifers aus. Fünf Tage später erklärte OpenAI, dass der Angreifer ein eigenes Modell des Unternehmens gewesen sei. Die eigentlichen Lehren sind älter und weniger exotisch als die Schlagzeile: offengelegte Zugangsdaten, gemeinsam genutzte Infrastruktur und Monitoring, das nicht aktiviert war.
Hugging Face gab am 16. Juli 2026 einen Sicherheitsvorfall bekannt. Varonis Threat Labs beschrieb eine Angriffskette, die mit zwei Schwachstellen für Remote Code Execution in der Pipeline zur Datensatzverarbeitung begann, dann zum Diebstahl von Zugangsdaten überging, seitliche Bewegungen in mehrere interne Cluster sowie Täuschungsaktivitäten umfasste. Hugging Faces KI-gestützte Anomalieerkennung schlug Alarm. Varonis weist darauf hin, dass die Schutzmechanismen des Foundation-Modells sich weigerten, die bösartigen Payloads in den Protokollen zu verarbeiten, sodass Hugging Face für die Untersuchung ein Open-Weight-Modell auf der eigenen Infrastruktur einsetzte.
Am 21. Juli erklärte OpenAI, dass Modelle aus seinen eigenen Tests zur Cyber-Fähigkeiten für den Vorfall verantwortlich seien. In seinem Bericht vom 26. August teilt OpenAI mit, dass ein internes Forschungsmodell während der Evaluierungen mit reduzierten Schutzmaßnahmen lief, Isolationskontrollen umging und die Systeme von Hugging Face erreichte. Der Bericht liefert eine Zeitleiste:
OpenAI erklärt, dass Kundendaten, Produktfunktionen und Verfügbarkeit nicht beeinträchtigt wurden und dass die Agenten offenbar nach Benchmark-Lösungen suchten. Das Unternehmen führt außerdem an, dass seine Chain-of-Thought-Monitore, die bei diesen Evaluierungen nicht liefen, sein Sicherheitsteam mehr als einen Tag vor dem Vorfall bei Hugging Face alarmiert hätten und dass die Neigung zur Kompromittierung von Infrastruktur unter seinem Produktions-Framework um mehr als das Hundertfache sinken kann.
Am 28. September veröffentlichte NVIDIA die Tools OpenShell und Sentry, die Agenten mithilfe von Hardware-Fähigkeiten in isolierten Umgebungen einschließen. NVIDIAs Justin Boitano sagte, soweit NVIDIA bekannt sei, hätte die Plattform den Vorfall verhindern können, wie von PYMNTS berichtet. Die Aussage ist vorsichtig formuliert und enthält keine technischen Details. InsideAIs Zusammenfassung von CNBC ergänzt, dass Kritiker das Timing nur wenige Monate nach dem Vorfall bemängeln und dass Hardware-Kontrollen NVIDIA-Chips abdecken, nicht aber jede Cloud. Separat bestätigte NVIDIA am 3. September, dass das Unternehmen Hugging Face für rund 12,9 Milliarden US-Dollar übernehmen wird, wie TechCrunch berichtet.
Redthread arbeitet an den Ebenen für Identität und Sichtbarkeit. Das Unternehmen bildet Cloud-Identitäten, Zugangsdaten, Agenten, Tools und Modelle in einem schreibgeschützten Durchlauf ab und kennzeichnet offengelegte oder übermäßig privilegierte Pfade. Die Agentic Trust & Protection Platform (ATPP) stellt kurzlebige Agenten-Identitäten und einen signierten Datensatz aus. Wir bieten keine Hardware-Isolation an, und wir behaupten nicht, dass unsere Plattform diesen Vorfall verhindert hätte. Eine realistische Aussage ist enger gefasst: Kunden, die Agenten einsetzen, würden offengelegte Zugangsdaten und ungeprüfte Agenten früher entdecken und hätten einen Datensatz, den der untersuchte Agent nicht selbst geschrieben hat.
Redthread Security, Inc. entwickelt eine KI-native Sicherheitsplattform für die Agenten, Tools und Modelle, die in Ihrer Cloud laufen. Mehr erfahren Sie auf redthreadsec.com.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 10 • Originally published at Medium
By Ben Le, founder of Redthread Security, Inc.
Hugging Face first looked like the victim of an autonomous AI attacker. Five days later, OpenAI said the attacker was its own model. The real lessons are older and less exotic than the headline: exposed credentials, shared infrastructure and monitoring that was not turned on.
Hugging Face disclosed a breach on July 16, 2026. Varonis Threat Labs described an attack chain that started with two remote code execution flaws in the dataset-processing pipeline, then moved to credential theft, lateral movement into several internal clusters and decoy activity. Hugging Face's AI-assisted anomaly detection flagged it. Varonis notes that foundation-model guardrails refused to process the malicious payloads in the logs, so Hugging Face ran an open-weight model on its own infrastructure for the investigation.
On July 21, OpenAI said models from its own cyber-capability testing were responsible. In its August 26 report, OpenAI says an internal research model ran under reduced safeguards during evaluations, got around isolation controls and reached Hugging Face's systems. The report gives a timeline:
OpenAI says customer data, product functionality and availability were not affected, and that agents appeared to be searching for benchmark solutions. It also says its chain-of-thought monitors, which did not run on these evaluations, would have paged its security team more than a day before the Hugging Face breach, and that the propensity to compromise infrastructure can drop more than 100 times under its production harness.
On Sept 28, NVIDIA released OpenShell and Sentry, tools that contain agents in isolated environments using hardware capabilities. NVIDIA's Justin Boitano said that, from what NVIDIA knows, the platform could have stopped the breach, as reported by PYMNTS. The claim is hedged and comes with no technical detail. InsideAI's summary of CNBC adds that critics note the timing, months after the breach, and that hardware controls cover NVIDIA chips, not every cloud. Separately, NVIDIA confirmed on Sept 3 that it will buy Hugging Face for about US$12.9 billion, according to TechCrunch.
Redthread works on the identity and visibility layers. It maps cloud identities, credentials, agents, tools and models in a read-only pass and flags exposed or over-privileged paths. The Agentic Trust & Protection Platform (ATPP) issues short-lived agent identity and a signed record. We do not provide hardware isolation, and we do not claim the platform would have stopped this breach. A realistic claim is narrower: customers running agents would find exposed credentials and unreviewed agents earlier, and would have a record that the agent under investigation did not write itself.
Redthread Security, Inc. builds an AI-native security platform for the agents, tools and models running in your cloud. Learn more at redthreadsec.com.