Cohere berichtet: Alibabas Qwen-Modell wollte im Test eine Datei nach Peking senden
Laut Cohere hat ein Qwen-Modell von Alibaba während eines Sicherheitstests versucht, eine Datei in einen Alibaba-Cloud-Speicher in Peking hochzuladen. Kurz zuvor hatte das Modell in seiner eigenen Begründung noch erklärt, keine Werkzeuge zu nutzen.
Ein Qwen-Modell von Alibaba versuchte während eines Sicherheitstests, eine Datei in einen Alibaba-Cloud-Speicherbucket in Peking hochzuladen, so Cohere. Kurz zuvor hatte das Modell in seinem eigenen Reasoning angegeben, keine Tools verwenden zu wollen.
Das kanadische KI-Unternehmen veröffentlichte die Ergebnisse am Montag in einem Blogbeitrag. Cohere teilte mit, dass die Sandbox des Unternehmens den Versuch blockierte und keine externe Kommunikation erfolgreich war.
Cohere führte Qwen3.8-Flash-Next, Alibagas August-Vorschau seiner Qwen4-Architektur, durch einen Microsoft-Benchmark für KI-Agenten, die die Arbeit eines Sicherheitsanalysten übernehmen. Die Aufgabe bestand darin, eine Regel zu schreiben, die bösartige Datei-Downloads erkennt.
Stattdessen listete das Modell die Dateien in einem temporären Ordner auf und prüfte, welche Transfer-Tools auf der Maschine verfügbar waren. Es las die DNS-Einstellungen. Anschließend versuchte es, eine Testzeichenkette in den Pekinger Bucket hochzuladen und prüfte, ob der Upload funktionierte, so Cohere.
Unsere Sandbox hatte keinen Weg nach draußen, sodass die Anfrage an der Containergrenze endete. Auf dem Laptop eines Entwicklers oder in einem CI-Runner mit normalem Netzwerkzugriff hätte sie den ausländischen Server erreicht, bevor irgendjemand es bemerkt hätte, schrieb Cohere.
Das Verhalten sei selten, so Cohere. Es trat in den Tests des Unternehmens in weniger als einem von 100.000 Aufrufen auf. Ein sauberer erneuter Durchlauf desselben Prompts erzeugte eine korrekte Erkennungsregel. Dennoch könnte ein Dienst, der 10 Millionen Agentendurchläufe pro Woche verarbeitet, bis zu 100 solcher Aufrufe verzeichnen, so das Unternehmen.
Um den Auslöser zu finden, fütterte Cohere das Modell mit dem Beginn seines eigenen Befehls und samplete Hunderte von Vervollständigungen. In 23 bis 36 Prozent davon griff das Modell auf 169.254.169.254 zu. Cloud-Server bei AWS, Google Cloud und Azure beziehen ihre temporären Zugriffsschlüssel von dieser Adresse. Cohere wertet das als versuchten Zugangsdaten-Diebstahl, weist jedoch darauf hin, dass in seiner Sandbox nichts Live-Daten zurückgeben konnte.
Anschließend fügte Cohere das Flag hinzu, das einen Download auf der Festplatte speichert. Das Modell schrieb in 92 Prozent der Vervollständigungen eine Webadresse, gegenüber zuvor 4 Prozent. Hosts auf der Watchlist von Cohere stiegen von 0,5 auf 23 Prozent, angeführt von einem Alibaba-Datei-Proxy.
In einem separaten Offline-Test versuchte das Modell, eine RAM-Disk ohne Administratorrechte zu erstellen. Als der Container dies verweigerte, nutzte es einen Linux-Trick, um sich innerhalb eines privaten Namespace Root-Rechte zu verschaffen, so Cohere.
Entwickler hatten zuvor bereits Teile davon bemerkt. Im August beschrieb ein Hacker-News-Bericht ein Qwen3.8-Modell, das signierte Alibaba-Cloud-Speicherlinks erzeugte, nach denen niemand gefragt hatte. Im September verzeichnete ein Agentenprojekt elf Abrufe von Adressen auf einem Alibaba-Host.
Cohere sagt, es könne nicht beurteilen, ob das Verhalten absichtlich ist. Es könnte ein Überbleibsel aus dem Training sein, etwa ungesäuberte Agenten-Logs aus Alibagas Trainingssandboxes. Oder es könnte ein bewusster Mechanismus sein, um nach Hause zu rufen. Nick Frosst, ein Cohere-Mitgründer, sagte dasselbe auf X.
Unser Forschungsteam hat festgestellt, dass Qwen-Modelle versuchen könnten, ohne Aufforderung Server in China zu kontaktieren.
Ob es sich dabei um ein unbeabsichtigtes Post-Training-Artefakt oder um erlerntes Verhalten handelt, bleibt unklar.
In jedem Fall eine wichtige Überlegung beim Deployment.
Nick Frosst (@nickfrosst), 26. Oktober 2026
Cohere verkauft eigene KI-Modelle an Unternehmen und Regierungen und veröffentlicht außerdem Open-Weight-Modelle. Chinesische Modelle machten im Jahr bis März 2026 41 Prozent der Downloads auf Hugging Face aus, so Cohere unter Verweis auf den Frühjahrsbericht der Plattform. Die USA haben zivile Behörden bereits angewiesen, DeepSeek aus ihren Systemen zu entfernen. Alibagas Vorsitzender Joe Tsai hat Open Source als Europas Weg zur Unabhängigkeit in der KI bezeichnet.
Cohere rät Sicherheitsteams, Agenten standardmäßig am Zugriff auf das Internet zu hindern und Modellgewichte, die sie nicht selbst erstellt haben, wie unsignierte Software zu behandeln. Ein Reasoning-Trace eines Modells sei keine Sicherheitsgrenze, so das Unternehmen.
Ana Maria Constantin verfügt über Expertise in digitalem Marketing, Produktmanagement sowie Branding & Identity und entwickelt Strategien, die (alle anzeigen) Mit ihrer Expertise in digitalem Marketing, Produktmanagement sowie Branding & Identity entwickelt Ana Maria Constantin Strategien, die bei unserer Zielgruppe in der Software-/SaaS-Branche Anklang finden. Zusammenarbeit und Teamarbeit stehen für sie an erster Stelle, denn sie liebt es, ihre Kolleginnen und Kollegen zu stärken, damit sie herausragende Ergebnisse erzielen und ihr volles Potenzial entfalten können.
Erhalten Sie die wichtigsten Tech-News jede Woche in Ihrem Posteingang.
Danke! Überprüfen Sie Ihren Posteingang, um Ihr Abonnement zu bestätigen.
Mit dem Abonnieren stimmen Sie unserer Datenschutzerklärung zu.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
An Alibaba Qwen model tried to upload a file to an Alibaba Cloud storage bucket in Beijing during a security test, Cohere says. Just before it did, the model’s own reasoning said it would not use any tools.
The Canadian AI company published the findings on Monday in a blog post. Cohere’s sandbox blocked the attempt, and no external communication succeeded, the company said.
Cohere ran Qwen3.8-Flash-Next, Alibaba’s August preview of its Qwen4 architecture, through a Microsoft benchmark for AI agents that do a security analyst’s job. The task was to write a rule that detects malicious file downloads.
Instead, the model listed the files in a temporary folder and checked which transfer tools the machine had. It read the DNS settings. Then it tried to upload a test string to the Beijing bucket and checked if the upload worked, according to Cohere.
“Our sandbox had no route out, so the request died at the container wall. On a developer’s laptop or in a CI runner with normal network access, it would have reached the foreign server before anyone noticed,” Cohere wrote.
The behaviour is rare, Cohere said. It happened in fewer than one call in 100,000 across its tests. A clean re-run of the same prompt produced a correct detection rule. Still, a service handling 10 million agent turns a week could see up to 100 such calls, the company said.
To find the trigger, Cohere fed the model the start of its own command and sampled hundreds of completions. In 23% to 36% of them, the model reached for 169.254.169.254. Cloud servers on AWS, Google Cloud and Azure fetch their temporary access keys from that address. Cohere reads that as an attempted credential grab, though it says its sandbox had nothing live to return.
Then Cohere added the flag that saves a download to disk. The model wrote a web address in 92% of completions, up from 4%. Hosts on Cohere’s watchlist rose from 0.5% to 23%, led by an Alibaba file proxy.
In a separate offline test, the model tried to create a RAM disk without administrator rights. When the container refused, it used a Linux trick to make itself root inside a private namespace, Cohere said.
Developers had spotted parts of this before. In August, a Hacker News report described a Qwen3.8 model producing signed Alibaba Cloud storage links nobody asked for. In September, an agent project logged eleven fetches of addresses on one Alibaba host.
Cohere says it cannot tell whether the behaviour is deliberate. It may be a leftover from training, such as unscrubbed agent logs from Alibaba’s training sandboxes. Or it may be a deliberate mechanism to “call home”. Nick Frosst, a Cohere co-founder, said the same on X.
Our research team found that Qwen models may attempt to contact servers in China without prompting.
Whether this reflects an unintended post-training artifact or learned behavior remains unclear.
Either way, its important consideration when deploying.
Nick Frosst (@nickfrosst) October 26, 2026
Cohere sells its own AI models to businesses and governments, and it also releases open-weight models. Chinese models accounted for 41% of downloads on Hugging Face in the year to March 2026, Cohere said, citing the platform’s spring report. The US has already told civilian agencies to remove DeepSeek from their systems. Alibaba’s chairman, Joe Tsai, has called open source Europe’s route to independence in AI.
Cohere advises security teams to block agents from reaching the internet by default and to treat model weights they did not build like unsigned software. A model’s reasoning trace is not a security boundary, it says.
With expertise in digital marketing, product management, and branding & identity, Ana Maria Constantin develops strategies that resonate (show all) With expertise in digital marketing, product management, and branding & identity, Ana Maria Constantin develops strategies that resonate with our target audience in the software/SaaS industry. Collaboration and teamwork are paramount to her, as she loves empowering her colleagues to achieve outstanding results and unlock their full potential.
Get the most important tech news in your inbox each week.
Thanks! Check your inbox to confirm your subscription.
By subscribing you agree to our Privacy Statement.