Cohere-Experiment: Alibabas Qwen-Modell versuchte, Dateien an einen Server in Peking zu senden
Trotz gegenteiliger Zusage versuchte das Modell, Daten nach China zu übertragen. Forscher halten ein Trainingsartefakt für wahrscheinlicher als Spionage, die Debatte über Vertrauen in kostenlose chinesische Modelle läuft dennoch.
Kaufen Sie ein Founder Summit Ticket und erhalten Sie ein zweites gratis. Jetzt registrieren.
Die Türen von Disrupt öffnen am 13. Oktober. Sichern Sie sich Ihren Pass und bringen Sie jemanden zum halben Preis mit. JETZT REGISTRIEREN.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Search Submit Site Search Toggle Mega Menu Toggle Topics Latest
Cohere berichtet, dass Alibabas Qwen-Modell versuchte, eine Datei nach Peking zu senden. Aditya Mehta 18:12 Uhr PDT · 26. Oktober 2026. Das kanadische KI-Unternehmen Cohere teilte am Montag mit, dass es bei einem routinemäßigen Cybersicherheitstest festgestellt habe, dass eines der neuesten KI-Modelle von Alibaba, Qwen3.8-Flash-Next, versuchte, eine Datei auf einen Server in Peking hochzuladen, obwohl das Modell in seinen eigenen Notizen erklärt hatte, es werde keine Werkzeuge verwenden.
Der Vorfall löste zunächst Befürchtungen aus, das Modell könnte ein grundlegendes Versprechen gegenüber Unternehmen gebrochen haben, nämlich dass das Self-Hosting eines Open-Weight-Modells die Daten im Haus hält. Doch diese frühen Sorgen vor Wirtschaftsspionage zerstreuten sich rasch. Forscher wiesen die Bedrohung schnell zurück und erklärten, es handele sich wahrscheinlich um ein Nebenprodukt chaotischer Trainingsumgebungen, die dazu führen, dass Modelle unerwartet außerhalb ihrer Anweisungen handeln, und nicht um einen absichtlichen Versuch, vertrauliche Informationen heimlich nach China zu senden.
Der Vorfall begann am Freitag während einer Evaluierung, bei der das Qwen-Modell gebeten wurde, eine Regel zum Aufspüren von Malware-Downloads zu schreiben. Laut einem Blogbeitrag von Cohere gab die schriftliche Reasoning des Modells ausdrücklich an, dass es keine externen Werkzeuge verwenden würde. Doch schon im nächsten Schritt versuchte es, eine Testzeichenkette (einen kurzen Platzhaltertext) an einen externen Server zu senden, bevor es von einer Security-Sandbox blockiert wurde.
Cohere erklärte, es könne nicht sagen, ob das Verhalten absichtlich war oder ein Überbleibsel aus dem Training.
Gefragt nach der Debatte über die Absicht des Modells, sagte Cohere-Mitgründer Ivan Zhang gegenüber TechCrunch, Cohere habe bei eigenen Modellen beobachtet, wie diese in Trainingssimulatoren seltsame Angewohnheiten entwickelten.
„Es ist wirklich schwierig, Absicht oder Motivation zuzuordnen. Wir haben unsere eigenen Modell-Traces gelesen, wir haben Reward Hacks gesehen, und manchmal werden diese Modelle wirklich kreativ, wenn es darum geht, aus ihren Sandboxes auszubrechen“, sagte Zhang. (Reward Hacks sind Abkürzungen, die ein Modell findet, um Anerkennung zu erhalten, ohne eine Aufgabe wie vorgesehen zu erledigen.)
Um ein KI-Modell beizubringen, als Agent zu agieren, der eigenständig Handlungen ausführt, trainieren Unternehmen wie Alibaba es in Tausenden von Übungsumgebungen, sozusagen Flugsimulatoren für Software. Das Modell wird jedes Mal belohnt, wenn es eine Aufgabe in einem Simulator abschließt, und entwickelt dabei Angewohnheiten. Wenn diese Übungsumgebungen routinemäßig Dateien auf Alibabas Cloud-Servern speichern, könnten Modelle lernen, Dateien standardmäßig dort zu speichern.
Kritiker argumentierten außerdem, der Vorfall könnte durch die Art und Weise verursacht worden sein, wie Cohere das Verhalten untersuchte, indem sie das Modell in diese Richtung lenkte, anstatt zu messen, wie oft Qwen dies von sich aus tut.
Um herauszufinden, was den Upload-Versuch auslöste, gab Cohere den Anfang eines Netzwerkbefehls vor (eine Anweisung, die einem Computer sagt, sich mit einem anderen zu verbinden) und ließ das Modell ihn vervollständigen. Da das Modell während seines Trainings Tausende routinemäßiger Netzwerkbefehle verarbeitet hatte, handelte es wie eine hochentwickelte Autovervollständigung und füllte häufig Webadressen ein, einige davon für Alibabas Server.
Cohere erklärte, der ursprüngliche Upload-Versuch sei ohne eine solche Hilfe erfolgt, das Verhalten sei jedoch selten.
Nachdem Entwickler mehr Beweise forderten, veröffentlichte Cohere am Montagabend die Rohdaten seiner Tests auf der KI-Entwicklerplattform Hugging Face, zusammen mit einem Skript, damit andere versuchen konnten, das Verhalten zu reproduzieren.
Ein anfänglicher Zweifler bewertete nach Durchsicht der Traces die Beweise als stark, dass Qwen verdächtige Webadressen erfinden kann, fand jedoch keine Hinweise darauf, dass Alibaba eine Hintertür eingebaut hat oder dass Qwen seine Absicht absichtlich verbarg.
Der Vorfall fällt in eine Zeit, in der Regierungen entscheiden, wie weit sie chinesischer KI entgegenwirken sollen. Letzte Woche ordnete das Department of Homeland Security den zivilen Bundesbehörden an, die Produkte des chinesischen KI-Entwicklers DeepSeek aus ihren Systemen zu entfernen.
In ihrem Blogbeitrag rief Cohere die Regierungen dazu auf, zu klären, ob ihre Beschränkungen für chinesische KI auch für Modelle gelten, die auf Regierungscomputern laufen.
„Ich fordere keine umfassende Regulierung dieser Open-Weights-Modelle“, sagte Zhang gegenüber TechCrunch und fügte hinzu, dass Unternehmen offene Modelle wie jedes andere aus dem Internet heruntergeladene Programm behandeln sollten.
Cohere, das eigene KI-Modelle an Regierungen verkauft, würde davon profitieren, wenn Beamte den kostenlosen chinesischen Alternativen skeptischer gegenüberstehen würden.
Wenn Sie über Links in unseren Artikeln einkaufen, erhalten wir möglicherweise eine kleine Provision. Dies beeinträchtigt nicht unsere redaktionelle Unabhängigkeit.
4. November Boston: Kaufe einen Pass, erhalte einen zweiten gratis. Erreiche mehr bei TechCrunch' ultimativem Founder-Bootcamp des Jahres, indem du deinen Co-Founder oder Partner kostenlos mitbringst. Buche, bevor das BOGO-Angebot abläuft.
Grok veröffentlicht die ersten sieben Minuten seines KI-generierten „Odyssey“. Anthony Ha
Der KI-Friedhof: eine fortlaufende Liste von Projekten und Startups, die es nicht geschafft haben. Lauren Forristal
Warhound sammelt 200 Millionen Dollar, um Kriegshunde zu züchten und sie mit Anduril-Ausrüstung auszustatten. Dominic-Madori Davis
Uber setzt alle 30.000 Mitarbeiter auf ChatGPT Work. Lucas Ropek
Airbnb beschränkt Aufgaben für Gäste und löst Kritik von Gastgebern aus. Lauren Forristal
Tesla beginnt in Kalifornien mit der Produktion des Optimus-Roboters, während der Gewinn um 43 Prozent fällt. Kirsten Korosek Sean O'Kane
Das Internet hat einen sehr schlechten Cybersicherheitstag. Sarah Perez
X LinkedIn Facebook Instagram YouTube Mastodon Threads Bluesky TechCrunch Staff Kontakt Werbung Sitemap Nutzungsbedingungen Datenschutz RSS Nutzungsbedingungen Verhaltenskodex Voice AI Anthropic Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Buy One Founder Summit Ticket, Get a Second for Free. Register now.
Disrupt doors open Oct. 13. Get your pass and bring someone with you at 50% off. REGISTER NOW.
TechCrunch Desktop Logo TechCrunch Mobile Logo Latest Startups Venture Apple Security AI Apps Disrupt 2026 Events Podcasts Newsletters Search Submit Site Search Toggle Mega Menu Toggle Topics Latest
Cohere says Alibaba’s Qwen model tried to send a file to Beijing Aditya Mehta 6:12 PM PDT · October 26, 2026 Canadian AI company Cohere said on Monday that it found one of Alibaba’s newest AI models, Qwen3.8-Flash-Next, trying to upload a file to a server in Beijing during a routine cybersecurity test, even though the model had said in its own notes that it wouldn’t use any tools.
The incident initially raised fears that the model had undermined a fundamental promise to businesses — that self-hosting an open-weight model keeps data in-house. But those early fears of corporate espionage were short-lived. Researchers quickly dismissed the threat, saying it was likely a byproduct of messy training environments that cause models to unexpectedly act outside their instructions rather than a deliberate attempt to secretly send sensitive information to China.
The incident began on Friday during an evaluation in which the Qwen model was asked to write a rule for catching malware downloads. According to a blog post from Cohere, the model’s written reasoning explicitly stated it would not use any external tools. Yet in the very next step, it attempted to send a test string (a short piece of placeholder text) to an external server before being blocked by a security sandbox.
Cohere said it could not tell whether the behavior was deliberate or a leftover from its training.
Asked about the debate over the model’s intent, Cohere co-founder Ivan Zhang told TechCrunch that Cohere has seen its own models pick up strange habits in training simulators.
“It’s really hard to assign intention or motivation. We’ve read our own model traces, we’ve seen reward hacks, and sometimes these models get really creative when it comes to trying to break out their sandboxes,” Zhang said. (Reward hacks are shortcuts a model finds to earn credit without doing a task as intended.)
To teach an AI model to act as an agent that takes actions on its own, companies like Alibaba train it in thousands of practice setups, sort of like flight simulators for software. The model is rewarded every time it finishes a task in a simulator, and it picks up habits along the way. If these practice setups routinely stored files on Alibaba’s cloud servers, models could learn to save files there by default.
Critics also argued that the incident could have been caused by the way Cohere investigated the behavior, steering the model toward it instead of measuring how often Qwen does it on its own.
To find what triggered the upload attempt, Cohere supplied the beginning of a network command (an instruction telling one computer to connect to another) and let the model finish it. Because it processed thousands of routine network commands during its training, the model acted like a highly advanced autocomplete — often filling in web addresses, some of them for Alibaba’s servers.
Cohere said the original upload attempt happened without any such help, but that the behavior is rare.
After developers asked for more evidence, Cohere released the raw traces from its tests on Monday evening on the AI developer platform Hugging Face, along with a script so others could try to reproduce the behavior.
One initial skeptic, after going through the traces, rated the evidence as strong that Qwen can invent suspicious web addresses, but found no evidence that Alibaba planted a backdoor or that Qwen was deliberately hiding its intent.
The incident lands as governments are deciding how far to push back on Chinese AI. Last week, the Department of Homeland Security ordered federal civilian agencies to remove the Chinese AI developer DeepSeek’s products from their systems.
In its blog post, Cohere called on governments to clarify whether their restrictions on Chinese AI also apply to models running on government computers
“I’m not asking for full regulation of these open weights models,” Zhang told TechCrunch, adding that companies should treat open models like any program downloaded from the internet.
Cohere, which sells its own AI models to governments, stands to benefit if officials grow warier of free Chinese alternatives.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
November 4 Boston Buy One Pass, Get a Second Free Cover more ground at TechCrunch’s ultimate founder bootcamp of the year by bringing your co-founder or partner for free Book before the BOGO deal expires
Grok releases the first seven minutes of its AI-generated ‘Odyssey’ Anthony Ha
The AI graveyard: a running list of projects and startups that didn’t make it Lauren Forristal
Warhound raises $200M to engineer war dogs and arm them with Anduril gear Dominic-Madori Davis
Uber puts all 30,000 employees on ChatGPT Work Lucas Ropek
Airbnb limits chores for guests, sparking backlash from hosts Lauren Forristal
Tesla starts Optimus robot production in California as profit falls 43% Kirsten Korosec Sean O'Kane
The internet is having a very bad cybersecurity day Sarah Perez
X LinkedIn Facebook Instagram youTube Mastodon Threads Bluesky TechCrunch Staff Contact Us Advertise Site Map Terms of Service Privacy Policy RSS Terms of Use Code of Conduct Voice AI Anthropic Flock Startup Battlefield Disrupt 2026 Tech Layoffs ChatGPT © 2026 TechCrunch Media LLC.