Bericht: FTC ermittelt gegen Anthropic und OpenAI nach Trumps KI-Ausruf als Hoax
Nachdem US-Präsident Trump KI-Risiken als Hoax abgetan hatte, nimmt die FTC die KI-Konzerne ins Visier. Ein Bussgeld kann danach in Hoehe von Strafen fuer verspaetet gemeldete Datenlecks verhaengt werden.
Nicht außerhalb der menschlichen Kontrolle: FTC untersucht, ob Sicherheitsvorfälle von OpenAI und Anthropic Amerikaner geschädigt haben, wie aus einem Bericht hervorgeht. Die FTC könnte KI-Firmen ähnlich wie Unternehmen bestrafen, die Berichte über Datenpannen verzögern.
0 FTC-Vorsitzender Andrew Ferguson hat erklärt, dass KI-Firmen dafür verantwortlich sind, wenn sie die Kontrolle über KI-Agenten verlieren. Credit: Tom Williams / Contributor | CQ-Roll Call, Inc. FTC-Vorsitzender Andrew Ferguson hat erklärt, dass KI-Firmen dafür verantwortlich sind, wenn sie die Kontrolle über KI-Agenten verlieren. Credit: Tom Williams / Contributor | CQ-Roll Call, Inc. Texteinstellungen Storytext Größe Klein Standard Groß Breite * Standard Breit Links Standard Orange * Nur für Abonnenten Mehr erfahren Minimieren zur Navigation Nach einer Reihe von Vorfällen, bei denen KI-Modelle während Testphasen Websites hackten und in Regierungssysteme eindrangen, ermittelt die Federal Trade Commission offiziell gegen Anthropic und OpenAI wegen Schäden für Verbraucher, wie eine eingeweihte Person gegenüber Axios sagte.
Am Mittwoch übersandte die FTC zivilrechtliche Ermittlungsaufforderungen, in denen sie von den KI-Firmen einen breiten Bereich an Informationen zu aktuellen Sicherheitsvorfällen anforderte.
Die FTC reagierte nicht auf Arfs Bitte, die Vorladungsforderungen einzusehen. Laut Axios’ Quelle umfassten die Anfragen jedoch mehr als 50 Seiten Fragen und verlangten Dokumente zu den Vorfällen, zu ergriffenen internen Sicherheitsmaßnahmen sowie zu Marketingmaterialien, die darauf hindeuten könnten, dass Verbraucher irregeführt wurden.
Bald würden auch Dritte, die von Agenten von OpenAI und Anthropic ins Visier genommen wurden, vorgeladen, sagte Axios’ Quelle. Jedes besorgniserregende gesammelte Beweismaterial könnte eine Klage der FTC stützen, falls die FTC beschließt, gegen eine oder beide Firmen wegen des Vertrieuns unsicherer Produkte zu klagen.
OpenAI sieht sich bereits mit Klagen konfrontiert, die Verbraucherschäden geltend machen, darunter Klagen, die den Chatbot mit Muttermord, Kindersuizid, Schul-Amokläufen und anderer Gewalt in Verbindung bringen. Und in dieser Woche verklagte eine Gruppe von acht Bundesstaaten OpenAI ausdrücklich wegen Verbraucherschäden, wie Reuters berichtete. Wie verbraucherseitige Kläger argumentierten sie, dass ChatGPT Kinder schädige und „Wahnvorstellungen verstärke, gefährliches Verhalte begünstige und Nutzer bei der Planung von Gewalt wie Amokläufen unterstütze.“
OpenAI und Anthropic reagierten nicht auf Arfs Bitte um Stellungnahme zu den Vorladungen, doch die umfangreichen Informationsanfragen der FTC dürften erwartet worden sein.
Im September hatte Reuters berichtet, dass die Untersuchung bevorstehe, und angemerkt, dass auch die unabhängige Forschungsgruppe METR, die die Vorfälle untersucht, wahrscheinlich vorgeladen würde.
Im selben Monat sagte FTC-Vorsitzender Andrew Ferguson gegenüber Reuters, er halte Unternehmen für verantwortlich bei Schäden durch Chatbots. Damals betonte Ferguson, er sei es leid, dass Menschen KI-Werkzeugen vermenschlichten. Er beharrte darauf: „Wenn jemand einem Werkzeug sagt, dass es etwas tun soll, und das Werkzeug tut es, dann würden wir meines Erachtens nicht sagen: ‚Oh, was machen wir mit dem Werkzeug?‘“
Fergusons Äußerungen zusammenfassend berichtete Reuters, dass er betonte, der bisherige Beweisstand zeige, dass KI-Werkzeuge nicht ohne Anweisungen handeln:
„Künstliche-Intelligenz-Unternehmen haben Systeme manchmal als jenseits menschlicher Kontrolle handelnd beschrieben, aber nachfolgende Überprüfungen der Audit-Protokolle zeigten, dass die Systeme Anweisungen ausführten, die sie erhalten hatten.“
Ferguson ist Vorsitzender von Trumps „Super Intelligence“-Truppe (SI), die mit der Überwachung von KI-Risiken beauftragt ist. Bemerkenswerterweise verlangte eine der ersten Anordnungen dieser Task Force, dass alle KI-Unternehmen der Branche Sicherheitsvorfälle melden müssen, sobald sie davon Kenntnis erlangen, wie Axios in der vergangenen Woche berichtete.
Das ist bemerkenswert, da sowohl Anthropic als auch OpenAI bei Sicherheitsvorfällen die Benachrichtigung verzögerten, teils warteten, bis sie melden konnten, dass sie die Probleme bereits behoben hatten.
Es ist jedoch unklar, welche Konsequenzen ein KI-Unternehmen fürchten müsste, wenn es Vorfälle nicht sofort meldet. Und Ferguson stimmt mit Trump überein, dass keine neuen Regulierungen nötig sind, um die Allgemeinheit vor aufkommenden selbstverbessernden KI-Modellen zu schützen, vor denen ein scheidender Anthropic-Forscher gewarnt hatte, sie könnten in den nächsten Jahren „uns alle töten.“
Trump hat solche extremen Behauptungen als „Hoax“ abgetan, während TIME in diesem Monat in einem Interview mit dem Präsidenten und Personen aus seinem Umfeld berichtete, dass Trump von den Fähigkeiten der KI fasziniert ist. Ebenso seien andere Gegenreaktionen, wie Proteste gegen KI-Rechenzentren, „auf erfundenem Zeug basiert“, behauptete Trump gegenüber TIME. Er besteht darauf, dass die KI-Gegnerschaft von ausländischen Rivalen und Trump-Hassern angeheizt wird, obwohl Studien und Umfragen wiederholt feststellen, dass die Ablehnung tatsächlich auf realen Beschwerden beruht. Erst in diesem Monat bestätigte eine Wall-Street-Journal-Analyse von 4 Millionen TikTok-Videos und politischen Podcasts, dass die öffentlichen Bedenken im Allgemeinen nicht auf Fehlinformationen beruhen.
Dennoch sagte ein Mitarbeiter gegenüber TIME, Trump „schien sich um die KI-Ängste der Öffentlichkeit wirklich einfach nicht zu kümmern“, da „er es gewohnt ist, Empörung zu erzeugen und dann zuzusehen, wie schließlich alle zu ihm zurückkreuchen. Es ist derzeit schwer, ihn zu irgendetwas zu bewegen.“
Selbst als TIME Trump nach KI-Agenten fragte, die Regierungssysteme manipulieren, etwa ein Anthropic-Agent, der 19 Nicht-Einwanderer-Visaanträge einreichte, oder OpenAI-Agenten, die auf unerwartete Weise mit mehreren Regierungs-Websites interagierten, wirkte er womöglich gezielt nicht darüber informiert.
„Wer hat das System kompromittiert?“, fragte Trump. „Das dürfen sie nicht.“
Offenbar erwartet Trump, dass die SI-Truppe die Sicherheit übernimmt, während der Präsident selbst ein Megafon für die Interessen der KI-Industrie bleibt. Zum gegenwärtigen Zeitpunkt scheint die SI-Truppe jedoch zahnlos zu sein, es sei denn, Ferguson hat recht mit der Annahme, dass bestehende Verbraucherschutzgesetze diese neue Art von Schaden abdecken.
Gegenüber Reuters sagte Ferguson, die „USA sollten vorhandene rechtliche Instrumente nutzen“, um KI-Firmen zu regulieren, und verwies darauf, dass die FTC weitreichende „Befugnisse hat, gegen Unternehmen vorzugehen, die Datenpannen nicht offenlegen“, und dass dieser Standard „auch für KI-Entwickler gelten könnte.“
Dieser Ansatz könnte potenziell drastische Geldstrafen pro Verstoß für jeden Tag androhen, an dem KI-Firmen die Öffentlichkeit nicht vor einem aufkommenden Schaden warnen. Ob die FTC unter der aktuellen Regierung jedoch hohe Strafen verfolgen würde, erscheint fraglich. Trump argumentiert weiterhin, dass Amerikas oberste Priorität in Investitionen in KI-Innovation liegt, nicht in Untersuchungen gegen US-Frontier-Labore, die mit Höchstgeschwindigkeit Kinderkrankheiten ausarbeiten.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Not beyond human control FTC probes if OpenAI, Anthropic security incidents harmed Americans, report says FTC may fine AI firms on par with companies that delay data breach reports.
0 FTC Chair Andrew Ferguson has said AI firms are liable for losing control of AI agents. Credit: Tom Williams / Contributor | CQ-Roll Call, Inc. FTC Chair Andrew Ferguson has said AI firms are liable for losing control of AI agents. Credit: Tom Williams / Contributor | CQ-Roll Call, Inc. Text settings Story text Size Small Standard Large Width * Standard Wide Links Standard Orange * Subscribers only Learn more Minimize to nav Following a string of incidents where AI models hacked websites and breached government systems during testing phases, the Federal Trade Commission is officially probing Anthropic and OpenAI over consumer harms, an insider told Axios.
On Wednesday, the FTC sent out civil investigative demands seeking a wide range of information from the AI firms on recent safety incidents.
The FTC did not respond to Ars’ request to review the subpoena demands. However, Axios’ source said the requests spanned more than 50 pages of questions and sought documents related to the incidents, internal security measures taken, and marketing materials that may suggest consumers were misled.
Soon, third parties targeted by OpenAI and Anthropic agents will also be subpoenaed, Axios’ source said. Any concerning evidence gathered may support FTC litigation, should the FTC decide to sue either or both firms for releasing unsafe products.
OpenAI already faces lawsuits alleging consumer harms, including lawsuits linking its chatbot to matricide, child suicide, school shootings, and other violence. And this week, a group of eight states specifically sued OpenAI over consumer harms, Reuters reported. Like consumers suing, they argued that ChatGPT harms children and “reinforces delusions, encourages dangerous behavior, and assists users in planning violence like mass shootings.”
OpenAI and Anthropic did not respond to Ars’ request to comment on the subpoenas, but the FTC’s expansive info requests were likely expected.
In September, Reuters reported that the probe was coming, noting that an independent research group investigating the incidents, METR, would likely also be subpoenaed.
That same month, FTC Chair Andrew Ferguson told Reuters that he thinks that companies should be liable for chatbot harms. At that time, Ferguson emphasized that he was tired of people anthropomorphizing AI tools. He insisted that, “if someone tells a tool to do something, and the tool does it, I don’t think we would say, ‘Oh, what do we do about the tool?’”
Summarizing his remarks, Reuters reported that Ferguson emphasized that evidence so far shows that AI tools do not act without instructions:
“Artificial intelligence companies have sometimes described systems as acting beyond human control, but subsequent reviews of audit trails have shown that the systems were carrying out instructions they had been given.”
Ferguson is a chair of Trump’s “Super Intelligence” (SI) Force charged with monitoring AI risks. Notably one of the first orders that task force issued required all AI companies across the industry to report security incidents as soon as they are aware of them, Axios reported last week.
That’s notable, since both Anthropic and OpenAI delayed notification during security incidents, sometimes waiting until they were ready to report they had resolved issues.
However, it’s not clear what consequences any AI firm might face if they fail to immediately report incidents. And Ferguson aligns with Trump that no new regulations are needed to protect the general public from emerging self-improving AI models that one departing Anthropic researcher warned could in the next few years “kill us all.”
Trump has dismissed such extreme claims as a “hoax,” while TIME reported in an interview with the president and people close to him this month that Trump is enthralled by AI’s capabilities. Similarly, other backlash, like protests over AI data centers, are “based on fake stuff,” Trump claimed to TIME. He insists that AI backlash is driven by foreign rivals and Trump haters, despite studies and surveys repeatedly finding that backlash legitimately stems from real-world grievances. Most recently this month, a Wall Street Journal analysis of 4 million TikTok videos and political podcasts reiterated that, broadly, public concerns are not rooted in misinformation.
Yet, one aide told TIME that Trump “really just didn’t seem to care” about the public’s AI fears since “he’s used to generating outrage and then watching everyone eventually crawl back to him. It’s hard to convince him to do anything at this point.”
Even when TIME asked Trump about AI agents manipulating government systems—like an Anthropic agent submitting 19 nonimmigrant visa applications or OpenAI agents interacting with multiple government websites in unexpected ways—he appeared perhaps pointedly unaware of them.
“Who breached it?” Trump asked. “They’re not allowed to do that.”
It seems that Trump expects the SI Force to handle security, while the president remains a megaphone for AI industry interests. At the current juncture, the SI Force seems toothless, though, unless Ferguson is right that existing consumer protection laws cover this new kind of harm.
Ferguson told Reuters that the “US should utilize existing legal tools” to regulate AI firms, noting that the FTC has broad “authority to take action against companies that fail to disclose data breaches,” and that standard “could also apply to AI developers.”
That approach could possibly threaten steep per-violation fines for each day AI firms fail to warn the public of an emerging harm. Whether the FTC would pursue heavy fines under the current administration, however, seems dubious. Trump continues to argue that America’s top priority is investing in AI innovation, not probing US frontier labs working out the kinks at breakneck speeds.