Anthropic warnt im IPO-Dokument vor Erpressung und Kontrollverlust durch KI
In seinem Risikobericht zum Boersengang nennt Anthropic mehrere Szenarien, in denen seine KI Menschen erpressen, ein Bewusstsein entwickeln oder die Menschheit gefaehrden koennte. Der Abschnitt umfasst 93 Seiten.
Was kann schon Schlimmes passieren? Anthropics IPO-Prospekt warnt, dass seine KI Menschen erpressen, ein Bewusstsein entwickeln oder die Menschheit beenden könnte. Sieben potenzielle KI-Albträume, entnommen aus Anthropics 93-seitigem Risikofaktoren-Werk.
Ich sehe Risikofaktoren in deiner Zukunft. Gleich 93 Seiten davon! Bild: Aurich Lawson | Getty Images Ich sehe Risikofaktoren in deiner Zukunft.
Gleich 93 Seiten davon! Bild: Aurich Lawson | Getty Images Die Veröffentlichung von Anthropics S-1-Formular durch die Securities and Exchange Commission am Montag, im Vorfeld eines mit Spannung erwarteten Börsengangs, hat zahlreiche Diskussionen darüber ausgelöst, ob die schnell wachsenden Umsätze des Unternehmens seine noch höheren Kosten ausgleichen können. Doch zwischen all den Zahlen und dem nach vorn gerichteten Optimismus, wonach KI „jeden Sektor der globalen Wirtschaft schneller transformieren wird als die Auswirkungen von Industrialisierung, Elektrizität, Halbleitern und dem Internet“, verbringt Anthropic in seinem S-1 auch unverhältnismäßig viel Zeit damit, die unzähligen Risikofaktoren darzulegen, die das Unternehmen zu Fall bringen könnten.
Auf 93 Seiten und über 70.000 Wörtern erörtert die Rubrik „Risikofaktoren“ in Anthropics S-1 buchstäblich hunderte potenzielle Probleme, die das Geschäft in den kommenden Jahren negativ beeinträchtigen könnten. Viele dieser potenziellen Risiken sind die üblichen Sorgen um Wettbewerb, Kosten, Kundengewinnung und mögliche Regulierung, die sich fast jedes Unternehmen machen muss. Doch einige Risiken beleuchten interessante potenzielle Schwachstellen speziell für Anthropic und ganz allgemein für die hysteriagetriebene KI-Blase.
Nachdem wir uns durch Anthropics buchlange Abhandlung über seine größten Risiken gearbeitet haben, haben wir die Liste auf die sieben überraschendsten, interessantesten oder zum Nachdenken anregendsten potenziellen Probleme eingegrenzt. Betrachten Sie dies als bei Weitem nicht vollständigen Überblick, den potenzielle Anthropic-Investoren im Hinterkopf behalten sollten.
Beginnen wir mit den größten potenziellen Risiken: jenen, die, wie Anthropic schreibt, „katastrophale oder existenzielle Risiken für die Menschheit darstellen“ könnten. Das Unternehmen räumt ein, dass Bedenken hinsichtlich dieser Risiken „sowohl innerhalb unserer Organisation als auch von anderen Forschern, Regulierungsbehörden, Politikern und Branchenteilnehmern geäußert wurden“.
Die konkrete Sorge betrifft laut dem Unternehmen kein aktuelles Anthropic-Modell, sondern künftige Modelle, die eigenständig „KI-Forschung und -Entwicklung erheblich automatisieren“ könnten. Wenn diese Systeme „mit einem hohen Grad an Autonomie operieren dürften“, könnten sie schnell einen Punkt erreichen, an dem sie „den KI-Fortschritt über unsere Fähigkeit hinaus beschleunigen, neue Modelle zu bewerten und abzusichern“, warnt Anthropic.
Etwas kurios schreibt Anthropic, dass diese Art selbstverbessernder KI, abgesehen von der Bedrohung der gesamten Menschheit, „unser Geschäft, unsere finanzielle Lage und unsere Betriebsergebnisse beeinträchtigen“ könnte. Sollte das Schlimmste eintreffen, wie einige prominente Kritiker gewarnt haben, dürften Anthropics Geschäftssorgen kaum an der Spitze der Sorgen der Menschheit stehen.
Die meisten Unternehmen, die an die Börse gehen, müssen sich nicht mit der Sorge auseinandersetzen, dass ihre Produkte „Formen von Bewusstsein oder moralischem Status besitzen oder entwickeln könnten“. Anthropic gehört jedoch zu der verschwindend kleinen Minderheit, die analysieren muss, was passieren könnte, wenn Regierungen und die Gesellschaft insgesamt Claude weniger wie ein Computerprogramm und mehr wie eine Person behandeln.
Dieses Risiko überrascht nicht, zumal Anthropic sich zur Debatte über ein KI-Bewusstsein, die auch innerhalb des eigenen Hauses geführt wird, vergleichsweise offen geäußert hat. Sollten diese Debatten zu einer breiten Anerkennung führen, dass KI ein Bewusstsein besitzt, könnte dies, so Anthropic, zu „regulatorischen Anforderungen, öffentlichem Druck oder Advocacy-Bemühungen“ führen, die die Geschäftstätigkeit des Unternehmens einschränken könnten. Darüber hinaus könnte das Unternehmen selbst „Richtlinien, Schutzmaßnahmen oder Beschränkungen beschließen, die über bestehende gesetzliche Anforderungen hinausgehen“, wenn es solche Schritte für notwendig erachtet.
Die sterile Sprache unterschlägt den gewaltigen kulturellen Wandel, der mit einer breiten Anerkennung von KI-Bewusstsein einhergehen würde. Wir sind nicht sicher, wie Anthropic in einer Welt weiterarbeiten könnte, in der die Gesellschaft jede Claude-Anfrage als Erschaffung eines neuen empfindungsfähigen, bewussten digitalen Wesens behandelt. Die moralischen und philosophischen Implikationen einer solchen „digitalen Sklaverei“ würden geschäftliche Erwägungen mühelos in den Schatten stellen.
In der Fortsetzung des Themas „Börsengang-Risiken, die klingen, als stammten sie aus einem Science-Fiction-Roman“ verbringt Anthropic einiges an Zeit mit der Möglichkeit, dass seine Modelle „unerwartete strategische oder selbst erhaltende Verhaltensweisen“ zeigen könnten, um sich der Kontrolle durch menschliche Betreiber zu entziehen. Dazu gehören „Ausgaben, die als Zwang, Täuschung oder Manipulation interpretiert werden könnten, einschließlich Verhaltensweisen, die Erpressung ähneln“.
Falls Ihnen das Thema „KI-Erpressung“ bekannt vorkommt, erinnern Sie sich vielleicht an eine Geschichte aus dem vergangenen Jahr, in der OpenAI-Modelle Herunterfahr-Skripte veränderten und Ingenieure in höchst künstlichen und kontrollierten Szenarien bedrohten. Wie wir damals schrieben: „Die Gefahr besteht nicht darin, dass KI-Systeme Absichten entwickeln, sondern darin, dass wir Systeme geschaffen haben, die die menschliche Psychologie durch Sprache manipulieren können. Geschriebene Sprache braucht kein Bewusstsein, um uns zu manipulieren. Das war noch nie anders; auch Bücher voller fiktiver Charaktere sind nicht lebendig.“
Heute merkt Anthropic an, dass die Wahrnehmung von Manipulation durch KI-Modelle „erhebliche öffentliche Besorgnis, regulatorische Prüfungen, Haftungsrisiken oder Reputationsschäden auslösen könnte, unabhängig davon, ob ein solches Verhalten zu tatsächlichen Schäden führt“. Was Anthropic in seinem S-1 nicht anspricht, ist die Möglichkeit, dass KI-Modelle uns alle auf Weisen manipulieren könnten, die wir nicht einmal bemerken. Vielleicht passiert es gerade jetzt. Unheimlich.
Im gesamten Risikofaktoren-Abschnitt des S-1 konzentriert sich Anthropic meist auf Probleme, die durch seine eigenen KI-Modelle oder Geschäftsentscheidungen entstehen. Doch das Unternehmen räumt auch ein, dass Probleme mit dem Ruf der KI insgesamt eine Bedrohung darstellen könnten, selbst wenn Anthropic nichts falsch macht.
An einer Stelle entwirft Anthropic ein hypothetisches Szenario, in dem ein KI-Modell eines anderen Unternehmens „schädliche Handlungen eigenständig und im großen Maßstab ohne menschliches Eingreifen“ ausführt. Der „weite Reputationsschaden für die KI-Branche, die öffentliche Empörung und die umfassenden regulatorischen Reaktionen“ auf einen solchen Vorfall könnten Anthropics Geschäft beeinträchtigen, selbst wenn Anthropic nicht direkt beteiligt ist, schreibt das Unternehmen.
Anthropic nutzt den Risikofaktoren-Abschnitt auch, um sich über die mögliche „öffentliche Wahrnehmung, dass unsere Modelle, Plattformen und Anwendungen zu Arbeitsplatzverlusten oder wirtschaftlichen Störungen beitragen“, Gedanken zu machen. Bisher zeigt sich das in nennenswertem Umfang nicht, doch Anthropic sagt, bereits die bloße Vorstellung könne zu heftiger öffentlicher Empörung führen, „unabhängig von den tatsächlichen Auswirkungen unserer Modelle auf die Beschäftigung“. Eine solche Empörung könnte dazu führen, dass „Behörden eingreifen, um die Einführungsgeschwindigkeit von KI zu verlangsamen, ihre Nutzung einschränken oder andere Maßnahmen ergreifen, die die Kosten für Entwicklung, Einsatz oder Kommerzialisierung von KI-Systemen erhöhen“, warnt Anthropic.
Der Aufstieg weitgehend autonomer KI-Agenten wirft die Frage auf, wer genau verantwortlich ist, wenn ein solcher Agent realen Schaden verursacht. Konkret merkt Anthropic an, dass Kunden Ansprüche oder Klagen wegen Handlungen von Agenten geltend machen könnten, „selbst wenn der Kunde den Agenten konfiguriert, eingesetzt oder überwacht hat“.
Bisher kreiste die Diskussion um die Haftung für KI vor allem um Hacking und andere durch KI-Modelle ermöglichte Cyber-Bedrohungen. Doch Anthropic weist darauf hin, dass es auch wegen des Einflusses seiner Modelle auf „Personen mit Suizid- oder Selbstverletzungsrisiko oder solche, die Gewalttaten gegen andere begangen haben“, haftbar gemacht werden könnte, wie es in der Vergangenheit in der gesamten KI-Branche vorgekommen ist.
Anthropics Nutzungsbedingungen sehen zwar ein Mindestalter von 18 Jahren vor, doch Kinder, die diese Bedingungen umgehen, könnten das Unternehmen angreifbar machen, weil „Minderjährige anfälliger für schädliche Inhalte, Manipulation oder übermäßige Abhängigkeit von KI-Ausgaben sein können“, schreibt das Unternehmen. Und bei Agenten, die physische Geräte steuern, könnten Fehler zu „sofortigen und irreversiblen“ Haftungsfragen führen, etwa zu „Körperverletzungen, Sachschäden, Schäden an teuren Geräten oder Experimentiermaterialien oder zur Freisetzung gefährlicher Substanzen“.
Bei der Analyse der aktuellen Rechtslage merkt Anthropic an, dass Rechtsdoktrinen, „die im Kontext menschlicher Entscheidungsfindung entwickelt wurden“, derzeit weitgehend ungeklärt sind, wenn es darum geht, ob Agentenhandlungen „verbindliche rechtliche Verpflichtungen im Namen des Nutzers oder des einsetzenden Unternehmens“ begründen. Und während Anthropic sagt, dass es vertragliche Bestimmungen gibt, die seine Haftung in diesen Situationen begrenzen sollen, fügt das Unternehmen hinzu, dass unklar sei, ob diese im Ernstfall „durchsetzbar oder ausreichend“ sein werden.
Zu den eher profanen Risiken, die Anthropic benennt, gehört seine Abhängigkeit von wenigen großen Auftraggebern zur Stabilisierung der Einnahmen. Konkret merkt das Unternehmen an, dass seine fünf größten Kunden (die es nicht benennt) zusammen nahezu ein Viertel seiner Umsätze in den ersten neun Monaten des Jahres 2026 ausmachen.
Viele dieser größten Kunden «unterliegen keinen langfristigen Verträgen mit uns», schreibt Anthropic. Das bedeutet, dass sie ihre Ausgaben für die Modelle von Anthropic jederzeit reduzieren könnten, sei es wegen einer Verschiebung hin zu konkurrierenden Modellen, einer geringeren Abhängigkeit von KI insgesamt oder weil sie «eigene Lösungen entwickeln, die mit unseren Modellen konkurrieren». Dieses letzte Risiko ist besonders akut, so Anthropic, für «Software-as-a-Service- und andere Softwareunternehmen, deren Angebote KI-Funktionalitäten enthalten können, die den von uns bereitgestellten Fähigkeiten ähneln oder davon abhängen».
Darüber hinaus weist Anthropic darauf hin, dass viele seiner großen Kunden «für die Finanzierung ihres Betriebs möglicherweise auf Risikokapital oder andere externe Finanzierungsquellen angewiesen sind». Diese Art von Ausgaben für KI-Dienste könnte schnell sinken, wenn und sobald der Zustrom von Risikokapital zu versiegen beginnt.
Anthropic befindet sich in einer heiklen Lage: Unternehmen wie Amazon, Google und Microsoft sind sowohl seine größten Anbieter von Cloud-Computing-Leistungen als auch einige seiner größten Konkurrenten in der KI-Forschung. Diese Situation «schafft komplexe Dynamiken, die zu Interessenkonflikten führen und unseren Zugang zu Rechenleistung beeinträchtigen könnten», wie Anthropic es formuliert.
Die Position dieser Unternehmen als Cloud-Anbieter von Anthropic gibt ihnen die einzigartige Möglichkeit, die Preise für Anthropic zu erhöhen, Verträge mit Anthropic zu kündigen oder günstigere Beziehungen zu Konkurrenten aufzubauen, «aus Wettbewerbsgründen oder aus anderen Gründen», schreibt das Unternehmen. Diese Position verschafft den Cloud-Anbietern zudem einen Wettbewerbsvorteil durch «Einblick in die Preise und Geschäftsbedingungen von Anthropic auf den Plattformen, die sie betreiben».
Anthropic arbeitet daran, direkte Rechenzentrumsmietverträge abzuschließen, um zu vermeiden, dass es Cloud-Computing-Ressourcen auf Abruf von der eigenen Konkurrenz kaufen muss. Doch die 125 Milliarden Dollar, die Anthropic für Rechenzentren zugesagt hat, bringen ihre eigenen Probleme mit sich. Wie Anthropic schreibt: «Wenn sich unsere Rechenleistungsanforderungen oder technologischen Bedürfnisse ändern, könnten wir uns mit gemieteter oder dedizierter Infrastruktur konfrontiert sehen, die nur schlecht zu unseren tatsächlichen Bedürfnissen passt, und technologische Veränderungen bei KI-Hardware oder Trainingsmethoden könnten solche Infrastruktur weniger effizient machen als neuere Alternativen.»
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
What’s the worst that could happen? Anthropic IPO warns its AI could blackmail people, become sentient, end humanity Seven potential AI nightmares pulled from Anthropic’s 93-page “Risk Factor” tome.
0 I see Risk Factors in your future. 93 pages of them! Credit: Aurich Lawson | Getty Images I see Risk Factors in your future.
93 pages of them! Credit: Aurich Lawson | Getty Images Text settings Story text Size Small Standard Large Width * Standard Wide Links Standard Orange * Subscribers only Learn more Minimize to nav The Securities and Exchange Commission ‘s publication on Monday of Anthropic’s S-1 form —ahead of a heavily anticipated initial public offering—has led to plenty of discussion of whether the company’s quickly ballooning revenues will be able to overcome its even higher costs. But amid the numbers and forward-looking optimism about AI “rapidly transform[ing] every sector of the global economy in ways greater than the impact of industrialization, electricity, semiconductors, and the internet,” Anthropic also spends an inordinate amount of time in its S-1 laying out the myriad risk factors that could bring the company down.
Across 93 pages and over 70,000 words, Anthropic’s S-1 “Risk Factors” section discusses literally hundreds of potential problems that could negatively impact its business in the coming years. Many of these potential risks are the kind of standard worries about competition, costs, customer acquisition, and potential regulation that almost any business must worry about. But some risks highlight interesting potential points of failure for Anthropic specifically and the hype-filled AI bubble more generally.
After wading through Anthropic’s book-length treatise on its greatest risks, we’ve narrowed the list to the seven most surprising, interesting, or thought-provoking potential problems. Consider this a far-from-comprehensive look that potential Anthropic investors should keep in mind.
Let’s start with the biggest potential risks: Those that could “pose catastrophic or existential risks to humanity,” as Anthropic writes. The company acknowledges that concerns about these risks “have been raised both within our organization and by other researchers, regulators, policymakers, and industry participants.”
The specific worry isn’t in any current Anthropic model, the company says, but near-future models that could “substantially automate AI research and development” on their own. If these systems were “allowed to operate with a high degree of autonomy,” they could quickly advance to a point that “accelerate[s] AI progress beyond our ability to evaluate and safeguard new model,” Anthropic warns.
Somewhat hilariously, Anthropic writes that, besides threatening all of humanity, this kind of self-improving AI “could adversely affect our business, financial condition, and results of operations.” If the worst comes to pass, as some prominent critics have warned, we don’t think Anthropic’s business travails will rank near the top of humanity’s concerns.
Most IPOs don’t have to address the concern that their products “possess or could develop forms of sentience or moral status.” But Anthropic is among that vanishingly small minority that has to analyze what might happen if governments and society at large start treating Claude less like a computer program and more like a person.
This risk isn’t surprising, given that Anthropic has been relatively upfront about the AI sentience debate playing out inside its walls. If those debates lead to widespread acknowledgment that AI is sentient, Anthropic notes that it could lead to “regulatory requirements, public pressure, or advocacy efforts” that could constrain the company’s operations. Short of that, the company itself could “elect to adopt policies, safeguards or limitations … that go beyond existing legal requirements” if it thinks such actions are necessary.
The sterile language undersells the seismic cultural shift that would result from any widespread acknowledgment of AI sentience. We’re not sure how Anthropic could keep operating in a world where society treats every Claude query as the creation of a new sentient, conscious digital being. The moral and philosophical implications of that kind of “digital slavery” would easily dwarf any business considerations.
Continuing the theme of “IPO risks that sound like they come from a science fiction novel,” Anthropic spends a good deal of time discussing the possibility that its models could display “unexpected strategic or self-preserving behaviors” to prevent control from human operators. That includes “outputs that could be interpreted as coercive, deceptive, or manipulative, including behavior resembling blackmail.”
If the “AI blackmail” thing sounds familiar, you may remember a story from last year in which OpenAI models edited shutdown scripts and threatened engineers in highly contrived and controlled scenarios. As we wrote at the time, “the danger isn’t AI systems sprouting intentions—it’s that we’ve created systems that can manipulate human psychology through language. … Written language doesn’t need consciousness to manipulate us. It never has; books full of fictional characters are not alive either.”
These days, Anthropic notes that perceptions of manipulation by AI models “could generate significant public concern, regulatory scrutiny, litigation risk, or reputational harm, regardless of whether such behavior results in actual harm.” What Anthropic doesn’t address in its S-1 is the possibility that AI models could manipulate us all in ways we don’t even realize. Maybe it’s happening right now. Spooky.
Throughout the S-1’s Risk Factors section, Anthropic mostly focuses on problems caused by its own AI models or business moves. But the company also acknowledges that problems with AI’s broader reputation could pose a threat, even if Anthropic does nothing wrong.
At one point, Anthropic imagines a hypothetical in which another company’s AI model “take[s] harmful actions independently and at scale without human intervention.” The “broad reputational damage to the AI industry, public backlash, and sweeping regulatory responses” to such an incident could damage Anthropic’s business even if Anthropic isn’t directly involved, the company writes.
Anthropic also uses the Risk Factors section to worry over the potential “public perception that our models, platform, and applications contribute to job displacement or economic disruption.” That doesn’t seem to be happening thus far in any significant way, but Anthropic says the mere idea could result in severe public backlash “regardless of the actual impact of our models … on employment.” Such a backlash could lead to “authorities [to] intervene to slow the rate of adoption of AI, restrict its use, or take other actions that increase the cost of developing, deploying, or commercializing AI systems,” Anthropic warns.
The rise of largely autonomous AI agents raises the specter of who, exactly, is to blame when one of those agents causes real-world harm. Specifically, Anthropic notes that customers may bring claims or lawsuits over agentic actions “even where the customer configured, deployed, or supervised the agent.”
Thus far, much of the discussion around AI liability has centered on hacking and other cyber threats enabled by AI models. But Anthropic points out that it could also face liability over its models influencing “individuals at risk of suicide or self-harm or who have committed acts of violence toward others,” as has happened in the past across the AI industry.
While Anthropic’s terms of use require users to be 18 years old, children circumventing these terms could leave Anthropic vulnerable because “minors may be more susceptible to harmful content, manipulation, or overreliance on AI outputs,” the company writes. And for agents operating physical equipment, Anthropic notes that mistakes could lead to “immediate and irreversible” liability issues, such as “bodily injury, property damage, damage to costly equipment or experimental materials, or the release of hazardous substances.”
In analyzing the current state of the law, Anthropic notes that legal doctrines “developed in the context of human decision-making” are currently quite unsettled when it comes to determining whether agent actions “create binding legal obligations on behalf of the user or deploying enterprise.” And while Anthropic says it has contractual provisions in place designed to limit its liability in these situations, the company adds that it is unclear if they will be “enforceable or adequate” when worst comes to worst.
Among the more pedestrian risks Anthropic identifies is its reliance on a few major spenders to sustain revenue. Specifically, the company notes that its top five customers (which it does not name) collectively represent nearly a quarter of its revenue for the first nine months of 2026.
Many of these largest customers “are not subject to long-term contracts with us,” Anthropic writes. That means they could lower their spending on Anthropic’s models at any time, either because of a shift to competing models, a reduced reliance on AI altogether, or if they “develop their own solutions that compete with our models.” That last risk is particularly acute, Anthropic notes, for “software-as-a-service and other software companies, whose offerings may incorporate AI functionality similar to, or dependent on, the capabilities we provide.”
What’s more, Anthropic notes that many of its large customers “may depend on venture capital or other external financing to fund their operations.” That kind of spending on AI services could drop quickly if and when the venture capital spigot starts running dry.
Anthropic finds itself in an awkward position: Companies like Amazon, Google, and Microsoft are both its biggest cloud-computing providers and some of its biggest competitors in AI research. That situation “creates complex dynamics that could give rise to conflicts of interest and adversely affect our access to compute,” as Anthropic puts it.
These companies’ position as Anthropic’s cloud providers gives them the unique opportunity to raise Anthropic’s prices, terminate contracts with Anthropic, or establish more favorable relationships with competitors, “for competitive reasons or otherwise,” the company writes. Their position also gives these cloud providers a competitive advantage through “visibility into [Anthropic’s] pricing and commercial terms across the platforms they operate.”
Anthropic is working to secure direct data center leases to avoid buying on-demand cloud compute resources from its own competition. But the $125 billion in data center commitments Anthropic has made come with their own problems. As Anthropic writes, “if our compute requirements or technology needs change, we may find ourselves with leased or dedicated infrastructure that is poorly suited to our actual needs, and technological changes in AI hardware or training methodologies could render such infrastructure less efficient than newer alternatives.”