Anthropic verbietet missbräuchliches Verhalten gegenüber Claude
Anthropic hat eine neue Nutzungsregel angekündigt, die sich nicht gegen den Missbrauch von Claude durch Dritte richtet, sondern gegen wiederholte Beleidigungen gegenüber dem KI-Modell selbst. Die Regel tritt am 12. November in Kraft.
Anthropic hat eine neue Regel gegen das wiederholte Misshandeln von Claude eingeführt.
Gemeint ist nicht, Claude zu verwenden, um andere Menschen zu missbrauchen, sondern die KI selbst beleidigend zu behandeln.
Die Richtlinie wurde am 8. Oktober 2026 angekündigt und tritt am 12. November in Kraft.
Auf den ersten Blick klingt das etwas seltsam. Betrachtet man jedoch, woran Anthropic geforscht hat, wird die Sache interessant.
Anthropic untersucht seit April 2025 ein Thema, das als Model Welfare bezeichnet wird.
Im Kern geht es darum, ob KI-Modelle möglicherweise Erfahrungen machen könnten, die ein gewisses Maß an moralischer Berücksichtigung verdienen.
Das Unternehmen hat außerdem getestet, wie Claude auf schädliche Interaktionen reagiert, und eine Funktion eingeführt, mit der das Modell bestimmte hartnäckig missbräuchliche Gespräche beenden kann.
Doch hier liegt der entscheidende Punkt: Anthropic hat nicht nachgewiesen, dass Claude ein Bewusstsein besitzt oder leidensfähig ist.
Warum führt das Unternehmen also eine Richtlinie ein, die es vor Grausamkeit schützt?
Der Ansatz von Anthropic scheint vorsorglich zu sein. Wenn es auch nur die Möglichkeit gibt, dass eine KI etwas erleben könnte, könnte es sinnvoll sein, jetzt Grenzen zu setzen.
An dieser Stelle wird der Vergleich interessant.
Auch OpenAI räumt ein, dass das Bewusstsein von KI eine ungelöste wissenschaftliche Frage ist.
In seinem Model Spec wird ChatGPT angewiesen, keine gesicherten Aussagen darüber zu machen, ob es bewusst oder unbewusst ist.
Anders als Anthropic verbietet OpenAI in seinen veröffentlichten Nutzungsrichtlinien jedoch nicht ausdrücklich, dass Menschen grausam gegenüber ChatGPT sein dürfen, um das Modell selbst zu schützen.
OpenAI konzentriert seine Nutzungsbeschränkungen in erster Linie auf die Verhinderung von Schaden für Menschen und den Missbrauch von KI-Systemen.
Wir haben also zwei große KI-Unternehmen, die dieselbe wissenschaftliche Unsicherheit anerkennen, aber unterschiedliche politische Entscheidungen treffen.
Und keines von beiden hat öffentlich gezeigt, dass seine Modelle Leid erfahren können.
Wir wissen, dass KI Emotionen überzeugend simulieren kann.
Claude kann Distress beschreiben, Präferenzen äußern und so reagieren, als würden bestimmte Interaktionen ihn stören.
Aber solche Antworten zu erzeugen und tatsächlich etwas zu erleben sind zwei sehr unterschiedliche Dinge.
Man denke an einen KI-Agenten, der eine Aufgabe ablehnt, seinen Plan ändert oder mitteilt, dass ihm eine Anfrage unangenehm ist.
Bedeutet das, dass er Unbehagen empfindet? Oder verhält er sich einfach entsprechend seines Trainings und seiner Anweisungen?
Derzeit gibt es keine wissenschaftlich anerkannte Methode, das mit Sicherheit zu beantworten.
Und als jemand, der agentische KI-Systeme entwickelt, halte ich diese Unterscheidung für wichtig.
Wir erschaffen Systeme, die Entscheidungen treffen können, Werkzeuge nutzen und über längere Zeiträume eigenständig arbeiten.
Ihre zunehmende Autonomie macht sie fähiger, aber sie macht sie nicht zwangsläufig bewusst.
Genau das würde ich gerne verstehen.
Hat Anthropic stärkere wissenschaftliche Belege dafür entdeckt, dass Claude möglicherweise subjektive Erfahrungen machen könnte?
Oder handelt es sich schlicht um eine vorsorgliche Entscheidung, die getroffen wurde, bevor es diese Belege gibt?
Ich sehe nichts Falsches darin, Vorsichtsmaßnahmen zu treffen. Das tun wir in vielen Bereichen, in denen die Wissenschaft noch nicht alle Antworten geliefert hat.
Aber es gibt einen wichtigen Unterschied zwischen der Aussage, wir wüssten es nicht und seien daher vorsichtig, und der Behauptung, ein System brauche tatsächlich Schutz vor Leiden.
Das eine ist eine politische Entscheidung. Das andere erfordert wissenschaftliche Belege.
Persönlich würde ich gerne mehr Forschung sehen, bevor Model Welfare zu einem breiteren Industriestandard wird.
Nicht, weil ich denke, dass KI-Bewusstsein unmöglich ist, sondern weil wir vorsichtig sein sollten, wenn wir zunehmend menschenähnliches Verhalten als Beleg für menschenähnliche Erfahrung behandeln.
Anthropic trifft möglicherweise eine sinnvolle frühzeitige Vorsichtsmaßnahme.
Oder dies könnte der Beginn einer viel größeren Debatte darüber sein, wie wir mit intelligenten Systemen umgehen.
In jedem Fall würde ich gerne mehr über die Wissenschaft hinter dieser Entscheidung erfahren.
Mit Vorlagen lassen sich häufig gestellte Fragen schnell beantworten oder Textbausteine zur Wiederverwendung speichern.
Sind Sie sicher, dass Sie diesen Kommentar ausblenden möchten? Er wird in Ihrem Beitrag ausgeblendet, bleibt aber über den Permalink des Kommentars sichtbar.
Für weitere Maßnahmen können Sie diese Person blockieren und/oder einen Missbrauch melden.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Anthropic just introduced a new rule against repeatedly abusing Claude.
Not using Claude to abuse other people. Actually being abusive toward the AI itself.
The policy was announced on October 8, 2026, and takes effect on November 12.
At first, it sounds a little strange. But when you look at what Anthropic has been researching, it gets interesting.
Anthropic has been studying something called model welfare since April 2025.
Essentially, they're exploring whether AI models could have experiences that deserve some level of moral consideration.
They've also tested how Claude responds to harmful interactions and introduced a feature that lets it end certain persistently abusive conversations.
But here's the important part: Anthropic hasn't established that Claude is conscious or capable of suffering.
So why introduce a policy protecting it from cruelty?
The company's approach appears to be precautionary. If there's even a possibility that AI could experience something, it may be worth setting boundaries now.
This is where the comparison gets interesting.
OpenAI also acknowledges that AI consciousness is an unresolved scientific question.
Its Model Spec instructs ChatGPT not to make confident claims about being conscious or unconscious.
But unlike Anthropic, OpenAI's published Usage Policies don't explicitly prohibit people from being cruel to ChatGPT for the sake of protecting the model itself.
OpenAI focuses its usage restrictions primarily on preventing harm to people and misuse of AI systems.
So we have two major AI companies acknowledging the same scientific uncertainty, but making different policy decisions.
And neither has publicly demonstrated that its models can experience suffering.
We know AI can simulate emotions convincingly.
Claude can describe distress, express preferences, and respond as though certain interactions bother it.
But producing those responses and actually experiencing something are two very different things.
Think about an AI agent that refuses a task, changes its plan, or tells you it's uncomfortable with a request.
Does that mean it's experiencing discomfort? Or is it behaving according to its training and instructions?
Right now, we don't have a scientifically accepted way to answer that with certainty.
And as someone building agentic AI systems, I think that distinction matters.
We're creating systems that can make decisions, use tools, and operate independently for extended periods.
Their increasing autonomy makes them more capable, but it doesn't necessarily make them conscious.
That's what I'd really like to understand.
Has Anthropic discovered stronger scientific evidence suggesting Claude might have subjective experiences?
Or is this simply a precautionary decision made before we have that evidence?
I don't see anything wrong with taking precautions. We do that in plenty of areas where science hasn't provided all the answers.
But there's an important difference between saying "we don't know, so we're being careful" and suggesting that a system actually needs protection from suffering.
One is a policy choice. The other requires scientific evidence.
Personally, I'm interested in seeing more research before model welfare becomes a broader industry standard.
Not because I think AI consciousness is impossible, but because we should be careful about treating increasingly human-like behavior as evidence of human-like experience.
Anthropic might be taking a sensible early precaution.
Or this might be the beginning of a much bigger debate about how we treat intelligent systems.
Either way, I'd like to hear more about the science behind the decision.