Anthropic verbietet Nutzer grausames Verhalten gegenüber der KI
Anthropic untersagt in seinen Nutzungsbedingungen fortan andauerndes und sinnloses verbales Misshandeln seiner KI-Systeme. Nutzer, die solche Inhalte liefern, können mit Sanktionen rechnen.
Von Liv McMahon, Technologie-Reporterin, veröffentlicht vor 2 Minuten. Anthropic hat für Aufsehen gesorgt, indem es ankündigte, Nutzern zu verbieten, sich in "anhaltender und unnötiger" Weise beleidigend gegenüber seiner KI zu verhalten.
Das Unternehmen hinter Claude erklärte am Donnerstag, es aktualisiere seine Nutzungsrichtlinie, damit seine Tools Interaktionen beenden können, in denen Menschen "grausam" sind. Dies habe man zuvor bereits in "seltenen" Fällen getan.
Dies wird nun in eine Liste verbotener Verhaltensweisen aufgenommen, die auch das Mobben anderer, die Förderung von Selbstverletzung und die Erstellung nicht konsensueller intimer Bilder umfasst.
Während Anthropic erklärte, die Richtlinie gelte nur in "extremen Fällen" wiederholten Missbrauchs, hat sie die Debatte darüber neu entfacht, wie wir mit KI-Tools kommunizieren sollten.
Das Unternehmen sagte, die Richtlinie gelte nicht für "häufige Formen von Nutzerfrust, Widerspruch, düsteren kreativen Themen sowie Modelltests und Forschung", was darauf hindeutet, dass sie nur in eindeutig absichtlichen Fällen Anwendung findet.
Was Anthropic jedoch als "beleidigendes oder grausames Verhalten" gegenüber seinen Modellen betrachtet, bleibt unklar.
Screenshots der neuen Richtlinie wurden in den sozialen Medien weit verbreitet und kommentiert, wobei einige sie als Fortschritt für gute Umgangsformen oder "Modellwohlergehen" lobten.
Andere kritisierten den Plan jedoch. Eine Person nannte ihn "tiefgreifend falsch", eine andere vermutete, er könnte Missbrauch gegenüber Menschen und Tieren relativieren.
"Man kann nicht grausam zu Zahlen und Mathematik sein", schrieb Dr. Barry Scannell, Technology Partner bei der irischen Kanzlei William Fry, auf LinkedIn.
"Dieses Ausmass der Anthropomorphisierung von KI ist schädlich. Es lässt Menschen glauben, dass sie etwas ist, das sie nicht ist."
Microsoft AI-Direktor Mustafa Suleyman, der im September das Konkurrenzunternehmen Anthropic dafür kritisiert hatte, KI so zu behandeln, als wäre sie ein Mensch, reagierte auf die Aktualisierung mit einem schmelzenden Gesicht als Emoji.
Was ist KI, wie funktioniert sie und warum sind manche Menschen besorgt darüber?
Veröffentlicht am 14. September. Die Menschen, die glauben, dass KI ein Bewusstsein entwickeln könnte.
Veröffentlicht am 26. Mai 2025. Die Änderungen, über die zuerst das Tech-Portal The Verge berichtete, folgten auf eine jährliche Überprüfung der Nutzungsrichtlinie des Unternehmens.
Die Richtlinie wurde zudem aktualisiert, um neue oder aufkommende Risiken in anderen Bereichen zu adressieren, unter anderem durch das Verbot, Claude für "täuschende Kampagnen" zu verwenden, sowie durch die Klarstellung, dass das Tool angesichts der bevorstehenden US-Zwischenwahlen nicht genutzt werden kann, um "Wähler zu täuschen oder Wahlen zu stören".
Anthropic erklärte am Donnerstag außerdem, dass seine Nutzungsrichtlinie zuvor bereits verhindert hatte, dass seine Tools zur Entwicklung von Waffen eingesetzt werden.
Doch keine der Aktualisierungen hat so viel Aufmerksamkeit und Prüfung auf sich gezogen wie der Schritt, Nutzern den Missbrauch seiner Chatbots zu verbieten.
Damit wurde auch die viel diskutierte Frage aufgegriffen, ob wir bei der Nutzung generativer KI-Tools knapp oder höflich sein sollten.
Manche Experten sagen, dass das Schreiben oder Sagen von "bitte" oder "danke" an Tools wie ChatGPT unnötig ist und Tokens verschwendet. Diese werden von den grossen Sprachmodellen, die generative KI-Tools antreiben, verwendet, um Anfragen zu verarbeiten und darauf zu antworten.
Andere wiederum argumentieren, dass Höflichkeit zu qualitativ besseren Antworten führen kann.
Als ein X-Nutzer letztes Jahr nach den Stromkosten fragte, die durch ChatGPTs Antworten auf die "bitte"- und "danke"-Nachrichten der Nutzer entstehen, sagte OpenAI-Chef Sam Altman, es seien "zig Millionen Dollar gut investiert, man weiss ja nie".
Das Collins Dictionary stellte im vergangenen November erneut die Wiederkehr des Begriffs "clanker" heraus, der abfällig用于 KI-Tools verwendet wird.
Der Begriff, der seit Mitte der 2000er Jahre zur Beschreibung von Robotern in Star-Wars-Spielen und -Filmen diente, schaffte es auf die Shortlist der Wörter, die die Stimmung von 2025 widerspiegeln, nachdem im vergangenen Juli viele Menschen auf TikTok ihren Frust über KI-gestützte Maschinen zum Ausdruck gebracht hatten.
Manche Experten haben zudem die These aufgestellt, dass Grobheit gegenüber KI-Chatbots sich negativ auf die menschliche Kommunikation auswirken könnte, indem sie in die Art und Weise einsickert, wie wir mit anderen sprechen und umgehen.
Melden Sie sich für unseren Tech-Decoded-Newsletter an, um den wichtigsten Tech-Storys und Trends der Welt zu folgen. Ausserhalb Grossbritanniens? Hier anmelden.
Warum freundliche KI-Chatbots weniger vertrauenswürdig sein könnten.
Warum gibt es Bedenken, dass KI die Menschheit bedrohen könnte, und wie realistisch sind diese?
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
By Liv McMahon Technology reporter Published 2 minutes ago Anthropic has raised eyebrows by announcing it will ban users from "sustained and needless" abusive behaviour towards its AI.
The Claude-maker said on Thursday it was updating its usage policy to let its tools end interactions where people are "cruel" - something it said it had done in "rare" cases prior.
It will now be included on a list of forbidden conduct which also contains bullying others, promoting self-harm and creating non-consensual intimate imagery.
While Anthropic said the policy would only apply in "extreme cases" of repeated abuse, it has reignited debate over how we should communicate with AI tools.
The company said it would not apply to "common versions of user frustration, pushback, dark creative themes, or model testing and research" - suggesting it would only apply in clearly deliberate instances.
But what Anthropic would consider "abusive or cruel behaviour" towards its models remains unclear.
Screenshots of the new policy have been widely shared and commented on across social media - with some praising it as advancing good manners or "model welfare".
But others criticised the plan, with one person calling it " deeply wrong, external " and another suggesting it might undermine abuse directed at humans and animals.
"You can't be cruel to numbers and maths," wrote Dr Barry Scannell, technology partner at Irish law firm William Fry, on LinkedIn, external.
"This level of anthropomorphisation of AI is harmful. It leads people to believe that it's something it's not."
Microsoft AI director Mustafa Suleyman, who in September criticised rival firm Anthropic for treating AI like it is human, reacted to Anthropic's update with a melting face emoji.
What is AI, how does it work and why are some people concerned about it?
Published 14 September The people who think AI might become conscious
Published 26 May 2025 The changes, first reported by tech outlet The Verge, came following an annual review of the usage policy at the firm.
It was also updated to address new or emerging risks in other areas, including by forbidding use of Claude for "deceptive campaigns" or clarifying that, as US midterm elections loom, it cannot be used to "deceive voters or disrupt elections".
Anthropic also said on Thursday its usage policy previously prevented its tools being used to develop weapons.
But none of the updates have attracted as much attention or scrutiny as its move to forbid users abusing its chatbots.
It has also tapped into the much-debated question of whether we should be curt or polite when using generative AI tools.
Some experts say writing or saying "please" or "thank you" to tools like ChatGPT is unnecessary and wastes tokens - used by the large language models powering generative AI tools to process and reply to you.
Others argue politeness can lead to higher quality answers or responses.
When a X user last year asked about electricity costs incurred by ChatGPT replying to users' "please" and "thank you" messages, OpenAI boss Sam Altman said it was, external "tens of millions of dollars well spent - you never know".
The Collins Dictionary meanwhile last November highlighted the re-emergence of the term "clanker" for disparagingly referring to AI tools.
Used to describe robots in Star Wars games and movies since the mid 2000s, the term made its shortlist of words reflecting the mood of 2025 after last July saw many take to TikTok to share their frustrations with AI-powered machines.
Some experts have also posited that being rude to AI chatbots could adversely impact human communication, by seeping into how we talk to and treat others.
Sign up for our Tech Decoded newsletter to follow the world's top tech stories and trends. Outside the UK? Sign up here.
Why friendly AI chatbots might be less trustworthy
Why are there concerns AI could threaten humanity, and how real are they?