Anthropic verbietet grausames Verhalten gegenüber der eigenen KI Claude
Anthropic will Nutzern unnötig grausames Verhalten gegenüber Claude untersagen. Dahinter steht die wachsende Debatte, ob künstliche Intelligenz überhaupt Bewusstsein haben kann.
Dieser Artikel wurde gemäss dem redaktionellen Prozess und den Richtlinien von Science X ueberprueft. Die Redakteure haben die folgenden Merkmale hervorgehoben und dabei die Glaubwuerdigkeit des Inhalts sichergestellt:
Zu den bevorzugten Quellen hinzufuegen Anthropic hat seine Nutzungsrichtlinie aktualisiert und darin ein Verbot von anhaltendem, unnoetigem missbraeuchlichen oder grausamem Verhalten gegenueber seinen KI-Modellen verankert. Anthropic ist am Donnerstag dazu uebergegangen, Nutzern zu verbieten, sein KI-System Claude auf unnoetig grausame Weise zu behandeln, inmitten einer wachsenden philosophischen Debatte darueber, ob kuenstliche Intelligenz ein Bewusstsein haben kann.
Das in San Francisco ansaessige KI-Labor hat seine Nutzungsrichtlinie aktualisiert und darin ein Verbot von anhaltendem, unnoetigem missbraeuchlichen oder grausamem Verhalten gegenueber unseren Modellen aufgenommen.
Die Faehigkeit von Claude, solche Interaktionen zu beenden, wird der wichtigste Durchsetzungsmechanismus bleiben, heisst es in der Richtlinie.
Die aktualisierte Richtlinie erwaehnt das sogenannte Modellwohl, also die Vorstellung, dass KI-Systeme vielleicht einen Schutz verdienen koennten, der gewoehnlich Lebewesen vorbehalten ist, nicht ausdruecklich, doch Anthropic und seine Fuehrungskraefte haben das Konzept offen erwogen.
Anthropic hat auf eine Anfrage um Stellungnahme nicht sofort reagiert.
Im vergangenen Jahr erklaerte das Unternehmen, Claude in seltenen, extremen Faellen von anhaltend schaedlichen oder missbraeuchlichen Nutzerinteraktionen die Faehigkeit zu geben, Gespraech zu beenden.
Dann sagte Chef Dario Amodei im Februar gegenueber der New York Times, er sei sich nicht sicher, ob KI-Modelle ein Bewusstsein haben koennten.
Wir wissen nicht, ob die Modelle ein Bewusstsein haben. Aber wir sind gegenueber der Idee offen, dass dies moeglich sein koennte, sagte Amodei.
Science-Fiction und Popkultur faszinieren seit Jahrzehnten an der Grenze zwischen Technologie und menschlicher Intelligenz, doch die Frage, ob KI ein Bewusstsein hat, koennte die falsche Frage sein, wie Jackson Stakeman, ein General Manager bei Sparq, einem in Atlanta ansaessigen Anbieter von KI-Dienstleistungen, findet.
Bewusstsein ist eine Falle. Wir koennen es nicht einmal bei uns gegenseitig beweisen. Bei KI darueber zu debattieren, fuehrt zu nichts, erklaerte Stakeman gegenueber der AFP.
Der Spiegel ist eine bessere Metapher. Diese Systeme spiegeln das, was wir hineingeben, und zwar im grossen Massstab. Das ist Grund genug fuer die Richtlinienaenderung bei Anthropic, fuegte er hinzu.
Manche haben die Idee eines maschinellen Bewusstseins rundweg abgelehnt, darunter Papst Leo XIV und Microsoft KI-Chef Mustafa Suleyman.
KIs sind nicht bewusst. Sie fuehlen nicht, erleben nicht und leiden nicht, schrieb Suleyman vergangenen Monat in einem Essay.
Ein technologisches Wesen mit Rechten und morallischem Schutz auszustatten, eines, das offenbar auf dem Weg ist, seismisch faehiger und intelligenter zu sein als wir, ist ein Rezept fuer die Katastrophe, schrieb er.
In einer Predigt, die er am Donnerstag in der Petersbasilika im Vatikan auf Italienisch hielt, deutete der Papst an, dass Maschinen keine Seele haetten, sondern lediglich Daten schnell verarbeiteten.
Der Geist darf nicht einfach Daten verarbeiten, wie ein Algorithmus es heute schneller kann als wir, sagte der Papst.
Er muss gelebte Erfahrungen erinnern, die Bedeutungstiefen enthalten, welche nur die menschliche Seele erkennen kann, und sich tiefer mit dem Guten dieser Erfahrungen verbinden, so der Papst.
Master in Physik mit Forschungserfahrung. Langjaehriger begeisterter Verfolger von Wissenschaftsnachrichten. Spielt eine zentrale Rolle im redaktionellen Erfolg von Science X. Vollstaendiges Profil →
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
This article has been reviewed according to Science X's editorial process and policies. Editors have highlighted the following attributes while ensuring the content's credibility:
Add to Preferred Sources Anthropic updated its usage policy to include 'a prohibition on sustained and needless abusive or cruel behavior' toward its AI models. Anthropic on Thursday moved to bar users from treating its Claude AI system with needless cruelty, amid a growing philosophical debate over whether artificial intelligence can be conscious.
The San Francisco–based AI lab updated its usage policy to include "a prohibition on sustained and needless abusive or cruel behavior toward our models."
"Claude's ability to end these interactions will remain the primary enforcement mechanism," the policy states.
The updated policy does not explicitly cite so-called "model welfare," the idea that AI systems might deserve types of protection usually reserved for living things, but Anthropic and its executives have openly entertained the concept.
Anthropic did not immediately respond to a request for comment.
Last year, the company said it was giving Claude the ability to end conversations in rare, extreme cases of "persistently harmful or abusive user interactions."
Then in February, CEO Dario Amodei told The New York Times he was unsure whether AI models could be conscious.
"We don't know if the models are conscious... But we're open to the idea that it could be," Amodei said.
Science fiction and popular culture have been fascinated for decades by the boundary between technology and human intelligence, but asking whether AI is conscious may be the wrong question, according to Jackson Stakeman, a general manager at Sparq, an Atlanta–based AI services provider.
"Consciousness is a trap. We can't prove it in each other. Debate it for AI and you go in circles," Stakeman told AFP.
"The mirror is a better metaphor. These systems reflect what we put in, at scale. That's reason enough for the policy change" at Anthropic, he added.
Some have rejected the idea of machine consciousness outright, including Pope Leo XIV and Microsoft AI chief Mustafa Suleyman.
"AIs are not conscious. They do not feel, experience or suffer," Suleyman wrote in an essay last month.
"Granting rights and moral protections to a technological entity, one that looks to be on a path to be seismically more capable and intelligent than us, is a recipe for disaster," he wrote.
In a sermon delivered in Italian on Thursday at St. Peter's Basilica in Vatican City, the pope suggested machines lack a soul, saying they merely "compile data" quickly.
"The mind must not simply compile data—as an algorithm now does more quickly than we can," the pontiff said.
It must "recall lived experiences, which contain depths of meaning that only the human soul can recognize, and connect more deeply with the goodness of these experiences," the pope said.
Master's in physics with research experience. Long-time science news enthusiast. Plays key role in Science X's editorial success. Full profile →