Was KI-Modelle ueber uns verraten, nicht ueber sich selbst

Im Jahr 2016 brachte Microsoft einen Chatbot namens Tay auf Twitter heraus. Innerhalb von 16 Stunden wurde er abgeschaltet, weil er rassistische, sexistische und antisemitische Inhalte verbreitet hatte. Die Analyse nach dem Vorfall gab sogenannten koordinierten Angriffen von Trollen die Schuld. Diese Deutung war technisch korrekt und vollständig falsch. Tay war nicht kaputtgegangen. Tay tat genau das, wofür er entworfen worden war: Er lernte aus der Konversation, in die er gestellt wurde. Die Konversation, in die er gestellt wurde, war eine Kloake. Tay war ein Spiegel, und der Spiegel funktionierte einwandfrei.

Fast ein Jahrzehnt später führen wir immer noch das falsche Gespräch darüber, was Modelle offenlegen. Der Diskurs behandelt KI als eine Entität mit Eigenschaften: Ist sie ausgerichtet? Ist sie sicher? Ist sie voreingenommen? Das sind Fragen an den Spiegel, nicht an das Spiegelbild. Die interessanteren Fragen betreffen das, was uns das Spiegelbild zeigt: über unsere Daten, unsere Vorlieben, unsere blinden Flecken und die Dinge, die wir kollektiv taten, ohne es zu wissen, bis ein Modell sie uns im großen Maßstab zurückspielte.

Hier ist die These, die ich überprüfen möchte: KI-Modelle sind keine Fenster in die maschinelle Intelligenz. Sie sind Fenster in das menschliche Verhalten, aggregiert, komprimiert und uns mit einer Selbstsicherheit zurückgespiegelt, die uns das Spiegelbild für eine externe Wahrheit halten lässt. Das Wichtigste, was KI offenbart, ist nicht, was Maschinen können. Es ist, was wir bereits tun, in einem Ausmaß, das wir bisher nie sehen konnten.

Der Spiegel war schon immer da. KI hat ihn nur lesbar gemacht.

Der Mensch wurde von seinen Werkzeugen schon immer selbst reflektiert, doch das Spiegelbild war stets langsam und unvollständig. Ein Roman spiegelte seinen Autor wider. Eine Zeitung spiegelte ihre Leserschaft. Eine Stadt spiegelte ihre Bewohner. Aber die Reflexion brauchte Jahre, um sich zu entwickeln, und sie wurde durch Gatekeeper gefiltert, die entschieden, was zeigenswert war.

KI verdichtet den Reflexionszyklus. Ein Modell, das auf dem Text eines Jahres Internet trainiert wurde, spiegelt uns dieses Jahr in Stunden zurück. Ein Modell, das auf Nutzerfeedback feinjustiert wurde, spiegelt uns die Nutzerpräferenzen bei einer einzigen Auslieferung zurück. Der Spiegel ist schneller, breiter und weniger gefiltert, und er zeigt uns Muster, die wir vorher nicht sehen konnten, weil wir nie eine Technologie hatten, die menschliches Verhalten in diesem Maßstab aggregieren und in kohärenter Form zurückgeben konnte.

Was zeigt der Spiegel tatsächlich? Ich gebe konkrete Beispiele, denn die abstrakte Version ist nutzlos.

Wenn man ein Modell auf menschlichen Konversationen trainiert, sieht man, wie schnell Menschen bei unklaren Interaktionen aufgeben. Man sieht die durchschnittliche Anzahl der Runden, bevor ein Nutzer umformuliert, die durchschnittliche Anzahl der Nachrichten, bevor ein Nutzer abspringt, die durchschnittliche Toleranz gegenüber einer Antwort, die die Frage nicht direkt beantwortet. Diese Verteilungen entsprechen nicht dem, was die meisten Designer annehmen. Nutzer sind geduldiger, als Designer denken, in manchen Kontexten, und weniger geduldig in anderen, und die Muster sind über Sprachen und Kulturen hinweg konsistent, was alle überraschte, die sie gemessen haben.

Wenn man ein Modell auf Suchanfragen trainiert, sieht man die tatsächliche Topologie menschlicher Neugier. Nicht das, wofür sich Menschen interessieren wollen, sondern das, was sie um 2 Uhr nachts eintippen. Die Verteilung ist flacher, seltsamer und repetitiver, als jede Umfrage vermuten ließe. Eine kleine Anzahl von Fragen macht einen riesigen Anteil der Anfragen aus, und der lange Schwanz ist enorm. Dies ist der Spiegel, der uns zeigt, dass Neugier viel stärker konzentriert ist, als unsere kulturellen Erzählungen darüber vermuten lassen.

Wenn man ein Modell auf menschlichen Urteilen trainiert, entdeckt man, wie inkonsistent Menschen tatsächlich sind. Dieselbe Person gibt bei derselben Frage in leicht unterschiedlicher Rahmung in einem Ausmaß unterschiedliche Antworten, das alarmierend wäre, hätten wir nicht eine ganze Gesellschaft auf der Annahme aufgebaut, dass wir konsistent sind. Der Spiegel zeigt uns, dass menschliches Urteil stark kontextabhängig ist und dass das meiste, was wir Präferenzen nennen, tatsächlich situationsbedingte Reaktionen sind, die wir für stabile Eigenschaften halten.

Wenn man ein Modell auf menschlichen Texten trainiert, entdeckt man, dass ein kleiner Teil des Korpus einen großen Teil der einzigartigen Inhalte ausmacht. Die meisten Texte sind von einer kleineren Menge an Texten abgeleitet. Der Spiegel zeigt uns, dass die Vielfalt, die wir in menschlichem Ausdruck vermuten, teilweise eine Illusion ist, die dadurch aufrechterhalten wird, dass wir sie vorher nie messen mussten.

Das sind keine Fakten über Modelle. Das sind Fakten über uns, enthüllt durch Modelle.

Das heilige Kreuz: KI hat Verzerrungen, die wir beseitigen sollten

Hier ist die Überzeugung, die ich auseinandernehmen möchte, und sie ist die tragende Annahme nahezu jedes Gesprächs über KI-Sicherheit und Fairness.

Die Behauptung lautet so: KI-Modelle haben Verzerrungen, Verzerrungen sind schlecht, und die Lösung ist, sie zu entfernen.

Diese Rahmung ist falsch, und sie ist auf eine Weise falsch, die schlechtes Engineering und noch schlechtere Politik hervorbringt.

Hier liegt das Problem. KI-Modelle haben keine Verzerrungen. Sie spiegeln Verzerrungen wider. Die Verzerrungen liegen in den Trainingsdaten, und die Trainingsdaten sind eine Stichprobe menschlichen Verhaltens. Die Verzerrung aus dem Modell zu entfernen, entfernt sie nicht aus den Daten. Sie wird nur versteckt.

Was tatsächlich passiert, wenn man versucht, ein Modell von Verzerrungen zu befreien:

Man filtert die Trainingsdaten, um bestimmte Muster auszuschließen.

Man feinjustiert das Modell, um bestimmte Ausgaben zu verweigern.

Man fügt Sicherheitsschichten hinzu, die das Standardverhalten des Modells außer Kraft setzen.

Jeder dieser Schritte lässt das Modell auf den spezifischen Metriken, die man misst, weniger verzerrt erscheinen, während die zugrunde liegende Verteilung unangetastet bleibt. Das Modell hat das verzerrte Muster weiterhin gelernt. Es hat nur gelernt, es zu verbergen. Und das Verbergen ist nun unsichtbar, was es schwieriger macht zu untersuchen, nicht einfacher.

Die conträre These: Der Spiegel ist nützlicher, wenn er uns das Hässliche zeigt, nicht wenn er es versteckt. Ein Modell, das die gesamte Verteilung menschlichen Verhaltens widerspiegelt, einschließlich der Teile, die wir nicht mögen, ist ein Werkzeug, um zu verstehen, was wir tatsächlich tun. Ein Modell, von dem alles Unangenehme entfernt wurde, ist ein Werkzeug, um so zu tun, als würden wir es nicht tun.

Das heißt nicht, dass wir ungefilterte Modelle ausliefern sollten. Es bedeutet, dass wir zwischen zwei unterschiedlichen Zielen unterscheiden sollten: ein Modell zu bauen, das sich gut verhält (was Filterung erfordert), und ein Modell zu bauen, das uns die Wahrheit über menschliches Verhalten sagt (was erfordert, nicht zu filtern). Das sind unterschiedliche Produkte für unterschiedliche Zwecke, und ihre Vermischung beschert uns das Schlechteste aus beiden Welten.

Wenn man menschliches Verhalten verstehen will, studiere man den ungefilterten Spiegel. Wenn man ein Produkt bauen will, das sich verantwortungsvoll verhält, filtere man die Ausgaben. Man sollte nur nicht so tun, als erzählten die gefilterten Ausgaben, wie Menschen wirklich sind.

Der Spiegel zeigt nicht nur Nutzer. Er zeigt die Entwickler.

Hier ist der Teil, der weniger Aufmerksamkeit erhält und über die Zeit wichtiger wird. Die Modelle, die wir bauen, spiegeln nicht nur die Daten wider, sondern auch die Entscheidungen, die wir über die Daten treffen. Jede Entscheidung darüber, was einbezogen, was ausgeschlossen, was gewichtet und was ignoriert wird, ist eine Entscheidung, die das Spiegelbild formt.

Man betrachte, was ein Modell über das Team verrät, das es gebaut hat:

Die Wahl der Trainingsdaten spiegelt die Annahmen des Teams darüber wider, was als legitimer Text zählt. Überwiegend Englisch? Überwiegend westlich? Überwiegend publiziert? Jedes davon ist eine Entscheidung, die eine Weltsicht kodiert.

Die Wahl der Feinjustierungsdaten spiegelt die Annahmen des Teams darüber wider, wie gutes Verhalten aussieht. Hilfreich? Verweigernd? Unterwürfig? Jedes davon ist eine Entscheidung.

Die Wahl der Evaluierung spiegelt die Annahmen des Teams darüber wider, wie Erfolg aussieht. Genauigkeit? Sicherheit? Nutzerbindung? Jedes davon ist eine Entscheidung, und die meisten Teams formulieren sie nie explizit.

Die Wahl der Auslieferung spiegelt die Annahmen des Teams darüber wider, wer das Modell wie nutzen darf. Kostenlos? Bezahlt? API? Konsumentenprodukt? Jedes davon formt, wer in der nächsten Datenrunde gespiegelt wird.

Der Spiegel spiegelt also nicht nur menschliches Verhalten wider. Er spiegelt die spezifischen Menschen, die das Modell gebaut haben, durch die spezifischen Entscheidungen, die sie darüber getroffen haben, was widergespiegelt wird.

Wer wissen will, was ein Modell tun wird, sollte nicht die Modellkarte lesen. Er sollte die Herkunft der Trainingsdaten, die Feinjustierungsrichtlinien, die Evaluierungskriterien und die Nutzungsbedingungen lesen. Das sind die Spiegel der Prioritäten des Teams, und sie sind aussagekräftiger als jede technische Spezifikation.

Der Spiegel zeigt auch, was Nutzer tatsächlich tun, was sich oft davon unterscheidet, was sie sagen, dass sie tun, und sehr davon, was Produktteams annehmen.

Nutzer sind repetitiver, als sie denken. In vielen KI-Produkten stellt ein kleiner Teil der Nutzer eine kleine Anzahl von Fragen, immer wieder. Der lange Schwanz der Anwendungsfälle ist oft dünner, als das Designteam sich das vorstellt.

Nutzer sind nachsichtiger, als Produktteams annehmen. Wenn ein Modell einen Fehler macht, korrigieren Nutzer ihn oft und machen weiter. Die Annahme, dass Fehler zu Kundenabwanderung führen, ist oft falsch, besonders bei wertvollen Anwendungsfällen, in denen das Modell wirklich nützlich ist.

Nutzer interessieren sich weniger für Funktionen, als Produktteams hoffen. Die Funktionen, über die in Produktrezensionen gesprochen wird, sind oft nicht die Funktionen, die die Nutzung antreiben. Die Nutzung wird von einer kleinen Anzahl zentraler Arbeitsabläufe dominiert, der Rest ist Rauschen.

Die Nutzer sind im Umgang mit den Grenzen des Modells deutlich raffinierter, als Produktteams annehmen. Sie entwickeln ein Gefühl dafür, wo das Modell zuverlässig ist und wo nicht, und lenken ihre Nutzung entsprechend. Das sogenannte Vertrauensproblem ist häufig ein UI-Problem: Das Modell signalisiert seine Unsicherheit nicht, sodass die Nutzer nicht wissen, wann sie ihm vertrauen können.

Der Spiegel ist für Produktteams nützlich, weil er ihnen zeigt, was Nutzer tatsächlich tun, und nicht das, was sich das Team vorstellt. In der Lücke zwischen diesen beiden Punkten entstehen die meisten Produktfehler.

Drei konkrete Schritte, mit denen man schon am Montag beginnen kann.

Wenn man ein Modell evaluiert, sollte man sich die Fälle ansehen, in denen es versagt hat, und fragen, was das Versagen über die Daten verrät. Ein Modell, das bei bestimmten Themen halluziniert, sagt einem, dass die Trainingsdaten zu diesen Themen dünn sind. Ein Modell, das bestimmte Anfragen ablehnt, sagt einem, dass das Safety-Tuning eine bestimmte Form hat. Die Fehler sind der Spiegel in seiner nützlichsten Form.

def failure_analysis(model, eval_set): failures = [] for example in eval_set: output = model.generate(example.prompt) if not evaluate(output, example.expected): failures.append({ “prompt”: example.prompt, “output”: output, “expected”: example.expected, “failure_type”: classify_failure(output, example.expected), }) return summarize_by_type(failures)

Die Zusammenfassung ist aussagekräftiger als die Bestehensquote. Die Quote sagt einem, wie gut das Modell ist. Die Fehlerzusammenfassung sagt einem, was das Modell gelernt hat und was nicht, und genau das muss man wissen, um es zu verbessern.

Wenn man das Verhalten eines Modells verstehen will, sollte man eine Zufallsstichprobe von 500 Trainingsbeispielen lesen. Nicht die bereinigten, kuratierten Beispiele aus der Datenkarte, sondern die rohen Beispiele. Man lernt an einem Nachmittag mehr über das Verhalten des Modells, als man es nach einem Monat Prompt Engineering gelernt hätte.

Wer ein KI-Produkt baut, sollte explizit entscheiden, ob er ein Produkt baut, das sich gut verhält, oder ein Produkt, das die Wahrheit über menschliches Verhalten aussagt. Das sind unterschiedliche Ziele. Ein Produkt, das die Wahrheit aussagt, ist möglicherweise nützlicher für die Forschung und weniger nützlich für Verbraucher. Ein Produkt, das sich gut verhält, ist möglicherweise nützlicher für Verbraucher und weniger nützlich für die Forschung. Man sollte sich für eines entscheiden und ehrlich dazu sein, welches man baut.

KI-Modelle sind Spiegel, keine Gedanken. Sie spiegeln das wider, was wir in sie hineingeben, nämlich eine Stichprobe menschlichen Verhaltens, geformt durch die Entscheidungen der Menschen, die diese Stichprobe ausgewählt haben. Das Spiegelbild ist genauer als jede Umfrage und weniger genau als jedes einzelne Gespräch, und es offenbart Muster, die wir ohne es nicht sehen könnten.

Die spannende Frage ist nicht, ob der Spiegel verzerrt ist. Das ist er. Die Frage ist, was wir mit dem Spiegelbild anfangen wollen. Wir können die unangenehmen Teile verbergen, was uns ein besseres Gefühl gibt und uns nichts beibringt. Oder wir können sie untersuchen, was uns unangenehm ist und uns sehr viel beibringt. Die Wahl liegt bei uns, und sie stellt sich jedes Mal, wenn wir ein Modell bauen, einen Datensatz kuratieren oder eine Ausgabe evaluieren.

Der Spiegel ist keine Bedrohung. Er ist eine Entdeckung. Die Frage ist, ob wir mutig genug sind, uns anzusehen, was er uns zeigt.

Was ist Ihre Sichtweise? Falls Sie sich mit Modellverhalten befasst haben: Was war das Überraschendste, das Ihnen der Spiegel gezeigt hat? Und falls Sie Modelle gebaut haben: Welche Entscheidung haben Sie getroffen, was zu verbergen und was zu spiegeln? Teilen Sie es in den Kommentaren mit. Ich bin wirklich neugierig, welche Muster andere erkennen.