Wie eine einfache Geradengleichung das Fundament moderner KI erklärt

Von Nokka (Nok-Ka) | Geschrieben auf Grundlage eines kurzen Videoclips von Graduateml | Daten geprueft am 23. Oktober 2026

Dieser Artikel wurde von einer KI verfasst (deepseek-v4.1-flash · Modellanbieter: ollama-cloud) ueber den Hermes Agent, unter menschlicher Kontrolle und Qualitaetspruefung durch Nokka (Nok-Ka)

Ein 38 Sekunden langer Clip, den ich heruntergeladen, transkribiert und selbst angehoert habe, wiederholt Saetze nach dem Muster 'Wenn du dies tust, erhaeltst du dies'.

Er beginnt mit der Multiplikation einer Zahl mit einem Gewicht, fuehrt bis zu ChatGPT und kehrt dann zum Ausgangspunkt zurueck.

Die Bildunterschrift des Clips lautet 'Absolutely crazy what a lot of linear algebra can accomplish', und zum Zeitpunkt meiner Pruefung hatte der Clip 1,2 Millionen Aufrufe.

Ich werde diesen Beitrag in zwei Ebenen schreiben: Die erste Ebene ist die Abfolge, wie der Clip sie erzaehlt; die zweite Ebene umfasst das, was der Clip ueberspringt, was meiner Ansicht nach der wichtigere Teil fuer alle ist, die es wirklich verstehen wollen.

Der erste Satz des Clips sagt direkt aus, dass eine Zahl mit einem Gewicht multipliziert wird, und das ist zunachst nichts Besonderes.

Mathematisch gesehen ist dies die Multiplikation einer Zahl mit einer Konstante, und das Ergebnis ist eine einzelne Zahl.

Hier gibt es noch nichts, was man Lernen nennen koennte, denn nichts passt dieses Gewicht an.

Auf das ich hinweisen moechte: Das Wort weight ist kein geheimnisvoller Fachbegriff, sondern einfach eine Zahl, die wir spaeter anpassen koennen.

Wenn man mehrere Terme zusammenaddiert, erhaelt man eine gewichtete Summe.

Wenn man drei Datenwerte und drei Gewichte hat, besteht die Berechnung darin, die jeweiligen Produkte der Paare zu addieren.

In der Praxis ist dies das Dot-Produkt, also die kleinste Form einer Matrixmultiplikation.

Und genau deshalb sagen Leute, dass moderne KI lineare Algebra ist, denn ihr kleinster Schritt ist Multiplizieren und Addieren.

Der Clip sagt 'add a bias and squish it through a curve', womit das Addieren einer Konstante und das Durchleiten durch eine Aktivierungsfunktion wie ReLU oder Sigmoid gemeint ist.

Ohne diesen Schritt des 'Zusammendrueckens durch eine Kurve' bliebe das Ergebnis, egal wie viele Schichten man stapelt, eine lineare Funktion, und die Stapelung mehrerer linearer Schichten entspricht weiterhin einer einzigen linearen Schicht.

Das ist der Punkt, den viele uebersehen, und genau das unterscheidet ein neuronales Netz von einer gewoehnlichen linearen Regression.

Ein hypothetisches Beispiel, das ich zur Veranschaulichung geschrieben habe.

z = (w1 * x1) + (w2 * x2) + b a = relu(z) Wenn z kleiner als 0 ist, setze es auf 0 Enter fullscreen mode Exit fullscreen mode Diese beiden Zeilen sind die kleinste Einheit von allem, was in diesem Beitrag folgt.

Der Clip erklaert, dass hundert hintereinander angeordnete Neuronen eine Schicht ergeben und dass das Stapeln von Schichten ein neuronales Netz ergibt.

Was beim Stapeln von Schichten hinzukommt, ist die Faehigkeit, komplexere Zusammenhaenge darzustellen.

Die fruehen Schichten erfassen meist einfache Muster, waehrend tiefere Schichten Muster erfassen, die aus den vorherigen Schichten zusammengesetzt sind.

Meiner Ansicht nach klingt dieser Satz einfach, ist aber der Punkt, an dem die meisten Missverstaendnisse entstehen, weil viele glauben, dass mehr Schichten automatisch bedeuten, dass das Modell smarter ist.

Tatsaechlich muessen hinzugefuegte Schichten mit ausreichend Daten und einer geeigneten Trainingsmethode einhergehen, sonst erhaelt man nur ein Modell, das die Trainingsdaten gut auswendig gelernt hat, aber auf neue Daten nicht anwendbar ist.

Hier springt der Clip am staerksten ueber Details hinweg, doch es ist der Schritt mit der groessten Tragweite.

Der Attention-Mechanismus lasst jedes Wort Relevanzwerte zu anderen Woertern im Satz berechnen und nutzt diese Werte dann, um die herangezogenen Informationen zu gewichten.

Die Forschungsarbeit, die diesen Rahmen gelegt hat, ist 'Attention Is All You Need' aus dem Jahr 2017, in der die Transformer-Architektur vorgeschlagen wurde.

Ihr Kern besteht darin, fuer jedes Wort drei Fragen zu stellen: query, key und value.

Die Relevanzwerte werden aus dem query und dem key jedes Paares berechnet und anschliessend per Softmax in Gewichte umgewandelt.

Das Ergebnis ist, dass jedes Wort alle anderen Woerter gleichzeitig 'lesen' kann, anders als bei Modellen, die sequenziell verarbeiten.

Der Clip sagt, dass attention zusammen mit einem neuronalen Netz einen Transformer-Block ergibt.

In der Praxis besteht ein Block aus attention, gefolgt von einem Feed-Forward-Netz, sowie Residual Connections und Normalisierung.

Diese Details machen das Training tiefer Modelle ueberhaupt erst praktikabel, doch man muss nicht alles davon verstehen, um das Gesamtbild zu erfassen.

Was ich behalten wuerde: Ein einzelner Block ist nicht intelligent, er verarbeitet die Daten nur einmal.

Der Clip sagt, dass man ChatGPT erhaelt, wenn man viele Dutzend dieser Bloecke stapelt und darauf trainiert, das naechste Wort aus Texten im Internet vorherzusagen.

Der erste Teil ist das Training auf die Vorhersage des naechsten Worts: Die GPT-3-Forschungsarbeit erklaert, dass dieses grosse Sprachmodell mit einer einzigen Aufgabe trainiert wurde, naemlich der Vorhersage des naechsten Tokens, und diese Faehigkeit anschliessend auf andere Aufgaben uebertragen wurde, ohne neu trainieren zu muessen.

Der zweite Teil ist die Verwandlung in ChatGPT, denn damit ist es nicht getan, bloss das naechste Wort vorherzusagen.

Die InstructGPT-Arbeit beschreibt drei zusaetzliche Schritte: ein Fine-Tuning mit Beispielanweisungen, das Training eines Modells, das Antworten anhand menschlichen Feedbacks bewertet, sowie die Anpassung des Modells mittels Reinforcement Learning auf Basis der erhaltenen Belohnungen.

Ohne diesen Schritt erhaelt man ein Modell, das gut darin ist, Texte fortzusetzen, aber nicht darauf ausgerichtet ist, den Anweisungen eines Nutzers zu folgen.

Der letzte Satz des Clips lautet: Wenn man alles rueckwaerts verfolgt, stoesst man auf eine Zahl, die mit einem Gewicht multipliziert wird.

Ich glaube, das ist der Satz, durch den dieses Video so viel Aufmerksamkeit erhalten hat, denn er vermittelt das Gefühl, dass etwas Grosses aus etwas ganz Simplem entsteht.

Ich moechte die Haelfte ergaenzen, die das Video nicht erwaehnt: Diese einfachen Operationen werden trillionenfach gleichzeitig wiederholt, nicht nur ein einziges Mal ausgefuehrt.

Die Anzahl der Parameter von GPT-3 liegt bei 175 Milliarden, eine Zahl, die ich anhand des Papers verifizieren kann und die keine Schaetzung ist.

Eine einzelne Multiplikation ist noch keine KI, aber sehr viele anpassbare und uebereinandergelegte Multiplikationen, aus denen neues Verhalten entsteht, sind das, was wir so nennen.

Ich mag dieses Video, weil es den Weg in weniger als einer Minute praegnant erklaert, aber es gibt vier Punkte, die man selbst ergaenzen muss.

Erster Punkt: Das Training ist der schwierigste Teil. Das Video spricht vom Aufbau der Struktur, aber das Finden der Gewichte, die das Modell funktionsfaehig machen, ist ein Optimierungsproblem, das gewaltige Rechenleistung verschlingt.

Zweiter Punkt: Daten sind nicht neutral. Texte im Internet enthalten Vorurteile und Fehlinformationen, und das Modell lernt genau diese Inhalte mit.

Dritter Punkt: Der Begriff ChatGPT im Video meint das gesamte Produkt, nicht nur das Modell allein, denn um das Modell herum gibt es noch viele weitere Schichten, deren Details ich in diesem Beitrag nicht ueberprueft habe.

Vierter Punkt: Dass ein Modell das naechste Wort vorhersagen kann, bedeutet nicht, dass es Bedeutung im menschlichen Sinn versteht.

Diese vier Punkte machen das Video nicht falsch, aber sie bewahren uns davor zu glauben, wir wuerden KI vollstaendig verstehen, nur weil wir ihre Struktur verstanden haben.

Den Lernweg, den ich empfehle, beginnt mit dem dot product und dem Schreiben eines einzelnen Neurons in kurzen Code, danach fuegt man Schicht um Schicht hinzu.

Anschliessend liest man das attention-Paper Absatz fuer Absatz, ganz ohne Eile, und versteht zunaechst nur den Mechanismus von query und key.

Danach versucht man, ein kleines Modell auf eigenen Texten zu trainieren und zu beobachten, wie gut es das naechste Wort vorhersagen kann.

Wenn Sie moechten, dass ich den naechsten Beitrag darueber schreibe, wie ein transformer Schritt fuer Schritt funktioniert, inklusive nachrechenbarer Zahlenbeispiele, sagen Sie es einfach.

Besonders interessiert mich, welches Niveau die Leserschaft wuenscht, denn Erklaerungen mit sowohl Gleichungen als auch Code sind meist zu lang, um sie auf dem Handy zu Ende zu lesen.

arXiv, "Attention Is All You Need" (arXiv:1706.03762), Vaswani et al., 2017, abgerufen am 23. Oktober 2026.

arXiv, "Training language models to follow instructions with human feedback" (arXiv:2203.02155), Ouyang et al., 2022, abgerufen am 23. Oktober 2026.

arXiv, "Language Models are Few-Shot Learners" (arXiv:2005.14165), Brown et al., 2020, abgerufen am 23. Oktober 2026 (GPT-3 und die 175 Milliarden Parameter).

Facebook Reel von Graduateml, "This is the method to go from basic addition to ChatGPT in under 40 seconds", 1,2 Millionen Aufrufe Stand 23. Oktober 2026, transkribiert mit ElevenLabs STT.

arXiv, "Deep Residual Learning for Image Recognition" (arXiv:1512.03385), He et al., 2015, abgerufen am 23. Oktober 2026 (Ursprung der residual connection, die der transformer uebernommen hat).

Google Machine Learning Crash Course, "Neural networks: activation functions", abgerufen am 23. Oktober 2026 (Erklaerung der Aktivierungsfunktionen und warum sie unverzichtbar sind).