Rueckwaerts-Buchstabieren faellt LLMs leichter, wenn sie einzelne Buchstaben sehen
Large Language Models zerlegen Text vor der Verarbeitung in Chunks wie Woerter oder Wortfragmente, wodurch einzelne Buchstaben unsichtbar bleiben. Modelle, die jeden Buchstaben direkt verarbeiten koennen, tun sich mit Aufgaben wie dem Rueckwaerts-Schreiben deutlich leichter.
von der Ludwig-Maximilians-Universität München
redigiert von Swati Mestri, geprüft von Robert Egan
Dieser Artikel wurde gemäß dem redaktionellen Prozess und den Richtlinien von Science X geprüft. Die Redaktion hat die folgenden Merkmale hervorgehoben und dabei die Glaubwürdigkeit des Inhalts sichergestellt:
Zu bevorzugten Quellen hinzufügen Bildnachweis: Pixabay/CC0 Public Domain Bevor große Sprachmodelle (LLMs) Text verarbeiten können, zerlegen sie ihn in Abschnitte wie Wörter oder Wortfragmente. Das LLM hinter ChatGPT zerlegt beispielsweise "LMU München" in die drei Abschnitte "LM", "U" und "München", sodass es die einzelnen Buchstaben in "München" nie direkt sieht. Dieser Schritt, der als Subword-Tokenisierung bezeichnet wird, macht LLMs effizient, verursacht aber eine Reihe von Problemen, etwa ein begrenztes Verständnis auf Zeichenebene.
Modelle, die stattdessen Text Byte für Byte lesen (Bytes sind die Basiseinheiten, in denen Computer Text speichern, ungefähr eines pro Buchstabe), vermeiden diese Probleme. In der Praxis haben sie sich jedoch noch nicht als tragfähige Alternative zu LLMs auf Basis der Subword-Tokenisierung etabliert.
In einer neuen Studie, die in der Fachzeitschrift Nature veröffentlicht wurde, haben Forschende der LMU, des Allen Institute for AI, der University of Cambridge, der University of Washington und des Imperial College London eine Methode entwickelt, die bestehende LLMs in Modelle auf Byte-Ebene umwandelt, ohne sie von Grund auf neu trainieren zu müssen.
Diese sogenannte Byteifizierung erfordert weniger als 1 % des Trainings, das normalerweise für ein solches Modell nötig wäre, und bewahrt weitgehend die Leistung des ursprünglichen LLM, während sie die Vorteile der Verarbeitung auf Byte-Ebene hinzufügt. Die resultierenden Modelle übertreffen alle bisher veröffentlichten Byte-Level-LLMs vergleichbarer Größe.
"Wir glauben, dass die Byteifizierung und Byte-Level-LLMs im Allgemeinen das Potenzial haben, einige langjährige Schwächen von LLMs zu überwinden", sagt Valentin Hofmann, Juniorprofessor für Informations- und Sprachverarbeitung mit KI-Methoden an der LMU München und letzter Autor der Studie.
"Traditionelle LLMs haben Schwierigkeiten mit Aufgaben, die Fähigkeiten auf Zeichenebene erfordern, etwa das Buchstabieren eines Wortes rückwärts. Unsere byteifizierten Modelle sind darin deutlich besser."
Diese Fähigkeiten sind mehr als eine akademische Kuriosität: "Eine gute Darstellung der niedrigen Strukturebenen von Text ist in vielen Bereichen der Wissenschaft entscheidend, zum Beispiel bei der Arbeit mit Code oder biologischen Sequenzen", erklärt Hofmann.
Die Autoren hoffen, dass die Byteifizierung Byte-Level-Modelle zu einer praktischen Alternative zu heutigen LLMs machen und neue Forschungsrichtungen eröffnen wird. Die Modelle, der Code und die Trainingsdaten sind öffentlich verfügbar.
Benjamin Minixhofer et al., Retrofitting language models to operate over bytes, Nature (2026). DOI: 10.1038/s41586-026-11111-4 Zeitschrifteninformationen: Nature
Swati Mestri hat einen Bachelorabschluss in Elektroniktechnik und arbeitet seit 2019 als Content-Redakteurin. Sie verfügt über Erfahrung in der Bearbeitung von Forschungsdokumenten aus den Bereichen Technologie, Gesundheitswesen und Materialwissenschaft und interessiert sich besonders für Technologie und Weltraum. Vollständiges Profil →
Bachelor in mathematischer Biologie, Master in Creative Writing. Weit gereist mit einzigartigen Perspektiven auf Wissenschaft und Sprache. Vollständiges Profil →
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
by Ludwig Maximilian University of Munich
edited by Swati Mestri, reviewed by Robert Egan
This article has been reviewed according to Science X's editorial process and policies. Editors have highlighted the following attributes while ensuring the content's credibility:
Add to Preferred Sources Credit: Pixabay/CC0 Public Domain Before large language models (LLMs) can process text, they split it into chunks such as words or word fragments. The LLM behind ChatGPT, for example, splits "LMU München" into the three chunks "LM," "U" and "München," so it never directly sees the individual letters in "München." This step, which is known as subword tokenization, makes LLMs efficient but causes a range of problems, such as limited character-level understanding.
Models that instead read text byte by byte (bytes are the basic units in which computers store text, roughly one per letter) avoid these problems. In practice, however, they have not yet become a viable alternative to LLMs based on subword tokenization.
In a new study published in the journal Nature, researchers from LMU, the Allen Institute for AI, the University of Cambridge, the University of Washington and Imperial College London have developed a method that converts existing LLMs into byte-level models without retraining them from scratch.
This "byteification" requires less than 1% of the training typically needed for such a model and largely preserves the performance of the original LLM while adding the benefits of byte-level processing. The resulting models outperform all previously published byte-level LLMs of comparable size.
"We believe that byteification, and byte-level LLMs more generally, have the potential to overcome some long-standing shortcomings of LLMs," says Valentin Hofmann, junior professor of information and language processing using AI methods at LMU Munich and last author of the study.
"Traditional LLMs struggle with tasks that require character-level capabilities, such as spelling a word backward. Our byteified models are substantively better at this."
These capabilities are more than an academic curiosity: "A good representation of the low-level structure of text is critical in many areas of science, for example, when working with code or biological sequences," Hofmann explains.
The authors hope that byteification will make byte-level models a practical alternative to today's LLMs and open up new research directions. The models, code and training data are publicly available.
Benjamin Minixhofer et al, Retrofitting language models to operate over bytes, Nature (2026). DOI: 10.1038/s41586-026-11111-4 Journal information: Nature
Swati Mestri holds a bachelor's degree in Electronics Engineering and has worked as a content editor since 2019. She has experience editing research documents across technology, health care, and materials science, and has a particular interest in technology and space. Full profile →
Bachelor's in mathematical biology, Master's in creative writing. Well-traveled with unique perspectives on science and language. Full profile →