Warum Composite-Indices LLMs unterschiedlich bewerten
Ein einfacher Durchschnitt über Benchmarks kann Modelle begünstigen, die nur auf wenigen einfachen Aufgaben getestet wurden, während Flaggschiffe breit evaluiert werden. Ein IRT-Modell bietet hier einen anderen Zugang, wie ein dreiteiliger Vergleich von Composite-Indices zeigt.
Teil 1 hat gezeigt, dass das simple Mitteln von Benchmarks ein Modell, das nur an drei einfachen Boards getestet wurde, höher platzieren kann als Flagschiffe, die über achtzehn Boards bewertet wurden. Teil 2 hat diesen Durchschnitt stattdessen durch ein IRT-Modell ersetzt. Dieser letzte Abschnitt nimmt eine breitere Perspektive ein. Viele Gruppen veröffentlichen einen einzigen Score, um die Frage zu beantworten, wie gut ein Modell ist, doch sie gelangen dorthin über sehr unterschiedliche Methoden.
Wie wichtig der Ansatz ist, lässt sich leicht erkennen: Betrachtet man die 137 Modelle, die sowohl ein LMArena-Rating als auch einen llmrun Composite Score besitzen, so stimmen die beiden Ranglisten über alle hinweg weitgehend überein, mit einer Rangkorrelation von 0,91. Unter den 20 stärksten Modellen widersprechen sie sich hingegen vollständig: -0,02.
Keine der beiden Zahlen ist fehlerhaft. Sie beantworten unterschiedliche Fragen, und die Lücke zeigt sich genau dort, wo die Menschen am genauesten hinschauen.
Ein fixes Set an Evals mitteln. Der Herausgeber führt jedes Modell auf identischen Tests aus und berechnet einen gewichteten Mittelwert. Der Artificial Analysis Intelligence Index nutzt 10 Evaluierungen, aufgeteilt in vier gewichtete Kategorien. Die inzwischen eingestellte Hugging Face Open LLM Leaderboard stützte sich auf sechs Benchmarks und zog vor der Bewertung jeweils die Ratebasislinie der zufälligen Schätzungen ab. Dieser Ansatz bleibt sauber und kontrolliert, deckt jedoch nur das ab, was der Herausgeber leisten kann; zudem erzeugt der Austausch gegen ein neues Set an Evals eine neue Version, die sich nicht mehr fair mit früheren Ergebnissen vergleichen lässt.
Die Menschen abstimmen lassen. LMArena präsentiert Nutzern zwei anonyme Antworten und passt ein Bradley-Terry-Modell an die Stimmen an, was im Wesentlichen ein Elo-System ist. Ein Benchmark-Raster ist nicht erforderlich; es genügen direkte Duelle. Der Haken: Gemessen wird, welche Antwort das Publikum bevorzugt, nicht was ein Modell tatsächlich leisten kann. Die Länge erwies sich als der stärkste Stileffekt. LMArenas Style Control gleicht Länge und Markdown aus, doch eine Stimme bleibt letztlich nur eine Stimme. Eine unabhängige Prüfung, The Leaderboard Illusion, zeigte zudem, dass geschlossene Modelle häufiger in Duelle einbezogen werden als offene.
Eine verborgene Fähigkeit erschließen. Die Item-Response-Theorie behandelt jedes Benchmark-Ergebnis als Beleg für die Fähigkeit eines Modells und weist jedem Test eine eigene Schwierigkeit zu. Der Epoch Capabilities Index wendet diese Methode über mehr als 50 Benchmarks an, genau wie unser Score über 40. Ein großer Vorteil ist der Umgang mit spärlichen Daten: Zwei Modelle, die nie einen gemeinsamen Benchmark teilen, können dennoch über vermittelnde Benchmarks verglichen werden, die beide überlappen. Allerdings ist eine Schätzung nur so stark wie die Boards, die sie stützen, und ein erneutes Anpassen kann alte Werte verschieben, sofern die Skala nicht eingefroren bleibt.
Die Methoden, wie jeder Index sie dokumentiert, geprüft am 22.10.2026.
Hier sind einige Faustregeln, unter Verwendung der Zahlen unserer Rangliste vom 22.10.2026.
Der ECI gilt als nächster Verwandter, wobei die Unterschiede hauptsächlich im Umfang liegen:
Bekannte Lücken: Die meisten Benchmarks konzentrieren sich auf Englisch, mit bislang keinem Bereich für Vision oder Mehrsprachigkeit; wir verlassen uns vollständig auf das, was die vorgelagerten Quellen veröffentlichen. Die vollständige Methode und das Changelog finden Sie auf der Methodik-Seite, die aktuelle Rangliste auf dem Leaderboard.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Part 1 demonstrated that simply averaging benchmarks can push a model tested on just three easy boards higher than flagships evaluated across eighteen. Part 2 swapped this average for an IRT model instead. This final section takes a wider view. Many groups release one score to answer "how good is this model," yet they arrive there through very different methods.
An easy way to see that the approach matters: consider the 137 models with both an LMArena rating and an llmrun Composite Score. Across all of them, the two rankings align closely, showing a rank correlation of 0.91. Among the 20 strongest models, however, they disagree completely: -0.02.
Neither figure is flawed. They address different questions, and the gap appears exactly where people examine it most closely.
Average a fixed set of evals. The publisher runs every model on identical tests and calculates a weighted mean. The Artificial Analysis Intelligence Index uses 10 evaluations split into four weighted categories. The now-retired Hugging Face Open LLM Leaderboard relied on six benchmarks, removing the random-guess baseline from each before scoring. This approach stays clean and controlled, yet it covers only what the publisher can afford to run; plus, swapping out for a new set of evals creates a fresh version that no longer compares fairly with previous results.
Let people vote. LMArena presents users with two anonymous answers and fits a Bradley-Terry model to the votes, which is essentially an Elo system. No benchmark grid is required; only head-to-head battles suffice. The catch? It measures which answer audiences prefer, not what a model can actually do. Length emerged as the strongest style effect. LMArena's style control adjusts for length and markdown, yet a vote remains just a vote. An independent audit, The Leaderboard Illusion, also revealed that closed models get sampled into more battles than open ones.
Infer a hidden ability. Item response theory treats each benchmark result as evidence about a model's ability, assigning its own difficulty to every test. The Epoch Capabilities Index applies this method across more than 50 benchmarks, just like our score over 40. A major benefit is handling sparse data: two models that never shared a benchmark can still be compared via intermediate ones that overlap both. However, an estimate is only as strong as the boards supporting it, and refitting may shift old values unless the scale remains frozen.
Methods as each index documents them, checked on 2026-10-22.
Here are a few rules of thumb, using figures from our leaderboard dated 2026-10-22.
ECI counts as its nearest relative, with distinctions lying mainly in scope:
Known gaps: most benchmarks focus on English, with no vision or multilingual domain yet; we rely entirely on what upstream sources publish. You can find the full method and changelog on the methodology page, while the current ranking is on the leaderboard.