DeepSeek V4.1-Flash-1017 überzeugt in Benchmarks, Zweifel an Bewertungsmethodik bleiben
DeepSeek hat mit V4.1-Flash-1017 ein neues Modell veröffentlicht, das in Tests wie Terminal-Bench 4.0 und DeepSWE deutlich zulegt und bei DeepSWE Claude Opus 5 übertrifft. Weil die Werte je nach Testumgebung teils stark abweichen, herrscht in der Community Streit über die Aussagekraft der Eval-Ergebnisse.
DeepSeek hat am 17. Oktober V4.1-Flash-1017 veroeffentlicht, und die Schlagzeilen-Zahlen haben sich bewegt: Terminal-Bench 4.0 stieg von 31.2 auf 42.3, und DeepSWE erreichte 77.0 und lag damit vor Claude Opus 5 mit 74.0. Die Reaktion spaltete sich in zwei Lager. Die eine Haelfte des Feeds feierte. Die andere Haelfte sagte, was Skeptiker immer sagen: Zeigt mir die Evaluierung, nicht die Stimmung.
Beide Lager haben den interessanten Teil verpasst. Der stand in DeepSeeks eigener Release-Notiz: Das Modell ist "auf DeepSeek Harness v0.2.1-rc.1 oder neuer abgestimmt." Ihr Terminal-Bench-Durchlauf wurde innerhalb des Claude Code Harness ausgefuehrt. DeepSWE lief innerhalb von Mini-SWE-V2. Die Zugaenge kamen nicht von einem groesseren Modell. Sie kamen vom Harness rund um das Modell.
DeepSeek hat den Vergleich selbst veroeffentlicht, auf der offiziellen Modellkarte fuer V4.1 Flash. Man nehme ein Modell und fuehre es auf Terminal-Bench 2.1 unter fuenf verschiedenen Harnesses aus:
Gleiche Gewichte. Gleiche Prompts, gleiche Aufgaben. Eine Spanne von 6.5 Punkten, die ausschliesslich vom Scaffolding bestimmt wird, in dem das Modell laeuft. Und als der unabhaengige Tester Vals AI das Modell auf Terminal-Bench 2.1 unter neutralen Bedingungen laufen liess, massen sie 74.53 Prozent, gegenueber der 90.6 des Anbieters. Ein weiterer unabhaengiger Durchlauf fuehrte das Modell durch 10 echte Programmieraufgaben in zwei Harnesses und beobachtete, wie sich die Token-Rechnung um rund 75 Prozent veraenderte, je nachdem, welcher Harness das Modell antrieb.
Und es betrifft nicht nur das neue Modell. Dasselbe Muster zeigte sich beim bisherigen Flaggschiff: DeepSeek meldete 87.9 auf Terminal-Bench 2.1 fuer V4-Pro 0813; Vals AI mass 54.68 Prozent auf dem Referenz-Harness, eine Luecke von 33 Punkten. Der Harness verschiebt die Punktzahl nicht nur leicht. Er kann sie um ein Drittel der Skala bewegen.
Das ist kein DeepSeek-Skandal. Jeder Anbieter meldet die Zahl aus dem Harness, der das Modell am guenstigsten darstellt. Es ist ein Messproblem, und es hat eine Kehrseite, die niemand einpreist: Wenn der Harness einem Modell 6 bis 16 Punkte kosten kann, kann der Harness diese Punkte auch zurueckgeben.
Emma Intelligence begann genau als diese Wette: Der Engpass ist nicht das Modell, sondern das Geruest darum herum.
emma-scaffold-v3 ist ein Scaffold und Harness um einen bestehenden Dienst, Gemini Flash 4, der es diesem Dienst ermoeglicht, besser abzuschneiden. Auf meinen Benchmark-Suiten hebt es Gemini von 93 auf 100 Prozent: 31/31 bei reasoning, 31/31 beim Programmieren, 28/28 bei Mathematik.
Ich erwarte nicht, dass jemand mir das einfach abnimmt, und nach dieser Woche sollte man das auch niemandem abnehmen. Deshalb habe ich die Evaluierung genau so veroeffentlicht, wie es die Skeptiker fordern: jeden Prompt und jede woertliche Modellantwort, unter emma-intelligence.com/benchmarks. Wenn du dort eine falsche Benotung entdeckst, stehe ich dafuer gerade.
Die Lehre aus dem 1017-Release ist nicht, dass Anbieter-Benchmarks gefaelscht sind. Sondern dass eine Benchmark-Punktzahl eine Eigenschaft von Modell plus Harness ist, gemeldet von demjenigen, der beide ausgewaehlt hat. Die Loesung ist unspektakulaer und umfassend: die ganze Tabelle veroeffentlichen, den Harness benennen und die Rohausgaben posten. DeepSeek hat, um es ihnen hoch anzurechnen, in ihrer eigenen Scaffold-Tabelle genug Seil veroeffentlicht, um den Harness-Effekt sichtbar zu machen. Die meisten Anbieter tun das nicht.
emma-scaffold-v3 umhuellt das Basismodell mit reasoning-Schleifen, Verifizierern und Memory, sodass jede Antwort strukturiert, geprueft und im Kontext verankert ist, bevor sie den Nutzer erreicht. Das Basismodell aendert sich nie, die Arbeit geschieht um es herum.
Das Scaffold macht Gemini nicht zu einem anderen Modell. Die 100 Prozent stammen aus meinen veroeffentlichten Suiten, 90 schwere Fragen, nicht aus dem gesamten Raum aller Aufgaben. Und der Harness-Effekt wirkt in beide Richtungen: Ein schlechtes Scaffold kann ein gutes Modell nach unten ziehen, was vermutlich der Grund ist, warum die Neutral-Harness-Zahlen dort landen, wo sie landen.
Aber die Richtung ist entschieden. Das Modell wird zu einer austauschbaren Eingabegroesse. Die Punktzahl lebt im Scaffold.
Probiere es aus: emma-intelligence.com (kostenloser Tier, 10 Nachrichten, keine Karte). Die Belege: emma-intelligence.com/benchmarks
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
DeepSeek released V4.1-Flash-1017 on Oct 17, and the headline numbers moved: Terminal-Bench 4.0 went from 31.2 to 42.3, and DeepSWE hit 77.0 — ahead of Claude Opus 5's 74.0. The reaction split in two. Half the timeline celebrated. The other half said what skeptics always say: show me the eval, not the vibe.
Both halves missed the interesting part. It was in DeepSeek's own release note: the model is "tuned for DeepSeek Harness v0.2.1-rc.1 or later." Their Terminal-Bench run was executed inside the Claude Code harness. DeepSWE ran inside Mini-SWE-V2. The gains didn't come from a bigger model. They came from the harness around the model.
DeepSeek published the comparison itself, on the official model card for V4.1 Flash. Take one model and run it on Terminal-Bench 2.1 under five different harnesses:
Same weights. Same prompts, same tasks. A 6.5-point spread decided entirely by the scaffolding the model runs inside. And when an independent tester, Vals AI, ran the model on Terminal-Bench 2.1 under neutral conditions, they measured 74.53% — against the 90.6 vendor number. Another independent run put the model through 10 real coding tasks in two harnesses and watched the token bill change by ~75% depending on which harness drove it.
And it's not just the new model. The same pattern showed up on the previous flagship: DeepSeek reported 87.9 on Terminal-Bench 2.1 for V4-Pro 0813; Vals AI measured 54.68% on the reference harness — a 33-point gap. The harness doesn't just nudge the score. It can move it by a third of the scale.
This is not a DeepSeek scandal. Every vendor reports the number from the harness that flatters the model most. It's a measurement problem — and it has a flip side nobody prices in: if the harness can cost a model 6 to 16 points, the harness can also give those points back.
Emma Intelligence started as exactly that bet: the bottleneck isn't the model, it's the scaffold around it.
emma-scaffold-v3 is a scaffold and harness around an existing service — Gemini Flash 4 — that allows it to perform better. On my benchmark suites it lifts Gemini from 93% to 100%: 31/31 on reasoning, 31/31 on coding, 28/28 on math.
I don't expect anyone to take my word for it, and after this week you shouldn't take anyone's. So I published the eval the way the skeptics are asking for: every prompt and every verbatim model response, at emma-intelligence.com/benchmarks. If you spot a bad grade in there, I'll own it.
The lesson of the 1017 release isn't that vendor benchmarks are fake. It's that a benchmark score is a property of a model plus a harness, reported by whoever chose both. The fix is boring and total: publish the full table, name the harness, and post the raw outputs. DeepSeek, to their credit, published enough rope in their own scaffold table to make the harness effect visible. Most vendors don't.
emma-scaffold-v3 wraps the base model with reasoning loops, verifiers, and memory, so each answer is structured, checked, and grounded in context before it reaches the user. The base model never changes — the work happens around it.
The scaffold doesn't make Gemini a different model. The 100% is on my published suites — 90 hard questions, not the whole space of tasks. And the harness effect cuts both ways: a bad scaffold can drag a good model down, which is presumably why the neutral-harness numbers land where they do.
But the direction is settled. The model is becoming a commodity input. The score lives in the scaffold.
Try it: emma-intelligence.com (free tier, 10 messages, no card). The receipts: emma-intelligence.com/benchmarks