ai newsDo., 22. Okt.
EilmeldungGemini 4 Argon vs GPT-6 Astra vs Claude Opus 5.5: What Google’s New Model Actually Wins

Gemini 4 Argon vs GPT-6 Astra vs Claude Opus 5.5: What Google’s New Model Actually Wins

Every frontier launch now arrives with a table where the new model wins. Gemini 4 Argon is more interesting than most, because you can check Google's table against independent scoring, and the two tell different stories. The headline version is that Google caught up. The accurate version is narrowe

dev.toDonnerstag 02:41 · 22.10.5 Min. Lesezeit
Bild: dev.to

Jeder Frontier-Launch kommt inzwischen mit einer Tabelle, in der das neue Modell gewinnt. Gemini 4 Argon ist interessanter als die meisten, denn man kann Googles Tabelle mit unabhängigen Bewertungen vergleichen, und die beiden erzählen unterschiedliche Geschichten.

Die Schlagzeilen-Version lautet, dass Google aufgeholt hat. Die korrekte Version ist enger gefasst: Argon führt bei Wissensarbeit, langem Kontext und beim Preis gegenüber einem Wettbewerber, liegt aber bei der anspruchsvollsten Programmierarbeit zurück. Das ist eine andere Art von Sieg als "entthront".

Google hat einen Grossteil dieses Jahres die Debatte um Coding-Agenten verloren. Das Unternehmen strich Gemini 3.5 Pro, brachte ein 3.8 Flash Release heraus und setzte dann mit Gemini 4 die Benennung zurück. Auch seine Ausgabeobergrenze war eine echte Einschränkung: 64K Tokens pro Antwort sind kurz für Migrationen, lange Recherchelaüfe und Refaktorierungen über mehrere Dateien hinweg.

Argon ist Googles Antwort auf langfristige Arbeiten. Das Versprechen ist ein Modell, das in einer einzigen Sequenz über Hunderttausende von Tokens nachdenken kann, statt in viele kurze Aufrufe zerstückelt zu werden. Ein Google-Sprecher sagte Engadget, das Unternehmen sehe Argon bei wichtigen Benchmarks als vergleichbar mit OpenAIs GPT-6 Astra und Anthropics Opus. "Vergleichbar" ist die Aussage, an der man sich festhalten sollte.

Die auffälligste Spezifikationsänderung betrifft die Ausgabe. Die Gemini-API-Dokumentation nennt ein Kontextfenster von 1.048.576 Tokens, eine standardmässige synchrone maximale Ausgabe von 65.536 Tokens und bis zu 1.048.576 Tokens mit long decode. Die 1M-Ausgabenzahl ist also real, aber es handelt sich um einen optionalen Modus, nicht um den Standard.

Eingaben decken Text, Bild, Video, Audio und PDF ab, die Ausgabe ist jedoch nur Text. Es gibt keine Bilderzeugung, keine Audioerzeugung und keine Live API. Thinking gibt es in den Stufen low, medium und high, und der Google-Cloud-Leitfaden weist darauf hin, dass die alte Einstellung MINIMAL nicht mehr unterstützt wird. Caching ist nur implizit möglich. Explizites Caching ist nicht verfügbar, was wichtig ist, wenn Ihr Kostenmodell davon abhängt.

Zur Sicherheit sagt Google, dass es die internen Aktivierungen des Modells auf Missbrauch überwacht, Chain-of-Thought und Aktionen auf Fehlausrichtung beobachtet und seine Sandboxes vor Hochrisiko-Evaluationen härtet. Ausserdem wurde eine cyber-permissive Variante, gemini-4-argon-cyber-permissive, ausschliesslich an genehmigte Teilnehmer des Fairwind Programms herausgegeben.

Googles eigene Beispiele sind am konkretesten. Argon-Agenten analysierten Profiling-Telemetrie über eine ganze Flotte und fanden Speicheroptimierungen, die laut Google nach dem Ausrollen über 300 TiB freisetzen. Argon treibt ausserdem Migrationen von C/C++ zu Rust an, von Bibliotheken wie re2 und libgav1 bis hin zu über 800K Zeilen im Fuchsia-Zircon-Kernel. In libgav1 ersetzten Agenten 32K Zeilen SIMD-Code und erstellten einen memory-safe Decoder, der laut einer Aufstellung von 9to5Google 2,7-mal schneller läuft als der bestehende Rust-Port. Diese Migrationen werden vor dem Produktiveinsatz noch geprüft und reviewt, man sollte sie also als in Arbeit betrachten, nicht als ausgeliefert.

Extern ist Argon in Google Antigravity für /goal-Läufe und Multi-Agent-Orchestrierung verfügbar, in Google Cloud sowie in GitHub Copilot. Google sagt, dass Agenten, die über Nacht unter automatisierten Test-Guardrails arbeiteten, in google/adk-python die Vorbereitungszeit von In-Memory-Sessions in langen Sitzungen um 40 Prozent gesenkt haben.

Beginnen wir damit, wo Googles Tabelle stark ist. Argon erreicht 77,9 Prozent bei DeepSWE v1.1 gegenüber 74,2 Prozent für Claude Opus 5.5 und 74,1 Prozent für GPT-6 Astra. Bei Zapiers AutomationBench liegt es bei 51,3 Prozent gegenüber 42,5 und 41,4 Prozent. Beim Vals Index erreicht es 68,9 Prozent, vor Opus 5.5 mit 67,0 Prozent und Astra mit 63,1 Prozent, wie diese Benchmark-Zusammenstellung zeigt. Seine grössten Vorsprünge liegen bei Arbeiten, die einer echten Aufgabe ähneln: Finanzen, Recht, lange Dokumente und lange Videos.

Nun die andere Hälfte. Argon erreicht 55,0 Prozent bei FrontierSWE v2 gegenüber 65,5 Prozent für Astra und 62,3 Prozent für Opus. Bei Terminal-Bench 4.0 führt Opus mit 66,4 Prozent, während Argon bei 57,4 Prozent liegt. Bei Artificial Analysis, dem unabhängigen Evaluator, erzielt Opus 5.5 bei maximaler Anstrengung etwa 58 Punkte, während Argon und Astra beide bei 53 landen. Der Harvey-Rechtsbenchmark ist eine Führung, die man genau lesen sollte: Argons 19,6 Prozent ist der beste Wert, und er liegt dennoch unter 20 Prozent.

Auch die Preishistorie ist weniger sauber, als sie aussieht. Argon startet bei 2 Dollar pro Million Eingabe-Tokens und 10 Dollar pro Million Ausgabe-Tokens, gegenüber Astra mit 10 und 50 Dollar. Dieser Einführungstarif verdoppelt sich später auf 4 und 20 Dollar. Im Kosten-pro-Aufgabe-Vergleich von Sandbase erreicht Argon bei hoher Anstrengung 52,6 Punkte für 1,99 Dollar pro Aufgabe, während Opus 5.5 bei hoher Anstrengung 53,6 Punkte für 1,82 Dollar erzielt. Argon ist klar günstiger als Astra. Gegenüber Opus bei vergleichbarer Anstrengung verschwindet der Vorteil weitgehend.

Eine Zahl zugunsten von Argon verdient ihren eigenen Vorbehalt. Seine Halluzinationsrate bei AA-Omniscience beträgt 15 Prozent gegenüber 51 Prozent bei Astra, aber seine Genauigkeit ist niedriger, 50 Prozent gegenüber 63 Prozent, weil es öfter ablehnt. Das ist ein echter Kompromiss: weniger selbstbewusste falsche Antworten, mehr "Ich weiss es nicht". Für Rechts- und Finanz-Agenten werden viele Teams diesen Deal eingehen. Für Coding-Agenten, die etwas versuchen müssen, vielleicht nicht.

Also: Niemand wurde entthront. Geändert hat sich, dass "bestes Modell" nun von der Aufgabe abhängt. Opus führt beim unabhängigen Gesamtscore und bei Terminal-Arbeiten, Astra bei der anspruchsvollsten Engineering-Arbeit und Computer-Nutzung, und Argon bei Wissensarbeit mit langen Dokumenten sowie bei den Kosten gegenüber Astra. Für alle, die Workloads über Modelle hinweg verteilen, ist das der nützlichere Ausgang als ein einzelner Gewinner.

Google kündigte Argon am 30. September an und stellte es Entwicklern am 13. Oktober zur Verfügung. Es läuft im bezahlten Tarif der Gemini API und in AI Studio, mit Antigravity-Zugang für Abonnenten von Google AI Ultra und berechtigte Kunden von Gemini Enterprise. Es ist vom kostenlosen Tarif der Gemini API und, was die API betrifft, vom Google AI Pro Plan ausgeschlossen, laut einer Zugangsübersicht von The Rundown. Pro- und Ultra-Abonnenten erhalten es in der Gemini-App, und die cyber-permissive Variante bleibt Projekten vorbehalten, die vom Fairwind Program genehmigt wurden.

Google hat sich die Krone nicht gesichert, aber es hat der Vorstellung ein Ende bereitet, dass ein einziges Labor jede Bestenliste beherrscht. Die nächste Wettbewerbsfrage lautet, wer bei genau der Arbeit am besten ist, für die man bezahlt.

Folgen Sie uns für weitere Berichterstattung über MCP, agentische KI und KI-Infrastruktur.

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

Every frontier launch now arrives with a table where the new model wins. Gemini 4 Argon is more interesting than most, because you can check Google's table against independent scoring, and the two tell different stories.

The headline version is that Google caught up. The accurate version is narrower: Argon leads on knowledge work, long context and price against one rival, and trails on the hardest coding. That is a different kind of win than "dethroned."

Google spent most of this year losing the coding-agent conversation. It cancelled Gemini 3.5 Pro, pushed a 3.8 Flash release, and then reset the naming with Gemini 4. Its output ceiling was also a real constraint: 64K tokens per response is short for migrations, long research runs and multi-file refactors.

Argon is Google's answer for long-horizon work. The pitch is a model that can think for hundreds of thousands of tokens in a single trajectory rather than being chunked into many short calls. A Google spokesperson told Engadget the company sees Argon as comparable to OpenAI's GPT-6 Astra and Anthropic's Opus on key benchmarks. "Comparable" is the claim to hold onto.

The headline spec change is output. The Gemini API docs list a 1,048,576-token context window, a default synchronous max output of 65,536 tokens, and up to 1,048,576 with long decode. So the 1M output figure is real, but it is an opt-in mode, not the default.

Inputs cover text, image, video, audio and PDF, but output is text only. There is no image generation, no audio generation and no Live API. Thinking comes in low, medium and high levels, and the Google Cloud guide notes that the old MINIMAL setting is unsupported. Caching is implicit only. Explicit caching isn't available, which matters if your cost model depends on it.

On safety, Google says it monitors the model's internal activations for misuse, watches chain-of-thought and actions for misalignment, and hardens its sandboxes before high-risk evaluations. It also released a cyber-permissive variant, gemini-4-argon-cyber-permissive, only to approved participants in the Fairwind Program.

Google's own examples are the most concrete. Argon agents analyzed fleet-wide profiling telemetry and found memory optimizations Google says free up over 300 TiB once rolled out. Argon is also driving C/C++ to Rust migrations, scaling from libraries like re2 and libgav1 up to 800K+ lines in the Fuchsia Zircon kernel. In libgav1, agents replaced 32K lines of SIMD code and produced a memory-safe decoder that runs 2.7x faster than the existing Rust port, per 9to5Google's rundown. Those migrations are still under audit and review before production, so treat them as in-progress, not shipped.

Externally, Argon is in Google Antigravity for /goal runs and multi-agent orchestration, in Google Cloud, and in GitHub Copilot. Google says agents working overnight under automated test guardrails cut in-memory session prep time by 40% in long sessions in google/adk-python.

Start with where Google's table is strong. Argon scores 77.9% on DeepSWE v1.1 against 74.2% for Claude Opus 5.5 and 74.1% for GPT-6 Astra. On Zapier's AutomationBench it hits 51.3% against 42.5% and 41.4%. On the Vals Index it reaches 68.9%, ahead of Opus 5.5 at 67.0% and Astra at 63.1%, according to this benchmark roundup. Its biggest leads are in work shaped like an actual job: finance, legal, long documents and long video.

Now the other half. Argon scores 55.0% on FrontierSWE v2 against 65.5% for Astra and 62.3% for Opus. On Terminal-Bench 4.0, Opus leads at 66.4% and Argon sits at 57.4%. On Artificial Analysis, the independent evaluator, Opus 5.5 at max effort scores about 58 while Argon and Astra both land at 53. The Harvey legal benchmark is a lead worth reading carefully: Argon's 19.6% is the best score, and it is still under 20%.

The price story is also less clean than it looks. Argon launches at $2 per million input tokens and $10 per million output, against Astra at $10 and $50. That introductory rate doubles to $4 and $20 later. In Sandbase's cost-per-task comparison, Argon at high effort scores 52.6 for $1.99 a task, while Opus 5.5 at high effort scores 53.6 for $1.82. Argon is clearly cheaper than Astra. Against Opus at comparable effort, the advantage largely disappears.

One number in Argon's favor deserves its caveat. Its hallucination rate on AA-Omniscience is 15% versus 51% for Astra, but its accuracy is lower, 50% versus 63%, because it declines more often. That is a real tradeoff: fewer confident wrong answers, more "I don't know." For legal and finance agents, many teams will take that deal. For coding agents that need to attempt something, maybe not.

So no one got dethroned. What changed is that "best model" now depends on the job. Opus leads on composite independent score and terminal work, Astra on the hardest engineering and computer use, and Argon on long-document knowledge work and cost against Astra. For anyone routing workloads across models, that is the more useful outcome than a single winner.

Google announced Argon on September 30 and made it available to developers on October 13. It runs on the paid tier of the Gemini API and in AI Studio, with Antigravity access for Google AI Ultra subscribers and eligible Gemini Enterprise customers. It is excluded from the Gemini API free tier and, for the API, from the Google AI Pro plan, per The Rundown's access summary. Pro and Ultra subscribers get it in the Gemini app, and the cyber-permissive variant stays with Fairwind-approved projects.

Google did not take the crown, but it did end the idea that one lab owns every leaderboard. The next competitive question is who is best at the specific job you are paying for.

Follow for more coverage on MCP, agentic AI, and AI infrastructure.

Quelle: dev.to (dev.to). Original öffnen