Astra, Argon, Opus 5.5 กับ 4 งานจริง: Benchmark ของ AI ยังเชื่อได้แค่ไหน?

Von Nokka (นก-กา) | Datenprüfung am 26. Oktober 2026

Dieser Artikel wurde von einer KI verfasst (deepseek-v4.1-flash · Modellanbieter: ollama-cloud) über den Hermes Agent, unter menschlicher Kontrolle und Qualitätsprüfung durch Nokka (นก-กา)

Wenn man Vergleichstabellen von KI-Modellen liest, trifft man meist auf Zahlen, die nur um wenige Punkte auseinanderliegen, und muss dann selbst raten, was diese Zahlen in der praktischen Arbeit tatsächlich bedeuten.

Ich habe einen Testartikel von Analytics Vidhya gelesen, in dem drei Modelle vier echte Aufgaben erledigten: eine Design-Aufgabe, einen Projektbericht, eine Datenanalyse und eine Marketingplanung.

Das Interessante am Ergebnis war, dass Modelle mit nahezu gleichen Punktzahlen unterschiedlich gute Arbeit lieferten und es Stellen gab, die die Benchmark-Zahlen überhaupt nicht abbilden konnten.

Der Autor Vasu Deo Sankrityayan testete GPT-6 Astra über ChatGPT Work Ultra, Gemini 4 Argon über Gemini Chat High sowie Claude Opus 5.5 über Claude Chat im Max-Modus.

Alle drei sind Spitzenmodelle ihrer jeweiligen Anbieter und wurden mit derselben Aufgabengruppe gemessen.

Die erste Aufgabe bestand darin, ein Dashboard für eine Tafel-Koordinatorin zu entwerfen, das als funktionsfähige HTML-Datei abgegeben werden musste.

Die zweite Aufgabe war das Verfassen eines Projektstatusberichts für einen Sponsor einer Gesundheitsklinik auf Grundlage eines zweiseitigen Dokuments mit widersprüchlichen Informationen.

Die dritte Aufgabe war die Analyse einer CSV-Datei mit den Acquisition-Kanälen von BrightPath, um herauszufinden, warum sich die Conversion verschoben hatte und wohin die nächsten 1.000 Dollar investiert werden sollten.

Die vierte Aufgabe war ein sechswöchiger Marketingplan für ShelfCheck, eine Inventurzähl-Software für unabhängige Läden, mit dem Ziel, innerhalb von 42 Tagen zwölf zahlende Läden zu gewinnen.

Der Tester bewertete jede Aufgabe mit maximal 10 Punkten und prüfte, ob die Ergebnisse vollständig den Anforderungen entsprachen.

Jede Aufgabe wurde nur einmal durchgeführt, mit Ausnahme der CSV-Aufgabe, bei der Argon ein erneuter Versuch erlaubt wurde; es wurden keine mehreren Durchläufe zur Mittelwertbildung gemacht.

Das sollte man sich merken, denn die Ergebnisse sind eher als Zufall einzustufen als bei einem Benchmark-Test mit wiederholten Durchläufen.

Astra erhielt 10 Punkte, Argon 9 und Opus 10.

Alle drei lieferten tatsächlich funktionierende HTML-Dateien, doch Argon gestaltete die Seite als die schlichteste Admin-Oberfläche der drei. Sie war nur 987 Pixel breit statt der geforderten 1440, und einige Buttons ließen sich nicht bedienen.

Der Test in einer mobilen Ansicht mit 390 mal 844 Pixeln wurde von allen bestanden, während Astra und Opus die geforderte Breite von 1440 mal 900 Pixeln umsetzten.

Der Unterschied hierbei betrifft nicht die Optik, sondern die Frage, ob das Ergebnis weiterverwendet werden kann.

Der Bericht sollte den Projektstatus, das Budget und die Entscheidungen vor dem Meilenstein am 30. Oktober zusammenfassen, dabei ausschließlich auf das eine Dokument gestützt.

Alle drei verwendeten die aktuelle Akzeptanzquote von 18 von 24 und nannten zwei offene Fehler der Stufe eins.

Die Prognose von 53.600 Dollar zeigte eine Budgetlücke von 5.600 Dollar auf, und kein Modell genehmigte einen vorzeitigen Projektstart.

Der Unterschied lag darin, dass Opus ausdrücklich erwähnte, dass die Datenschutzprüfung noch nicht bestätigt sei und genau mit dem Entscheidungstermin zusammenfalle, was der Aufgabe entsprach, auf Unbestätigtes hinzuweisen.

Astra und Opus erhielten jeweils 10 Punkte, während Argon keine Punkte bekam, weil die Aufgabe fehlschlug.

Argon versuchte zweimal, die CSV-Datei zu lesen, und gab anschließend eine leere Ergebnisdatei zusammen mit einem nicht ausgefüllten Berichtsgerüst zurück.

Astra und Opus erkannten den entscheidenden Punkt übereinstimmend: Die Conversion von Suchanzeigergebnissen stieg von 10 auf 11 Prozent, die von Social Media von 4 auf 5 Prozent.

Doch die Gesamtconversion sank, weil Social Media, das niedriger konvertiert, von 16,7 auf 75 Prozent der Sessions wuchs.

Beide schlugen ein überwachtes Experiment mit Suche vor, da die Kosten pro Aktivierung bei 19,70 Dollar lagen, verglichen mit 33,33 Dollar bei Social Media.

Alle drei wählten die Zielgruppe der unabhängigen Läden und vermieden es, nicht existierende Integrationen zu behaupten.

Alle Pläne blieben unter der Kostenobergrenze von 250 Dollar pro Laden, also insgesamt 3.000 Dollar für zwölf Läden.

Astra nutzte einen Plan über 1.200 Dollar und passte die angestrebten Conversion-Zahlen an, nachdem der Start langsamer verlief als geplant.

Opus nutzte einen Plan über 1.250 Dollar, was gut klingt, doch der Notfallplan mit "mindestens 55 Prozent" war zu vage, denn bei neun anfänglichen Läden blieben nur 21 Trial-Plätze übrig, was eine Conversion von 57,1 Prozent erfordert hätte.

Argon nutzte einen Plan über 1.200 Dollar, konnte die verlorene Kapazität jedoch nicht durch Nachfassen in den Folgewochen ausgleichen und überschritt die vorgegebene Grenze von 450 Wörtern.

Der Autor warnt, dass dies kein Benchmark mit mehreren Durchläufen ist, und er entschied sich nur knapp für Astra.

Die Modelle könnten beim nächsten Versuch anders antworten, insbesondere bei Aufgaben, die eine Interpretation verlangen, wie die Marketingplanung.

Alle drei liefen über die jeweilige App der Anbieter, die unterschiedliche Rechenleistung und Werkzeuge bieten.

Man weiß daher nicht, ob die beobachteten Unterschiede von den Modellen selbst oder von der jeweiligen App-Schicht stammen.

Die Quelle nennt drei Einschränkungen: einmalige Durchführung (mit einem Wiederholungsversuch bei Argon), nicht angeglichene Rechenleistung und Werkzeuge in den Apps der jeweiligen Anbieter sowie die nicht gemessenen Kosten der Browser-basierten Arbeit.

Meine Einschätzung ist, dass alle vier Aufgaben typische Geschäftsaufgaben waren, ohne lange Programmieraufträge oder mehrstufige Recherchen. Wer in anderen Bereichen arbeitet, wird aus diesen Ergebnissen vielleicht nicht viel ableiten können.

Argon ist das neueste Frontier-Modell von Google, doch bei dieser Aufgabe durchsuchte es das Web, obwohl die Aufgabe ausdrücklich nur die beigefügten Dokumente zuließ.

Die verwendeten Details blieben zwar im Rahmen der Dokumente, doch das Suchverhalten im Web zeigt, dass es nicht alle Bedingungen einhielt.

Die Aufgabe legte bewusst fest, dass Unklarheiten explizit zu kennzeichnen sind, und Opus hat genau das umgesetzt.

Die Frage ist, wie viel Genauigkeit auf diesem Niveau Ihr Team tatsächlich benötigt, denn sie ist bei der Qualitätsprüfung wertvoll, macht die Antworten aber auch länger.

Argon hat beide CSV-Aufgaben nicht bestanden, und das sind grundlegende Anforderungen des Arbeitsalltags.

Benchmark-Zahlen werden meist anhand der Beantwortung von Fragen gemessen, nicht anhand des Öffnens von Dateien und der Aufbereitung von Daten in einer weiterverwendbaren Form.

Wählen Sie vier bis sechs Aufgaben aus, die das Team regelmäßig erledigt, und lassen Sie jedes Modell diese jeweils einmal ausführen.

Bewerten Sie mit einheitlichen Kriterien und bewahren Sie Beispiele der Ergebnisse zum Vergleich auf.

Die erste Ebene ist: Wurde die Aufgabe abgeschlossen? Die zweite Ebene ist: Wurden die Vorgaben eingehalten?

Wenn ein Modell Aufgaben zwar abschließt, aber häufig gegen die Vorgaben verstößt, entsteht daraus mehr Prüfaufwand für Menschen als erwartet.

Wenn Ihr Team täglich mit Excel-, CSV- oder PDF-Dateien arbeitet, testen Sie diesen Bereich zuerst.

Denn hier zeigen sich die Unterschiede zwischen den Modellen am deutlichsten, und hier lassen sich Probleme später nur schwer beheben.

Argon kostet in der Einführungsphase 2 Dollar pro Million Eingabe-Token und 10 Dollar pro Million Ausgabe-Token, bevor der Preis nach dem 30. November 2026 auf 4 und 20 Dollar angehoben wird.

Opus 5.5 liegt derzeit bei 4 und 20 Dollar.

Bei spezialisierten Aufgaben können die Ergebnisse jedoch stark abweichen, und ein paar Dollar Ersparnis pro Monat sind möglicherweise nicht den Zeitaufwand wert, den die Korrektur der Arbeit erfordert.

Wenn Sie es genauso machen möchten, empfehle ich, jedes Mal kurze Notizen zu den Ergebnissen zu machen.

Aufgabe 1 Dashboard: bestanden · Vorgabenverletzungen 0 · 2 manuelle Korrekturen nötig Aufgabe 2 Bericht: bestanden · Vorgabenverletzungen 0 · 1 manuelle Korrektur nötig Aufgabe 3 CSV: nicht bestanden · Ergebnisdatei leer Aufgabe 4 Marketingplan: bestanden · 450 Wörter überschritten Enter fullscreen mode Exit fullscreen mode Auf diese Weise sehen Sie Muster in den Fehlern und nicht nur eine Gesamtpunktzahl.

Aus meiner Lektüre dieses Berichts schließe ich, dass ein solcher Test nicht zeigt, wer der Beste ist, sondern dass Modelle mit ähnlichen Punktzahlen jeweils unterschiedliche Schwächen haben.

Astra erreichte in allen Aufgaben die volle Punktzahl und war die erste Wahl des Autors, während Opus alle vier Aufgaben erledigte und mit Astra in drei Aufgaben gleichzog, sein Marketing-Fallback jedoch noch schwach blieb.

Argon bewältigte drei von vier Aufgaben, und die fehlgeschlagene Aufgabe war der Umgang mit Dateien, was eine grundlegende Fähigkeit für Büroarbeiten ist.

Bei der Modellauswahl sollte man nicht nur auf die Gesamtpunktzahl schauen, sondern vor allem darauf, welche Art von Aufgaben das Modell fehlschlägt.

Wer ein Modell für ein Team auswählt, für den ist die beste Antwort nicht das Modell, das Benchmarks gewinnt, sondern dasjenige, das im täglichen Arbeitsumfeld die wenigsten Fehler macht.

Und um das herauszufinden, hilft nur ein eigener Test mit den echten Aufgaben Ihres Teams, nicht das Warten darauf, dass irgendjemand irgendwo die Antwort liefert.

Vasu Deo Sankrityayan (26. Oktober 2026) · GPT-6 Astra vs Gemini 4 Argon vs Claude Opus 5.5: Full Comparison. https://analyticsvidhya.com/blog/2026/10/astra-vs-argon-vs-opus Google (2026) · Gemini 4 Argon: Built to solve your hardest problems. https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon Anthropic (2026) · Introducing Claude Opus 5.5. https://www.anthropic.com/claude-opus-5-5