Google veröffentlicht Android Bench 2.0 mit langfristigen Aufgaben und Agenten-Bewertung
Android Bench 2.0 bewertet KI-Modelle und Agenten künftig auch bei komplexen, mehrstufigen Android-Entwicklungsaufgaben. Das Update bringt langfristige Aufgaben, eine agentenbasierte Evaluierung und kontinuierliches Scoring mit.
Android Bench, das vor einigen Monaten gestartet wurde, bewertet KI-Modelle anhand einer Reihe gängiger Entwicklungsaufgaben und berücksichtigt dabei Android-Best-Practices in Bereichen wie Berechtigungen, Navigation und Konnektivität. Mit der neuesten Veröffentlichung hat Google den Benchmark erweitert, um ein breiteres Spektrum an Entwicklungsaufgaben abzudecken.
Heute veröffentlichen wir die erste Reihe von Long-Horizon-Tasks (LHT), also Aufgaben von großer Komplexität, deren Bearbeitung bei einem Ingenieur mehrere Tage oder sogar eine Woche in Anspruch nehmen kann. Außerdem führen wir eine agentische Bewertung ein, beginnend mit Agents der jeweiligen Modellanbieter.
Während sich die ursprüngliche Version auf inkrementelle Änderungen an bestehenden Repositories konzentrierte, führt Android Bench 2.0 Long-Horizon-Tasks (LHTs) ein, die Google als Arbeit beschreibt, die ein Ingenieur "mehrere Tage oder sogar eine Woche zur Fertigstellung" benötigen könnte. Zu diesen Aufgaben gehören das Aktualisieren von Abhängigkeiten, das Hinzufügen neuer Features, das Erstellen von Apps von Grund auf oder die Konvertierung einer plattformübergreifenden App nach Android.
Eine wesentliche Änderung in Version 2.0 ist der Wechsel von einer binären Bestanden/Durchgefallen-Bewertung zu einem differenzierteren Punktesystem. Zuvor konnte eine komplexe Aufgabe als fehlgeschlagen markiert werden, weil eine einzelne Edge-Case-Assertion fehlschlug, selbst wenn der Agent Dutzende andere Anforderungen erfolgreich erfüllt hatte.
Diese Completion Rate berechnen wir anhand einer Kombination von Faktoren wie Funktionalität, visueller Treue und der Vermeidung von Regressionen. Zusätzlich wenden wir objektive Bewertungsmalusse bei Abweichungen von Evaluationsanweisungen oder strukturellen Vorgaben an.
Die Ergebnisse von Android Bench 2.0 helfen auch dabei zu erkennen, bei welchen Aufgaben KI-Unterstützung eher zum Erfolg führt. So berichtet Google beispielsweise, dass "KI besser darin ist, neuen Code zu schreiben, als bestehenden Code zu refaktorieren", was darauf zurückzuführen sein kann, dass Refactoring und Migrationen ein Verständnis der architektonischen Komplexität der Codebasis erfordern.
Ebenso schneidet KI bei mehreren "gut etablierten, deterministischen Transformationen" gut ab, selbst in größeren Codebasen. Beispiele dafür sind die Konvertierung von Java nach Kotlin, der Austausch von Retrofit durch Ktor oder die Einführung einer ViewModel-Schicht.
Im Gegensatz dazu tun sich Modelle in einer Reihe von Fällen weiterhin schwer, etwa bei Aufgaben, die eine Laufzeitvalidierung erfordern (wie fehlende Dependency-Injection-Graphen), dieBreaking-Änderungen am Framework beinhalten oder auf Wissenslücken bei unveröffentlichten Bibliotheken stoßen. Insbesondere das leistungsstärkste Modell erreicht bei der Portierung einer plattformübergreifenden App nach Android nur eine Completion Rate von 80 Prozent, was insgesamt eine "offene Herausforderung" bleibt.
Das aktualisierte Android Bench 2.0 Dashboard enthält aktuelle Modelle wie Gemini 3.8 Flash, Gemini 3.7 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3 und Qwen 3.8 Max. Zum Zeitpunkt des Artikels führte Claude Opus 5.5 die Bestenliste mit einer LHT-Passrate von 32 Prozent an, gefolgt von GPT 6 Astra mit 28 Prozent.
15. bis 16. Dezember 2026. Erfahren Sie, wie erfahrene Praktiker Agents, Evals, Model Serving und KI-gestützte Entwicklung in der Produktion einsetzen, einschließlich dessen, was fehlschlug und was sich geändert hat. Jetzt registrieren.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Launched a few months ago, Android Bench evaluates AI models against a set of common development tasks, incorporating Android best practices in areas such as permissions, navigation, and connectivity. With the latest release, Google has expanded the benchmark to cover a broader range of development tasks.
Today we're releasing the first set of long-horizon tasks (LHT), which are tasks of great complexity that take an engineer multiple days or even a week to complete. We are also introducing agentic evaluation, starting with agents from corresponding model providers.
While the original version focused on incremental changes to existing repositories, Android Bench 2.0 introduces long-horizon tasks (LHTs) that Google describes as work an engineer might take "multiple days or even a week to complete". These tasks include upgrading dependencies, adding new features, building apps from scratch, or converting a cross-platform app to Android.
One major change in version 2.0 is the shift from binary pass/fail evaluation to a more nuanced scoring system. Previously, a complex task could be marked as failed because of a single failing edge-case assertion, even if the agent had successfully met dozens of other requirements.
We calculate this completion rate through a combination of factors like functionality, visual fidelity, and avoiding regressions. We also apply objective scoring penalties for deviations from evaluation instructions or structural constraints.
The results provided by Android Bench 2.0 also help identify which tasks are more likely to succeed with AI assistance. For example, Google reports that "AI does a better job at writing new code rather than refactoring existing code", which can reflect the fact that refactoring and migrations require an understanding of the architectural complexity of the codebase.
Similarly, AI performs well on several "well-established, deterministic transformations", even in larger codebases. Examples include converting Java to Kotlin, swapping Retrofit for Ktor, or introducing a ViewModel layer.
On the contrary, in a number of cases model still struggle, including with tasks requiring runtime validation (like missing dependency injection graphs), involving breaking framework changes, or running into knowledge gaps with unreleased libraries. In particular, the best-in-class model achieves only 80% completion rate in porting cross-platform app to Android, which remains overall an "open challenge".
The updated Android Bench 2.0 dashboard includes recent models, such as Gemini 3.8 Flash, Gemini 3.7 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3, and Qwen 3.8 Max. At the time of the article, Claude Opus 5.5 was at the top of the leaderboard with a 32% LHT pass rate, followed by GPT 6 Astra at 28%.
December 15–16, 2026. Examine how senior practitioners run agents, evals, model serving, and AI-assisted engineering in production, including what failed and what changed. Register Now.