Was ist OpenAI LifeVal? Der Alltagsaufgaben-Benchmark

Posted on Nov 3 • Originally published at apidog.com

title: Was ist OpenAI LifeVal? Der Alltagsaufgaben-Benchmark published: false description: OpenAI LifeVal bewertet Agenten anhand von 169 Alltagsaufgaben: alle veröffentlichten Punktzahlen, die Zahlen pro Reasoning-Aufwand und was der Benchmark nicht zeigt. tags: openai, ai, llm, benchmark canonical_url: https://apidog.com/de/blog/what-is-openai-lifeval/

OpenAI LifeVal ist ein Benchmark mit 169 Alltagsaufgaben – etwa ein Kind in der Schule anmelden, ein Haushaltsbudget verwalten oder mit einer Behörde umgehen –, die ein KI-Agent mithilfe von Browsernutzung, Computernutzung und Konnektoren absolviert. Eine Bewertungsrubrik benotet jeden Versuch, und die Punktzahl ist der durchschnittliche Reward von 0 bis 1. GPT-6 Astra erreicht 80,6 % bei xhigh-Aufwand.

Das ist die Kurzfassung. Im Folgenden erfahren Sie, wie OpenAI LifeVal entwickelt hat, jede veröffentlichte Modellpunktzahl (einschließlich der Aufwandsstufen, die nur im interaktiven Diagramm der Seite zu finden sind), was diese Zahlen über den Reasoning-Aufwand aussagen und was der Benchmark auslässt.

LifeVal ist ein Benchmark von OpenAI Research, der misst, wie gut ein Modell die Alltagspflichten erledigt, statt Coding- oder Prüfungsfragen zu beantworten. Seine 169 Aufgaben sind agentisch: Das Modell surft im Netz, bedient einen Computer und ruft Konnektoren auf, und eine szenariospezifische Bewertungsrubrik benotet das Ergebnis.

Die Hauptkennzahl ist der durchschnittliche Reward. Jeder Punktwert mittelt die Versuche innerhalb einer Aufgabe und bildet dann den gleichgewichteten Durchschnitt der 169 Aufgabenmittelwerte. Eine Punktzahl von 80,6 % bedeutet einen Reward von 0,806. Die Hinweise im Diagramm lauten „No WTP weighting", worauf wir später zurückkommen.

OpenAI hat die Aufgabenliste nicht von Grund auf erfunden. Ausgangspunkt war, wie Menschen tatsächlich ihre Zeit verbringen – anhand von zwei öffentlichen Datensätzen und einer eigenen Umfrage:

Die Zeitnutzungsdaten zeigen OpenAI, welche Aktivitäten die Tage der Menschen füllen. Die Umfrage zeigt, welche dieser Aktivitäten die Menschen einem Agenten überlassen würden. Die Schnittmenge wurde zu den 169 Szenarien.

Die Seite zeigt fünf Beispiel-Aufgabenkarten mit jeweils einer Punktzahl. Das sind die von OpenAI ausgewählten Beispiele, keine Zufallsstichprobe:

OpenAIs erstes Diagramm trägt jedes Modell bei xhigh-Reasoning-Aufwand gegen sein Veröffentlichungsdatum auf. GPT-6 Astra verwendet „the launch-blog xhigh setting“.

Die Kurve ist steil und wird dann flach. GPT-5.2 auf GPT-5.4 brachte 23,7 Punkte in drei Monaten. Die nächsten drei Releases brachten zusammen 7,6 Punkte, und GPT-6 Astra übertraf GPT-5.6 um 0,6.

Der Sprung bei GPT-5.4 ging nicht nur auf die Qualität zurück. Bei xhigh sank die durchschnittliche Latenz von 121,0 Sekunden auf 16,7 Sekunden und die generierten Tokens von 202,0K auf 30,6K pro Aufgabe. Das neuere Modell erreichte eine weit bessere Antwort mit etwa einem Siebtel der Ausgabe.

GPT-6.1 Sol und GPT-6.1 Terra erscheinen in keinem der beiden Diagramme, obwohl beide bereits erschienen sind. Die Zeitachse endet am 3. September 2026. Wenn Sie für ein Agentenprodukt zwischen GPT-6.1 Sol und Astra wählen, kann LifeVal Ihnen noch nicht helfen.

Das zweite Diagramm ist das nützlichere, und man sieht es nur beim Hovern. Es schlüsselt jedes Modell nach Reasoning-Aufwand auf, mit vier Zahlen pro Punkt: Reward, Latenz, generierte Tokens und API-Kosten. Hier der Reward für jede Einstellung:

Eine Anmerkung zur Kostenspalte. OpenAI bezeichnet sie als API-Kosten, nennt aber nicht die Einheit. Behandeln Sie die folgenden Zahlen daher als „API-Kosten pro Aufgabe laut Diagramm“, nützlich für Verhältnisse, nicht als Dollar.

GPT-5.6 bei max übertrifft Astra bei max um 0,1 Punkte bei etwa der Hälfte der im Diagramm angegebenen Kosten. Bei gleichem Aufwand liegt Astras Vorsprung gegenüber GPT-5.6 bei jeder Einstellung unter drei Punkten, bei xhigh bei 0,6, und bei max ist er verschwunden. Astra ist etwas schneller und verbraucht weniger Tokens, aber für diese Aufgaben zahlen Sie etwa doppelt so viel. Unsere GPT-5.6-Preisübersicht und der GPT-6 Astra API-Leitfaden enthalten die Preise pro Token, falls Sie dieses Verhältnis mit Ihrem eigenen Traffic abgleichen möchten.

Bei GPT-6 Astra erreicht high 80,7 % und xhigh 80,6 %. Der zusätzliche Aufwand kostet 1,4 Sekunden mehr und 2,1K mehr Tokens für eine etwas niedrigere Punktzahl. GPT-5.4 zeigt dieselbe Form: ein Punkt von high auf xhigh.

Die großen Zugewinne liegen am unteren Ende der Kurve. GPT-5.5 von low auf medium zu verschieben, bringt 14,2 Punkte. Von high auf xhigh zu verschieben, bringt 1,8. Wenn Ihr Agent Alltagsaufgaben wie diese ausführt, ist medium oder high die Einstellung, die Sie zuerst testen sollten. Der Reasoning-Leitfaden von OpenAI erklärt, wie der Effort-Parameter in der Responses API funktioniert.

LifeVal ist ein nützliches Signal, aber ein selbst berichtetes. Bevor Sie es zitieren, sollten Sie seine Grenzen kennen.

Nichts davon macht LifeVal falsch. Es macht es zu einem Anbieter-Benchmark. Lesen Sie es so, wie Sie jedes Launch-Diagramm lesen würden: als eine Behauptung, die Sie an Ihren eigenen Aufgaben testen können.

Die Aufwandsstufentabelle von LifeVal ist eine Reward-gegen-Kosten-Kurve. Sie können dieselbe Kurve für Ihren eigenen Prompt zeichnen. Statt Anfragen von Hand abzufeuern, übergeben Sie die Aufgabe Ihrem Coding-Agenten und lassen Sie ihn Apidog CLI steuern.

Installieren Sie die CLI, melden Sie sich an und fügen Sie den Apidog-Skill zu Ihrem Agenten hinzu:

npm install -g apidog-cli@latest apidog auth login --with-token <YOUR_TOKEN> npx -y skills add https://apidog.com # pick your agent when prompted Enter fullscreen mode Exit fullscreen mode Dann geben Sie Claude Code, Codex oder Cursor einen Prompt:

In Apidog project <projectId>, add a POST https://api.openai.com/v1/responses endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt. Create a test case that asserts status 200 and saves latency, usage.output_tokens and usage.output_tokens_details.reasoning_tokens. Add a test data set with effort = low, medium, high, xhigh, run the case once per row against environment <envId>, and give me a table of latency, tokens and estimated cost per effort. Enter fullscreen mode Exit fullscreen mode Der Agent liest jedes Payload-Schema, validiert dessen JSON und schreibt dann:

apidog cli-schema get endpoint-create apidog cli-schema validate endpoint-create --file endpoint.json apidog endpoint create --project <projectId> --file endpoint.json apidog test-case category --project <projectId> apidog cli-schema validate test-case-create --file case.json apidog test-case create --project <projectId> --file case.json apidog cli-schema validate test-data-create --file efforts.json apidog test-data create --project <projectId> --file efforts.json apidog run --test-case <caseId> --project <projectId> -e <envId> \ -d <testDataId> -r cli,json --out-dir./effort-runs Enter fullscreen mode Exit fullscreen mode Das Flag -d speist pro Datenzeile eine Iteration ein, und -r cli,json liefert dem Agenten einen JSON-Bericht, aus dem er die Tabelle erstellen kann. Fügen Sie --upload-report hinzu, wenn Sie die Läufe anschließend in der Apidog-App durchsehen möchten. Die apidog run command reference listet jedes Flag auf, und der Claude Code setup guide behandelt die Agentenseite.

Führen Sie es mit fünf oder zehn Ihrer echten Prompts aus, nicht mit einem. LifeVal mittelt über 169 Aufgaben aus gutem Grund: Ein einzelner Prompt sagt Ihnen mehr über die Varianz als über den Aufwand.

Nutzen Sie es für die Richtung, nicht für Entscheidungen. LifeVal sagt Ihnen drei Dinge, mit denen Sie etwas anfangen können: Die Modelle von OpenAI wurden zwischen Dezember 2025 und März 2026 deutlich besser bei mehrstufigen Alltagsaufgaben, die Zugewinne seither sind gering, und Reasoning-Aufwand über high hinaus zahlt sich bei dieser Art von Arbeit selten aus.

Was es Ihnen nicht sagen kann: wie ein Nicht-OpenAI-Modell abschneiden würde, wie Ihre Aufgaben im Vergleich zu den 169 von OpenAI aussehen oder was der Bewerter belohnt. Dafür führen Sie Ihren eigenen Aufwands-Sweep durch, wie oben beschrieben, und vergleichen die Zahlen, die Sie sehen können. Unser GPT-6 Astra Praxistest ist ein Ausgangspunkt für die Art von Checks, die es wert sind, durchgeführt zu werden.

OpenAI schlüsselt den Namen auf der Seite nicht auf. Es ist eine Evaluation („Val") von Alltagsaufgaben („Life"): 169 agentische Szenarien aus den Bereichen Pflege und Betreuung, Gesundheit, Bildung, Haushaltsverwaltung, persönliche Finanzen, Einkaufen und staatliche Dienstleistungen.

80,6 % durchschnittlicher Reward bei xhigh-Aufwand, der Einstellung, die OpenAI im Astra-Launch-Blog verwendet hat. Bei max-Aufwand erreicht Astra 82,5 %, und bei high erreicht es 80,7 %.

Nein. OpenAI hat das Aufgabenset, die Bewertungsrubriken und den Bewerter nicht veröffentlicht. Sie können seine Aufwand-gegen-Kosten-Analyse mit einer Test-Harness wie Apidog CLI auf Ihren eigenen Prompts annähern, aber Sie können die LifeVal-Punktzahlen nicht reproduzieren.

Nein. Beide Diagramme enthalten nur OpenAI-Modelle, von GPT-5.2 bis GPT-6 Astra. GPT-6.1 Sol und GPT-6.1 Terra fehlen ebenfalls.

OpenAI bezeichnet sie als API-Kosten, nennt aber nicht die Einheit. Nutzen Sie sie, um Einstellungen miteinander zu vergleichen, zum Beispiel GPT-5.6 max bei 9,65 gegenüber Astra max bei 20,04, und nicht als Dollar-Betrag pro Aufgabe.

Bei LifeVal erfassen medium oder high den größten Teil des Gewinns. GPT-6 Astra erreicht 80,7 % bei high und 80,6 % bei xhigh, also testen Sie medium und high an Ihren eigenen Aufgaben, bevor Sie für mehr bezahlen.