ai newsDi., 3. Nov.
Eilmeldungllm 0.37 Adds Multimodal Embeddings and a Cheaper Default — What That Means for Local Audio Pipelines

¿Qué es OpenAI LifeVal? El benchmark de tareas cotidianas

¿Qué es OpenAI LifeVal? El benchmark de tareas cotidianas OpenAI LifeVal es un benchmark de 169 tareas de la vida cotidiana, como matricular a un hijo en la escuela, gestionar el presupuesto de un hogar o tratar con una oficina gubernamental, que un agente de IA completa con uso del navegador, uso

dev.toDienstag 03:32 · 03.11.5 Min. Lesezeit
Bild: dev.to

Posted on Nov 3 • Originally published at apidog.com

OpenAI LifeVal es un benchmark de 169 tareas de la vida cotidiana, como matricular a un hijo en la escuela, gestionar el presupuesto de un hogar o tratar con una oficina gubernamental, que un agente de IA completa con uso del navegador, uso del ordenador y conectores. Una rúbrica puntúa cada intento, y la puntuación es la recompensa media de 0 a 1. GPT-6 Astra obtiene un 80,6% con esfuerzo xhigh.

Esa es la versión corta. A continuación encontrarás cómo OpenAI construyó LifeVal, todas las puntuaciones de modelos que publicó (incluidos los números por nivel de esfuerzo que solo existen dentro del gráfico interactivo de la página), qué dicen esos números sobre el esfuerzo de razonamiento y qué deja fuera el benchmark.

LifeVal es un benchmark de OpenAI Research que mide qué tan bien termina un modelo las tareas de la vida cotidiana en lugar de tareas de programación o preguntas de examen. Sus 169 tareas son agénticas: el modelo navega, opera un ordenador y llama a conectores, y una rúbrica específica para cada escenario puntúa el resultado.

La métrica principal es la recompensa media. Cada punto promedia los intentos dentro de una tarea y luego promedia las 169 medias de tarea con el mismo peso. Una puntuación del 80,6% significa una recompensa de 0,806. Las notas del gráfico dicen «No WTP weighting», algo a lo que volveremos.

OpenAI no inventó la lista de tareas desde cero. Partió de cómo pasan realmente el tiempo las personas, usando dos conjuntos de datos públicos y una encuesta propia:

Los datos de uso del tiempo le dicen a OpenAI qué actividades llenan los días de las personas. La encuesta le dice cuáles de esas actividades la gente delegaría a un agente. La intersección se convirtió en los 169 escenarios.

La página muestra cinco tarjetas de tareas de ejemplo, cada una con una puntuación. Son ejemplos elegidos por OpenAI, no una muestra aleatoria:

El primer gráfico de OpenAI sitúa cada modelo con esfuerzo de razonamiento xhigh frente a su fecha de lanzamiento. GPT-6 Astra usa «el ajuste xhigh del blog de lanzamiento».

La curva es pronunciada y luego plana. De GPT-5.2 a GPT-5.4 sumó 23,7 puntos en tres meses. Los tres lanzamientos siguientes sumaron 7,6 puntos entre todos, y GPT-6 Astra superó a GPT-5.6 por 0,6.

El salto de GPT-5.4 no fue solo cuestión de calidad. Con xhigh, la latencia media cayó de 121,0 segundos a 16,7 segundos y los tokens generados de 202,0K a 30,6K por tarea. El modelo más nuevo llegó a una respuesta mucho mejor con aproximadamente una séptima parte de la salida.

GPT-6.1 Sol y GPT-6.1 Terra no aparecen en ninguno de los dos gráficos, aunque ambos ya se han lanzado. La cronología termina el 3 de septiembre de 2026. Si estás eligiendo entre GPT-6.1 Sol y Astra para un producto de agentes, LifeVal aún no puede ayudarte.

El segundo gráfico es el más útil, y solo lo ves al pasar el cursor. Desglosa cada modelo por esfuerzo de razonamiento, con cuatro números por punto: recompensa, latencia, tokens generados y coste de API. Aquí está la recompensa de cada ajuste:

Una nota sobre la columna de coste. OpenAI la etiqueta como coste de API pero no indica la unidad, así que trata las cifras de abajo como «coste de API por tarea tal como se representa en el gráfico», útil para proporciones, no como dólares.

GPT-5.6 en max supera a Astra en max por 0,1 puntos con aproximadamente la mitad del coste representado en el gráfico. Con el mismo esfuerzo, la ventaja de Astra sobre GPT-5.6 es inferior a tres puntos en todos los ajustes, 0,6 en xhigh, y desaparece en max. Astra es un poco más rápida y usa menos tokens, pero en estas tareas pagas aproximadamente el doble por ella. Nuestro desglose de precios de GPT-5.6 y nuestra guía de la API de GPT-6 Astra tienen las tarifas por token si quieres contrastar esa proporción con tu propio tráfico.

En GPT-6 Astra, high obtiene 80,7% y xhigh obtiene 80,6%. El esfuerzo extra cuesta 1,4 segundos más y 2,1K tokens más a cambio de una puntuación ligeramente inferior. GPT-5.4 muestra la misma forma: un punto de high a xhigh.

Las grandes ganancias están en la parte baja de la curva. Pasar GPT-5.5 de low a medium añade 14,2 puntos. Pasarlo de high a xhigh añade 1,8. Si tu agente ejecuta tareas cotidianas como estas, medium o high es el ajuste que deberías probar primero. La guía de razonamiento de OpenAI explica cómo funciona el parámetro de esfuerzo en la Responses API.

LifeVal es una señal útil, pero es una señal autodeclarada. Antes de citarla, conoce sus límites.

Nada de esto hace que LifeVal esté mal. Lo convierte en un benchmark de proveedor. Léelo como leerías cualquier gráfico de lanzamiento: como una afirmación que puedes poner a prueba con tus propias tareas.

La tabla por esfuerzo de LifeVal es una curva de recompensa frente a coste. Puedes trazar la misma curva para tu propio prompt. En lugar de lanzar peticiones a mano, delega el trabajo a tu agente de programación y deja que maneje Apidog CLI.

Instala la CLI, inicia sesión y añade la skill de Apidog a tu agente:

npm install -g apidog-cli@latest apidog auth login --with-token <YOUR_TOKEN> npx -y skills add https://apidog.com # pick your agent when prompted Enter fullscreen mode Exit fullscreen mode Después dale a Claude Code, Codex o Cursor un único [REDACTED PROMPT] In Apidog project, add a POST https://api.openai.com/v1/responses endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt. Create a test case that asserts status 200 and saves latency, usage.output_tokens and usage.output_tokens_details.reasoning_tokens. Add a test data set with effort = low, medium, high, xhigh, run the case once per row against environment, and give me a table of latency, tokens and estimated cost per effort.

El agente lee el esquema de cada payload, valida su JSON y luego escribe: Enter fullscreen mode Exit fullscreen mode bash apidog cli-schema get endpoint-create apidog cli-schema validate endpoint-create --file endpoint.json apidog endpoint create --project --file endpoint.json

apidog test-case category --project apidog cli-schema validate test-case-create --file case.json apidog test-case create --project --file case.json

apidog cli-schema validate test-data-create --file efforts.json apidog test-data create --project --file efforts.json

apidog run --test-case --project -e \ -d -r cli,json --out-dir./effort-runs

Quelle: dev.to (dev.to). Original öffnen