O que é OpenAI LifeVal? O benchmark de tarefas do dia a dia

Posted on Nov 3 • Originally published at apidog.com

OpenAI LifeVal é um benchmark de 169 tarefas do cotidiano, como matricular uma criança na escola, administrar o orçamento doméstico ou lidar com um órgão governamental, que um agente de IA executa com uso de navegador, uso de computador e conectores. Uma rubrica avalia cada tentativa, e a pontuação é a recompensa média de 0 a 1. O GPT-6 Astra pontua 80,6% com esforço xhigh.

Essa é a versão resumida. Abaixo você encontra como a OpenAI construiu o LifeVal, todas as pontuações de modelos que ela publicou (incluindo os números por nível de esforço que só existem dentro do gráfico interativo da página), o que esses números dizem sobre o esforço de raciocínio e o que o benchmark deixa de fora.

O LifeVal é um benchmark da OpenAI Research que mede quão bem um modelo conclui as tarefas da vida comum, em vez de programação ou questões de prova. Suas 169 tarefas são agênticas: o modelo navega, opera um computador e chama conectores, e uma rubrica específica para cada cenário pontua o resultado.

A métrica principal é a recompensa média. Cada ponto faz a média das tentativas dentro de uma tarefa e depois faz a média das 169 médias de tarefas com peso igual. Uma pontuação de 80,6% significa uma recompensa de 0,806. As notas do gráfico dizem "No WTP weighting", o que retomaremos mais adiante.

A OpenAI não inventou a lista de tarefas do zero. Ela partiu de como as pessoas realmente passam o tempo, usando dois conjuntos de dados públicos e uma pesquisa própria:

Os dados de uso do tempo mostram à OpenAI quais atividades preenchem os dias das pessoas. A pesquisa mostra quais dessas atividades as pessoas entregariam a um agente. A sobreposição se tornou os 169 cenários.

A página mostra cinco cartões de tarefas de exemplo, cada um com uma pontuação. Esses são os exemplos escolhidos pela OpenAI, não uma amostra aleatória:

O primeiro gráfico da OpenAI plota cada modelo com esforço de raciocínio xhigh em relação à sua data de lançamento. O GPT-6 Astra usa "a configuração xhigh do blog de lançamento".

A curva é íngreme e depois achata. Do GPT-5.2 para o GPT-5.4 foram adicionados 23,7 pontos em três meses. Os três lançamentos seguintes adicionaram 7,6 pontos somados, e o GPT-6 Astra superou o GPT-5.6 em 0,6.

O salto do GPT-5.4 não foi só questão de qualidade. Em xhigh, a latência média caiu de 121,0 segundos para 16,7 segundos e os tokens gerados caíram de 202,0K para 30,6K por tarefa. O modelo mais novo chegou a uma resposta muito melhor com cerca de um sétimo da saída.

O GPT-6.1 Sol e o GPT-6.1 Terra não aparecem em nenhum dos gráficos, embora ambos já tenham sido lançados. A linha do tempo para em 3 de setembro de 2026. Se você está escolhendo entre GPT-6.1 Sol e Astra para um produto de agente, o LifeVal ainda não pode ajudar.

O segundo gráfico é o mais útil, e você só o vê ao passar o mouse. Ele detalha cada modelo por esforço de raciocínio, com quatro números por ponto: recompensa, latência, tokens gerados e custo de API. Aqui está a recompensa para cada configuração:

Uma observação sobre a coluna de custo. A OpenAI a rotula como custo de API, mas não informa a unidade, então trate os números abaixo como "custo de API por tarefa conforme plotado", útil para proporções, não como dólares.

O GPT-5.6 no máximo supera o Astra no máximo em 0,1 ponto com cerca de metade do custo plotado. Com esforço equivalente, a vantagem do Astra sobre o GPT-5.6 fica abaixo de três pontos em todas as configurações, 0,6 em xhigh, e desaparece em max. O Astra é um pouco mais rápido e usa menos tokens, mas nessas tarefas você paga aproximadamente o dobro por ele. Nosso detalhamento de preços do GPT-5.6 e o guia da API do GPT-6 Astra trazem as tarifas por token se você quiser conferir essa proporção com o seu próprio tráfego.

No GPT-6 Astra, high pontua 80,7% e xhigh pontua 80,6%. O esforço extra custa mais 1,4 segundo e mais 2,1K tokens por uma pontuação ligeiramente menor. O GPT-5.4 mostra o mesmo formato: um ponto de high para xhigh.

Os grandes ganhos estão na parte de baixo da curva. Mover o GPT-5.5 de low para medium adiciona 14,2 pontos. Movê-lo de high para xhigh adiciona 1,8. Se o seu agente executa tarefas cotidianas como essas, medium ou high é a configuração a testar primeiro. O guia de raciocínio da OpenAI explica como o parâmetro de esforço funciona na Responses API.

O LifeVal é um sinal útil, mas é um sinal autorrelatado. Antes de citá-lo, conheça seus limites.

Nada disso torna o LifeVal incorreto. Torna-o um benchmark de fornecedor. Leia-o como leria qualquer gráfico de lançamento: como uma afirmação que você pode testar nas suas próprias tarefas.

A tabela por esforço do LifeVal é uma curva de recompensa versus custo. Você pode desenhar a mesma curva para o seu próprio prompt. Em vez de disparar requisições manualmente, entregue o trabalho ao seu agente de programação e deixe-o operar o Apidog CLI.

Instale o CLI, faça login e adicione a skill do Apidog ao seu agente:

npm install -g apidog-cli@latest apidog auth login --with-token <YOUR_TOKEN> npx -y skills add https://apidog.com # pick your agent when prompted Enter fullscreen mode Exit fullscreen mode Então dê ao Claude Code, Codex ou Cursor um único [REDACTED PROMPT] In Apidog project, add a POST https://api.openai.com/v1/responses endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt. Create a test case that asserts status 200 and saves latency, usage.output_tokens and usage.output_tokens_details.reasoning_tokens. Add a test data set with effort = low, medium, high, xhigh, run the case once per row against environment, and give me a table of latency, tokens and estimated cost per effort.

O agente lê cada schema de payload, valida o JSON e então escreve: Enter fullscreen mode Exit fullscreen mode bash apidog cli-schema get endpoint-create apidog cli-schema validate endpoint-create --file endpoint.json apidog endpoint create --project --file endpoint.json

apidog test-case category --project apidog cli-schema validate test-case-create --file case.json apidog test-case create --project --file case.json

apidog cli-schema validate test-data-create --file efforts.json apidog test-data create --project --file efforts.json

apidog run --test-case --project -e \ -d -r cli,json --out-dir./effort-runs