OpenAI LifeVal Nedir? Günlük Görev Benchmark'ı

Posted on Nov 3 • Originally published at apidog.com

OpenAI LifeVal, bir çocuğu okula kaydettirmek, ev bütçesini yönetmek veya bir devlet dairesiyle işleri halletmek gibi günlük yaşam görevlerinden oluşan 169 görevlik bir kıyaslama setidir; bir yapay zekâ ajanı bu görevleri tarayıcı kullanımı, bilgisayar kullanımı ve bağlayıcılar aracılığıyla tamamlar. Her deneme bir rubrikle puanlanır ve puan, 0 ile 1 arasındaki ortalama ödüldür. GPT-6 Astra, xhigh efor düzeyinde %80,6 puan alır.

Kısa versiyonu bu. Aşağıda OpenAI'nin LifeVal'i nasıl oluşturduğunu, yayımladığı her model puanını (yalnızca sayfanın etkileşimli grafiğinde bulunan efor bazlı sayılar dahil), bu sayıların akıl yürütme eforu hakkında ne söylediğini ve kıyaslamanın neleri dışarıda bıraktığını bulacaksınız.

LifeVal, bir modelin kodlama veya sınav soruları yerine sıradan yaşamın gündelik işlerini ne kadar iyi tamamladığını ölçen bir OpenAI Research kıyaslamasıdır. 169 görevi ajan tabanlıdır: model tarayıcıda gezinir, bir bilgisayarı kullanır ve bağlayıcıları çağırır; sonucu ise senaryoya özel bir rubrik puanlar.

Öne çıkan metrik ortalama ödüldür. Her nokta, tek bir görev içindeki denemelerin ortalamasını alır, ardından 169 görev ortalamasını eşit ağırlıkla ortalar. %80,6'lık bir puan, 0,806'lık bir ödül anlamına gelir. Grafik notlarında "WTP ağırlıklandırması yok" yazıyor; buna tekrar döneceğiz.

OpenAI görev listesini sıfırdan icat etmedi. İnsanların zamanlarını gerçekte nasıl geçirdiğinden yola çıktı; bunun için iki kamuya açık veri seti ve kendi anketini kullandı:

Zaman kullanımı verisi, OpenAI'ye insanların günlerini hangi etkinliklerin doldurduğunu söyler. Anket ise bu etkinliklerden hangilerini insanların bir ajana devredeceğini söyler. Kesişim kümesi 169 senaryoyu oluşturdu.

Sayfa, her biri bir puana sahip beş örnek görev kartı gösteriyor. Bunlar rastgele bir örneklem değil, OpenAI'nin seçtiği örnekler:

OpenAI'nin ilk grafiği, her modeli xhigh akıl yürütme eforuyla çıkış tarihine göre işliyor. GPT-6 Astra, "lansman blogundaki xhigh ayarını" kullanıyor.

Eğri önce dik, sonra düzleşiyor. GPT-5.2'den GPT-5.4'e geçiş üç ayda 23,7 puan ekledi. Sonraki üç sürüm toplamda 7,6 puan ekledi ve GPT-6 Astra, GPT-5.6'yı 0,6 puan geçti.

GPT-5.4'teki sıçrama yalnızca kaliteyle ilgili değildi. xhigh düzeyinde ortalama gecikme 121,0 saniyeden 16,7 saniyeye, görev başına üretilen token sayısı da 202,0K'dan 30,6K'ya düştü. Yeni model, çıktının yaklaşık yedide biriyle çok daha iyi bir yanıta ulaştı.

GPT-6.1 Sol ve GPT-6.1 Terra, ikisi de piyasaya çıkmış olmasına rağmen iki grafikte de yer almıyor. Zaman çizelgesi 3 Eylül 2026'da sona eriyor. Bir ajan ürünü için GPT-6.1 Sol ile Astra arasında seçim yapıyorsanız, LifeVal size henüz yardımcı olamaz.

İkinci grafik daha faydalısı ve onu yalnızca fareyle üzerine gelerek görebiliyorsunuz. Her modeli akıl yürütme eforuna göre ayrıştırıyor ve her nokta için dört sayı veriyor: ödül, gecikme, üretilen token sayısı ve API maliyeti. Her ayar için ödüller şöyle:

Maliyet sütunuyla ilgili bir not. OpenAI bunu API maliyeti olarak etiketliyor ama birimini belirtmiyor; bu yüzden aşağıdaki rakamları "grafikte gösterildiği şekliyle görev başına API maliyeti" olarak, yani oranlar için faydalı bir gösterge olarak değerlendirin, dolar olarak değil.

GPT-5.6 max düzeyinde, yaklaşık yarı grafik maliyetiyle Astra max'ı 0,1 puan geçiyor. Eşit eforda Astra'nın GPT-5.6'ya karşı üstünlüğü her ayarda üç puanın altında; xhigh'ta 0,6 puan ve max düzeyinde tamamen kayboluyor. Astra biraz daha hızlı ve daha az token kullanıyor, ancak bu görevlerde ona yaklaşık iki kat fazla ödüyorsunuz. Bu oranı kendi trafiğinizle karşılaştırmak isterseniz, GPT-5.6 fiyatlandırma analizimizde ve GPT-6 Astra API rehberimizde token başına ücretler yer alıyor.

GPT-6 Astra'da high %80,7, xhigh ise %80,6 puan alıyor. Fazladan efor, biraz daha düşük bir puan karşılığında 1,4 saniye ve 2,1K token daha fazla maliyete yol açıyor. GPT-5.4 de aynı şekli gösteriyor: high'dan xhigh'a bir puan.

Büyük kazanımlar eğrinin alt kısmında. GPT-5.5'i low'dan medium'a taşımak 14,2 puan ekliyor. high'dan xhigh'a taşımak ise 1,8 ekliyor. Ajanınız bunun gibi günlük görevleri yürütüyorsa, ilk test edilecek ayar medium veya high'dır. OpenAI'nin akıl yürütme rehberi, Responses API'de effort parametresinin nasıl çalıştığını açıklıyor.

LifeVal faydalı bir sinyal, ancak kendi kendine bildirilen bir sinyal. Ondan alıntı yapmadan önce sınırlarını bilin.

Bunların hiçbiri LifeVal'i yanlış yapmaz. Onu bir satıcı kıyaslaması yapar. Herhangi bir lansman grafiğini okuduğunuz gibi okuyun: kendi görevlerinizde test edebileceğiniz bir iddia olarak.

LifeVal'in efor bazlı tablosu bir ödül-maliyet eğrisidir. Aynı eğriyi kendi promptunuz için de çizebilirsiniz. İstekleri elle göndermek yerine işi kodlama ajanınıza verin ve Apidog CLI 'yı onun yönlendirmesine bırakın.

CLI'ı kurun, oturum açın ve ajanınıza Apidog skill'ini ekleyin:

npm install -g apidog-cli@latest apidog auth login --with-token <YOUR_TOKEN> npx -y skills add https://apidog.com # pick your agent when prompted Enter fullscreen mode Exit fullscreen mode Ardından Claude Code, Codex veya Cursor'a tek bir prompt verin:

In Apidog project <projectId>, add a POST https://api.openai.com/v1/responses endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt. Create a test case that asserts status 200 and saves latency, usage.output_tokens and usage.output_tokens_details.reasoning_tokens. Add a test data set with effort = low, medium, high, xhigh, run the case once per row against environment <envId>, and give me a table of latency, tokens and estimated cost per effort. Enter fullscreen mode Exit fullscreen mode Ajan her payload şemasını okur, JSON'unu doğrular ve ardından şunları yazar:

apidog cli-schema get endpoint-create apidog cli-schema validate endpoint-create --file endpoint.json apidog endpoint create --project <projectId> --file endpoint.json apidog test-case category --project <projectId> apidog cli-schema validate test-case-create --file case.json apidog test-case create --project <projectId> --file case.json apidog cli-schema validate test-data-create --file efforts.json apidog test-data create --project <projectId> --file efforts.json apidog run --test-case <caseId> --project <projectId> -e <envId> \ -d <testDataId> -r cli,json --out-dir./effort-runs Enter fullscreen mode Exit fullscreen mode -d bayrağı, her veri satırı için bir yineleme besler ve -r cli,json ajana tabloyu oluşturması için bir JSON raporu verir. Çalıştırmaları sonrasında Apidog uygulamasında gözden geçirmek isterseniz --upload-report ekleyin. apidog run komut referansı tüm bayrakları listeler ve Claude Code kurulum rehberi ajan tarafını ele alır.

Bunu bir taneyle değil, gerçek promptlarınızdan beş veya on tanesiyle çalıştırın. LifeVal 169 görevin ortalamasını alıyor, bunun bir nedeni var: tek bir prompt size efordan çok varyans hakkında bilgi verir.

Bunu kararlar için değil, yön bulmak için kullanın. LifeVal size harekete geçebileceğiniz üç şey söylüyor: OpenAI'nin modelleri Aralık 2025 ile Mart 2026 arasında çok adımlı günlük görevlerde çok daha iyi hale geldi, o tarihten sonraki kazanımlar küçük ve high'ın üzerindeki akıl yürütme eforu bu tür işlerde nadiren karşılığını veriyor.

Size söyleyemediği şeyler ise OpenAI dışı bir modelin nasıl puan alacağı, sizin görevlerinizin OpenAI'nin 169 göreviyle nasıl karşılaştığı veya puanlayıcının neyi ödüllendirdiği. Bunun için yukarıdaki gibi kendi efor taramanızı çalıştırın ve görebildiğiniz sayıları karşılaştırın. GPT-6 Astra uygulamalı testimiz, yapmaya değer kontroller için bir başlangıç noktası.

OpenAI sayfada adın açılımını vermiyor. Bu, günlük yaşam ("Life") görevlerinin bir değerlendirmesi ("Val"): bakım verme, sağlık, eğitim, ev idaresi, kişisel finans, alışveriş ve devlet hizmetleri genelinde 169 ajan tabanlı senaryo.

xhigh efor düzeyinde %80,6 ortalama ödül; bu, OpenAI'nin Astra lansman blogunda kullandığı ayar. max efor düzeyinde Astra %82,5, high düzeyinde ise %80,7 puan alıyor.

Hayır. OpenAI görev setini, rubrikleri veya puanlayıcıyı yayımlamadı. Apidog CLI gibi bir test altyapısıyla kendi promptlarınız üzerinde onun efor-maliyet analizine benzer bir analiz yapabilirsiniz, ancak LifeVal puanlarını yeniden üretemezsiniz.

Hayır. Her iki grafik de yalnızca GPT-5.2'den GPT-6 Astra'ya kadar OpenAI modellerini içeriyor. GPT-6.1 Sol ve GPT-6.1 Terra da eksik.

OpenAI bunu API maliyeti olarak etiketliyor ama birimini belirtmiyor. Görev başına dolar değeri olarak değil, ayarları birbiriyle karşılaştırmak için kullanın; örneğin GPT-5.6 max 9,65'e karşı Astra max 20,04.

LifeVal'de kazancın çoğunu medium veya high yakalıyor. GPT-6 Astra high düzeyinde %80,7, xhigh düzeyinde %80,6 puan alıyor; bu yüzden daha fazlası için ödeme yapmadan önce kendi görevlerinizde medium ve high'ı test edin.