Asana senkt Modellkosten mit GPT-6.1 Sol im Test um Faktor 76
Mit GPT-6.1 Sol in Codex hat Asana seinen Browser-Agenten in Tests 76-mal günstiger und gleichzeitig fünfmal schneller gemacht. Kunden sollen davon durch leistungsfähigere Modelle profitieren.
Mit GPT‑6 Astra in Codex machte Asana seinen Browser-Agenten in Tests 76-mal günstiger und 5-mal schneller, um Kunden leistungsfähigere Modelle anbieten zu können.
Niedrigere geschätzte Modellkosten mit dem optimierten GPT-6.1 Sol Workflow
Schnellere Browser-Durchläufe mit dem optimierten GPT-6.1 Sol Workflow
Durchschnittliche geschätzte Modellkosten mit dem optimierten GPT-6.1 Sol Workflow
Identifizierung von Ineffizienzen im Browser-Agenten mit GPT-6 Astra Identifizierung von Ineffizienzen im Browser-Agenten mit GPT-6 Astra Von geschätzt zwei Monaten Recherche auf eine Woche mit GPT-6 Astra Modellkosten unter 0,50 US-Dollar pro Durchlauf senken Experimente und Produkttests skalieren Identifizierung von Ineffizienzen im Browser-Agenten mit GPT-6 Astra Von geschätzt zwei Monaten Recherche auf eine Woche mit GPT-6 Astra Modellkosten unter 0,50 US-Dollar pro Durchlauf senken Experimente und Produkttests skalieren Während GPT‑6 Astra in Codex die Experimente durchführte, optimierte Asana den Workflow seines Browser-Agenten auf GPT‑6.1 Sol, sodass dieser 76-mal günstiger und 5-mal schneller lief.
Asana hilft Kunden, Arbeiten über Geschäftsanwendungen hinweg zu automatisieren, und zwar durch StackAI, eine Plattform, die das Unternehmen übernommen hat. Mit StackAI können Kunden Workflows erstellen, die Websites durchsuchen, Formulare ausfüllen und Informationen sammeln, ohne Code schreiben zu müssen. In Asanas Größenordnung summieren sich kleine Ineffizienzen in diesen Workflows erheblich auf.
Asanas StackAI-CTO Frank Hidalgo, PhD, machte sich daran, den Browser-Agenten schneller und günstiger im Betrieb zu machen. Er beauftragte GPT‑6 Astra in Codex, den Agenten zu untersuchen, Verbesserungen zu testen und die Ergebnisse zu vergleichen. Arbeiten, die von Hand seines Schätzens nach ein bis zwei Monate gedauert hätten, nahmen etwa eine Woche in Anspruch.
Asanas Studie mit 144 Durchläufen testete GPT‑6.1 Sol und drei weitere Frontier-Modelle, die hier als Modell A, B und C bezeichnet werden. Der dabei entstandene optimierte Workflow auf GPT‑6.1 Sol erreichte im Schnitt geschätzte Modellkosten von 0,47 US-Dollar und etwa vier Minuten pro Durchlauf, also 76-mal günstiger und 5-mal schneller als das ursprüngliche Produktions-Setup auf Modell B.
Um schnell voranzukommen, begann Hidalgo damit, GPT‑6 Astra in Codex zu nutzen, um die Codebasis zu kartieren und zu erklären, wie der Agent jede Modellanfrage aufbaute. GPT‑6 Astra stellte fest, dass der Agent zwar seine festen Anweisungen und Tool-Definitionen cache, nicht aber die wachsende Historie aus Seitentexten und Screenshots, die er sammelte, sodass jede Anfrage diese Historie zum vollen Preis erneut übermittelte.
Der Agent entfernte außerdem ältere Screenshots und kürzte Texte bei fast jedem Schritt. Jede Änderung veränderte die Historie, sodass das Cachen allein der Historie nicht geholfen hätte, und der Verlust dieser Informationen könnte den Agenten dazu zwingen, bereits gelesene Seiten erneut zu besuchen.
Hidalgo prüfte die von GPT‑6 Astra vorgeschlagenen Lösungen und wählte drei zum Testen aus:
Ausweitung des Cachings auf den Browserverlauf des Agenten
Erhöhung der Textmenge, die der Agent behalten kann
Entfernen von Screenshots in Schritten, nicht bei jedem Schritt
GPT‑6 Astra begann mit schnellen Tests, um festzustellen, welche Variablen relevant waren. Da der Code nicht für kontrollierte Experimente ausgelegt war, refaktorierte das Modell anschließend den Code, sodass ein Frontend und Backend viele Workflows parallel unterstützen konnte, jeder mit eigenen Einstellungen.
Astra führte die vollständige Studie durch: Historienbudgets von 120.000 und 480.000 Zeichen sowie sechs Caching- und Screenshot-Richtlinien, die jeweils dreimal auf jedem der vier Modelle getestet wurden (siehe Tabelle unten). Die leistungsstärkste Richtlinie ließ Screenshots sich auf 20 ansammeln, bevor auf den jüngsten reduziert wurde. Dadurch blieb die frühere Historie über längere Zeiträume zwischen den Entfernungen unverändert. In Kombination mit dem größeren Historienbudget ergab sich daraus der optimierte Workflow. Jede Konfiguration führte dieselbe Aufgabe aus: das Erfassen von sechs Feldern für jeweils 32 Bücher aus einem öffentlichen Demo-Katalog, was typisch dafür ist, was einige Asana-Kunden in StackAI ausführen.
Ein kleineres, weniger teures Modell eines anderen Frontier-Labors, veröffentlicht im Herbst 2025
Das ursprünglich in der Produktion eingesetzte Modell, aus demselben Labor wie Modell A, veröffentlicht im Sommer 2026
Eine aktualisierte Version von Modell B, veröffentlicht im Herbst 2026
GPT‑6 Astra führte die Workflows aus und untersuchte die Anfragen, Nutzungsdaten und Ausgaben, und separate Modellsitzungen überprüften die Arbeit. Die Anfragen, Daten-Spuren und Ergebnisse jeder Sitzung wurden in Command, Asanas Software-Delivery-Plattform, aufgezeichnet, sodass das Team die vollständige Studie im Nachhinein prüfen konnte. Aus Command wurden die Erkenntnisse in Tickets und dann in Pull Requests umgewandelt, und die Änderungen gingen in die Produktion.
Bei Modell B senkte die Optimierung die geschätzten Modellkosten von mindestens 36,21 US-Dollar (einige ursprüngliche Durchläufe erreichten das Schrittlimit, bevor sie abgeschlossen waren) auf 1,24 US-Dollar pro Durchlauf, eine Verringerung um das 29-Fache. Der optimierte Workflow auf GPT‑6.1 Sol war mit 0,47 US-Dollar nochmals 2,6-mal günstiger. Jeder Durchlauf im optimierten Workflow schloss die Aufgabe ab und lieferte die richtige Antwort.
Mittelwerte von 3 Durchläufen. ≥: Der Baseline umfasst begrenzte Durchläufe, daher ist ihr Mittelwert eine Untergrenze.
Die beiden rechten Balkenpaare werden mit dem optimierten Modell B verglichen. Modell B lief in Phase 1, Modell C und Sol 6.1 in Phase 2 derselben Studie (gestrichelte Linie).
Bei GPT‑6.1 Sol allein reduzierte die neue Caching- und Screenshot-Richtlinie mit dem größeren Historienbudget die Kosten um das Vierfache, von 1,97 US-Dollar auf 0,47 US-Dollar pro Durchlauf. Jeder Aufruf war etwa 3-mal günstiger, da 89 Prozent des Inputs aus dem Cache stammten und nur 5 Prozent des Preises für ungecachten Input kosteten. Die Durchläufe wurden auch schneller: mindestens 22,5 Minuten im ursprünglichen Setup auf Modell B, etwa vier Minuten mit dem optimierten Workflow auf GPT‑6.1 Sol.
Mittelwert von 3 Durchläufen, Standardabweichungen als Balken. ≥: Der Mittelwert umfasst einen begrenzten oder unvollständigen Durchlauf, daher ist der wahre Wert mindestens so groß.
Die Balken verwenden das blaue Farbschema. Caching-Effekte sind anhand des 480k-Balkens mit größerem Budget abzulesen.
Die Markierungen der Durchläufe und Standardabweichungen sind ungefähre Rekonstruktionen aus dem Quellbild; die zugrunde liegenden Werte und Standardabweichungen der Durchläufe waren nicht verfügbar.
Die Untersuchung zeigte auch, wie sich das Historienmanagement darauf auswirkte, ob der Agent überhaupt eine Antwort lieferte. Wenn GPT‑6.1 Sol mehr Raum zum Speichern des Browserverlaufs gegeben wurde, stieg die Zahl der Durchläufe mit einer Antwort von drei von 18 mit dem kleineren Historienbudget auf alle 18 mit dem größeren Budget, jeweils mit der richtigen Antwort. Für Hidalgo liegt der Geschäftswert darin, Kunden Zugang zu schnelleren, leistungsfähigeren Modellen zu geben und gleichzeitig die Betriebskosten nachhaltig zu halten.
Asana hat die Änderungen an der Browser-Navigation in StackAI veröffentlicht und entwickelt Tools, um ähnliche Experimente leichter wiederholbar zu machen. Langfristig plant das Team, diese Tests in die Evaluationen der Plattform zu integrieren, sodass Kunden und interne Teams beim Konfigurieren ihrer Agenten Kosten, Laufzeit und Antwortqualität vergleichen können.
Asana nutzt GPT‑6 Astra in Codex inzwischen auch, um Produktfunktionen vor der Veröffentlichung zu testen: Astra navigiert durch die Plattform, probiert verschiedene Eingaben aus und meldet Bugs an menschliche QA-Prüfer. Hidalgo sieht darin die Grundlage für einen neuen Software-Entwicklungslebenszyklus, bei dem viele Cloud-Agent-Sitzungen Funktionen parallel testen.
Die vollständige Studie ist auf den Blogs von Asana und StackAI verfügbar.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Using GPT‑6 Astra in Codex, Asana made its browser agent 76x cheaper and 5x faster in tests to offer customers more capable models.
Lower estimated model costs with the optimized GPT-6.1 Sol workflow
Faster browser runs with the optimized GPT-6.1 Sol workflow
Average estimated model cost with the optimized GPT-6.1 Sol workflow
Share Identifying browser-agent inefficiencies with GPT-6 Astra Identifying browser-agent inefficiencies with GPT-6 Astra From an estimated two months of research to one week with GPT-6 Astra Bringing model cost below $0.50 per run Scaling experimentation and product testing Identifying browser-agent inefficiencies with GPT-6 Astra From an estimated two months of research to one week with GPT-6 Astra Bringing model cost below $0.50 per run Scaling experimentation and product testing With GPT‑6 Astra in Codex running experiments, Asana optimized its browser agent’s workflow on GPT‑6.1 Sol to run 76x cheaper and 5x faster.
Asana helps customers automate work across business applications through StackAI (opens in a new window), a platform it acquired (opens in a new window). Using StackAI, customers can build workflows that navigate websites, fill out forms, and gather information without writing code. At Asana’s scale, small inefficiencies in these workflows add up.
Asana’s StackAI CTO, Frank Hidalgo, PhD, set out to make the browser agent faster and cheaper to run. He directed GPT‑6 Astra in Codex to investigate the agent, test improvements, and compare the results. Work he estimates would have taken one to two months by hand took about a week.
Asana’s 144-run study (opens in a new window) tested GPT‑6.1 Sol and three other frontier models, called here Models A, B and C. The optimized workflow that emerged on GPT‑6.1 Sol averaged $0.47 in estimated model costs and about four minutes per run, 76x cheaper and 5x faster than the original production setup on Model B.
To move quickly, Hidalgo started by using GPT‑6 Astra in Codex to map the codebase and explain how the agent built each model request. GPT‑6 Astra discovered that the agent cached its fixed instructions and tool definitions, but not the growing history of page text and screenshots it gathered, so every request resent that history at full price.
The agent also dropped older screenshots and trimmed text at nearly every step. Each edit altered the history, so caching the history alone would not have helped, and losing those facts could require the agent to revisit pages it had already read.
Hidalgo reviewed GPT‑6 Astra’s proposed fixes and selected three to test:
Extending caching to the agent’s browsing history
Increasing the amount of text it could retain
Removing screenshots in batches rather than at every step
GPT‑6 Astra began with quick tests to establish which variables mattered. Because the code was not designed for controlled experiments, it then refactored the code so one frontend and backend could support many workflows in parallel, each with its own settings.
Astra conducted the full study: history budgets of 120,000 and 480,000 characters and six caching and screenshot policies, each tested three times on each of the four models (see the table below). The best-performing policy allowed screenshots to accumulate to 20 before cutting back to the most recent one. This kept earlier history unchanged for longer stretches between removals. Combined with the larger history budget, it became the optimized workflow. Each configuration performed the same task: collecting six fields for each of 32 books from a public demo catalog, representative of what some Asana customers run in StackAI.
A smaller, less expensive model from another frontier lab, released Fall 2025
The model originally used in production, from the same lab as Model A, released Summer 2026
An updated version of Model B, released Fall 2026
GPT‑6 Astra ran the workflows and examined the requests, usage records and outputs, and separate model sessions reviewed the work. Every session’s requests, data traces and results were recorded in Command (opens in a new window), Asana’s software delivery platform, so the team could review the complete study afterward. From Command, the findings were turned into tickets, then pull requests, and the changes went to production.
For Model B, the optimization reduced estimated model cost from at least $36.21 (some original runs reached the step limit before they finished) to $1.24 per run, a reduction of 29x. The optimized workflow on GPT‑6.1 Sol was 2.6x cheaper still, at $0.47. Every run in the optimized workflow completed the task and returned the correct answer.
Means of 3 runs. ≥: the baseline includes capped runs, so its mean is a lower bound.
The two right folds compare against Model B optimized. Model B ran in phase 1, Model C and Sol 6.1 in phase 2 of the same study (dotted line).
On GPT‑6.1 Sol alone, with the larger history budget, the new caching and screenshot policy reduced cost 4x, from $1.97 to $0.47 per run. Each call was about 3x cheaper, because 89% of the input came from cache at 5% of the uncached price. Runs also became faster: at least 22.5 minutes on the original setup on Model B, roughly four minutes with the optimized workflow on GPT‑6.1 Sol.
Mean of 3 runs, SD whiskers. ≥: mean includes a capped or unfinished run, so the true value is at least this large.
Bars use the blue theme. Read caching effects against the 480k larger-budget bar.
Run markers and SD whiskers are approximate reconstructions from the source image; underlying run values and standard deviations were not available.
The investigation also showed how history management affected whether the agent produced an answer at all. Giving GPT‑6.1 Sol more room to retain its browsing history increased the number of runs that produced an answer from three of 18 with the smaller history budget to all 18 with the larger budget, each with the correct answer. For Hidalgo, the business value is giving customers access to faster, more capable models while keeping operating costs sustainable.
Asana has released the changes to browser navigation in StackAI and is developing tools to make similar experiments easier to repeat. Over time, the team plans to incorporate this testing into the platform’s evaluations, so customers and internal teams can compare cost, runtime, and answer quality when configuring their agents.
Asana is now using GPT‑6 Astra in Codex to test product features before release: Astra navigates the platform, tries different inputs and reports bugs for human QA reviewers. Hidalgo views this as the foundation for a new software development lifecycle, with many cloud agent sessions testing features in parallel.
The complete study is available on the Asana (opens in a new window) and StackAI (opens in a new window) blogs.