Cloudflare’s Auto Router Rates Each Request for Stakes, from the Most Recent Turns
Cloudflare has released Auto Router in public beta through AI Gateway, picking a model per request from a classifier that scores complexity, ambiguity, stakes and context dependence. Cloudflare’s own benchmark puts it ten points below Claude Opus 5.5 on success rate at a third of the cost, and prac
Das Routing läuft in zwei Stufen. Zunächst erstellt das AI Gateway einen Kandidatenpool, indem Modelle herausgefiltert werden, die das angeforderte Format nicht bedienen können, und wendet dabei Anmeldedaten, Abrechnungskonfiguration, Zugriffskontrolle und Ausgabenlimits an. Anschließend läuft ein Multi-Head-Klassifikationsmodell auf Workers AI über die Edge-GPUs von Cloudflare, das Wahrscheinlichkeiten über 14 Aufgabenkategorien verteilt und die Anfrage in vier Dimensionen von 1 bis 5 bewertet: Komplexität, Mehrdeutigkeit, Tragweite und Abhängigkeit von früherem Kontext. Eine Scoring-Matrix kombiniert diese Werte mit Benchmark-Ergebnissen, gemäß der angegebenen Formel "utility = expected quality - adaptive cost penalty".
Der Auto Router klassifiziert jede Anfrage nur anhand der neuesten Dialogrunden, begrenzt auf 8 KiB Text, und bewertet dann die Kandidatenmodelle nach Stärke je Aufgabe und erwartetem Gewinn bei anspruchsvollerer Arbeit, wobei der Preis mit steigender Schwierigkeit weniger stark gewichtet wird. (Quelle: Cloudflare-Blogbeitrag)
Jacques B, ein CTO im Bereich agentic engineering, benannte in einem LinkedIn-Beitrag von Cloudflare die Kennzahl, die wirklich zählt:
Ein günstigeres Modell ist keine große Ersparnis, wenn jemand anschließend eine weitere Stunde damit verbringen muss, das Ergebnis zu reparieren.
Genau diese Zahl hat Cloudflare veröffentlicht. Über 97 Aufgaben mit drei Stichproben pro Modell und 10.000 Bootstrap-Resamples:
Zehn Punkte Zuverlässigkeit für etwa ein Drittel der Ausgaben. Teams können selbst entscheiden, auf welcher Seite davon sie stehen möchten, was mehr ist, als die meisten Routing-Produkte ermöglichen.
Die Klassifikation selbst rief bei Praktikern die stärkste Reaktion hervor. Igor Pyrin, ein Tech Lead mit Erfahrung in Banken- und Healthcare-Plattformen, wies darauf hin, dass die Tragweite anhand einer kompakten Sicht bewertet wird, die die letzten Dialogrunden bevorzugt:
In einer langen Agent-Sitzung sagt der Nutzer vielleicht früh "das ist eine Kundenrückerstattung" und später nur noch "mach weiter". Ich würde ein anwendungsseitig gepflegtes Risiko-Label über die Runden hinweg mitführen und damit entscheiden, ob die Anfrage überhaupt cloudflare/auto nutzen darf. Eine kurze abschließende Anweisung sollte die Risikoklassifizierung der zugrunde liegenden Aktion nicht still senken.
Die Runde, die die Aktion auslöst, ist die am wenigsten kostenintensiv wirkende Runde im Gespräch.
Zwei Dinge ergänzt die Dokumentation. Die Antwort enthält cf-aig-routed-model und cf-aig-routing-reason, mit Werten wie cost_optimal_within_pool und pinned_by_turn, sodass die Entscheidung nachträglich nachvollziehbar ist. Und der Pool lässt sich pro Anfrage über die Header cf-aig-allowed-models und cf-aig-allowed-providers einschränken, allerdings nicht als gespeicherte Routing-Profile, was Adam Natad im Launch-Thread angefragt hatte.
Bevor man den Zahlen vertraut, lohnt sich ein Blick darauf: Der Standardpool listet derzeit Claude Opus 5, Sonnet 5 und Fable 5 neben GPT-5.6 Luna, Sol und Terra sowie Grok 4.5. Opus 5.5 und GPT-6 Sol, die beiden Referenzmodelle in der Tabelle, befinden sich in der Opt-in-Liste, die nur über diese Header erreichbar ist. Cloudflare sagt, der Pool "kann sich im Laufe der Zeit ändern", sodass dies eher Drift als Absicht sein könnte, aber ein Team, das das Benchmark reproduzieren will, sollte prüfen, was sein Gateway tatsächlich auswählt.
Auch die Sitzungsverwaltung hat ihren Preis. Ohne eine Session-ID können Anfragen aus demselben Gespräch auf unterschiedlichen Modellen landen und den Prompt-Cache nicht wiederverwenden. Aus demselben Grund wendet Cloudflare eine Wechselstrafe an, die mit der Kontextlänge wächst, da ein neues Modell Reasoning-Tokens möglicherweise zu Ausgabepreisen neu berechnen muss.
Auf Reddit wies der Kommentator reachjalil die Prämisse rundherum zurück und argumentierte, Auto-Router "enden am Ende damit, dass man mehr zahlt für weniger Intelligenz", und dass ein leistungsfähiges Modell günstiger ist, wenn es auf die Ergebnisse ankommt. Der Kommentator yangqi entgegnete, die Einheit solle die Aufgabe sein, nicht die Anfrage. reachjalils Nachfrage landete bei etwas, das Cloudflare selbst einräumt: Die Klassifikation ist für ein großes Modell selbst einfacher, und die Gewichtungen werden veraltet, "besonders bei den sich ständig ändernden Modellen". Der Beitrag sagt, die Routing-Gewichtungen stammen aus Benchmark-Ergebnissen, sodass neue Modelle von Hand in die Scoring-Matrix aufgenommen werden müssen.
Der Auto Router ist während der Beta kostenlos; ein Preis nach der Beta wurde nicht genannt. WebSockets werden nicht unterstützt, es bleiben Chat Completions und die Responses API.
Ebenfalls auf der Roadmap steht cloudflare/auto-best, mit demselben Klassifikator und Pool, das das Modell mit der höchsten erwarteten Qualität auswählt, ohne Abwägung der Kosten.
Finde die Fehler, die deine Tests verpassen. Antithesis nutzt deterministische Simulation, um Tausende Fehlerszenarien zu durchleuchten und schwer reproduzierbare Bugs aufzudecken, bevor sie in die Produktion gelangen. So funktioniert es.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Routing runs in two stages. AI Gateway first builds a candidate pool, filtering models that cannot serve the request format and applying credentials, billing configuration, access control, and spend limits. A multi-head classification model then runs on Workers AI across Cloudflare’s edge GPUs, assigning probabilities across 14 task categories and rating the request 1 to 5 on four dimensions: complexity, ambiguity, stakes, and dependence on earlier context. A scoring matrix combines those with benchmark results, under the stated formula "utility = expected quality - adaptive cost penalty."
The Auto Router classifies each request from the newest turns only, capped at 8 KiB of text, then scores candidate models on strength by task and expected gain on harder work, with price weighted less as difficulty rises. (Source: Cloudflare blog post )
Jacques B, a CTO working on agentic engineering, named the measure that matters in a LinkedIn post by Cloudflare:
A cheaper model isn’t much of a saving if someone has to spend another hour fixing the result.
Cloudflare published exactly that number. Across 97 tasks with three samples per model and 10,000 bootstrap resamples:
Ten points of reliability for roughly a third of the spend. Teams get to decide which side of that they are on, which is more than most routing products make possible.
The classification itself drew the sharpest practitioner response. Igor Pyrin, a tech lead who has worked on banking and healthcare platforms, noted that stakes are scored from a compact view favoring recent turns:
In a long agent session, the user may say "this is a customer refund" early and later just say "go ahead." I’d carry an application-owned risk label across turns and use it to decide whether the request can use cloudflare/auto at all. A short final instruction should not silently lower the risk classification of the underlying action.
The turn that commits the action is the cheapest-looking turn in the conversation.
Two things the documentation adds. The response carries cf-aig-routed-model and cf-aig-routing-reason, with values like cost_optimal_within_pool and pinned_by_turn, so the choice is auditable after the fact. And the pool is restrictable per request through cf-aig-allowed-models and cf-aig-allowed-providers headers, though not as saved routing profiles, which is what Adam Natad asked for in the launch thread.
Worth checking before trusting the figures: the default pool today lists Claude Opus 5, Sonnet 5 and Fable 5 alongside GPT-5.6 Luna, Sol and Terra, and Grok 4.5. Opus 5.5 and GPT-6 Sol, the two baselines in the table, sit in the opt-in list reachable only through those headers. Cloudflare says the pool "may change over time," so this may be drift rather than design, but a team reproducing the benchmark should confirm what its gateway actually selects.
Session handling carries a cost too. Without a session ID, requests in the same conversation may land on different models and cannot reuse the prompt cache. Cloudflare applies a switching penalty that grows with context length for the same reason, since a new model may redo reasoning tokens at output prices.
On Reddit, commenter reachjalil rejected the premise outright, arguing auto routers "end up costing you more for less intelligence" and that a capable model is cheaper if outcomes matter. Commenter yangqi answered that the unit should be the task, not the request. reachjalil’s follow-up landed on something Cloudflare concedes: classification is itself easier for a large model, and the weights go stale "especially with the constantly changing models." The post says routing weights come from benchmark results, so new models have to be added to the scoring matrix by hand.
Auto Router is free during the beta, with no pricing stated for afterward. WebSockets are unsupported, leaving Chat Completions and the Responses API.
Also on the roadmap is cloudflare/auto-best, same classifier and pool, selecting highest expected quality with no cost tradeoff.
Find the bugs your tests miss. Antithesis uses deterministic simulation to explore thousands of failure scenarios, uncovering hard-to-reproduce bugs before they reach production. See how it works.