Self-Hosting von LLMs: H200-Node unterhalb von 10.500 Dollar im Monat nicht rentabel
IBMs CEO Arvind Krishna sieht Open-Weight-Modelle bei 10 bis 25 Prozent der Token-Kosten von Frontier-Modellen und fast gleichwertiger Leistung. Die Rechnung zeigt: Erst ab höheren Monatsausgaben lohnt sich ein eigener H200-Node gegenüber der API.
Veröffentlicht am 27. Okt. • Zuerst erschienen auf blog.authon.dev
IBMs CEO sagte Investoren letzte Woche, dass Open-Weight-Modelle mittlerweile mit "irgendwo zwischen 25 Prozent und 10 Prozent der Token-Kosten der Frontier-Modelle" laufen und "zu 90 Prozent genauso effektiv" seien. Laut The Registers Bericht über den Q3-Call hält Arvind Krishna auch ein nützliches On-Prem-AI-Setup mit nur zwei oder drei Racks für möglich.
Ich wollte wissen, ob sich die Kosten von selbst gehosteten LLMs gegenüber APIs tatsächlich so verhalten, und habe daher öffentliche GPU-Preise, Stromtarife, veröffentlichte Durchsatz-Benchmarks und die aktuellen API-Preislisten zusammengenommen und gerechnet. Kurz gefasst: Ein 8x-H200-Node kostet etwa 10.500 Dollar im Monat, noch bevor ihn jemand benutzt. Gegenüber Claude Opus 5.5 amortisiert er sich bei 6 Prozent Auslastung. Gegenüber DeepSeeks eigener Off-Peak-API braucht er 54 Prozent. Liegt deine API-Rechnung unter etwa 10.500 Dollar im Monat, schlägt die API den Node in jedem Fall.
Im Call beschrieb er einen breit angelegten Benchmark, bei dem 2024 das beste geschlossene Modell 70 Punkte erreichte und offene Modelle 20 oder 30, dann bis Ende 2025 "70 zu 50". 50 von 70 sind 71 Prozent.
Möglicherweise hat sich die Lücke seitdem weiter geschlossen, aber die einzigen Zahlen, die er tatsächlich nannte, erreichen keine 90 Prozent. Das ist wichtig, weil alles Folgende davon ausgeht, dass das offene Modell deine Aufgabe bewältigen kann, und wenn es das nicht kann, sind die Kosten pro Token irrelevant.
Aktuelle Frontier-Listenpreise, neben dem bekanntesten gehosteten Open-Weight-Modell:
V4 Pro Output zum Spitzenpreis liegt bei 19,8 Prozent von Opus 5.5 und 39,6 Prozent von Sonnet 5.5. Die Aussage "10-25 Prozent" stimmt also, wenn man gegen die teuerste Stufe vergleicht und die mittlere Stufe ignoriert. Für einen Earnings Call ist das in Ordnung, aber die meisten Teams schicken nicht alles an Opus.
Das ist allerdings API zu API. IBM verkauft Hardware und Red Hat, die Aussage, die dem Unternehmen wichtig ist, betrifft On-Prem.
Das ergibt 10.507 Dollar pro Monat, ohne Colo, Netzwerk, Ersatzgeräte oder Personal.
Als Gegenprobe veröffentlichte DeepSeek im Februar 2025 seine eigenen Flottenkosten: 87.072 Dollar pro Tag über durchschnittlich 226,75 Acht-GPU-H800-Nodes, ausgehend von 2 Dollar pro GPU-Stunde (DeepSeek open-infra-index). Das sind etwa 384 Dollar pro Node und Tag, also 11.520 Dollar pro Monat, nah genug an meinem Wert.
Hier wird am meisten diskutiert, denn die veröffentlichten Durchsatzwerte variieren um etwa das Achtfache, je nachdem, wer den Stack optimiert hat.
Über einen 30-Tage-Monat (2.592.000 Sekunden) ergibt der Verda-Wert 7,42 Mrd. Output-Tokens plus dieselbe Anzahl an Input-Tokens. Der LMSYS-Wert ergibt 57,8 Mrd.
Ich habe einen voll ausgelasteten Monat der unoptimierten Verda-Workload (7,42 Mrd. Input + 7,42 Mrd. Output) zu den Preisen jeder API berechnet und dann die 10.507 Dollar des Nodes dadurch geteilt. Das Ergebnis ist die Auslastung, die der Node benötigt, um allein zu break-even zu kommen:
Beim unoptimierten Setup bei 100 Prozent Last kostet Self-Hosting 1,41 Dollar pro 1 Mio. Output-Tokens, inklusive der zugehörigen Input-Tokens. Beim LMSYS-Durchsatz sind es 0,18 Dollar, was gut zu deren Behauptung von 0,20 Dollar passt. Verglichen mit Opus 5.5 für 20 Dollar sind das 7 Prozent und 0,9 Prozent, also deutlich unter Krishnas Spanne.
Bei Enterprise-Volumen ist er also konservativ. Wenn das offene Modell die Aufgabe wirklich erledigt und man die Hardware beschäftigt halten kann, schlägt On-Prem die Frontier-API mühelos.
Die Off-Peak-Zeile sollte man genau ansehen. DeepSeeks Peak-Fenster liegt nur zwischen 01:00 und 04:00 sowie 06:00 und 10:00 UTC an Wochentagen, also wird der Großteil der Woche zum niedrigeren Satz abgerechnet. Und dies sind Cache-Miss-Input-Preise. Cache-Treffer bei V4 Pro kosten 0,022 bis 0,044 Dollar pro 1 Mio., sodass ein Agent, der denselben langen Kontext erneut sendet, auf API-Seite noch einmal günstiger ist.
Ein Hinweis zur Tabelle: Verda hat V3 benchmarked, nicht V4 Pro. Ich verwende es als Stellvertreter für ein großes offenes MoE-Modell auf einem Node. Dein Modell und deine Prompt-Längen werden diese Zahlen verschieben.
Blick noch einmal auf die Fixkosten: 10.507 Dollar pro Monat, bevor ihn jemand anfasst. Liegt deine gesamte API-Rechnung unter etwa 10.500 Dollar pro Monat, kann ein Node nicht gewinnen, egal wie seine Auslastung aussieht. Und DeepSeeks eigene API braucht zu Off-Peak-Preisen eine Last von über 53,6 Prozent, bevor sich deine Hardware bezahlt macht.
Dann sind da noch die Menschen. Krishna sagte es selbst: "Wo sind meine Kernel-Engineers? Wo sind die Leute, die sich um das zugrunde liegende Netzwerk kümmern?" The Register merkt an, er habe "keine Antworten" gehabt, außer dass IBM Software bauen will, die hilft. Ich setze kein Gehalt in die Tabelle, weil es zu stark variiert, aber jeder Dollar an Engineering-Zeit, den du in den Node steckst, erhöht die Break-Even-Rechnung um einen Dollar. Wenn die Betreuung des Nodes etwa so viel kostet wie der Node selbst, verdoppelt sich der Break-Even ungefähr auf rund 21.000 Dollar pro Monat.
Der HN-Thread stimmt überwiegend zu. jacquesm, der einen 8-GPU-Rechner betreibt, der etwa 25.000 Dollar gekostet hat, sagt, er "ist nicht günstiger als die Nutzung eines Frontier-Labors (zumindest glaube ich das nicht)." Forgeties79 sagt: "Ich kann 25.000 Dollar nicht in ein LLM investieren. Die allermeisten Menschen können das nicht." Wer lokale Modelle verteidigt, führt vor allem Privatsphäre, keine Token-Limits und keine Verweigerungen an. Kaum jemand streitet über den Preis.
Eine RTX 5090 ist eine andere Rechnung. Hardware Corner listet die Karte mit 3.699 Dollar (durchschnittlicher US-Marktwert) und 575 W TDP und hat diese llama.cpp-Generierungsgeschwindigkeiten bei 4K-Kontext gemessen:
Über 36 Monate kostet die Karte 103 Dollar pro Monat. Läuft sie täglich 8 Stunden bei voller Last, 22 Tage im Monat, kommen etwa 15 Dollar Strom beim selben EIA-Tarif dazu. Der Break-Even liegt also bei grob 117 Dollar API-Ausgaben pro Monat, die du dir tatsächlich sparen würdest, vorausgesetzt, der Rest des PCs ist schon vorhanden.
Das ist mit agentic coding leicht zu erreichen, was gewaltige Mengen an Input-Tokens verbrennt. 117 Dollar kaufen 58 Mio. Input-Tokens bei Sonnet 5.5. Deshalb sind auch die günstigen Stufen schwer zu schlagen. Bei voller Geschwindigkeit sind 176 Stunden pro Monat auf Qwen3 32B etwa 38,9 Mio. Output-Tokens. Bei Haiku 5.5 mit 0,50 Dollar pro 1 Mio. Output (Prompts bis 100K Tokens) sind das 19 Dollar. Der Dev-Rechner spart nur Geld, wenn er Calls der mittleren oder obersten Stufe ersetzt, und ein 5090-Besitzer auf HN (dekhn) sagt, die lokalen Modelle "erzeugen eine enorme Menge an Rauschen" neben Claude oder ChatGPT.
vllm bench serve --model <your-model> \ --dataset-name random \ --random-input-len 1024 --random-output-len 1024 \ --request-rate 8 --num-prompts 2400 Enter fullscreen mode Exit fullscreen mode Führe dein eigenes Eval-Set gegen das offene Modell aus. Vertraue keinen Benchmark-Leaderboards und vertraue keinem "90 Prozent". Break-Even-Auslastung = monatliche Node-Kosten ÷ (monatliche Tokens bei Volllast × dein API-Preis).
Wenn du den Node während deiner realen Traffic-Zeiten nicht über diese Zahl halten kannst, zahle weiter für die API. Meine Einschätzung: IBMs Rechnung stimmt für Unternehmen, die bereits Rechenzentren betreiben und konstante, langweilige Workloads haben, wie die E-Mail-Zusammenfassungen und Vertragsprüfungen, die Krishna erwähnte. Für ein 10-Personen-Team, das 3.000 Dollar im Monat zahlt, ist es ein Verkaufsgespräch für Hardware.
Wo lag bei dir der Wendepunkt? Bei welcher monatlichen API-Rechnung hat sich Self-Hosting gelohnt, wenn überhaupt? Und wenn du einen eigenen Node betreibst, welche Auslastung siehst du tatsächlich außerhalb der Bürozeiten?
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 27 • Originally published at blog.authon.dev
IBM's CEO told investors last week that open-weight models now run at "anywhere from 25 percent to 10 percent of the token cost of the frontier models" and are "90 percent as effective." According to The Register's write-up of the Q3 call, Arvind Krishna also thinks a useful on-prem AI setup needs just two or three racks.
I wanted to know if self-hosted LLM vs API cost actually works out like that, so I took public GPU prices, power rates, published throughput benchmarks and today's API price sheets and did the arithmetic. Short version: an 8x H200 node costs about $10.5K a month before anyone touches it. Against Claude Opus 5.5 it pays for itself at 6% utilization. Against DeepSeek's own off-peak API it needs 54%. If your API bill is under about $10.5K a month, the API beats that node no matter what.
On the call he described a broad benchmark where the top closed model scored 70 and open models scored 20 or 30 in 2024, then "70 to 50" by late 2025. 50 out of 70 is 71%.
Maybe the gap has closed further since then, but the only figures he actually gave don't reach 90%. That matters because everything below assumes the open model can do your job, and if it can't, the cost per token is irrelevant.
Current frontier list prices, next to the best-known hosted open-weight model:
V4 Pro output at peak is 19.8% of Opus 5.5 and 39.6% of Sonnet 5.5. So "10-25%" holds if you compare against the most expensive tier and ignore the mid tier. That's fair enough for an earnings call, but most teams aren't sending everything to Opus.
That's API to API, though. IBM sells hardware and Red Hat, so the claim it cares about is on-prem.
That comes to $10,507/month, without colo, networking, spares or people.
As a sanity check, DeepSeek published its own fleet cost in February 2025: $87,072/day across an average of 226.75 eight-GPU H800 nodes, assuming $2/GPU-hour ( DeepSeek open-infra-index ). That's about $384 per node per day, or $11,520 per month, close enough to my number.
This is where people argue most, because published throughput numbers vary by about 8x depending on who tuned the stack.
Over a 30-day month (2,592,000 seconds), the Verda figure works out to 7.42B output tokens, plus the same number of input tokens. The LMSYS figure works out to 57.8B.
I priced one fully loaded month of the untuned Verda workload (7.42B in + 7.42B out) at each API's rates, then divided the node's $10,507 by that. The result is the utilization the node needs just to break even:
On the untuned setup at 100% load, self-hosting costs $1.41 per 1M output tokens, with the matching input tokens included. At the LMSYS throughput it's $0.18, which lines up with their $0.20 claim. Compared with Opus 5.5's $20, that's 7% and 0.9%, which is well below Krishna's range.
So at enterprise volume he's being conservative. If the open model really does the job and you can keep the hardware busy, on-prem beats the frontier API easily.
The off-peak row is the one to stare at. DeepSeek's peak window is only 01:00-04:00 and 06:00-10:00 UTC on weekdays, so most of the week is billed at the lower rate. And these are cache-miss input prices. Cache hits on V4 Pro are $0.022-0.044 per 1M, so an agent that resends the same long context is cheaper again on the API side.
One caveat on the table: Verda benchmarked V3, not V4 Pro. I'm using it as a stand-in for a large open MoE on one node. Your model and prompt lengths will move these numbers.
Look at the fixed cost again: $10,507/month before anyone touches it. If your whole API bill is under about $10.5K/month, a node can't win, whatever its utilization. And DeepSeek's own API at off-peak rates needs you above 53.6% load before your hardware pays off.
Then there are the people. Krishna said it himself: "Where are my kernel engineers? Where are the people who worry about the underlying network?" The Register notes he "didn't have answers" beyond IBM building software to help. I'm not putting a salary in the table because it varies too much, but every dollar of engineering time you spend on the node adds a dollar to the break-even bill. If babysitting the node costs about as much as the node itself, the break-even roughly doubles to around $21K/month.
The HN thread mostly agrees. jacquesm, who runs an 8-GPU rig that cost about $25K, says it "is not cheaper than using a frontier lab (or at least, I don't think it is)." Forgeties79 says: "I can't 'invest' $25k into an LLM. The vast majority of people can't." The people defending local models mostly bring up privacy, no token caps and no refusals. Hardly anyone argues on price.
One RTX 5090 is a different calculation. Hardware Corner lists the card at $3,699 (average US market value) and 575 W TDP, and measured these llama.cpp generation speeds at 4K context:
Over 36 months the card costs $103/month. Run it flat out 8 hours a day, 22 days a month, and power adds about $15 at the same EIA rate. So the break-even is roughly $117/month of API spend you'd actually stop paying, assuming you already have the rest of the PC.
That's easy to hit with agentic coding, which burns huge amounts of input tokens. $117 buys 58M input tokens on Sonnet 5.5. It's also why the cheap tiers are hard to beat. At full speed, 176 hours a month on Qwen3 32B is about 38.9M output tokens. At Haiku 5.5's $0.50/1M output (prompts up to 100K tokens), that's worth $19. The dev box only saves money if it replaces mid- or top-tier calls, and one 5090 owner on HN (dekhn) says the local models "generate an enormous amount of noise" next to Claude or ChatGPT.
vllm bench serve --model <your-model> \ --dataset-name random \ --random-input-len 1024 --random-output-len 1024 \ --request-rate 8 --num-prompts 2400 Enter fullscreen mode Exit fullscreen mode Run your own eval set against the open model. Don't trust benchmark leaderboards, and don't trust "90%." Break-even utilization = monthly node cost ÷ (monthly tokens at full load × your API price). If you can't keep the node above that number during your real traffic hours, keep paying for the API. My take: IBM's math is right for companies that already run data centers and have steady, boring workloads like the email summaries and contract checks Krishna mentioned. For a 10-person team paying $3K a month, it's a sales pitch for hardware.
So where did it tip for you? At what monthly API bill did self-hosting start making sense, if it ever did? And if you run your own node, what utilization do you actually see outside office hours?