DeepSeek öffnet die Engine hinter seiner API: Lohnt sich Self-Hosting von V4.1 Flash?
Ein eigener Cluster für DeepSeek V4.1 Flash ist für fast alle Teams teurer als die öffentliche API. Selbst-Hosting amortisiert sich erst ab rund 76 Prozent dauerhafter GPU-Auslastung im Vergleich zum Off-Peak-Preis von 0,60 Dollar pro Million Output-Tokens.
Veröffentlicht am 25. Oktober • Zuerst erschienen auf tokely.me
Die kurze Antwort: Das Mieten eines dedizierten Clusters zum Self-Hosting von DeepSeek V4.1 Flash ist für fast jedes Team teurer als die öffentliche API. Die 76-Prozent-Marke, ab der sich die Hardware-Miete gegenüber DeepSeek-Off-Peak-Preis von 0,60 Dollar pro 1 Million Output-Tokens lohnt, überschreitet man nur, wenn man rund um die Uhr eine dauerhafte GPU-Auslastung von mehr als 76 Prozent aufrechterhält. Unterhalb dieser Schwelle oder bei monatlichen Ausgaben unter 880.000 Dollar ist die Zahlung pro Token günstiger.
DeepSeek hat DeepInfer am 20. Oktober 2026 unter der Apache-2.0-Lizenz veröffentlicht. DeepSeek beschreibt die Software als das leistungsstarke Inferenz-Framework, das DeepSeeks groß angelegte Produktionsdienste antreibt. Bis zum 25. Oktober erreichte das GitHub-Repository rund 22.300 Sterne, und die Hacker-News-Diskussion überschritt 2.300 Punkte.
Das Framework unterstützt ein Modell: DeepSeek-V4.1-Flash. Sein Standard-Checkpoint ist DeepSeek-V4.1-Flash-1017, veröffentlicht am 17. Oktober 2026, mit 763 Milliarden Parametern, einem Kontextfenster von 1 Million Tokens und unter MIT-Lizenz stehenden Gewichten. Die offizielle API stellt diesen Checkpoint unter der Modell-ID deepseek-flash bereit.
DeepInfer wurde ursprünglich hauptsächlich auf Basis von vLLM entwickelt und integriert Ideen aus SGLang und TensorRT-LLM. DeepSeek hat außerdem deepseek-recipe veröffentlicht, das Anfragen an die Chat-Completions-, Responses- und Messages-API in Modell-Tokens umwandelt, die dem Verhalten der offiziellen DeepSeek-API entsprechen.
Die Engine umfasst spezialisierte Kernel wie FlashMLA, DeepGEMM und DeepEP. Sie bietet Attention Data Parallelism neben MoE Expert Parallelism, Expert Load Balancing, Speculative Decoding mit Draft-Tokens, confidencescheduled Verification und asynchrones Scheduling. Zudem unterstützt sie strukturierte Ausgaben mittels Regex, JSON Schema oder EBNF-Grammatiken. Batch-invariante Inferenz und deterministisches Sampling funktionieren nur auf NVIDIA-Hardware.
DeepInfer setzt GPUs der NVIDIA-SM100-Architektur oder Huawei Ascend 950 NPUs voraus. NVIDIA Compute Capability 10.0 entspricht den Beschleunigern B200 und GB200. Die Host-Umgebung erfordert Linux, GCC 13 oder neuer, Python 3.12 und CUDA 13 auf NVIDIA beziehungsweise CANN 9.2 auf Ascend.
Die Inferenz verteilt Prefill und Decode auf getrennte Hardware-Konfigurationen. DeepSeek betreibt Prefill auf Standardservern mit 8 GPUs, während Decode 64 bis 128 GPU-Supernodes benötigt. Der veröffentlichte Decode-Benchmark lief über 64 GPUs innerhalb einer einzelnen Scale-up-Domain, was im NVIDIA-Sortiment ein rackbasiertes System wie das GB200 NVL72 bedeutet, das 72 Blackwell-GPUs in einer NVLink-Domain verbindet.
DeepSeek erklärt, dass ein Prefill-Node und ein Decode-Node eine einsatzfähige Konfiguration bilden. DeepSeek empfiehlt jedoch, Decode mit einer Expert Parallelism von 64 oder höher und einem Verhältnis von 1:1 zwischen Prefill- und Decode-GPUs zu betreiben. Damit sind 64 Prefill-GPUs plus 64 Decode-GPUs die kleinste effiziente Deployment-Einheit.
DeepSeeks Produktionsaufbau stützt sich zudem auf einen großen KV-Cache-Speicher. DeepSeek stellt pro GPU 14,4 TB logischen KV-Cache-Speicher auf rund 100 PiB SSDs bereit und hält gecachte Präfixe bei Agent-Traffic 3 Tage und bei Chatbot-Traffic 7 Tage vor. DeepSeek nennt Speicherserver mit jeweils 20 SSDs à 30,73 TB. Ohne diese Speicherschicht muss das System wiederholte Prompt-Präfixe neu berechnen, statt sie aus dem Cache zu laden.
DeepInfer deckt die Offline-Inferenz ab, stellt aber keinen vollständigen Produktionsdienst bereit. DeepSeek listet drei fehlende Architekturkomponenten auf, die für einen vollständigen Produktionsbetrieb nötig sind.
Erstens fehlt in der Veröffentlichung das verteilte KV-Cache-Management-System. Zweitens fehlt, obwohl der Großteil der Engine-Seite implementiert ist, die vollständige Disaggregation-Pipeline über Vision-Encoder, Prefill-Nodes und Decode-Nodes hinweg. Drittens fehlt das produktionsreife Load Balancing über Data-Parallel-Replikate.
DeepSeek erklärt, dass sein KV-Cache-Management- und Load-Balancing-Code an die interne Cluster-Infrastruktur gebunden und nicht vollständig offen ist. Engineering-Teams, die den offiziellen API-Dienst nachbauen wollen, müssen Routing- und Caching-Schichten eigenständig entwickeln.
Die kleinste effiziente Deployment-Einheit aus 128 Blackwell-GPUs kostet bei CoreWeave-On-Demand-Preisen 1.222,40 Dollar pro Stunde. Das entspricht 29.337,60 Dollar pro Tag und 880.128 Dollar in einem 30-Tage-Monat.
Dieses Setup kombiniert 64 B200-GPUs über 8 HGX-B200-Instanzen für Prefill zu 8,60 Dollar pro GPU-Stunde mit 64 GB200-NVL72-GPUs für Decode zu 10,50 Dollar pro GPU-Stunde. HGX-B200-Instanzen kosten 68,80 Dollar pro Stunde für 8 GPUs, insgesamt also 550,40 Dollar pro Stunde. GB200-NVL72-Instanzen kosten 42,00 Dollar pro Stunde für 4 GPUs, insgesamt 672,00 Dollar pro Stunde.
Das Mieten eines kompletten 72-GPU-NVL72-Racks statt einer 64-GPU-Partition erhöht den Clusterpreis auf 1.306,40 Dollar pro Stunde oder 940.608 Dollar pro Monat. Zum Vergleich: Lambda listet HGX-B200-Cluster zwischen 8,87 und 9,86 Dollar pro GPU-Stunde bei Laufzeitverpflichtungen von 2 Wochen bis 1 Jahr.
Die absolut minimale einsatzfähige Einheit aus 1 Prefill-Node und 1 Decode-Node mit 16 B200-GPUs kostet 137,60 Dollar pro Stunde oder 99.072 Dollar pro Monat. Keine dieser Zahlen enthält KV-Cache-Speicherserver, Vernetzung zwischen Racks, Datenausgang (Egress) oder Engineering-Personal.
Ein 128-GPU-Cluster mit DeepInfer liefert unter DeepSeeks dokumentierten Produktionseinstellungen etwa 740.700 Output-Tokens pro Sekunde. Diese Zahl ergibt sich aus 14.466 Tokens pro Sekunde und GPU multipliziert mit 64 Decode-GPUs, abgemildert auf die 80 Prozent des Offline-Benchmarks, die DeepSeek zufolge sein Load Balancing erreicht. Bei ununterbrochenem Betrieb über 24 Stunden ergibt das rund 64 Milliarden Output-Tokens pro Tag.
Kosten pro 1 Million Output-Tokens eines gemieteten 128-GPU-Clusters (64 B200 plus 64 GB200, CoreWeave On-Demand) bei DeepSeeks Benchmark-Durchsatz, gegenübergestellt den Token-Preisen vom 25. Oktober 2026. Die Gesamtkosten des Clusters werden auf die Output-Tokens umgelegt.
Verteilt man die Cluster-Miete auf das Ausgabevolumen, ergibt sich ein Stückpreis von 0,46 Dollar pro 1 Million Output-Tokens bei 100 Prozent Auslastung. Bei 50 Prozent Auslastung steigen die Kosten auf 0,92 Dollar pro 1 Million Output-Tokens. Bei 20 Prozent Auslastung erreichen sie 2,29 Dollar pro 1 Million Output-Tokens.
Der Vergleich dieser Kosten mit DeepSeeks Off-Peak-Output-Preis von 0,60 Dollar pro 1 Million Output-Tokens ergibt die 76-Prozent-Linie. Ein gemieteter 128-GPU-Cluster muss mindestens 76 Prozent dauerhafte Auslastung rund um die Uhr halten, um unter den Off-Peak-Preis der API zu fallen. Gegenüber einem Output-Preis von 0,80 Dollar pro 1 Million Output-Tokens liegt der Break-even bei 57 Prozent Auslastung, gegenüber dem Spitzen-API-Preis von 1,20 Dollar pro 1 Million Output-Tokens bei 38 Prozent.
Dieser Vergleich legt die gesamte Cluster-Miete auf die Output-Generierung um und nimmt kostenfreie Eingaben an, was die API begünstigt. Rechnet man eine Workload mit 4 Millionen Input-Tokens pro 1 Million Output-Tokens ein, wobei die Hälfte der Input-Tokens aus dem Cache bedient wird, steigt die Off-Peak-API-Rechnung auf 0,906 Dollar pro 1 Million Output-Tokens. Unter dieser angepassten Input-Verteilung sinkt die Break-even-Auslastungsschwelle auf etwa 51 Prozent.
Das absolute Budget setzt eine klare Obergrenze dafür, ob sich Self-Hosting überhaupt lohnt. Ein 128-GPU-Cluster kostet 29.337,60 Dollar je 24 Stunden, egal ob Anfragen verarbeitet werden oder er leer läuft, wofür man auf der Off-Peak-API 48,9 Milliarden Output-Tokens erhält. Liegt Ihre monatliche DeepSeek-V4.1-Flash-API-Rechnung unter 880.000 Dollar, ist die Zahlung pro Token günstiger als die Miete dieses Clusters, unabhängig von der Auslastung.
Eine Verkleinerung auf das 16-GPU-Setup aus 2 Nodes senkt die Break-even-Schwelle nicht. DeepSeeks Benchmark-Daten zeigen, dass 8-GPU Expert Parallelism etwa 12.600 Tokens pro Sekunde und GPU bei 64 gleichzeitigen Anfragen erzeugt. Eingerechnet 80 Prozent Load Balancing ergeben sich 7 Milliarden Output-Tokens pro Tag, was 0,47 Dollar pro 1 Million Output-Tokens bei voller Last und einer Break-even-Schwelle von 79 Prozent gegenüber den Off-Peak-API-Preisen entspricht.
In seiner Deployment-Dokumentation berichtet DeepSeek, dass ein einzelner Produktionscluster 155 Billionen Tokens pro Tag bedient und bei Off-Peak-Preisen einen Umsatz von 38 US-Dollar pro GPU-Stunde erwirtschaftet. Diese Angabe ist DeepSeeks eigene, ungeprüfte Behauptung. DeepSeek gibt nicht an, aus wie vielen GPUs insgesamt dieser Cluster besteht, und die 38 US-Dollar spiegeln Bruttoumsatz und nicht Gewinn wider.
DeepSeeds gemeldeter Umsatz pro GPU-Stunde zu Off-Peak-Preisen (Erstanbieter, ungeprüft) gegenüber den CoreWeave-On-Demand-Mietpreisen, Stand 25. Oktober 2026.
CoreWeave listet vergleichbare B200- und GB200-Hardware auf Anfrage zwischen 8,60 und 10,50 Dollar pro GPU-Stunde. Diese Spanne zwischen den reinen Hardware-Mietkosten und DeepSeeks Umsatz von 38 Dollar pro GPU-Stunde erklärt, wie DeepSeek 0,60 Dollar pro 1 Million Output-Tokens berechnen kann. DeepSeek bündelt die Nachfrage seiner gesamten Nutzerschaft und hält seine Beschleuniger in einem Maß ausgelastet, das ein einzelnes Team selten erreicht.
DeepSeeks Benchmark-Ergebnisse zeigen, wie die Konkurrenz diese Umsatzdichte antreibt. Bei 256 Anfragen pro GPU erreicht ein 64-GPU-Decode-Cluster etwa 26.000 Output-Tokens pro Sekunde und GPU, während einzelne Streams 100 Tokens pro Sekunde erhalten. Sinkt die Konkurrenz auf 8 Anfragen pro GPU, steigt die Geschwindigkeit für einzelne Nutzer auf 325 Tokens pro Sekunde, während die Cluster-Effizienz auf 2.600 Tokens pro Sekunde und GPU sinkt. Der Benchmark hält die Draft-Token-Akzeptanz bei 75 Prozent fest.
Prefill-Cluster zeigen ein ähnliches Scaling bei einer Kontextlänge von 131.072 Token. Verteilt man das Prefilling auf 4 GPUs, ergeben sich je nach Batch-Größe zwischen 60.000 und 89.000 nicht gecachte Input-Token pro Sekunde pro GPU. Reicht der Traffic nicht aus, um die Batches voll auszulasten, arbeitet ein privater Cluster mit kleinen Batches, und jede GPU erzeugt weniger Token pro ausgegebenem Dollar.
Das Self-Hosting von DeepSeek V4.1 Flash ergibt für vier konkrete Gruppen von Entwicklern Sinn. Erstens benötigen Teams, die Prompts und Ausgaben aus Compliance-Gründen innerhalb ihrer eigenen privaten Infrastruktur halten müssen, dedizierte Hardware. Für diese Organisationen rechtfertigt die Datenkontrolle den engineering-Aufwand.
Zweitens müssen Engineering-Teams, die bit-identische Ausgaben benötigen, DeepInfer direkt deployen. DeepInfer liefert batch-invariante Inferenz und deterministisches Sampling auf NVIDIA-SM100-Systemen und stellt sicher, dass Schwankungen bei der Batch-Größe oder der gleichzeitigen Last die ausgegebenen Token nicht verändern.
Drittens können Unternehmen mit gleichmäßigem Traffic, der groß genug ist, um mindestens 128 Blackwell-GPUs rund um die Uhr auszulasten, geringere Kosten erzielen. Wenn Ihre Anwendung kontinuierlichen Traffic erzeugt, der zu jeder Stunde der Woche über der 76-Prozent-Marke liegt, schlägt privates Hosting die Preise pro Token.
Viertens können kommerzielle Inferenz-Anbieter wettbewerbsfähige Hosting-Geschäfte aufbauen. Die Kombination aus MIT-lizenzierten Gewichten und einer Apache-2.0-Inferenz-Engine erlaubt jedem Host, V4.1-Flash-Endpoints zu verkaufen. Für alle anderen bleiben Token-basierte APIs günstiger, zumal DeepSeeks Off-Peak-Fenster rund 79 Prozent der Woche abdeckt.
Entwickler, die die Bereitstellung von 128 Blackwell-GPUs vermeiden wollen, können das Modell direkt über Tokely nutzen. Tokely listet DeepSeek V4.1 Flash zum Preis von 0,20 Dollar für Input, 0,004 Dollar für gecachten Input und 0,80 Dollar für Output pro 1 Million Token.
Diese Preise gelten zu jeder Tageszeit, sodass es nicht nötig ist, Jobs um DeepSeeks Peak-Fenster herum zu planen. Tokelys Output-Preis von 0,80 Dollar liegt unter DeepSeeks Peak-Preis von 1,20 Dollar pro 1 Million Output-Token und bietet dabei eine konsistente Token-Abrechnung ohne Cluster-Management. Tokely-Preise können sich ändern, und der Tokely-Modellkatalog zeigt die aktuellen Tarife.
Die Plattform nutzt eine OpenAI-kompatible Schnittstelle. Ein einzelner API-Key und ein gemeinsames Guthaben leiten Anfragen an Claude, GPT, Gemini, Kimi und über 130 weitere Modelle weiter, sodass Teams das Modell einfach durch Ändern des model-Parameters wechseln können.
from openai import OpenAI client = OpenAI ( base_url = " https://api.tokely.me/v1 ", api_key = " YOUR_TOKELY_API_KEY " ) reply = client. chat. completions. create ( model = " deepseek-v4.1-flash ", messages = [{ " role ": " user ", " content ": " Summarize this incident report in five lines. " }], max_tokens = 2048, ) print ( reply. choices [ 0 ]. message. content ) Enter fullscreen mode Exit fullscreen mode Methodik und Einschränkungen: Für diese Analyse wurden die Hardwarekosten auf Basis von CoreWeaves On-Demand-Listenpreisen zum Stand 25. Oktober 2026 angesetzt, die Term-Preise von Lambda sind zum Vergleich angegeben. Reservierte Kapazität kostet pro Stunde weniger, was die Break-even-Auslastung weiter senken würde.
Die Durchsatzwerte stammen aus den von DeepSeek veröffentlichten Offline-Benchmarks mit einer Kontextlänge von 131.072 Token und einer festgelegten Draft-Token-Akzeptanz von 75 Prozent beim speculative decoding. In Live-Produktionsumgebungen mit wechselnden Abfragemustern schwanken Draft-Akzeptanz und Output-Durchsatz. Der Wert von 12.600 Token pro Sekunde pro GPU für das 16-GPU-Setup wurde direkt aus DeepSeeks Benchmark-Diagramm abgelesen.
Die Kostenmodelle schließen KV-Cache-Speicher, Netzwerkverbindungen zwischen Racks, Cloud-Daten-Egress und Technikpersonal aus. Reale Produktions-Workloads weisen ungleichmäßige Lastkurven auf, was bedeutet, dass eine durchgehende 24/7-Auslastung eine theoretische Obergrenze darstellt und nicht den Alltag widerspiegelt.
Die Daten in dieser Analyse stammen aus DeepInfer auf GitHub, dem DeepSeek V4.1 Flash Inference Deployment Q&A, den Modellgewichten unter DeepSeek-V4.1-Flash-1017 auf Hugging Face, dem DeepSeek-API-Preisverzeichnis, den CoreWeave-GPU-Preisen und den Lambda-GPU-Preisen. Hardware-Details entstammen den NVIDIA-GB200-NVL72-Spezifikationen und der NVIDIA-CUDA-GPU-Compute-Capability-Tabelle. Reaktionen: die Hacker-News-Diskussion. Zur US-Politik siehe unseren früheren Beitrag DeepSeek Banned From U.S. Federal Agencies.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 25 • Originally published at tokely.me
Short answer: Renting a dedicated cluster to self-host DeepSeek V4.1 Flash costs more than the public API for almost every team. You cross the 76% line, where hardware rental beats DeepSeek's off-peak API price of $0.60 per 1M output tokens, only if you maintain more than 76% sustained GPU utilization day and night. Below that threshold, or with monthly spend under $880,000, paying per token is cheaper.
DeepSeek published DeepInfer on October 20, 2026, under the Apache 2.0 license. DeepSeek describes the software as the high-performance inference framework that powers DeepSeek's large-scale production services. By October 25, the GitHub repository reached about 22,300 stars, and the Hacker News discussion passed 2,300 points.
The framework supports one model: DeepSeek-V4.1-Flash. Its default checkpoint is DeepSeek-V4.1-Flash-1017, released on October 17, 2026, with 763B parameters, a 1M-token context window, and MIT-licensed weights. The official API serves this checkpoint under the model ID deepseek-flash.
DeepInfer was originally built mainly on vLLM, incorporating ideas from SGLang and TensorRT-LLM. DeepSeek also released deepseek-recipe, which converts Chat Completions, Responses, and Messages API requests into model tokens matching the behavior of the official DeepSeek API.
The engine includes specialized kernels such as FlashMLA, DeepGEMM, and DeepEP. It provides attention data parallelism alongside MoE expert parallelism, expert load balancing, speculative decoding with draft tokens, confidence-scheduled verification, and asynchronous scheduling. It also supports structured outputs using regex, JSON schema, or EBNF grammars. Batch-invariant inference and deterministic sampling work on NVIDIA hardware only.
DeepInfer requires NVIDIA SM100 architecture GPUs or Huawei Ascend 950 NPUs. NVIDIA compute capability 10.0 corresponds to B200 and GB200 accelerators. The host environment requires Linux, GCC 13 or newer, Python 3.12, and CUDA 13 on NVIDIA or CANN 9.2 on Ascend.
Inference splits prefill and decode across separate hardware configurations. DeepSeek runs prefill on standard 8-GPU servers, while decode requires 64 to 128 GPU supernodes. The published decode benchmark ran across 64 GPUs within a single scale-up domain, which in NVIDIA's lineup means a rack-scale system such as the GB200 NVL72, which links 72 Blackwell GPUs in one NVLink domain.
DeepSeek states that one prefill node and one decode node form a deployable setup. However, DeepSeek recommends running decode at an expert parallelism of 64 or higher with a 1:1 prefill to decode GPU ratio. That makes 64 prefill GPUs plus 64 decode GPUs the smallest efficient deployment unit.
DeepSeek's production setup also leans on a large KV cache store. DeepSeek provisions 14.4 TB of logical KV cache storage per GPU on roughly 100 PiB of SSDs, retaining cached prefixes for 3 days on agent traffic and 7 days on chatbot traffic. DeepSeek specifies storage servers containing 20 SSDs of 30.73 TB each. Without this storage layer, the system recomputes repeated prompt prefixes instead of loading them from cache.
DeepInfer covers offline inference, but it does not supply a complete production service. DeepSeek lists three missing architectural elements needed for full production serving.
First, the release omits the distributed KV cache management system. Second, while most of the engine side is implemented, it lacks the full disaggregation pipeline across vision encoders, prefill nodes, and decode nodes. Third, it omits production load balancing across data-parallel replicas.
DeepSeek states that its KV cache management and load balancing code remains tied to internal cluster infrastructure and is not fully open. Engineering teams that want to replicate the official API service must build routing and caching layers independently.
The smallest efficient deployment unit of 128 Blackwell GPUs costs $1,222.40 per hour on CoreWeave on-demand pricing. That equals $29,337.60 per day and $880,128 across a 30-day month.
This setup pairs 64 B200 GPUs across 8 HGX B200 instances for prefill at $8.60 per GPU-hour with 64 GB200 NVL72 GPUs for decode at $10.50 per GPU-hour. HGX B200 instances cost $68.80 per hour for 8 GPUs, totaling $550.40 per hour. GB200 NVL72 instances cost $42.00 per hour for 4 GPUs, totaling $672.00 per hour.
Renting an entire 72-GPU NVL72 rack rather than a 64-GPU slice raises the cluster price to $1,306.40 per hour, or $940,608 per month. For comparison, Lambda lists HGX B200 clusters between $8.87 and $9.86 per GPU-hour under commitments ranging from 2 weeks to 1 year.
The absolute minimum deployable unit of 1 prefill node and 1 decode node with 16 B200 GPUs costs $137.60 per hour, or $99,072 per month. None of these figures include KV cache storage servers, inter-rack networking, data egress, or engineering staff.
A 128-GPU cluster running DeepInfer delivers about 740,700 output tokens per second under DeepSeek's documented production settings. That figure multiplies 14,466 tokens per second per GPU across 64 decode GPUs, discounted to the 80 percent of the offline benchmark that DeepSeek says its load balancing reaches. Running continuously for 24 hours yields roughly 64 billion output tokens per day.
Cost per 1M output tokens of a rented 128-GPU cluster (64 B200 + 64 GB200, CoreWeave on-demand) at DeepSeek's benchmark throughput, against per-token prices checked October 25, 2026. The whole cluster cost is charged to output tokens.
Dividing the cluster lease across output volume gives a unit cost of $0.46 per 1M output tokens at 100 percent utilization. At 50 percent utilization, the cost climbs to $0.92 per 1M output tokens. At 20 percent utilization, the cost reaches $2.29 per 1M output tokens.
Comparing these costs to DeepSeek's off-peak output rate of $0.60 per 1M output tokens establishes the 76% line. A rented 128-GPU cluster must maintain at least 76 percent sustained utilization around the clock to undercut the off-peak API. Against an output price of $0.80 per 1M output tokens, break-even sits at 57 percent utilization, dropping to 38 percent against the peak API rate of $1.20 per 1M output tokens.
This comparison assigns the entire cluster lease to output generation and assumes inputs are free, which favors the API. Factoring in a workload with 4M input tokens per 1M output tokens, with half of the input tokens served from cache, raises the off-peak API bill to $0.906 per 1M output tokens. Under this adjusted input mix, the break-even utilization threshold drops to about 51 percent.
The absolute budget sets a clear ceiling on whether self-hosting makes sense. A 128-GPU cluster costs $29,337.60 every 24 hours whether processing requests or idling, which buys 48.9 billion output tokens on the off-peak API. If your monthly DeepSeek V4.1 Flash API bill sits below $880,000, paying per token costs less than renting this cluster regardless of utilization.
Downsizing to the 16-GPU setup of 2 nodes does not lower the break-even threshold. DeepSeek's benchmark data shows 8-GPU expert parallelism produces about 12,600 tokens per second per GPU at 64 concurrent requests. Factoring in 80 percent load balancing yields 7 billion output tokens per day, translating to $0.47 per 1M output tokens at 100 percent load and a 79 percent break-even threshold against off-peak API pricing.
In its deployment documentation, DeepSeek reports that a single production cluster serves 155 trillion tokens per day, generating US$38 of revenue per GPU-hour at off-peak valley pricing. This figure is DeepSeek's own unaudited claim. DeepSeek does not disclose how many total GPUs make up that cluster, and US$38 reflects gross revenue rather than profit.
DeepSeek's reported revenue per GPU-hour at off-peak prices (first-party, unaudited) against CoreWeave on-demand rental prices, checked October 25, 2026.
CoreWeave lists comparable B200 and GB200 hardware between $8.60 and $10.50 per GPU-hour on demand. That spread between raw hardware rental costs and DeepSeek's $38 per GPU-hour revenue explains how DeepSeek charges $0.60 per 1M output tokens. DeepSeek pools demand from its whole user base and keeps its accelerators busy at a scale a single team rarely reaches.
DeepSeek's benchmark results show how concurrency drives that revenue density. At 256 requests per GPU, a 64-GPU decode cluster achieves about 26,000 output tokens per second per GPU, with individual streams receiving 100 tokens per second. Dropping concurrency to 8 requests per GPU raises individual user speeds to 325 tokens per second but reduces cluster efficiency to 2,600 tokens per second per GPU. The benchmark fixes draft-token acceptance at 75 percent.
Prefill clusters show similar scaling under a 131,072 context length. Running prefill across 4 GPUs yields between 60,000 and 89,000 uncached input tokens per second per GPU depending on batch size. Without enough traffic to keep batches full, a private cluster runs small batches, and each GPU produces fewer tokens per dollar.
Self-hosting DeepSeek V4.1 Flash makes sense for four specific groups of developers. First, teams that must keep prompts and outputs inside their own private infrastructure for compliance reasons require dedicated hardware. For these organizations, data containment justifies the engineering overhead.
Second, engineering teams that require bit-identical outputs need to deploy DeepInfer directly. DeepInfer delivers batch-invariant inference and deterministic sampling on NVIDIA SM100 systems, ensuring that variations in batch size or concurrent load do not alter output tokens.
Third, companies with steady traffic large enough to keep at least 128 Blackwell GPUs busy around the clock can achieve lower costs. If your application sends continuous traffic that stays above the 76% line every hour of the week, private hosting beats per-token rates.
Fourth, commercial inference providers can build competitive hosting businesses. Combining MIT-licensed weights with an Apache 2.0 inference engine permits any host to sell V4.1 Flash endpoints. For everyone else, per-token APIs remain cheaper, especially since DeepSeek's off-peak window covers about 79 percent of the week.
Developers who want to avoid provisioning 128 Blackwell GPUs can access the model directly through Tokely. Tokely lists DeepSeek V4.1 Flash on Tokely at $0.20 input, $0.004 cached input, and $0.80 output per 1M tokens.
These prices remain the same at any hour, removing the need to schedule jobs around DeepSeek's peak windows. Tokely's $0.80 output price beats DeepSeek's peak rate of $1.20 per 1M output tokens while providing consistent per-token billing without cluster management. Tokely prices can change, and the Tokely models catalog shows current rates.
The platform uses an OpenAI-compatible interface. A single API key and shared balance route requests to Claude, GPT, Gemini, Kimi, and over 130 other models, letting teams change models by editing the model parameter.
from openai import OpenAI client = OpenAI ( base_url = " https://api.tokely.me/v1 ", api_key = " YOUR_TOKELY_API_KEY " ) reply = client. chat. completions. create ( model = " deepseek-v4.1-flash ", messages = [{ " role ": " user ", " content ": " Summarize this incident report in five lines. " }], max_tokens = 2048, ) print ( reply. choices [ 0 ]. message. content ) Enter fullscreen mode Exit fullscreen mode Methodology and limitations This analysis prices hardware at CoreWeave's on-demand list prices checked on October 25, 2026, with Lambda's term prices shown for comparison. Reserved capacity costs less per hour, which would lower the break-even utilization.
Throughput figures come from DeepSeek's published offline benchmarks running on a 131,072-token context length with speculative decoding draft-token acceptance fixed at 75 percent. In live production environments with varying query patterns, draft acceptance and output throughput will fluctuate. The figure of 12,600 tokens per second per GPU for the 16-GPU setup was read directly from DeepSeek's benchmark chart.
The cost models exclude KV cache storage, inter-rack networking, cloud data egress, and engineering personnel. Real production workloads experience uneven demand curves, meaning continuous 24/7 utilization serves as a theoretical upper bound rather than everyday reality.
Data in this analysis comes from DeepInfer on GitHub, the DeepSeek V4.1 Flash inference deployment Q&A, model weights on DeepSeek-V4.1-Flash-1017 on Hugging Face, the DeepSeek API pricing schedule, CoreWeave GPU pricing, and Lambda GPU pricing. Hardware details come from NVIDIA GB200 NVL72 specifications and the NVIDIA CUDA GPU compute capability table. Reception: the Hacker News discussion. For the U.S. policy side, see our earlier post DeepSeek Banned From U.S. Federal Agencies.