TokenSpeed: A New LLM Inference Engine Built for Coding Agents.

Wenn Sie große Sprachmodelle selbst hosten, gehören Sie wahrscheinlich zu einem von zwei Lagern. Sie nutzen vLLM oder SGLang, weil diese sich leicht betreiben lassen, oder Sie nutzen TensorRT-LLM, weil es das Maximum aus NVIDIA-Hardware herausholt und Sie dafür den Schmerz bei der Einrichtung in Kauf nehmen.

TokenSpeed will diesen Kompromiss beenden. Es handelt sich um eine Open-Source-Inferenz-Engine (MIT-Lizenz) der LightSeek Foundation, die Performance auf TensorRT-LLM-Niveau mit der Benutzerfreundlichkeit von vLLM anstrebt und dabei speziell auf agentische Workloads wie Coding-Assistenten abgestimmt ist.

In diesem Beitrag erfahren Sie, was TokenSpeed ist, warum "agentic" das Problem verändert, wie man in wenigen Minuten einen Server zum Laufen bringt und ob es einen Platz in Ihrem Stack verdient.

Die meisten Inferenz-Benchmarks sehen aus wie Chat: eine kurze Eingabe, eine kurze Antwort, fertig. Coding-Agents sehen überhaupt nicht so aus.

Das Ziel ist also nicht nur maximaler Durchsatz. Es geht um maximalen Durchsatz pro GPU, während jeder Nutzer trotzdem schnelle Generierung erhält. Diese Betrachtungsweise prägt die meisten Designentscheidungen von TokenSpeed.

Sie müssen die Interna nicht verstehen, um es zu nutzen, aber vier Komponenten sind es wert, kennengelernt zu werden:

Modellierungsschicht. Statt für jedes Modell handgeschriebenen Tensor-Parallelitäts-Kommunikationscode zu pflegen, markieren Entwickler, wo Daten an Modulgrenzen liegen sollen, und ein kleiner statischer Compiler erzeugt die kollektiven Operationen. Weniger eigener Parallelitätscode bedeutet weniger Bugs beim Hinzufügen neuer Modelle.

Scheduler. Die Kontrollebene ist in C++ als endlicher Automat geschrieben. Der Lebenszyklus von Requests und die Zugehörigkeit des KV-Cache werden explizit modelliert, und das Typsystem erkennt unsichere Wiederverwendung des KV-Cache zur Compile-Zeit statt um 3 Uhr nachts im Betrieb. Die Ausführungsseite bleibt in Python und lässt sich daher weiterhin leicht anpassen.

Kernels. Die Kernels liegen in einem eigenen, austauschbaren Paket mit einer Registry, sodass NVIDIA- und AMD-Backends nebeneinander existieren können. Ihr MLA-Kernel (Multi-head Latent Attention) für Blackwell ist so schnell, dass vLLM ihn übernommen hat.

Entrypoint. Requests kommen über einen OpenAI-kompatiblen Server herein, der auf ihrem Projekt SMG aufbaut und den CPU-seitigen Overhead niedrig hält.

Das Projekt liefert ein Runner-Image mit allem vorinstalliert aus:

docker pull lightseekorg/tokenspeed-runner:latest docker run -itd \ --shm-size 32g \ --gpus all \ --ipc = host \ --network = host \ -v ~/.cache:/home/runner/.cache \ --name tokenspeed \ lightseekorg/tokenspeed-runner:latest \ /bin/bash Enter fullscreen mode Exit fullscreen mode Wenn Sie Ihr Cache-Verzeichnis einbinden, überstehen die Modellgewichte Neustarts des Containers.

python -m pip install --upgrade tokenspeed \ --extra-index-url https://lightseek.org/whl/nightly Enter fullscreen mode Exit fullscreen mode Nightly-Builds sind nach Datum versioniert, sodass Sie eine Version für die Reproduzierbarkeit festnageln können:

python -m pip install "tokenspeed==0.1.0.post20260930" \ --extra-index-url https://lightseek.org/whl/nightly Enter fullscreen mode Exit fullscreen mode AMD-Nutzer sollten den ROCm-Anleitungen in der Getting-Started-Dokumentation folgen, da zunächst ROCm PyTorch installiert und ein separater Wheel-Index verwendet werden muss.

tokenspeed env tokenspeed serve --help Enter fullscreen mode Exit fullscreen mode Starten Sie Ihr erstes Modell GPT-OSS 20B passt auf eine einzelne GPU und eignet sich gut als Funktionstest:

tokenspeed serve openai/gpt-oss-20b \ --served-model-name gpt-oss-20b \ --host 0.0.0.0 \ --port 8000 \ --tensor-parallel-size 1 Enter fullscreen mode Exit fullscreen mode Aufruf wie bei OpenAI Da der Server die OpenAI-API spricht, funktioniert Ihr bestehender Client-Code mit nur einer Änderung der base_url:

from openai import OpenAI client = OpenAI ( api_key = " EMPTY ", base_url = " http://localhost:8000/v1 " ) response = client. chat. completions. create ( model = " gpt-oss-20b ", messages = [{ " role ": " user ", " content ": " Explain KV caching in two sentences. " }], max_tokens = 200, ) print ( response. choices [ 0 ]. message. content ) Enter fullscreen mode Exit fullscreen mode Oder mit curl:

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-oss-20b", "messages": [{"role": "user", "content": "Hello!"}], "max_tokens": 100 }' Enter fullscreen mode Exit fullscreen mode Das ist der gesamte Ablauf. Alles, was bereits mit OpenAI kommuniziert, einschließlich der meisten Agent-Frameworks, kann auf diesen Server zeigen.

Bei großen MoE-Modellen sehen die Flags vertraut aus, wenn Sie vLLM verwendet haben. Hier ist das Gerüst eines Kimi-K2.5-Starts auf vier Blackwell-GPUs:

tokenspeed serve nvidia/Kimi-K2.5-NVFP4 \ --served-model-name kimi-k2.5 \ --trust-remote-code \ --max-model-len 262144 \ --kv-cache-dtype fp8 \ --quantization nvfp4 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --reasoning-parser kimi_k25 \ --tool-call-parser kimik2 \ --host 0.0.0.0 --port 8000 Enter fullscreen mode Exit fullscreen mode Die Modell-Rezepte-Seite enthält getestete Startbefehle für DeepSeek V4, Qwen3 und Qwen3.8, GLM 5.x, MiniMax M3, Kimi K3, Nemotron-3 Super und mehr. Beginnen Sie mit einem Rezept, statt die Flags von Grund auf selbst zu optimieren.

Die zentralen Zahlen des Teams, alle selbst berichtet:

Dies sind Hersteller-Benchmarks, betrachten Sie sie also als Anlass zum Testen, nicht als Garantie. Die gute Nachricht: Das Benchmark-Framework liegt im Repository unter test/agentic_benchmark, sodass Sie es mit Ihrem eigenen Traffic reproduzieren können.