ai newsFr., 23. Okt.
EilmeldungOpenAI skaliert Online-Speicher fuer ueber eine Milliarde ChatGPT-Nutzer

MiniMax M3.1 Flash senkt Kosten fuer Agentic AI angeblich um 70 Prozent

Das 428 Milliarden Parameter grosse Mixture-of-Experts-Modell aktiviert pro Token nur 23 Milliarden Parameter und soll die Performance trotzdem halten. MiniMaxpositioniert M3.1 Flash damit als kostenguenstige Option fuer agentische KI-Workflows.

dev.toFreitag 18:05 · 23.10.DE5 Min. Lesezeit
Bild: dev.to

MiniMax hat M3.1 Flash am 19. Oktober 2026 veröffentlicht, und die Zahlen sind schwer zu übersehen: ein Mixture-of-Experts-Modell mit 428 Milliarden Parametern, das pro Token nur 23 Milliarden Parameter aktiviert, mit über 200 Tokens pro Sekunde läuft und 0,15 US-Dollar pro Million Input-Tokens kostet, was rund 70 Prozent günstiger als der Vorgänger ist. Die spannendere Geschichte steckt jedoch in den technischen Entscheidungen, die diese Zahlen erst möglich machen.

Mixture-of-Experts-Architekturen sind zum dominierenden Ansatz geworden, um Sprachmodelle zu skalieren, ohne die Inferenzkosten proportional mitwachsen zu lassen. M3.1 Flash folgt diesem Muster: Das vollständige Modell hat 428 Milliarden Parameter, die über viele Experten-Subnetze verteilt sind, doch für jedes einzelne Token aktiviert der Router nur eine kleine Teilmenge dieser Experten mit insgesamt etwa 23 Milliarden Parametern.

Das bedeutet, dass das Modell die Repräsentationskapazität eines sehr großen dichten Netzwerks besitzt, während es nur die Inferenzkosten eines deutlich kleineren verursacht. Die 23 Milliarden aktiven Parameter ordnen es in dieselbe Rechenklasse wie ein mittelgroßes dichtes Modell ein, allerdings mit Zugriff auf das spezialisierte Wissen, das im gesamten Expertenpool codiert ist. Für agentische Workloads mit langen mehrstufigen Aufgaben ist das entscheidend: Man erhält tiefes Reasoning ohne die Token-Kosten eines dichten Modells mit über 400 Milliarden Parametern.

Attention ist der andere wesentliche Kostentreiber bei der Transformer-Inferenz, insbesondere bei langen Kontextlängen. M3.1 Flash führt MiniMax Sparse Attention (MSA) ein, das die ersten drei Full-Attention-Schichten durch sparsame Alternativen ersetzt. Full Attention skaliert quadratisch mit der Sequenzlänge, ein Kontextfenster von einer Million Tokens wäre ohne irgendeine Form von Sparsamkeit rechnerisch kaum machbar.

MSA richtet die Aufmerksamkeit selektiv auf eine Teilmenge der Positionen statt auf die gesamte Sequenz und reduziert so den Rechen- und Speicherbedarf bei langen Kontexten, während das Modell seine Fähigkeit behält, relevante Informationen über das gesamte Fenster hinweg zu verfolgen. Die ersten drei Schichten übernehmen die frühe Merkmalsextraktion, wo Full Attention am teuersten ist und sparse Muster in der Regel ausreichen. Die späteren Schichten, die komplexeres Reasoning übernehmen, behalten Full Attention dort, wo es am meisten zählt.

Das Ergebnis ist ein Modell, das ein Kontextfenster von einer Million Tokens in der Praxis wirklich unterstützt, nicht nur auf dem Papier.

Speculative Decoding ist eine etablierte Technik zur Beschleunigung autoregressiver Generierung: Ein kleines Draft-Modell schlägt mehrere Tokens gleichzeitig vor, und das Hauptmodell verifiziert sie parallel. Ist der Entwurf gut genug, erhält man mehrere Tokens pro Forward-Pass des großen Modells.

M3.1 Flash ersetzt den bisherigen EAGLE-ähnlichen Multi-Token-Prediction-Ansatz (MTP) durch DSpark, ein neues Speculative-Decoding-Verfahren, das mit einem dedizierten Draft-Kopf ausgeliefert wird, der im Modell-Release enthalten ist. Der Draft-Kopf ist speziell für die Architektur von M3.1 Flash gebaut, was bedeutet, dass er Tokens vorschlagen kann, die gut zur Verteilung des Hauptmodells passen. Das senkt die Reject-Rate und verbessert den effektiven Durchsatzgewinn.

Das praktische Ergebnis: MiniMax meldet mediane Ausgabe-Geschwindigkeiten von über 170 Tokens pro Sekunde, mit Spitzenwerten von mehr als 200 TPS auf kompatibler Serving-Infrastruktur (NVIDIA-Blackwell-Architekturen: B200, B300, GB200, GB300). Für agentische Anwendungen, bei denen das Modell lange Tool-Call-Sequenzen oder Codeblöcke generiert, ist dieser Durchsatzunterschied bedeutsam.

Um ein 428B-Modell in eine praktikable Serving-Infrastruktur zu bringen, nutzt M3.1 Flash quantization-aware training (QAT) statt Post-Training-Quantisierung. Die gerouteten MoE-Experten werden auf NVFP4 quantisiert (W4A4, also 4-Bit-Gewichte und 4-Bit-Aktivierungen), während der Sparse-Attention-Indexer und der Hauptzweig Q8KV4 verwenden.

QAT ist hier wichtig, weil es den Quantisierungsfehler in den Trainingsprozess einbettet und dem Modell ermöglicht, während des Lernens zu kompensieren, statt die Genauigkeitseinbuße nachträglich schlucken zu müssen. Post-Training-Quantisierung mit 4-Bit-Präzision kann die Leistung bei Reasoning-Aufgaben spürbar verschlechtern; QAT verkleinert diese Lücke erheblich. Das Ergebnis ist ein Modell, das nahezu Full-Precision-Genauigkeit bei einem Bruchteil des Speicherbedarfs erreicht.

Eines der praktischsten Features für Entwickler ist das konfigurierbare Reasoning Effort von M3.1 Flash. Das Modell unterstützt fünf Stufen: low, medium, high, xhigh und max, die über das Chat-Template gesetzt werden. So lässt sich Latenz und Token-Kosten je nach Aufgabe gegen die Reasoning-Tiefe abwägen.

Eine einfache Retrieval- oder Klassifikationsaufgabe kann mit low effort laufen; eine komplexe mehrstufige Coding- oder Cybersecurity-Aufgabe kann mit max laufen. Bemerkenswert ist, dass das Modell Reasoning standardmäßig erzwingt. Der Versuch, es über API-Parameter zu deaktivieren, liefert einen Fehler zurück. Die Design-Philosophie dahinter: Zwischenschritte der Logikkette werden immer zugewiesen, und die Effort-Stufe steuert, wie viel Nachdenken stattfindet, nicht ob überhaupt.

MiniMax hat Ergebnisse über eine Reihe agentischer Benchmarks veröffentlicht:

Die Cybersecurity- und Coding-Werte sind stark. Das Agents' Last Exam Ergebnis von 29,6 spiegelt die tatsächliche Schwierigkeit dieses Benchmarks wider, der bewusst für aktuelle Modelle schwer ausgelegt ist, und keine Schwäche des Modells. Zum Vergleich: Der OSWorld V2 Wert von 61,7 ordnet es unter den Top-Performern bei Computer-Use-Aufgaben ein, bei denen das Modell durch echte Desktop-Umgebungen über mehrere Anwendungen hinweg navigieren muss.

Das Modell akzeptiert nativ Text, Bilder und Video und ist damit multimodal ab Werk. Die Inferenz wird auf den Runtimes vLLM, SGLang und TokenSpeed unterstützt.

Die 70-prozentige Kostenreduktion gegenüber M3 ist die Schlagzeile, doch der nachhaltigere Punkt ist die architektonische Kohärenz: MSA, DSpark und QAT sind keine unabhängigen Optimierungen, die nachträglich aufgesetzt wurden. Sie sind gemeinsam darauf ausgelegt, ein 428B-Modell zu Kosten und Latenzen eines deutlich kleineren Modells zu betreiben.

Für Teams, die agentische Pipelines bauen, ob Coding-Assistenten, Computer-Use-Agents oder Finanzautomatisierung, bietet M3.1 Flash eine praktische Option am Rand des aktuellen Leistungsvermögens, ohne die Infrastrukturkosten eines dichten Modells vergleichbarer Größe. Das Kontextfenster von einer Million Tokens und das einstellbare Reasoning Effort geben Entwicklern echte Kontrolle über den Kosten-Nutzen-Kompromiss zur Laufzeit.

Die Modellgewichte sind auf Hugging Face verfügbar, und die API ist über MiniMax' Plattform mit 0,15/0,60 US-Dollar pro Million Input-/Output-Tokens live. Für einen detaillierten Vergleich mit konkurrierenden Modellen ist die Benchmark-Aufschlüsselung von Kie.ai eine nützliche Referenz. Die NVIDIA-Modellkarte deckt alle Details der Serving-Konfiguration für Blackwell-Hardware ab.

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

MiniMax released M3.1 Flash on October 19, 2026, and the numbers are hard to ignore: a 428-billion-parameter Mixture-of-Experts model that activates only 23 billion parameters per token, runs at over 200 tokens per second, and costs $0.15 per million input tokens — roughly 70% cheaper than its predecessor. But the more interesting story is in the engineering choices that make those numbers possible.

Mixture-of-Experts architectures have become the dominant approach for scaling language models without proportionally scaling inference cost. M3.1 Flash follows this pattern: the full model has 428 billion parameters spread across many expert sub-networks, but for any given token, only a small subset of those experts — totaling about 23 billion parameters — are activated by the router.

This means the model carries the representational capacity of a very large dense network while paying the inference cost of a much smaller one. The 23B active parameter count puts it in the same compute class as a mid-sized dense model, but with access to the specialized knowledge encoded across the full expert pool. For agentic workloads that involve long multi-step tasks, this matters: you get deep reasoning without the per-token cost of a 400B+ dense model.

Attention is the other major cost driver in transformer inference, especially at long context lengths. M3.1 Flash introduces MiniMax Sparse Attention (MSA), which replaces the first three full-attention layers with sparse alternatives. Full attention scales quadratically with sequence length — a 1-million-token context window would be computationally prohibitive without some form of sparsification.

MSA selectively attends to a subset of positions rather than the full sequence, reducing the compute and memory footprint at long contexts while preserving the model's ability to track relevant information across the window. The first three layers handle early feature extraction, where full attention is most expensive and where sparse patterns tend to be sufficient. Later layers, which handle more complex reasoning, retain full attention where it matters most.

The result is a model that genuinely supports a 1-million-token context window in practice, not just on paper.

Speculative decoding is a well-established technique for accelerating autoregressive generation: a small "draft" model proposes several tokens at once, and the main model verifies them in parallel. If the draft is good enough, you get multiple tokens per forward pass of the large model.

M3.1 Flash replaces the previous EAGLE-like Multi-Token Prediction (MTP) approach with DSpark, a new speculative decoding scheme that ships with a dedicated draft head included in the model release. The draft head is purpose-built for M3.1 Flash's architecture, which means it can propose tokens that align well with the main model's distribution — reducing the rejection rate and improving the effective throughput gain.

The practical outcome: MiniMax reports median output speeds of 170+ tokens per second, with peaks exceeding 200 TPS on compatible serving infrastructure (NVIDIA Blackwell architectures — B200, B300, GB200, GB300). For agentic applications where the model is generating long tool-call sequences or code blocks, this throughput difference is meaningful.

To fit a 428B model into practical serving infrastructure, M3.1 Flash uses quantization-aware training (QAT) rather than post-training quantization. The routed MoE experts are quantized to NVFP4 (W4A4 — 4-bit weights and 4-bit activations), while the sparse-attention indexer and main branch use Q8KV4.

QAT matters here because it bakes the quantization error into the training process, allowing the model to compensate during learning rather than absorbing the accuracy hit after the fact. Post-training quantization at 4-bit precision can degrade performance noticeably on reasoning tasks; QAT narrows that gap significantly. The result is a model that achieves near-full-precision accuracy at a fraction of the memory footprint.

One of the more practical features for developers is M3.1 Flash's configurable reasoning effort. The model supports five levels — low, medium, high, xhigh, and max — set via the chat template. This lets you trade off latency and token cost against reasoning depth depending on the task.

A simple retrieval or classification task can run at low effort; a complex multi-step coding or cybersecurity task can run at max. Notably, the model enforces reasoning by default — attempting to disable it via API parameters returns an error. The design philosophy is that intermediate logic chains are always allocated, and the effort level controls how much deliberation happens, not whether it happens at all.

MiniMax published results across a range of agentic benchmarks:

The cybersecurity and coding numbers are strong. The Agents' Last Exam score of 29.6 reflects the genuine difficulty of that benchmark — it's designed to be hard for current models — rather than a model weakness. For comparison, the OSWorld V2 score of 61.7 puts it among the top performers on computer-use tasks, which require the model to navigate real desktop environments across applications.

The model accepts text, images, and video natively, making it multimodal out of the box. Inference is supported on vLLM, SGLang, and TokenSpeed runtimes.

The 70% cost reduction relative to M3 is the headline, but the more durable point is the architectural coherence: MSA, DSpark, and QAT are not independent optimizations bolted on after the fact. They're designed together to make a 428B model serve at the cost and latency of a much smaller one.

For teams building agentic pipelines — coding assistants, computer-use agents, financial automation — M3.1 Flash offers a practical option at the frontier of capability without the infrastructure cost of a dense model at comparable scale. The 1M-token context window and tunable reasoning effort give developers meaningful control over the cost-quality tradeoff at runtime.

The model weights are available on Hugging Face, and the API is live via MiniMax's platform at $0.15/$0.60 per million input/output tokens. For a detailed comparison against competing models, Kie.ai's benchmark breakdown is a useful reference. The NVIDIA model card covers the full serving configuration details for Blackwell hardware.

Originaltitel: MiniMax M3.1 Flash: How a 428B MoE Model Cuts Agentic AI Costs by 70% Without Sacrificing PerformanceQuelle: dev.to (dev.to). Original öffnen