Microsoft fährt Maia-Accelerators ab 2027 im Multi-Gigawatt-Maßstab hoch
Die Maia-Familie wird zum primären Inference-System für Microsofts eigene Produkte. Der Maia 300 legt Scale-up und Scale-out auf ein gemeinsames Ethernet-Fabric und hält den KV-State zwischen Prefill- und Decode-Workern im System.
Maia 200 befindet sich bereits in Produktion und dient Microsoft Copilot sowie dem MAI-Team, mit GitHub Copilot und Microsoft Foundry, die bis Ende des Jahres folgen sollen. Es ist in den USA, Europa und Australien im Einsatz, und Microsoft erklärt, dass es bis zu 1,7 Mal mehr Tokens pro Watt für eingebaute KI in Teams und Copilot liefert als führende GPU-Infrastruktur. Maia 300 beginnt 2027 mit Produktionsausrollungen.
Maia 300 ist inference-first ausgelegt und zielt auf langkontextige, speicherintensive und decode-lastige Arbeiten ab, nicht auf Training, das in beiden Ankündigungen nicht erwähnt wird. Jeder Beschleuniger trägt acht HBM4-Stacks und bietet damit 288 GB und 18 TB/s innerhalb eines 950-Watt-TDP. Ein Rack fasst 96 Beschleuniger mit 167 kW über 24 Trays mit jeweils vier Beschleunigern und erreicht damit 27,6 TB HBM und 1,7 PB/s aggregiert.
Die Compute-Chiplets werden in TSMC N2P gefertigt, während Speichercontroller- und I/O-Funktionen auf separaten Dies sitzen, was laut Microsoft die Compute-FLOPs um 36 % steigert und zu 2,5 Mal so viel Speicherbandbreite und etwa doppelt so viel HBM-Bandbreite pro Watt wie bei Maia 200 beiträgt. Die Speicherorganisation wechselt vom uniformen Zugriff zu einem NUMA-Layout über die Chiplets hinweg, damit Software Daten in der Nähe der sie verarbeitenden Recheneinheit platzieren kann.
Beim Netzwerk zeigt sich das Design am deutlichsten eigenwillig. Maias AI-Netzwerkcontroller implementiert einen benutzerdefinierten AI-Transport auf Ethernet-Basis, und Microsoft beschreibt das Ergebnis als „ein Fabric statt getrennter Scale-up- und Scale-out-Domänen“. Beschleuniger initiieren die Kommunikation mit jedem Peer in einem Superpod „ohne Beteiligung des Hosts oder einer diskreten Scale-out-NIC“.
Zwei Beschleuniger sind innerhalb eines Trays direkt verbunden, ein switched Fabric verbindet alle 96 in einem Rack, und optische Switches der zweiten Ebene verbinden bis zu 128 Racks zu einem Superpod mit 12.288 Beschleunigern. Der Beitrag nennt drei Latenzdomänen: ein direktes Paar, einen Hop innerhalb des Pods und drei Hops über Pods hinweg, und erwartet, dass Software Tensor-Parallel-Traffic in der niedrigsten hält.
Die Aufteilung zwischen In-Rack- und Cross-Rack-Bandbreite ist „zur Zeit des Systemdesigns nicht festgelegt“, sondern wird durch das Job-Packing bestimmt, weshalb ein Beschleuniger bis zu 750 GB/s zu einem beliebigen Peer treiben kann, wenn nur eine Teilmenge über Rackgrenzen hinweg kommuniziert.
Dieses Fabric trägt ein bestimmtes Inferenzmuster. Prefill- und Decode-Worker werden unabhängig dimensioniert und platziert, und nach Abschluss des Prefill „bewegt sich der KV-Zustand direkt zu den ausgewählten Decode-Workern über dasselbe Scale-up-Fabric, statt die Domäne über einen separaten hostvermittelten Scale-out-Pfad zu verlassen“. Dasselbe Fabric ermöglicht es, dass ein Ersatztray in einem Rack ein ausgefallenes Tray in einem anderen ausgleicht, transparent für die Software-Kernels.
Microsofts zentrale Zahl lautet, dass es erwartet, dass Maia 300 „40 % mehr Tokens pro Megawatt liefert als führende GPU-basierte Systeme“, alongside bis zu siebenmal so viel Token-Durchsatz auf Rack-Ebene und mehr als das 2,5-Fache der Leistung pro Watt von Maia 200.
Genau diese Zahl hat Reaktionen ausgelöst, und der Einwand galt der Einheit, nicht dem Wert. Rick Bullotta verfasste den meistbeachteten Kommentar zu Satya Nadellas Ankündigungsbeitrag:
„Tokens pro Watt“. Was für eine absurde Metrik. Als gäbe es eine einheitliche, konsistente Definition eines Tokens oder einen generischen Bezug zur Rechenleistung. Gibt es nicht. Und eine solche Metrik würde inhärent Wortkargheit belohnen. Wer viele Tokens ausgibt, gewinnt.
Kommentator Michel Floyd brachte die dimensionale Version auf eine Zeile: „Sollte es nicht entweder Tokens pro Sekunde pro Watt oder Tokens pro kWh heißen?“ Vinay Bansal, Gründer von UBIQS und Entwickler eines konkurrierenden Inferenzbeschleunigers, stellte die Arbeitslast in Frage, auf der die Zahl gemessen wurde:
40 % mehr Tokens pro Watt, aber bei welcher Kontextlänge? Die von Ihnen genannten Workloads, lang anhaltende mehrstufige Agents, tragen lange Kontexte, und der Arbeitsspeicher jedes Agents wächst mit jedem Schritt. An diesem Punkt ist die begrenzende Größe der Speicher, nicht die Rechenleistung, und die Spezifikationen, die diesen Launch anführen, sind Speicher-Specs.
Wenn diese Reaktionen repräsentativ sind, wird sich die Architektur leichter bewerten lassen als die Behauptung. Microsoft nennt nie die GPU-Systeme, mit denen es vergleicht, und die eigene Formulierung besagt, dass Maia 300 „nützliche Tokens pro Watt und nützliche Tokens pro Dollar“ maximiert, ohne zu definieren, was ein Token nützlich macht. Die Ankündigungen unterscheiden sich auch in der Zuversicht: Scott Guthrie und der Engineering-Beitrag sagen, Microsoft erwarte die 40-prozentige Verbesserung, während Nadellas Beitrag angibt, sie werde geleistet.
Eine zweite Frage betrifft, wer Zugang erhält. Jede in beiden Beiträgen genannte Arbeitslast gehört Microsoft selbst, darunter Copilot, GitHub Copilot, Foundry, das MAI-Team und Dragon Copilot, und keiner der Beiträge sagt, dass Kunden Maia-Kapazität direkt buchen können. Phillip Pham, Geschäftsführer von Pexon Consulting, fragte auf Deutsch, ob sich die Gewinne in günstigere Reservierungen von bereitgestelltem Durchsatz übersetzen oder ob die Hardware Microsofts eigenen Diensten vorbehalten bleibt, denn bei zugesicherter Kapazität entscheidet der Preis pro garantiertem Token über den Nutzen in der Produktion.
Microsoft hat neben dem Engineering-Blogbeitrag von Rani Borkar und Saurabh Dighe, auf den die Ankündigung verweist, kein technisches Papier veröffentlicht. Microsoft kündigt an, auf der Microsoft Ignite 2026 in San Francisco nächsten Monat mehr zu teilen.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Maia 200 is already in production, serving Microsoft Copilot and the MAI team, with GitHub Copilot and Microsoft Foundry to follow by the end of the year. It is deployed across the United States, Europe, and Australia, and Microsoft says it delivers up to 1.7 times more tokens per watt for built-in AI in Teams and Copilot than leading GPU infrastructure. Maia 300 begins production deployments in 2027.
Maia 300 is inference-first, aimed at long-context, memory-intensive, and decode-heavy work rather than training, which neither announcement mentions. Each accelerator carries eight HBM4 stacks, providing 288 GB and 18 TB/s within a 950-watt TDP. A rack holds 96 accelerators in 167 kW across 24 four-accelerator trays, reaching 27.6 TB of HBM and 1.7 PB/s aggregate. Compute chiplets are built on TSMC N2P, with memory-controller and I/O functions on separate dies, which Microsoft says raises compute FLOPs by 36% and contributes to 2.5 times the memory bandwidth and roughly twice the HBM bandwidth per watt of Maia 200. Memory organization moves from uniform access to a NUMA layout across chiplets so software can place data near the compute using it.
The networking is where the design is most opinionated. Maia’s AI network controller implements a custom AI transport built on Ethernet, and Microsoft describes the result as "one fabric rather than separate scale-up and scale-out domains." Accelerators initiate communication to any peer in a superpod "without involving the host or a discrete scale-out NIC." Two accelerators are directly linked within a tray, a switched fabric joins all 96 in a rack, and optical second-tier switches connect up to 128 racks into a superpod of 12,288 accelerators. The post names three latency domains: a direct pair, one hop within the pod, and three hops across pods, and expects software to keep tensor-parallel traffic in the lowest.
The split between in-rack and cross-rack bandwidth is "not fixed at the system design time" but set by job packing, which is how an accelerator can drive up to 750 GB/s to any peer when only a subset cross racks.
That fabric carries a specific inference pattern. Prefill and decode workers are sized and placed independently, and after prefill completes, KV state "moves directly to the selected decode workers over the same scale-up fabric rather than leaving the domain through a separate host-mediated scale-out path." The same fabric lets a spare tray in one rack offset a failed tray in another, transparently to software kernels.
Microsoft’s headline figure is that it expects Maia 300 "to deliver 40% more tokens per megawatt compared to leading GPU-based systems," alongside up to seven times the rack-scale token throughput and more than 2.5 times the performance per watt of Maia 200.
That figure is what drew reaction, and the objection was to the unit rather than the number. Rick Bullotta wrote the most-engaged comment on Satya Nadella’s announcement post:
"Tokens per watt";. What an absurd metric. As if there’s a uniform, consistent definition of a token or a generic correlation to compute. Not. And such a metric would inherently reward verbosity.
Commenter Michel Floyd put the dimensional version in one line: "Shouldn’t it either be tokens per second per watt or tokens per KWh?" Vinay Bansal, founder of UBIQS and building a competing inference accelerator, questioned the workload the figure was measured on:
40% more tokens per watt, but at what context length? The workloads you named, sustained multi-step agents, carry long contexts, and every agent’s working memory grows with each step. At that point the binding constraint is memory, not compute, and the specs that lead this launch are memory specs.
If these reactions are representative, the architecture will be easier to assess than the claim. Microsoft never names the GPU systems it compares against, and its own framing is that Maia 300 maximizes "useful tokens per watt and useful tokens per dollar," without defining what makes a token useful. The announcements also differ in confidence: Scott Guthrie and the engineering post say Microsoft expects the 40% improvement, while Nadella’s post states that it delivers it.
A second question concerns who gets access. Every workload named across both posts is Microsoft’s own, including Copilot, GitHub Copilot, Foundry, the MAI team, and Dragon Copilot, and neither post says customers can provision Maia capacity directly. Phillip Pham, chief executive of Pexon Consulting, asked, in German, whether the gains translate into cheaper provisioned throughput reservations or whether the hardware stays reserved for Microsoft’s own services, since with committed capacity it is the price per guaranteed token that decides the benefit in production.
Microsoft has not published a technical paper beyond the engineering blog post by Rani Borkar and Saurabh Dighe, which the announcement links to. Microsoft says it will share more at Microsoft Ignite 2026 in San Francisco next month.