ai newsDo., 22. Okt.
EilmeldungNVIDIA Nsight Python Tutorial: How to Profile GPU Kernels

NVIDIA Puts the AI Factory in a Container

At its first GTC conference in Berlin, NVIDIA unveiled DSX POD, a reference design that packs a complete Vera Rubin AI factory into factory-built modular containers, promising to compress the time from delivery on a prepared site to production in as little as 14 days. The announcement, delivered by

dev.toDonnerstag 04:27 · 22.10.3 Min. Lesezeit
Bild: dev.to

Auf seiner ersten GTC-Konferenz in Berlin hat NVIDIA DSX POD vorgestellt, einen Referenzentwurf, der eine komplette Vera Rubin AI Factory in werkseitig gefertigte modulare Container packt. Versprochen wird, die Zeitspanne von der Lieferung auf einem vorbereiteten Grundstück bis zum Produktionsstart auf bis zu 14 Tage zu verkürzen. Die Ankündigung, die CEO Jensen Huang in der Berliner Keynote vorstellte, baut NVIDIAs Bestrebungen aus, nicht nur GPUs zu verkaufen, sondern das gesamte Betriebsmodell einer AI Factory. Rechenleistung, Netzwerk, Stromversorgung und Flüssigkeitskühlung werden dabei als eine Einheit konstruiert und validiert. Die ersten Serienmodelle sollen Anfang 2027 von den Fertigungslinien der Partner rollen, zu denen HPE, Dell, Schneider Electric, Vertiv und Lenovo gehören.

Was im Container steckt: Jeder DSX POD ist ein 28 Tonnen schwerer Container mit sieben flüssigkeitsgekühlten Vera Rubin NVL72-Racks, insgesamt 504 GPUs und 252 Vera CPUs, dazu rund 20 Kilometer NVLink-Kupferverkabelung und 17 Kilometer Scale-out-Netzwerkverkabelung, die vor dem Verlassen des Werks bereits installiert, verrohrt und getestet sind. Ein Kunde bereitet ein Grundstück vor, stellt den Container ab, verbindet Strom, Netzwerk und Kühlung und startet die KI-Workloads. Wird mehr Kapazität benötigt, lassen sich zusätzliche Container ergänzen, ohne eine Anlage neu zu bauen.

NVIDIA stellt ausdrücklich klar, dass die Zwei-Wochen-Angabe nur die Bereitstellung auf einem fertigen Grundstück umfasst: Grundstückskauf, Netzanschluss und Tiefbau liegen außerhalb des Containers, und genau diese Phasen sind es typischerweise, die die Zeitpläne von KI-Anlagen in die Länge ziehen.

Die Ökonomie der Geschwindigkeit: Huang rahmte das Angebot in deutlichen wirtschaftlichen Zahlen: Eine AI Factory mit einem Gigawatt kostet insgesamt rund 50 Milliarden Dollar, gerechnet mit Grundstücken, Strom, Gebäuden, Rechenleistung, Netzwerk, Speicher und Kühlung, und kann etwa 40 Milliarden Dollar Jahresumsatz erwirtschaften. Eine dreimonatige Verzögerung beim Produktionsstart bedeutet demnach rund 10 Milliarden Dollar entgangenen Umsatz. DSX POD verlagert Rack-Installation, Verkabelung, Inbetriebnahme und Burn-in-Tests vom Kundengrundstück in die Fabrik, wo sie parallel zur Grundstücksvorbereitung laufen.

Das Unternehmen nennt zudem Effizienzgewinne: Der DSX MaxLPS-Entwurf verbraucht bei gleicher Token-Ausgabe bis zu 30 Prozent weniger Strom, und seine geschlossene Flüssigkeitskühlung mit Trockenkühlern setzt keine Wasserverdunstung frei.

Hochgerechnet auf eine Bereitstellung mit 2 Gigawatt entspricht das einer Einsparung von rund 54 Millionen Litern Wasser pro Tag, was dem täglichen Verbrauch von etwa 180.000 Haushalten gleichkommt.

Mehr als der Container: Agents, Modelle und Lieferkette. Die Berliner Keynote ging weit über Hardware hinaus. NVIDIA stellte OpenShell vor, eine Referenzarchitektur für sichere KI-Agents, die jeden Agenten in eine eigene Sandbox mit kontrollgeregelten Richtlinien auf Kernel-Ebene einschließt, während ein Sentry-Monitor auf BlueField-4-Hardware das Verhalten der Agenten überwacht und Ausreißer innerhalb von Millisekunden isoliert. Das Unternehmen kündigte außerdem das Retrieval-Modell Nemotron Retriever und das strukturierte Daten prognostizierende Modell Kumo an.

Vera Rubin befindet sich inzwischen in vollem Serienbetrieb mit hundertprozentiger Flüssigkeitskühlung, und NVIDIA erklärte, dass sich ein einzelner Node in weniger als fünf Minuten zusammenbauen lässt. Auf der Lieferseite arbeitet NVIDIA mit Amkor, IBIDEN, KYEC, Samsung Electro-Mechanics, SPIL und Unimicron daran, Kapazitäten für Substrate, Advanced Packaging, Tests und optische Engines auszubauen. Zugleich investiert das Unternehmen fast 10 Milliarden Dollar in das europäische Technologieökosystem, verteilt auf mehr als 12.000 Partner. Wir mitten im größten Infrastrukturausbau der Menschheitsgeschichte, so Huang.

Die Nachfrage ist außerordentlich, die Kapazität ist der Engpass.

Rechenleistung pro Container: 7 Vera Rubin NVL72-Racks, 504 GPUs, 252 Vera CPUs. Bereitstellungszeit: von rund 6 Monaten auf bis zu 14 Tage auf einem vorbereiteten Grundstück reduziert. Containergewicht: 28 Tonnen. Erste Serienmodelle: Anfang 2027. Stromersparnis: bis zu 30 Prozent weniger Elektrizität bei gleicher Token-Ausgabe. Wassereinsparung bei 2 GW: rund 54 Millionen Liter pro Tag. Quellen: NVIDIA Newsroom, The Register, 36Kr, China Fund News, Mysteel, Tencent Research Institute, threerouter

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

At its first GTC conference in Berlin, NVIDIA unveiled DSX POD, a reference design that packs a complete Vera Rubin AI factory into factory-built modular containers, promising to compress the time from delivery on a prepared site to production in as little as 14 days. The announcement, delivered by CEO Jensen Huang in the Berlin keynote, extends NVIDIA's push to sell not just GPUs but the entire operating model of an AI factory, with compute, networking, power and liquid cooling engineered and validated as one unit. First production units are expected to roll off partner production lines in early 2027, with manufacturing partners including HPE, Dell, Schneider Electric, Vertiv and Lenovo.

What Is in the Box Each DSX POD is a 28-metric-ton container holding seven Vera Rubin NVL72 liquid-cooled racks, 504 GPUs and 252 Vera CPUs in total, with roughly 20 kilometers of NVLink copper cabling and 17 kilometers of scale-out networking pre-installed, piped and tested before the pod ever leaves the plant. A customer prepares a site, drops in the pod, connects power, networking and cooling, and starts running AI workloads. When more capacity is needed, additional pods can be added alongside rather than rebuilding a facility. NVIDIA is explicit that the two-week figure covers deployment onto a ready site: site acquisition, grid connections and civil works remain outside the container, and those stages are typically what stretch AI facility timelines.

The Economics of Speed Huang framed the pitch in stark economic terms: a 1-gigawatt AI factory costs roughly 50 billion dollars all-in, counting land, power, buildings, compute, networking, storage and cooling, and can generate around 40 billion dollars in annual revenue, which means a three-month delay in coming online forfeits about 10 billion dollars of revenue. DSX POD moves rack installation, cabling, power-up and burn-in testing from the customer site into the factory, running in parallel with site preparation. The company also claims efficiency gains: the DSX MaxLPS design can use up to 30 percent less electricity for the same token output, and its closed-loop liquid cooling with dry coolers eliminates water evaporation.

Scaled to a 2-gigawatt deployment, that saves roughly 54 million liters of water per day, equivalent to the daily usage of about 180,000 households.

Beyond the Pod: Agents, Models and Supply Chain The Berlin keynote went well beyond hardware. NVIDIA introduced OpenShell, a reference architecture for secure AI agents that confines each agent in its own sandbox with kernel-level policy control, while a Sentry monitor running on BlueField-4 hardware watches agent behavior and isolates outliers in milliseconds. The company also announced the Nemotron Retriever retrieval model and the Kumo structured-data prediction model.

Vera Rubin is now in full production with 100 percent liquid cooling, and NVIDIA said assembling a single node takes under five minutes. On the supply side, NVIDIA is working with Amkor, IBIDEN, KYEC, Samsung Electro-Mechanics, SPIL and Unimicron to expand substrate, advanced packaging, test and optical engine capacity, while committing nearly 10 billion dollars to the European technology ecosystem across more than 12,000 partners. We are in the middle of the largest infrastructure buildout in human history, Huang said.

Demand is extraordinary, capacity is the constraint.

Compute per pod: 7 Vera Rubin NVL72 racks, 504 GPUs, 252 Vera CPUs Deployment time: from about 6 months to as fast as 14 days on a prepared site Container weight: 28 metric tons First production units: early 2027 Power savings: up to 30 percent less electricity for the same token output Water savings at 2 GW scale: about 54 million liters per day Sources: NVIDIA Newsroom, The Register, 36Kr, China Fund News, Mysteel, Tencent Research Institute, threerouter

Quelle: dev.to (dev.to). Original öffnen