Nemotron 3.5 Super VL: Nvidias offenes Multimodal-Modell fuer Dauerbetrieb von Enterprise-Agenten
Nvidia veroeffentlicht mit 120 Milliarden Parametern ein offenes multimodales Modell fuer Enterprise-Agenten, ergaenzt um kompakte Bolt-Varianten fuer lokale Rechner. Zahlreiche Organisationen fine-tunen das Modell bereits, der volle Umfang des vollen Umfangs lohnt sich vor allem mit Nvidia-Hardware.
Nvidia hat Nemotron 3.5 Super VL veroeffentlicht, ein offenes multimodales Modell mit 120 Milliarden Parametern, das fuer Unternehmensagenten entwickelt wurde. Zeitgleich erscheinen zwei kompakte Bolt-Modelle, die KI-Agenten auf lokale PCs und Edge-Geraete bringen sollen.
Nvidia hat Nemotron 3.5 Super VL fuer spezialisierte Agenten gebaut, die dauerhaft im Hintergrund laufen und Texte, Bilder, Dokumente und Videos verarbeiten.
Wie das Unternehmen in einem technischen Blogbeitrag erklaert, verwendet das Modell eine Mixture-of-Experts-Architektur, bei der pro Token nur 12 der 120 Milliarden Parameter aktiv sind. Nvidia hat das Modell gemeinsam mit der Nemotron Coalition entwickelt, einer Gruppe, der unter anderem Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs angehoeren.
Gleichzeitig erscheinen zwei kleinere Modelle fuer lokale Hardware. Nemotron 3.5 Bolt 74B-A9B 24GB uebernimmt Agentenaufgaben auf lokalen Rechnern, waehrend das kleinere Bolt E4B 4GB auf schnelle Sprachassistenten abzielt und erst spaeter in diesem Monat folgen soll. Beide Modelle bieten laut Nvidia die hoechste Intelligenz pro Gigabyte Arbeitsspeicher.
Super VL und Bolt ergaenzen die bestehende Nemotron-Reihe. Lightning, im August veroeffentlicht, ist auf hohen Durchsatz ausgelegt, waehrend Ultra schwierige Reasoning-Aufgaben bewaeltigt. Jede Variante ist auf Nvidia-Hardware optimiert.
Nvidia hat Super VL aus Nemotron 3 Ultra destilliert, seinem groessten Reasoning-Modell. Bei Aufgaben, in denen ein Agent Anweisungen befolgt, Werkzeuge aufruft, mehrstufige Geschaeftsprozesse durchlaeuft oder Bilder analysiert, soll Super VL mit nur etwa einem Fuenftel der Parameter die Genauigkeit von Ultra erreichen. In Agententests von Hermes und LangChain erzielt es laut Nvidia tatsaechlich hoehere Werte als Ultra, und auch beim Vorgaenger Nemotron 3 Super setzt es sich bei den Coding-Benchmarks SWE-bench und Terminal-Bench durch.
Auf einer einzelnen GPU liefert Super VL laut Nvidia, unter Verweis auf das Artificial-Analysis-Leaderboard, bei Agentenaufgaben bis zu fuenfmal so hohen Durchsatz wie andere offene Modelle aehnlicher Groesse. In einem unabhaengigen Test von EXO Labs auf der DGX Spark war kein anderes Modell gleichzeitig genauer und schneller. Dieser Geschwindigkeitsvorteil zahlt sich aus, wenn Agenten ueber Tage oder Wochen grosse Aufgabenmengen abarbeiten muessen.
Gegenueber geschlossenen Frontier-Modellen wendet sich Super VL an Unternehmen, die mit ihren eigenen Daten fine-tunen und das Modell auf ihren eigenen Servern betreiben moechten, frei von den Nutzungsbedingungen eines Anbieters. Das koennte laut Nvidia etwa eine Versicherung ansprechen, die Schadenaemlaufe fortlaufend auf Betrug prueft, oder ein Finanzdienstleister, der die Kreditwuerdigkeit nach eigenen Kriterien bewertet. Fuer Anpassungen stellt das Unternehmen sein NeMo-Framework, Python-Pipelines und offene Datensaetze bereit.
Nvidia komprimiert Super VL mit seinem 4-Bit-Format NVFP4. Auf Blackwell-GPUs laeuft das Modell vollstaendig in 4-Bit-Praezision, waehrend aeltere Karten nur die Gewichte mit 4 Bit speichern und die Berechnungen mit 16 Bit durchfuehren. Sensible Teile des Modells behalten eine hoehere Praezision. Um Qualitaetsverluste zu vermeiden, hat Nvidia die komprimierte Version darauf trainiert, die Ausgaben des unkomprimierten Originals nachzubilden.
Eine eingebaute Draft-Komponente schlaegt mehrere Token im Voraus vor, die das Hauptmodell anschliessend in einem einzigen Forward-Pass ueberprueft. Auf der DGX Spark empfiehlt Nvidia stattdessen die eigene Methode LiLiCorr, die alle Draft-Token gemeinsam bewertet und so zu zusammenhaengenderen Ausgaben fuehrt. Laut Nvidia beschleunigt dieser Ansatz die Textgenerierung um bis zu Faktor 2,3 im Vergleich zum Betrieb ohne speculative Drafts.
Agenten senden bei jeder Anfrage dieselben Instruktionen, Werkzeugbeschreibungen und Konversationsverlaeufe mit, weshalb Super VL die Berechnungen fuer diese wiederkehrenden Teile zwischenspeichert, statt sie jedes Mal neu auszufuehren. Nvidias Inferenz-Software Dynamo leitet Anfragen derselben Sitzung zudem an die GPU weiter, die den Cache dieser Sitzung bereits haelt. Auf 16 B200-GPUs kann Super VL so laut Nvidia achtmal so viele gleichzeitige Nutzer bedienen, und die Zeit bis zum ersten Token sinkt um 85 Prozent.
Bei Vision konzentrierte sich Nvidia auf die Materialien, mit denen Agenten im Arbeitsalltag konfrontiert werden, darunter OCR, Tabellen, Diagramme, mehrseitige Dokumente und Videos. Super VL kann ein Diagramm interpretieren, es mit einer Tabelle an anderer Stelle desselben Dokuments verknuepfen und beides zusammenfassen, ohne dass ein separates Bildmodell noetig ist.
Beim Diagramm-Benchmark CharXiv erreicht Super VL laut Nvidia 80,8 Prozent, waehrend das aeltere Nemotron 3 Nano Omni auf 63 Prozent kam. Wenn das Modell zusaetzlich Python-Code ausfuehren kann, steigt der Wert auf 84 Prozent. Auf dem OCRBench-v2-Leaderboard zaehlt es laut Nvidia zu den besten offenen Modellen.
Bolt 74B-A9B 24GB ist eine abgespeckte Version von Super VL, die als hybrides Mixture-of-Experts-Modell aufgebaut ist, bei dem pro Schritt nur 9 seiner 74 Milliarden Parameter aktiv sind. Um das Modell in 24 GB Arbeitsspeicher unterzubringen, wendet Nvidia eine aggressive 2-Bit-Quantisierung auf die Gewichte an.
Bolt uebernimmt alltägliche lokale Aufgaben, bei denen ein Agent mehrere Schritte durchlaufen, Werkzeuge aufrufen oder das Web durchsuchen muss. Nutzer koennen damit etwa Code schreiben und debuggen oder herausfinden, welche PC-Komponenten zu ihrem System passen, so Nvidia.
Das Modell ist auf Nvidias RTX Spark optimiert, einen neuen Chip fuer KI-faehige Windows-Laptops, sowie auf die DGX Spark, eine kompakte KI-Workstation mit bis zu 128 GB gemeinsam genutztem Arbeitsspeicher. Es laeuft ausserdem auf GeForce-RTX-PCs, der DGX Station und RTX-PRO-Workstations und unterstuetzt llama.cpp, Ollama, LM Studio und vLLM.
Selbst mit starker Komprimierung sind 24 GB eine hohe Huerde. Nur teure High-End-Hardware bietet so viel Speicher, und bei den aktuellen GPU-Preisen koennen die meisten Verbraucher die Kosten nicht rechtfertigen. Der lokale Agent richtet sich vorerst an Entwickler und Besitzer leistungsfaehiger Workstations.
Fuer schwaechere Geraete ist Bolt E4B 4GB geplant, der bislang aber noch nicht erschienen ist. Er soll auf GeForce-RTX-Karten, Jetson-Modulen und RTX/DGX Spark laufen und Sprachassistenten, interaktive Charaktere oder Geraeteoberflaechen antreiben. Das Modell soll natuerliche Gespraech fuehren, dabei ueber mehrere Runden hinweg Werkzeuge nutzen und stets wissen, was in der jeweils geoeffneten App geschieht.
Dutzende Organisationen passen Super VL bereits fuer ihre Beduerfnisse an, wie Nvidia mitteilt, vor allem in Branchen mit hohem Dokumentenaufkommen und sensiblen Daten. Scale AI hat das Modell fuer einen Agenten angepasst, der bei der Mediengesellschaft Skydance Lieferantenkupons bearbeitet, wobei die Kosten voraussichtlich auf ein Vierzigstel und die Reaktionszeit auf ein Fuenftel sinken sollen. Ramp nutzt das Modell, um Fotos von Belegen in strukturierte Daten umzuwandeln, und erwartet zehnmal schnellere Antworten. EY setzt es fuer Due-Diligence-Pruefungen bei Uebernahmen ein, Hebbia fuer die Analyse von Kreditvertraegen.
Eine zweite Welle von Nutzern stammt aus der Cybersicherheit. AI21 hat Super VL fuer das Sicherheitsunternehmen Alice angepasst, das damit Bedrohungen und Schwachstellen analysiert; laut Nvidia verbesserte sich die Genauigkeit um 40 Prozent. Dream nutzt das Modell zur Suche nach Schwachstellen, und CrowdStrike baut Agenten zur Verteidigung von Unternehmensnetzwerken. Salesforce will Regierungsablaeufe automatisieren, R1 prueft medizinische Abrechnungen, und auch Perplexity, Dassault Systemes und Mercor verwenden das Modell.
Nvidia veroeffentlicht die Gewichte in einer Basisversion, einer nachtrainierten Version und einer 4-Bit-komprimierten Version, zusammen mit den Datensaetzen, Trainingsrezepten und Reinforcement-Learning-Umgebungen. Damit ist Super VL offener als viele Open-Weight-Modelle, die typischerweise nur die Gewichte teilen.
Das Modell wurde laut Nvidia waehrend des Pre-Trainings und des Continued Pre-Trainings mit mehr als 25 Billionen Token trainiert; Post-Training und Reinforcement Learning ergaben rund vier Millionen Beispiele in etwa 100 offenen Trainingsumgebungen.
Auf Hugging Face veroeffentlicht Nvidia zudem mehrere Datensaetze, die andere Entwickler zum Trainieren oder Fine-Tunen eigener Modelle verwenden koennen. Sie behandeln, wie Agenten Werkzeuge einsetzen, Anweisungen befolgen, lange Texte verarbeiten und Bilder verstehen; weitere Datensaetze befassen sich mit Finanzen, Sicherheit und Fairness.
Ein Datensatz zielt auf Sprachen ab, die in Indien gesprochen werden. Nvidia hat ihn gemeinsam mit dem Indian Institute of Technology Madras und dessen KI-Labor AI4Bharat erstellt; er enthaelt rund 2,83 Billionen Token Text in 22 indischen Sprachen.
Super VL laeuft auf Desktop-Systemen wie DGX Spark, DGX Station, RTX PRO und RTX, auf Jetson-Modulen in Edge-Geraeten sowie in Rechenzentren und der Cloud. Ueber Nvidia NIM erhalten Unternehmen das Modell als einsatzbereiten Microservice mit validierten Konfigurationen und Support; Updates sind alle zwei Wochen geplant. Die Gewichte von Nemotron 3.5 Super VL 120B-A12B und Nemotron 3.5 Bolt 74B-A9B 24GB stehen auf Hugging Face zur Verfuegung.
Nvidia veroeffentlicht die Modelle offen, stimmt sie jedoch auf die eigenen Produkte ab, von Rechenzentrumsservern bis zu Workstations. Wer das Maximum aus Nemotron herausholen will, landet am Ende beim Kauf von Nvidia-Hardware.
Die Strategie hinter Nvidias offenen Modellen ist eigennuetzig. Je mehr Unternehmen ihre eigenen offenen Modelle betreiben, desto groesser ist die Nachfrage nach Rechenhardware, und offene Modelle werden voraussichtlich auch in absehbarer Zeit auf Nvidia optimiert bleiben. Inzwischen bauen Unternehmen wie Meta, Google, Anthropic und OpenAI eigene Chips und optimieren ihre Modelle stattdessen darauf. Um die Verbreitung offener KI-Modelle weiter voranzutreiben, hat Nvidia ku rzlich 12,9 Milliarden US-Dollar in Hugging Face investiert, eine der wichtigsten Plattformen fuer deren Entwicklung und Austausch.
Abonniere THE DECODER fuer werbefreies Lesen, einen woechentlichen KI-Newsletter, unseren exklusiven "AI Radar"-Frontier-Report sechsmal jaehrlich, vollstaendigen Archivzugang sowie Zugang zu unserem Kommentarbereich.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Nvidia has released Nemotron 3.5 Super VL, an open multimodal model with 120 billion parameters built for enterprise agents. Two compact Bolt models designed to bring AI agents to local PCs and edge devices are launching alongside it.
Nvidia built Nemotron 3.5 Super VL for specialized agents that run continuously in the background, processing text, images, documents, and videos.
As the company explains in a technical blog post, it uses a Mixture-of-Experts architecture where only 12 billion of the 120 billion parameters are active per token. Nvidia developed the model with the Nemotron Coalition, a group that includes Mistral AI, Thinking Machines Lab, Perplexity, and Black Forest Labs. Ad
Two smaller models for local hardware ship at the same time. Nemotron 3.5 Bolt 74B-A9B 24GB runs agent tasks on local machines, while the smaller Bolt E4B 4GB targets fast voice assistants and will follow later this month. Both models offer the "highest intelligence per gigabyte of memory," Nvidia claims. Ad
Super VL and Bolt join the existing Nemotron lineup. Lightning, released in August, is built for high throughput, while Ultra tackles tough reasoning tasks. Every variant is optimized for Nvidia hardware.
Nvidia distilled Super VL from Nemotron 3 Ultra, its largest reasoning model. On tasks where an agent follows instructions, calls tools, works through multi-step business processes, or analyzes images, Super VL is supposed to match Ultra's accuracy with only about one-fifth the parameters. In agent tests from Hermes and LangChain, it actually scores higher than Ultra, according to Nvidia, and it also beats its predecessor Nemotron 3 Super on the coding benchmarks SWE-bench and Terminal-Bench. Ad
On a single GPU, Super VL delivers up to five times the throughput of other open models of similar size on agent tasks, according to Nvidia, citing the Artificial Analysis leaderboard. In an independent test by EXO Labs on the DGX Spark, no other model was both more accurate and faster. That speed advantage pays off when agents need to grind through large task volumes over days or weeks.
Against closed frontier models, Nvidia is pitching Super VL to companies that want to fine-tune with their own data and run the model on their own servers, free from a provider's terms of service. Nvidia says that could appeal to an insurer that continuously screens claims for fraud, or a financial services firm that scores creditworthiness by its own criteria. For customization, the company provides its NeMo framework, Python pipelines, and open datasets. Ad
Nvidia compresses Super VL with its 4-bit NVFP4 format. On Blackwell GPUs, the model runs entirely in 4-bit precision, while older cards store only the weights at 4 bits and handle math at 16 bits. Sensitive parts of the model keep higher precision. To prevent quality loss, Nvidia trained the compressed version to match the uncompressed original's outputs. Ad
A built-in draft component proposes several tokens ahead of time, which the main model then verifies in a single forward pass. On the DGX Spark, Nvidia recommends its own LiLiCorr method instead, which evaluates all draft tokens together for more coherent output. Nvidia says this approach speeds up text generation by up to 2.3x compared to running without speculative drafts.
Agents send the same instructions, tool descriptions, and conversation history with every request, so Super VL caches the computations for these recurring parts rather than rerunning them each time. Nvidia's inference software Dynamo also routes requests from the same session to the GPU that already holds that session's cache. On 16 B200 GPUs, this lets Super VL serve eight times as many concurrent users, and time to first token drops by 85 percent.
For vision, Nvidia focused on the kind of material agents encounter in daily work, including OCR, tables, charts, multi-page documents, and videos. Super VL can interpret a chart, link it to a table elsewhere in the same document, and summarize both without needing a separate image model.
On the chart benchmark CharXiv, Super VL scores 80.8 percent, according to Nvidia, while the older Nemotron 3 Nano Omni hit 63 percent. When the model can also run Python code, the score rises to 84 percent. On the OCRBench v2 leaderboard, it ranks among the best open models, Nvidia says.
Bolt 74B-A9B 24GB is a stripped-down version of Super VL built as a hybrid Mixture-of-Experts model where only 9 of its 74 billion parameters are active per step. To squeeze it into 24 GB of memory, Nvidia applies aggressive 2-bit quantization to the weights.
Bolt handles everyday local tasks where an agent needs to work through multiple steps, call tools, or search the web. Users can have it write and debug code or figure out which PC components fit their system, according to Nvidia.
The model is optimized for Nvidia's RTX Spark, a new chip for AI-capable Windows laptops, and the DGX Spark, a compact AI workstation with up to 128 GB of shared memory. It also runs on GeForce RTX PCs, DGX Station, and RTX PRO workstations, and supports llama.cpp, Ollama, LM Studio, and vLLM.
Even with heavy compression, 24 GB is a high bar. Only pricey high-end hardware offers that much memory, and at current GPU prices, most consumers can't justify the cost. For now, the local agent is aimed at developers and owners of powerful workstations.
For weaker devices, Nvidia has Bolt E4B 4GB planned, though it hasn't shipped yet. It's designed to run on GeForce RTX cards, Jetson modules, and RTX/DGX Spark, powering voice assistants, interactive characters, or device interfaces. The model is supposed to hold natural conversations while using tools across multiple turns and staying aware of what's happening in the current app.
Dozens of organizations are already fine-tuning Super VL for their own needs, Nvidia says, mainly in industries with heavy document loads and sensitive data. Scale AI adapted the model for an agent that handles vendor credits at media company Skydance, with costs expected to drop to one-fortieth and response time to one-fifth. Ramp uses the model to turn photos of receipts into structured data and expects ten times faster responses. EY uses it for acquisition due diligence, and Hebbia for analyzing credit agreements.
A second wave of adopters comes from cybersecurity. AI21 fine-tuned Super VL for security firm Alice, which uses it to analyze threats and vulnerabilities, with accuracy improving by 40 percent according to Nvidia. Dream uses the model to hunt for vulnerabilities, and CrowdStrike is building agents to defend enterprise networks. Salesforce plans to automate government workflows, R1 is auditing medical billing, and Perplexity, Dassault Systèmes, and Mercor are also using the model.
Nvidia is releasing the weights in a base version, a post-trained version, and a 4-bit compressed version, along with the datasets and training recipes and reinforcement learning environments. That makes Super VL more open than many open-weight models, which typically only share the weights.
The model was trained on over 25 trillion tokens during pre-training and continued pre-training, Nvidia says, with post-training and reinforcement learning adding roughly four million examples across about 100 open training environments.
On Hugging Face, Nvidia is also releasing several datasets that other developers can use to train or fine-tune their own models. They cover how agents use tools, follow instructions, handle long texts, and understand images, while other datasets deal with finance, safety, and fairness.
One dataset targets languages spoken in India. Nvidia built it with the Indian Institute of Technology Madras and its AI lab AI4Bharat, and it contains about 2.83 trillion tokens of text in 22 Indian languages.
Super VL runs on desktop systems like DGX Spark, DGX Station, RTX PRO, and RTX, on Jetson modules in edge devices, and in data centers and the cloud. Through Nvidia NIM, enterprises get the model as a ready-to-deploy microservice with validated configs and support, with updates planned every two weeks. Weights are available on Hugging Face for Nemotron 3.5 Super VL 120B-A12B and Nemotron 3.5 Bolt 74B-A9B 24GB.
Nvidia releases the models openly but tunes them for its own products, from data center servers to workstations. Anyone who wants to get the most out of Nemotron ends up buying Nvidia hardware.
The strategy behind Nvidia's open models is self-serving. The more companies run their own open models, the greater the demand for compute hardware, and open models will likely stay optimized for Nvidia for the foreseeable future. Meanwhile, companies like Meta, Google, Anthropic, and OpenAI are building their own chips and optimizing models for those instead. To push the spread of open AI models further, Nvidia recently invested $12.9 billion in Hugging Face, one of the most important platforms for developing and sharing them.
Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.