Nvidia veröffentlicht Flora als Open Source und macht Robot-Video-Labeling drastisch günstiger
Nvidias Daten-Engine Flora beschriftet eine Stunde Robotervideo für 72 Cent statt 88 Dollar mit GPT-6 Astra und erreicht dabei sogar etwas bessere Qualität. Das offene System basiert auf drei feinabgestimmten Qwen3.5-Modellen.
Plus AI Forschung URL kopieren Artikel teilen Zum Kommentarbereich Nvidia open-sourct Flora, um Robotervideo-Labeling 125-mal guenstiger zu machen als GPT-6 Astra Jonathan Kemper LinkedIn-Profil von Jonathan Kemper ansehen 25. Oktober 2026 Nvidia Eine Stunde Robotervideo fuer 72 Cent statt 88 Dollar zu labeln, das verspricht Nvidia mit Flora, seiner offenen Daten-Engine. Doch der Vergleich mit GPT-6 Astra ist bei weitem nicht so einseitig, wie der Preis nahelegt.
Grosse KI-Modelle fuer Roboter lernen aus Videos, die Textannotationen benoetigen, und laut Nvidias GEAR-Forschungslabor sind dafuer drei Arten von Labels noetig. Zunaechst Beschreibungen davon, welche Handlung wann im Video passiert, die zur Auswahl der Trainingsdaten dienen. Zweitens Bewertungen dazu, wie gut ein Roboter Schritt fuer Schritt vorankommt, damit er durch Versuch und Irrtum lernen kann. Und drittens Urteile darueber, ob eine Aufgabe erfolgreich abgeschlossen wurde, die zur Ueberwachung der Roboter waehrend des Einsatzes genutzt werden. Die meisten bestehenden Tools liefern nur eine dieser Arten. Grosse Sprachmodelle wie GPT-6 Astra koennen mehrere davon erzeugen, sind aber fuer die riesigen Videomengen zu teuer.
Laut dem Paper deckt Flora alle drei ab. Nvidia sagt, das System laeuft bereits waehrend des Trainings seiner GR00T-Modelle und annotiert bis zu 200.000 Stunden Video pro Tag auf 512 GB300-GPUs. Die Modelle sind auf Hugging Face verfuegbar.
Flora besteht aus drei fine-getunten Qwen3.5-Modellen. Ein 9B-Modell unterteilt Videos in Handlungssegmente, und ein 27B-Modell beschreibt sie, wobei es beruecksichtigt, was vor und nach jeder Handlung geschah. Ein zweites 27B-Modell namens Flora-Rewarder uebernimmt je nach Prompt drei Rollen. Es bewertet den Erfolg einer Episode auf einer Skala von 1 bis 5, stuft jeden halben Sekundenschritt als normal, suboptimal oder Fehlschlag ein und vergibt Punkte anhand selbst definierter Rubriken.
In einem Test mit 50 Videos schnitt Flora laut Nvidia leicht besser ab als GPT-6 Astra, obwohl OpenAIs Modell seine volle Reasoning-Kapazitaet nutzen durfte. Das Labeln einer Stunde Video kostet mit Flora nach Nvidias Schaetzung rund 72 Cent, waehrend es bei GPT-6 Astra etwa 88,50 Dollar sind. Claude Opus 5 schnitt im selben Test deutlich schlechter ab und kostete dennoch rund 42 Dollar pro Stunde.
Die Kostenangaben fuer Flora sind jedoch Projektionen und keine Produktionsmessungen. Nvidia hat sie auf Basis eines angenommenen Mietpreises von 10 Dollar pro GPU und Stunde berechnet.
Auf dem oeffentlichen WGO-Bench ist Flora am besten darin, Handlungsgrenzen zu erkennen, liegt beim Gesamtscore aber hinter Astra und bei der reinen Beschreibungsgenauigkeit hinter Gemini 3.8 Flash. Laut den Forschern stammen die Vorteile vor allem aus der zeitlichen Lokalisierung.
Auf Nvidias eigenem DenseCaptionBench fuehrt Flora bei Aufnahmen von Menschen in allen Metriken, bei Robotervideos landet das Modell jedoch auf dem zweiten Platz hinter Astra. Es gibt zudem eine methodische Huerte, die die Forscher einraeumen: GPT-6 Astra bewertet die Beschreibungen, ist aber gleichzeitig eines der getesteten Modelle.
Auf RoboRewardBench liegt Floras Fehlerrate 27,8 Prozent niedriger als die von Astra. Das Paper fuehrt den Unterschied auf teilweise abgeschlossene Aufgaben zurueck. Wenn ein Roboter eine Flasche nur umkippt, statt sie vom Tisch zu stossen, vergibt Flora 3 von 5 Punkten und trifft damit die menschliche Referenz, waehrend Astra nur einen Punkt gibt.
Flora-Rewarder erkennt 53,3 Prozent der fehlgeschlagenen Schritte innerhalb einer Episode, waehrend kein Konkurrent ueber 11,7 Prozent kommt und Astra keinen einzigen erkennt. Der Nachteil ist, dass Flora rund 11 Prozent der normalen Schritte faelschlicherweise als Fehler markiert. Beim rubrikbasierten Scoring und beim Trajektorien-Ranking liegt Astra weiterhin vorn.
In einem Video mit vielen kurzen Handbewegungen identifiziert Flora 34 von 37 einzelnen Handlungen, waehrend Astra nur vier erkennt. Umgekehrt zerlegt Flora laengere Handlungen manchmal in zu viele kleine Schritte und liegt bei Beschreibungen gelegentlich daneben. In einem Video wischt eine Roboterhand einen Teller mit einem Tuch ab, doch Flora beschreibt es als Falten einer Serviette.
Nvidia positioniert Flora als offene Alternative zu kommerziellen Diensten wie Scale AIs Physical AI Data Engine. Forscher koennen damit ihre eigenen Robotik-Datensaetze skalieren und Ansaetze testen, etwa die Uebertragung menschlicher Demonstrationen auf Roboter. Nvidia investiert Milliarden in offene KI-Modelle, um Entwickler in seinem Hardware-Oekosystem zu halten und die Nachfrage nach seinen Chips anzukurbeln, und Flora dient demselben Ziel.
Das Unternehmen arbeitet seit einiger Zeit auch daran, den Mangel an Robotik-Trainingsdaten durch Simulation und automatisierte Datenverarbeitung auszugleichen. Auf der GTC zu Beginn dieses Jahres zeigte Nvidia eine Daten-Pipeline, die Trainingsmaterial automatisch aufbereitet, vervielfaeltigt und bewertet. Flora ergaenzt diese Pipeline um detaillierte Labels und Reward-Signale aus Videos.
All das fuegt sich in Nvidias Strategie ein, die gesamte Wertschoepfungskette der Robotik abzudecken, von der Hardware ueber die Trainingsdaten bis zur Simulation und den KI-Modellen selbst. Googles kuertzlich angekündigtes Gemini 4 Argon zielt auf einen aehnlichen Teil des Robotik-Trainingsprozesses ab und identifiziert ebenfalls Arbeitsschritte in Trainingsvideos sowie fehlgeschlagene Handlungen.
Abonniere THE DECODER fuer werbefreies Lesen, einen woechentlichen KI-Newsletter, unseren exklusiven Frontier-Report "AI Radar" sechs Mal im Jahr, vollen Archivzugang und Zugang zu unserem Kommentarbereich.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Plus AI research Copy the url to clipboard Share this article Go to comment section Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astra Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Oct 25, 2026 Nvidia Labeling one hour of robot video for 72 cents instead of $88 is what Nvidia promises with Flora, its open data engine. But the comparison with GPT-6 Astra isn't quite as lopsided as the price tag suggests.
Large AI models for robots learn from videos that need text annotations, and according to Nvidia's GEAR research lab, this requires three types of labels. First, descriptions of what action happens when in the video, used to select training data. Second, ratings of how well a robot progresses step by step, so it can learn through trial and error. And third, judgments on whether a task was completed successfully, used to monitor robots during deployment. Most existing tools only provide one of these types. Large language models like GPT-6 Astra can generate several, but they're too expensive for the massive volumes of video involved.
According to the paper, Flora covers all three. Nvidia says the system is already running during training of its GR00T models, annotating up to 200,000 hours of video per day across 512 GB300 GPUs. The models are available on Hugging Face.
Flora consists of three fine-tuned Qwen3.5 models. A 9B model splits videos into action segments, and a 27B model describes them while factoring in what happened before and after each action. A second 27B model called Flora-Rewarder takes on three roles depending on the prompt. It rates an episode's success on a scale of 1 to 5, classifies each half-second step as normal, suboptimal, or failure, and assigns scores based on self-defined rubrics.
In a test with 50 videos, Flora scored slightly better than GPT-6 Astra according to Nvidia, even though OpenAI's model was allowed to use its full reasoning capacity. Labeling one hour of video runs about 72 cents with Flora by Nvidia's estimate, compared to roughly $88.50 with GPT-6 Astra. Claude Opus 5 scored much worse in the same test and still cost about $42 per hour.
The Flora cost figures are projections, though, not production measurements. Nvidia calculated them based on an assumed rental price of $10 per GPU per hour.
On the public WGO-Bench, Flora is best at detecting action boundaries but trails Astra in overall score and falls behind Gemini 3.8 Flash in pure description accuracy. According to the researchers, the gains come mainly from temporal localization.
On Nvidia's own DenseCaptionBench, Flora leads across all metrics for human recordings, but for robot videos the model comes in second behind Astra. There's a methodological catch the researchers acknowledge, too. GPT-6 Astra evaluates the descriptions while also being one of the models under test.
On RoboRewardBench, Flora's error rate is 27.8 percent lower than Astra's. The paper attributes the gap to partially completed tasks. When a robot only tips a bottle over instead of knocking it off the table, Flora assigns 3 out of 5 points to match the human reference, while Astra gives just one.
Flora-Rewarder catches 53.3 percent of failed steps within an episode, while no competitor gets above 11.7 percent and Astra doesn't catch a single one. The tradeoff is that Flora falsely flags about 11 percent of normal steps as errors. Astra still leads on rubric-based scoring and trajectory ranking.
In a video with many short hand movements, Flora identifies 34 of 37 individual actions, while Astra catches only four. On the flip side, Flora sometimes splits longer actions into too many small steps and occasionally gets descriptions wrong. In one video, a robot hand wipes a plate with a cloth, but Flora describes it as folding a napkin.
Nvidia positions Flora as an open alternative to commercial services like Scale AI's Physical AI Data Engine. Researchers can use it to scale their own robotics datasets and test approaches like transferring human demonstrations to robots. Nvidia is investing billions in open AI models to keep developers in its hardware ecosystem and drive demand for its chips, and Flora serves that same goal.
The company has also been working for some time to offset the shortage of robotics training data through simulation and automated data processing. At GTC earlier this year, Nvidia showed a data pipeline that automatically prepares, multiplies, and scores training material. Flora adds detailed labels and reward signals from video to that pipeline.
All of this feeds into Nvidia's strategy of covering the entire robotics value chain, from hardware and training data to simulation and the AI models themselves. Google's recently announced Gemini 4 Argon targets a similar part of the robotics training process, also identifying work steps in training videos and flagging failed actions.
Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.