VIDRAFT trainiert Sprachmodell komplett auf Inference-only NPUs statt GPUs
VIDRAFT hat ein kleines Sprachmodell vollständig auf inference-only NPUs vortrainiert, ohne an irgendeiner Stelle GPUs zu nutzen. Das Modell VKORE-46M-NPU ist samt Vergleichswerten öffentlich auf Hugging Face verfügbar.
TL;DR: VIDRAFT hat ein kleines Sprachmodell vollständig auf reinen Inferenz-NPUs vortrainiert und dabei in jeder Phase des Trainings auf GPUs verzichtet. Das Modell VKORE-46M-NPU ist öffentlich auf Hugging Face verfügbar, zusammen mit Materialien zur vergleichenden Analyse. Für ML-Engineers, die alternative Accelerator-Stacks erkunden, ist dies ein konkreter Proof-of-Concept, dafür dass Backpropagation auf rein für Inferenz ausgelegter Hardware möglich ist.
VKORE-46M-NPU ist ein kleines Sprachmodell (SLM) mit 46 Millionen Parametern, das von Grund auf ausschließlich auf einer NPU der ersten Generation trainiert wurde, einer Chipklasse, die nach üblicher ML-Einschätzung als ungeeignet für Trainings-Workloads gilt. Das Modell wurde auf einem öffentlichen Datensatz trainiert und ist in der Lage, kurze englischsprachige Geschichten zu generieren.
Der größere Kontext: VIDRAFT entwickelt VKORE, eine NPU-native Beschleunigungsschicht, die für NPUs das leisten soll, was CUDA für NVIDIA-GPUs leistet. Der angestrebte Funktionsumfang umfasst:
Diese Veröffentlichung ist das öffentliche Validierungsartefakt für den Meilenstein des Vortrainings.
Die zentrale technische Herausforderung besteht darin, dass reine Inferenz-NPUs auf die effiziente Ausführung von Forward-Passes ausgelegt sind. Sie sind nicht dafür konzipiert, die Gradientenberechnung und die Gewichtsupdates zu unterstützen, die Backpropagation erfordert. Hardwarefunktionen, die beim GPU-basierten Training als selbstverständlich gelten, wie flexible Speicherzugriffsmuster, Zwischenpuffer mit hoher Präzision und direkte Tensor-Manipulation am Speicherort, fehlen auf Inferenz-NPUs typischerweise oder sind eingeschränkt.
Der Ansatz von VIDRAFT auf konzeptioneller Ebene:
Die genauen Implementierungsdetails, etwa die Strategie zur Operator-Fusion, das Speichermanagement und die Mechanismen zur Gradientenakkumulation, wurden nicht öffentlich gemacht und werden in einer bevorstehenden Arbeit beschrieben.
VIDRAFT meldet ein zentrales quantitatives Ergebnis aus dem Vergleich zwischen dem NPU-trainierten und dem GPU-trainierten Lauf:
Es handelt sich dabei um ein Maß für die Ähnlichkeit der Trainingsdynamik, nicht um Parität beim Durchsatz. Das Unternehmen weist ausdrücklich darauf hin, dass dies nicht bedeutet, dass die NPU die Trainingsgeschwindigkeit einer GPU erreicht. Es zeigt jedoch, dass der NPU-basierte Trainingsprozess entlang eines statistisch nahezu identischen Pfades wie die GPU-Baseline konvergiert, ein aussagekräftiges Signal dafür, dass die Gradientenberechnung numerisch konsistent und nicht näherungsweise oder divergent ist.
Darüber hinaus hat VIDRAFT verifiziert, dass allgemeine öffentliche Modelle auf derselben NPU-Hardware Inferenz und die Ausführung quantisierter Modelle bewältigen können, was darauf hindeutet, dass die VKORE-Schicht sowohl die Trainings- als auch die Deployment-Seite des Lebenszyklus abdeckt.
Folgende Artefakte sind öffentlich auf Hugging Face verfügbar:
Sie können das Modell über die Hugging Face CLI durchsuchen oder herunterladen:
pip install huggingface_hub huggingface-cli download vidraft/VKORE-46M-NPU Enter fullscreen mode Exit fullscreen mode Hinweis: Der Modellname oben folgt der im Pressetext verwendeten Namenskonvention. Überprüfen Sie vor dem Ausführen von Befehlen den exakten Repository-Slug auf der Hugging Face-Seite von VIDRAFT.
Der zentrale Trainingscode ist nicht öffentlich, er wird zum Schutz des geistigen Eigentums zurückgehalten. Eine technische Arbeit zur Implementierung ist für die Zukunft geplant. Für dieses spezifische Modell gibt es derzeit keinen öffentlichen API-Endpunkt.
F: Ist das tatsächlich Backpropagation oder eine gradientenfreie Näherung wie Forward-Mode-Differentiation oder Evolutionsstrategien? A: Das Pressestatement erklärt ausdrücklich, dass VIDRAFT Backpropagation auf der NPU implementiert hat. Es wird als standardmäßige Reverse-Mode-Gradientenberechnung beschrieben, nicht als gradientenfreie Alternative. Der technische Mechanismus ist proprietär und wird in einer künftigen Arbeit detailliert beschrieben.
F: Bedeutet die Verlustkorrelation von 0,99, dass NPU-Training so schnell ist wie GPU-Training? A: Nein, VIDRAFT stellt diesen Punkt ausdrücklich klar. Der Korrelationskoeffizient misst die Ähnlichkeit der Trainingstrajektorie, also wie sich die Verlustkurve über die Schritte entwickelt, nicht die tatsächliche Durchsatzgeschwindigkeit oder Sample-Effizienz. Reine Inferenz-NPUs sind bei Trainings-Workloads im Allgemeinen langsamer; der Punkt dieses Ergebnisses ist die Validierung der Korrektheit, kein Geschwindigkeits-Benchmark.
F: Wann unterstützt VKORE LoRA fine-tuning und breiteres Modell-Pre-Training? A: VIDRAFT hat LoRA fine-tuning als Roadmap-Punkt für die VKORE-Software Schicht angekündigt, neben Inferenzbeschleunigung und Pre-Training. Ein öffentlicher Zeitplan oder Verfügbarkeitstermin wurde nicht genannt.
F: Kann ich damit auf meiner eigenen NPU-Hardware trainieren? A: Noch nicht. Der Trainings-Stack ist intern. Die öffentliche Veröffentlichung umfasst die trainierten Modellgewichte und Analysematerialien. Halten Sie Ausschau nach der bevorstehenden technischen Arbeit und möglichen zukünftigen VKORE-SDK-Ankündigungen.
Ursprünglich berichtet von ZDNet Korea (2026-10-14), Quellartikel.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
TL;DR: VIDRAFT has successfully pre-trained a small language model entirely on inference-only NPUs, bypassing GPUs at every stage of training. The model — VKORE-46M-NPU — is publicly available on Hugging Face, along with comparative analysis materials. For ML engineers exploring alternative accelerator stacks, this is a concrete proof-of-concept that backpropagation on inference-dedicated silicon is achievable.
VKORE-46M-NPU is a 46-million-parameter small language model (SLM) pre-trained from scratch using only a first-generation, inference-only NPU — a class of chip that conventional ML wisdom treats as unsuitable for training workloads. The model was trained on a public dataset and is capable of generating short English-language stories.
The broader context: VIDRAFT is building VKORE, an NPU-native acceleration software layer intended to do for NPUs what CUDA does for NVIDIA GPUs. The target capability set includes:
This release is the public validation artifact for the pre-training milestone.
The core engineering challenge is that inference-only NPUs are architected to run forward passes efficiently — they are not designed to support the gradient computation and weight-update operations that backpropagation requires. Hardware-level features that GPU-based training takes for granted (flexible memory access patterns, high-precision intermediate buffers, in-place tensor mutation) are typically absent or restricted on inference NPUs.
VIDRAFT's approach, at a conceptual level:
The precise implementation details — operator fusion strategy, memory management, gradient accumulation mechanisms — are not publicly disclosed and will be described in a forthcoming paper.
VIDRAFT reports one key quantitative result from the comparison between the NPU-trained and GPU-trained runs:
This is a measure of training dynamics similarity, not throughput parity. The company explicitly notes this does not imply the NPU matches GPU training speed. What it does indicate is that the NPU-based training process converges along a statistically near-identical path to the GPU baseline — a meaningful signal that the gradient computation is numerically consistent, not approximate or divergent.
Additionally, VIDRAFT has verified that general-purpose public models can run inference and quantized-model execution on the same NPU hardware, suggesting the VKORE layer handles both the training and deployment sides of the lifecycle.
The following artifacts are publicly available on Hugging Face:
You can browse or download the model using the Hugging Face CLI:
pip install huggingface_hub huggingface-cli download vidraft/VKORE-46M-NPU Enter fullscreen mode Exit fullscreen mode Note: The model name above follows the naming convention used in the press release. Verify the exact repository slug on the VIDRAFT Hugging Face page before running commands.
The core training code is not public — it is withheld for IP protection. A technical paper describing the implementation is planned for future release. There is no mention of a public API endpoint for this specific model at this time.
Q: Is this actually backpropagation, or some gradient-free approximation like forward-mode differentiation or evolution strategies? A: The press release explicitly states that VIDRAFT implemented backpropagation ( 역전파 ) on the NPU. It is described as standard reverse-mode gradient computation, not a gradient-free alternative. The technical mechanism is proprietary and will be detailed in a future paper.
Q: Does the 0.99 loss correlation mean NPU training is as fast as GPU training? A: No — VIDRAFT explicitly clarifies this point. The correlation coefficient measures similarity of the training trajectory (i.e., how the loss curve evolves over steps), not wall-clock throughput or sample efficiency. Inference-only NPUs are generally slower for training workloads; the point of this result is correctness validation, not speed benchmarking.
Q: When will VKORE support LoRA fine-tuning and broader model pre-training? A: VIDRAFT has announced LoRA fine-tuning as a roadmap item for the VKORE software layer, alongside inference acceleration and pre-training. No public timeline or availability date has been announced.
Q: Can I use this to train on my own NPU hardware? A: Not yet. The training stack is internal. The public release covers the trained model weights and analysis materials. Watch for the forthcoming technical paper and any future VKORE SDK announcements.
Originally reported by ZDNet코리아 (2026-10-14) — source article.