Hugging Face Bibliotheken laufen dank TorchTPU nativ auf Google TPUs
Hugging Face bringt seine wichtigsten Open-Source-Bibliotheken auf TPUs von Google Cloud. Möglich wird das durch TorchTPU, ein natives PyTorch-Backend, das die TPU wie ein ganz normales Gerät einbindet.
Veröffentlicht am 26. Oktober, ursprünglich erschienen auf inite.ai
Hugging Face gab am 20. Oktober 2026 bekannt, dass seine wichtigsten Open-Source-Bibliotheken nun nativ auf TPUs laufen, den KI-Beschleuniger-Chips von Google, die über Google Cloud verfügbar sind. Die Änderung basiert auf TorchTPU, einem nativen PyTorch-Backend, das die TPU zu einem "ganz gewöhnlichen Gerät" macht.
PyTorch-Nutzer, die TPUs verwenden wollten, mussten bisher den Weg über PyTorch/XLA (torch_xla) nehmen oder JAX lernen. Der Beitrag beschreibt den alten Weg als funktionsfähig, aber umständlich: Lazy Tensors sorgten dafür, dass Code nicht immer dann ausgeführt wurde, wenn erwartet, kleine Änderungen konnten eine Neukompilierung des Graphen auslösen, und das Debuggen war schwer nachzuvollziehen.
Mit TorchTPU schreibt man ganz normales PyTorch. Es wird mit für TPUs optimierten Pallas-Kernels ausgeliefert, unterstützt verteiltes Training und bietet eine torch.compile-Integration. Die Installation auf einer TPU-VM erfolgt mit einem einzigen pip-Befehl, wobei die CPU-Version von torch verwendet wird, um nicht den größeren CUDA-Build herunterzuladen.
Optimum TPU, das frühere TPU-Paket von Hugging Face, wird nicht mehr benötigt, um Modelle mit Transformers und Diffusers auszuführen.
Laut Hugging Face beschleunigte ein Ragged-Dot-Kernel aus dem Hub bei einer Batch-Größe von 64 das Decoding auf Qwen3-30B-A3B um den Faktor 21,5 und auf Gemma 4 26B-A4B um den Faktor 12,8 gegenüber der Standard-Implementierung, gemessen auf einem TPU v6e-8. Zudem wachse der Gewinn mit der Batch-Größe. Es handelt sich um die eigenen Benchmarks des Herausgebers.
Die Unterstützung befindet sich noch in der Reifephase. Von den Tests, die auf TPU laufen, bestehen 96,5 Prozent. Hugging Face hat 34 Probleme im TorchTPU-Repository gemeldet, von denen 19 bereits behoben sind. Ein nächtlicher CI-Lauf auf TPU sei etwas, an dem das Team arbeite, existiere aber noch nicht.
Die Quelle nennt keine Preise, keinen Kostenvergleich mit anderen Beschleunigern und keine Hinweise darauf, welche Workloads sich auf TPUs besser eignen als auf GPUs. Diese Fragen erfordern eigene Tests.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 26 • Originally published at inite.ai
Hugging Face announced on October 20, 2026 that its main open-source libraries now run natively on TPUs, Google's AI accelerator chips available on Google Cloud. The change rests on TorchTPU, a native PyTorch backend that makes TPU "just another device".
PyTorch users who wanted TPUs previously had to go through PyTorch/XLA (torch_xla) or learn JAX. The post describes the old route as workable but awkward: lazy tensors meant code did not always run when expected, small changes could trigger graph recompilation, and debugging was hard to reason about.
With TorchTPU, you write regular PyTorch. It ships with Pallas kernels tuned for TPUs, distributed training support and a torch.compile integration. Installation on a TPU VM is a single pip command, using the CPU build of torch to avoid pulling the larger CUDA build.
Optimum TPU, Hugging Face's earlier TPU package, is no longer required to run models with Transformers and Diffusers.
Hugging Face reports that at batch size 64, a Hub ragged-dot kernel made decoding 21.5 times faster on Qwen3-30B-A3B and 12.8 times faster on Gemma 4 26B-A4B than the default implementation, measured on a TPU v6e-8. It also says the gain grows with batch size. These are the publisher's own benchmarks.
Support is still maturing. Of the tests that run on TPU, 96.5% pass. Hugging Face has reported 34 issues to the TorchTPU repository, 19 of which are fixed. A nightly CI run on TPU is something the team says it is working to add, not something that exists yet.
The source gives no pricing, no cost comparison with other accelerators and no guidance on which workloads suit TPUs better than GPUs. Those questions need your own testing.