TorchTPU: Google veröffentlicht natives PyTorch für TPUs als Open Source

Google hat TorchTPU am 20. Oktober 2026 als Open Source veröffentlicht, ein Backend, das PyTorch-Code nativ auf seinen TPU-Chips ausführt. Das ist wichtig, weil es PyTorch/XLA ersetzt, den älteren und schwierigeren Weg zu TPUs, der am 15. November archiviert wird. Laut Google sollte bestehender Code mit kaum mehr als einer Änderung des Gerätenamens umziehen können.

Was TorchTPU ist

TPUs sind die KI-Chips, die Google entwickelt und über Google Cloud vermietet. PyTorch ist die am weitesten verbreitete Bibliothek zum Bauen und Trainieren von KI-Modellen. Bisher gelangte PyTorch über PyTorch/XLA auf TPUs, das ein Modell vor der Ausführung in einen kompilierten Graphen umwandelt.

TorchTPU macht die TPU stattdessen zu einem normalen PyTorch-Gerät. „Eine Workload auf TPU zu portieren, sollte so einfach sein, wie model.to("cuda") in model.to("tpu") zu ändern“, schreibt das Team in der Ankündigung im PyTorch-Blog. Google hat es gemeinsam mit dem PyTorch-Team von Meta entwickelt, beginnend Mitte 2025.

Das GitHub-Repository des Projekts nennt Release 0.2.0 auf PyPI, die Lizenz Apache 2.0 und Python 3.11 oder neuer. Laut Crypto Briefing umfasst das Release vier Repositorys und wurde auf der PyTorch Conference vorgestellt. Der Blog nennt sie TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU und TorchTitan, die das Kern-Backend, zwei Serving-Engines und eine Trainingsbibliothek abdecken.

Wie es Code ausführt

TorchTPU implementiert etwa 450 ATen-Operationen, die grundlegenden Rechenfunktionen, aus denen jedes PyTorch-Modell aufgebaut ist. Code läuft standardmäßig Zeile für Zeile im „Eager“-Modus, wie bei normalem PyTorch. Der Blog beschreibt drei Eager-Modi:

Modus	So wird er aktiviert	Was er tut
Strict	Standard	Führt jede Operation so aus, wie sie geschrieben ist
Debug	TORCH_TPU_LAUNCH_BLOCKING=1	Wartet auf jede Operation, um das Debugging zu erleichtern
DeferAndFuse	TORCH_TPU_DEFER_AND_FUSE=1	Bündelt Operationen; „50 % oder mehr schneller als Strict Eager“

Für mehr Tempo macht torch.compile(backend="tpu") aus einem Modell ein einziges TPU-Programm. Eigener Chip-Code lässt sich mit Pallas von JAX oder mit Helion schreiben. Der Blog nennt Integrationen mit vLLM, SGLang, TorchTitan, Ray und TorchRec. Laut dem Blog nutzen einige der größten Kunden von Google Cloud TorchTPU bereits in der Produktion.

Wie gut Modelle laufen

Bisher gibt es nur Zahlen aus Googles eigenen Tests. Der Blog meldet diese Ergebnisse:

Test	Ergebnis
Ausgeführte Hugging-Face-Modelle	4.917, aus über 500 Modellfamilien
Erste Teststufe bestanden	98 % (4.821 von 4.917)
Ausgabe stimmte mit einer GPU überein	97 % (638 von 657 geprüften)
Training von Qwen3 235B auf 64 TPU-v7-Chips	1.828 Tokens/s in PyTorch, gegenüber 1.937 in Googles JAX-Stack

Crypto Briefing zitiert Googles Angabe von 52 % Model FLOPs Utilization beim Training von Qwen 3 8B auf bis zu 8.192 TPU-v7x-Chips. Diese Kennzahl ist der Anteil der maximalen Rechenleistung eines Chips, den das Modell tatsächlich nutzt.

PyTorch/XLA wird eingestellt

Das PyTorch/XLA-Repository beginnt jetzt mit einem Hinweis: „Dieses Projekt ist veraltet und wird durch TorchTPU ersetzt.“ Weiter heißt es, das Repository „wird am 15. November 2026 archiviert“, womit es schreibgeschützt wird. Der Rat lautet, „neue PyTorch-TPU-Workloads mit TorchTPU zu beginnen und bestehende PyTorch/XLA-Workloads zu migrieren“. Die letzte stabile Installation, die es nennt, fixiert torch und torch_xla auf 2.8.0.

Am selben Tag ist Amazons TorchNeuron-Backend für seine Trainium-Chips in die öffentliche Beta gestartet und hat denselben XLA-Ansatz aufgegeben. Beide Cloud-Anbieter behandeln ihre KI-Chips jetzt als gewöhnliche PyTorch-Geräte.

Was das für Entwickler bedeutet

TorchTPU macht eine TPU zu einem weiteren Geräte-String, wodurch Googles Chips in denselben Preisvergleich wie GPUs rücken.

• Planen Sie den Ausstieg aus PyTorch/XLA jetzt. Nach dem 15. November nimmt das Repository keine Fixes mehr an. Fixieren Sie torch_xla 2.8.0 für laufende Jobs und testen Sie TorchTPU auf einer v6e-Maschine, die die README als einfachsten Einstieg empfiehlt.
• Prüfen Sie zuerst die 2 %. Googles eigener Test scheitert noch an etwa einem von fünfzig Modellen. Führen Sie einen kurzen Trainings- oder Inferenzjob mit genau Ihrem Modell aus, bevor Sie einen Umstieg planen.
• Planen Sie Zeit für eigene CUDA-Kernels ein. Handgeschriebener GPU-Code lässt sich nicht übernehmen. Er muss in Pallas oder Helion neu geschrieben werden, also kalkulieren Sie diese Arbeit ein.
• Fixieren Sie die Version. Dies ist Release 0.2.0. Legen Sie sie in Requirements-Dateien fest und prüfen Sie die Ergebnisse nach jedem Upgrade erneut.
• Messen Sie selbst. Jede Geschwindigkeitsangabe hier stammt von Google. Vergleichen Sie die Kosten pro Token mit Ihrer eigenen Workload, gegenüber GPUs und den Chips anderer Clouds.