PyTorch ist das Framework hinter den meisten KI-Modellen und wird nach manchen Schätzungen von 85 % der KI-Anwendungen genutzt. Es wurde mit Blick auf Nvidia-GPUs gebaut, ein Grund, warum Nvidias Griff auf KI-Rechenleistung so schwer zu lockern ist. Diese Woche haben sich die beiden größten Cloud-Anbieter gleichzeitig bewegt. Am 19. Oktober veröffentlichte Amazon TorchNeuron für seine Trainium-Chips, und am 20. Oktober gab Google auf der PyTorch Conference 2026 TorchTPU für seine Tensor Processing Units als Open Source frei, gemeinsam entwickelt mit Metas PyTorch-Team.
Was sich in Ihrem Code ändert
Beide Projekte docken über PyTorchs offizielle Schnittstelle für neue Hardware an, Tensoren bleiben also normale PyTorch-Tensoren. Für die meisten Modelle bedeutet der Wechsel auf eine TPU, das Gerät auszuwählen.
# pip install torch_tpu (on a Cloud TPU VM)
import torch
import torch_tpu # registers the "tpu" device
device = torch.device("tpu")
model = MyModel().to(device)
batch = batch.to(device)
loss = model(batch).loss
loss.backward()
# Optional: compile for extra speed
model = torch.compile(model, backend="tpu")import torch
device = torch.device("cuda")
model = MyModel().to(device)
batch = batch.to(device)
loss = model(batch).loss
loss.backward()
model = torch.compile(model)So funktioniert TorchTPU
- Strict-Modus (Standard)
- Führt jede Operation wie normales PyTorch aus, asynchron. Am einfachsten zu debuggen.
- Debug-Modus
- Synchron, mit Grenzprüfungen, um Fehler aufzuspüren.
- DeferAndFuse
- Bündelt Operationen, um Speicherverkehr zu reduzieren; Google meldet 15 % mehr Tempo im Fine-Tuning-Test und in manchen Fällen 50 % oder mehr.
- torch.compile(backend="tpu")
- Erfasst den ganzen Graphen und kompiliert ihn über OpenXLA zu TPU-Maschinencode, über Neustarts hinweg gecacht.
- Verteiltes Training
- DDP, FSDP2 und DTensor über eine TPU-Prozessgruppe, für gleiche und unterschiedliche Lasten.
- Eigene Kernel
- Pallas-, Tokamax- und Helion-Kernel, wenn handoptimiertes Tempo nötig ist.
Von Google gemeldetes TorchTitan-Beispiel. Sekunden pro Trainingsschritt.
TorchTPU, PyTorch/XLA und TorchNeuron im Vergleich
TorchTPU
Google-TPUs- Status
- Open Source, v0.2.0, Apache 2.0
- Chips
- TPU v5e und neuer, bis Ironwood
- Fühlt sich wie normales PyTorch an, standardmäßig Eager
- Unterstützung für vLLM, SGLang und Transformers (device_map="tpu")
Googles empfohlener Weg für alle neuen TPU-Projekte.
PyTorch/XLA
Google-TPUs, älter- Status
- wird durch TorchTPU ersetzt
- Zeichnet den Graphen verzögert auf, man muss also markieren, was kompiliert wird
- Unterstützt nur identische Arbeit auf jedem Chip
Planen Sie eine Migration, wenn Sie es heute nutzen.
TorchNeuron
Amazon Trainium- Status
- öffentliche Beta (Neuron 2.33)
- Chips
- Trainium 2 und Trainium 3
- Eager plus torch.compile über den Neuron-Compiler
- FSDP, DTensor, DDP und Tensor-Parallelismus; Bereitstellung mit vLLM Neuron
Amazon bringt außerdem Code in PyTorch ein, der es weniger an Nvidia bindet.
Lohnt sich der Wechsel?
- 1
Prüfen, was wirklich läuft
Fine-Tuning eines Hugging-Face-Modells oder Bereitstellung mit vLLM ist der einfachste Fall. Eigene CUDA-Kernel sind der schwierigste.
- 2
Dieselbe Aufgabe pro Chip bepreisen
Kosten pro Trainingsschritt oder pro Million ausgelieferter Token vergleichen, nicht den Stundenpreis.
- 3
Mit einer kleinen, echten Last beginnen
Einen Fine-Tuning- oder Inferenz-Job portieren und Tempo und Ergebnisse vergleichen.
- 4
Code portabel halten
Geräteunabhängigen Code und torch.compile nutzen, damit ein Chipwechsel eine Konfigurationsfrage bleibt.
Testen Sie Ihr Wissen
1/3Wie richtet man PyTorch-Code mit TorchTPU auf eine TPU aus?
TorchTPU dockt an PyTorchs offizielle Schnittstelle für neue Hardware an.
2/3Was passiert mit PyTorch/XLA?
Google empfiehlt TorchTPU für alle neuen TPU-Lasten.
3/3Auf welche Chips zielt TorchNeuron?
Es ist als Teil von Neuron 2.33 in öffentlicher Beta.
Sie haben 0 von 3 richtig.
Mehr für Python- und ML-Fachleute: Neu in scikit-learn 1.9, Python 3.15 und Apache Spark 4.2.
Quellen: MarkTechPost zu TorchTPU (20. Oktober 2026); TechCrunch, „Google has joined Amazon in attacking Nvidia's stronghold with AI app developers“ (20. Oktober 2026); das TorchTPU-README. Leistungsangaben stammen von Google; prüfen Sie vor der Installation die offizielle Dokumentation.
Alessandro Ecclesie AgazziGeschrieben von Alessandro Ecclesie Agazzi, Analytics Engineer in London. Aktualisiert am 21 Oktober 2026. Über mich