PyTorch è il framework dietro la maggior parte dei modelli AI, usato da circa l'85% delle applicazioni AI secondo alcune stime. È nato pensando alle GPU Nvidia, uno dei motivi per cui il dominio di Nvidia sul calcolo AI è così difficile da scalfire. Questa settimana i due maggiori fornitori cloud si sono mossi insieme. Il 19 ottobre Amazon ha rilasciato TorchNeuron per i suoi chip Trainium e il 20 ottobre, alla PyTorch Conference 2026, Google ha reso open source TorchTPU per le sue Tensor Processing Unit, sviluppato insieme al team PyTorch di Meta.
Cosa cambia nel tuo codice
Entrambi i progetti si collegano a PyTorch tramite la sua interfaccia ufficiale per nuovo hardware, quindi i tensori restano normali tensori PyTorch. Per la maggior parte dei modelli, passare a una TPU significa scegliere il dispositivo.
# pip install torch_tpu (on a Cloud TPU VM)
import torch
import torch_tpu # registers the "tpu" device
device = torch.device("tpu")
model = MyModel().to(device)
batch = batch.to(device)
loss = model(batch).loss
loss.backward()
# Optional: compile for extra speed
model = torch.compile(model, backend="tpu")import torch
device = torch.device("cuda")
model = MyModel().to(device)
batch = batch.to(device)
loss = model(batch).loss
loss.backward()
model = torch.compile(model)Come funziona TorchTPU
- Modalità Strict (predefinita)
- Esegue ogni operazione come normale PyTorch, in modo asincrono. La più facile da debuggare.
- Modalità Debug
- Sincrona, con controlli sui limiti, per trovare gli errori.
- DeferAndFuse
- Raggruppa le operazioni per ridurre il traffico di memoria; Google riporta un 15% in più di velocità nel suo test di fine-tuning, e il 50% o più in alcuni casi.
- torch.compile(backend="tpu")
- Cattura l'intero grafo e lo compila tramite OpenXLA in codice macchina per TPU, con cache tra i riavvii.
- Addestramento distribuito
- DDP, FSDP2 e DTensor tramite un process group per TPU, per carichi identici e divergenti.
- Kernel personalizzati
- Kernel Pallas, Tokamax e Helion quando serve velocità ottimizzata a mano.
Esempio TorchTitan riportato da Google. Secondi per step di addestramento.
TorchTPU, PyTorch/XLA e TorchNeuron a confronto
TorchTPU
TPU di Google- Stato
- open source, v0.2.0, Apache 2.0
- Chip
- TPU v5e e successive, fino a Ironwood
- Sembra PyTorch normale, eager di default
- Supporto per vLLM, SGLang e Transformers (device_map="tpu")
La strada consigliata da Google per tutto il nuovo lavoro su TPU.
PyTorch/XLA
TPU di Google, più vecchio- Stato
- in fase di sostituzione con TorchTPU
- Registra il grafo in modo "lazy", quindi devi indicare cosa compilare
- Supporta solo lavoro identico su ogni chip
Pianifica una migrazione se lo usi oggi.
TorchNeuron
Amazon Trainium- Stato
- beta pubblica (Neuron 2.33)
- Chip
- Trainium 2 e Trainium 3
- Eager più torch.compile tramite il compilatore Neuron
- FSDP, DTensor, DDP e tensor parallelism; serving con vLLM Neuron
Amazon sta anche portando nel progetto PyTorch codice che lo rende meno legato a Nvidia.
Conviene spostarsi?
- 1
Guarda cosa esegui davvero
Fare fine-tuning di un modello Hugging Face o servirlo con vLLM è il caso più semplice. I kernel CUDA personalizzati sono il più difficile.
- 2
Calcola il prezzo dello stesso lavoro su ogni chip
Confronta il costo per step di addestramento o per milione di token serviti, non il prezzo orario.
- 3
Parti da un carico piccolo ma reale
Porta un job di fine-tuning o di inferenza e confronta velocità e risultati.
- 4
Mantieni il codice portabile
Usa codice indipendente dal dispositivo e torch.compile, così cambiare chip resta una questione di configurazione.
Verifica cosa hai capito
1/3Come si indirizza il codice PyTorch verso una TPU con TorchTPU?
TorchTPU si collega all'interfaccia ufficiale di PyTorch per il nuovo hardware.
2/3Cosa succede a PyTorch/XLA?
Google consiglia TorchTPU per tutti i nuovi carichi su TPU.
3/3Quali chip supporta TorchNeuron?
È in beta pubblica come parte di Neuron 2.33.
Hai risposto correttamente a 0 domande su 3.
Altro per chi lavora con Python e ML: le novità di scikit-learn 1.9, Python 3.15 e Apache Spark 4.2.
Fonti: MarkTechPost su TorchTPU (20 ottobre 2026); TechCrunch, "Google has joined Amazon in attacking Nvidia's stronghold with AI app developers" (20 ottobre 2026); il README di TorchTPU. I dati di prestazione sono di Google; controlla la documentazione ufficiale prima di installare.
Alessandro Ecclesie AgazziScritto da Alessandro Ecclesie Agazzi, analytics engineer a Londra. Aggiornato il 21 ottobre 2026. Chi sono