简介
10月20日，在PyTorch Conference 2026上，谷歌宣布TorchTPU正式开源。这是谷歌与Meta PyTorch团队共同开发的原生TPU软件栈，目标很明确：让现有PyTorch模型用最少代码改动就能跑在谷歌TPU上。TPU由此正式成为PyTorch的原生硬件选项之一，与GPU、CPU并列。
核心功能：改动到底有多小
官方给的最小示例几乎不像迁移：把.to("cuda")改成.to("tpu")。在Hugging Face Transformers v5里，部署到TPU只需要device_map="tpu"这一个参数。
- 调试到生产的路径：先用eager模式调试模型，再通过torch.compile优化TPU利用率和内存开销。
- 算子覆盖：支持约450个ATen算子。团队自测中，4917个Hugging Face模型有4821个（98%）能跑通不崩，657个架构代表模型有638个（97%）与GPU在数值阈值内一致。
- 生态接入：vLLM（与Inferact合作原生后端）、SGLang（与RadixArk合作）、llm-d 1.0（与红帽、IBM及500+贡献者、25家机构）、TorchTitan训练、VeRL强化学习后端、Ray，以及LiteRT端侧推理。
详细分析：为什么这件事不好做
过去PyTorch用户想用TPU，走的是PyTorch/XLA这条路——需要侵入式改源码，且缺少eager执行，调试体验很差，迁移成本高到足以劝退绝大部分团队。TorchTPU从2025年中启动，选择重做成原生PyTorch后端，而不是继续打补丁，这个路线的选择本身就说明了谷歌的决心。
训练侧的数据值得一看：TorchTitan与TorchTPU的生产级集成已在8000颗Ironwood TPU（TPU v7x）上完成验证，Qwen3-8B训练测试中模型浮点运算利用率（MFU）最高达52%，并在最多8192颗芯片上保持接近线性的扩展。推理侧，印度AI公司Zenteiq.ai在1000颗TPU v6e上，日生成Token数从14.7亿提升到59.7亿，整体吞吐提升超4倍。谷歌还引用SemiAnalysis的InferenceX基准称，TPU v7配vLLM-TorchTPU栈可做到每百万token 2.01美分，比9月首次亮相时的3.6美分近乎腰斩。
Meta的表态也很有意思。PyTorch工程总监Jana van Greunen说得很直接："Meta不能在单一硬件架构上受限。"注意，Meta并没有披露任何TPU采购或租赁协议——它要的是选择权，而不是站队。
需要注意的水分
- 模型覆盖率、性能、成本数字全部来自谷歌和TorchTPU团队自测，InferenceX那条还是谷歌引用SemiAnalysis，并非独立复现。
- "改一行就能跑"≠"改一行就能跑得快"。模型的shape、sharding和算子多半是按GPU调的，峰值性能仍需针对性调优。
- 同日亚马逊的TorchNeuron（Trainium原生PyTorch后端）也进入公测。目前没有第三方基准把两者放在一起比。
优缺点
- 优点：迁移成本大幅下降、训练推理工具链完整、Hugging Face原生支持、硬件选择权回到开发者手上。
- 不足：性能与成本数据缺乏第三方验证；深层调优门槛仍在；TPU仍是云上资源，无法像GPU那样自购部署。
适合人群与总结
已经在用PyTorch、又被GPU价格和供给卡住的大模型团队，TorchTPU值得认真评估；个人开发者先等社区实测更稳妥。同期亚马逊也在做同样的事，说明"逃离单一硬件绑定"已成为行业共识。相关阅读：英伟达DSX POD解读。开源地址见TorchTPU工具页。