谷歌首款AI推理特化版TPU芯片來了，專為深度思考模型打造。

代號Ironwood，也就是TPU v7，FP8峰值算力4614TFlops，性能是2017年第二代TPU的3600倍，與2023年的第五代TPU比也有10倍。

（為什么不對比第六代，咱也不知道，咱也不敢問。）

第七代TPU還突出高擴展性，最高配集群可擁有9216個液冷芯片，峰值算力42.5 ExaFlops，也就是每秒運算42500000000000000000次。

是目前全球最強超級計算機EL Capitan的24倍。

谷歌稱，AI正從響應式（提供實時信息供人類解讀）轉變為能夠主動生成洞察和解讀的轉變。

在推理時代，Agent將主動檢索和生成數據，以協作的方式提供洞察和答案，而不僅僅是數據。

而實現這一點，正需要同時滿足巨大的計算和通信需求的芯片，以及軟硬協同的設計。

谷歌AI芯片的軟硬協同

深度思考的推理模型，以DeepSeek-R1和谷歌的Gemini Thinking為代表，目前都是采用MoE（混合專家）架構。

雖然激活參數量相對少，但總參數量巨大，這就需要大規模并行處理和高效的內存訪問，計算需求遠遠超出了任何單個芯片的容量。

（o1普遍猜測也是MoE，但是OpenAI他不open啊，所以沒有定論。）

谷歌TPU v7的設計思路，是在執行大規模張量操作的同時最大限度地減少芯片上的數據移動和延遲。

與上一代TPU v6相比，TPU v7的高帶寬內存 (HBM) 容量為192GB，是上一代的6倍，同時單芯片內存帶寬提升到7.2 TBps，是上一代的4.5倍。

TPU v7系統還具有低延遲、高帶寬的ICI（芯片間通信）網絡，支持全集群規模的協調同步通信。雙向帶寬提升至1.2 Tbps，是上一代的1.5倍。

能效方面，TPU v7每瓦性能也是上一代的兩倍。

硬件介紹完，接下來看軟硬協同部分。

TPU v7配備了增強版SparseCore ，這是一款用于處理高級排序和推薦工作負載中常見的超大嵌入的數據流處理器。

TPU v7還支持Google DeepMind開發的機器學習運行時Pathways，能夠跨多個TPU芯片實現高效的分布式計算。

谷歌計劃在不久的將來把TPU v7整合到谷歌云AI超算，支持包括推薦算法、Gemini模型以及AlphaFold在內的業務。

網友：英偉達壓力山大了

看過谷歌最新TPU發布，評論區網友紛紛at英偉達。

有人稱如果谷歌能以更低的價格提供AI模型推理服務，英偉達的利潤將受到嚴重威脅。

還有人直接at各路AI機器人，詢問這款芯片對比英偉達B200如何。

簡單對比一下，TPU v7的FP8算力4614 TFlops，比B200標稱的4.5 PFlops（=4500 TFlops）略高。內存帶寬7.2TBps，比英偉達B200的8TBps稍低一點，是基本可以對標的兩款產品。

實際上除了谷歌之外，還有兩個云計算大廠也在搞自己的推理芯片。

亞馬遜的Trainium、Inferentia和Graviton芯片大家已經比較熟悉了，微軟的MAIA 100芯片也可以通過Azure云訪問。

AI芯片的競爭，越來越激烈了。