Google Cloud 發布 Ironwood TPU 與全新 ARM 架構 Axion 虛擬機器

Google雲端人工智慧與基礎架構副總裁兼總經理Amin Vahdat、Google雲端運算與人工智慧基礎設施副總裁兼總經理Mark Lohmeyer在官方部落格宣布，功能最強、能源效率最高的第七代 TPU（ensor Processing Unit，張量處理器）「Ironwood」將於未來幾周內正式發布，是Google首款為AI推論打造的史上最強晶片，在訓練和推理工作負載方面較前一代提升四倍以上。

Google宣布推出三款基於客製化晶片打造的新產品，包括第七代 TPU，Ironwood將在未來幾周內正式推出，從大規模模型訓練、複雜的增強學習（RL），到高容量、低延遲的AI推論和模型服務，Ironwood是Google前最強大、最節能的客製化晶片。第二是全新ARM架構Axion執行個體N4A，是最具成本效益的N系列虛擬機器（VM）已推出預覽版。相較於當前同等級的x86虛擬機器N4A提供了高達2倍的性價比。第三款是C4A metal，是首款ARM架構裸機執行個體（bare-meta instance），即將推出預覽版。

Google今年4月在Google Cloud Next 25大會發表TPU「Ironwood」，每顆晶片在高峰可提供4,614 TFLOPS運算能力，驅動思考型（thinking）和推論型（inferential）模型。Google強調，在單一晶片叢集（POD）中擴展至9,216個晶片，透過突破性的晶片間互連（ICI）網路以 9.6 Tb/s速度串連，每一個FP8 ExaFLOPS 效能比競爭對手高出118倍。

除了Google的Gemini、Veo和Imagen在TPU上訓練，其轉投資的Anthropic更將使用多達100萬個TPU運行大模型Claude。

Ironwood效能功耗較前代產品Trillium提升二倍，採液冷解決方案，增加高頻寬記憶體（HBM）容量，每顆晶片提供192GB容量，是Trillium的六倍，可處理更大型的模型和資料集運算，減少頻繁的資料傳輸需求，Ironwood單顆晶片可達7.2Tbps，是Trillium的4.5倍。並以光路交換（OCS）技術透過充當動態架構，確保服務不間斷運作。

Google上周才發布財報，雲端業務爆炸式成長，營收年增33.5%達到152億美元，高於分析師預測的148億美元。 獲利35.9億美元遠超分析師預期。Google打鐵趁熱推出新晶片，認為AI邁向推理時代，工作負載的激增將使得對計算能力要求永無止境。