趨勢觀察／AI 新階段 系統協同最關鍵

進入AI新時代，安謀（Arm）雲端AI執行副總裁Mohamed Award表示，關鍵在於系統層。代理式AI需要系統層級的最佳化，但不同工作負載將需要不同架構。基礎設施建置者希望加快腳步，要達成這項目標，需要一個廣泛且緊密合作的生態系，在機櫃規模下整合各種需求。

機櫃整合 完善生態系

Mohamed Award指出，現在正跨越一個階段，也就是AI基礎設施的評估標準，不再只是模型能否展現特定能力，而是這些能力能否可靠、大規模地擴展，且以成本可行的方式提供。這項挑戰正形塑與雲端服務供應商、晶片合作夥伴及系統製造商的合作，要共同設計下一代AI基礎設施。

相關廠商需要在不預設電力、空間，或預算不受限制的情況下，處理更多推論工作，更重要的是打造能提供客戶可持續信賴價值的服務。要因應這項挑戰，基礎設施的設計方式也必須改變。產業關注焦點，正從晶片與伺服器進一步延伸至機櫃，並從個別元件轉向整體系統。

同時，Mohamed Award認為，目前可得出一項明確結論：AI基礎設施不會收斂為單一的通用設計。代理式AI需要系統層級的最佳化，但不同工作負載將需要不同架構。機會在於為生態系提供共同的基礎，同時讓合作夥伴能在最關鍵之處展現差異化。

處理器插槽與個別伺服器在運算架構中仍然相當重要，但已不足以完整理解現在的AI。在機櫃規模下，AI基礎設施建置者可以最佳化運算、記憶體、網路、電力與散熱在整套系統中的協同運作方式。這些機櫃將成為叢集、超級叢集，以及橫跨多個資料中心園區的AI部署基本組成單位。隨著代理式AI大幅提高運算需求，基礎設施必須持續維持更高的效率與使用率，同時控制成本。

Mohamed Award強調，隨著AI從提示與回應式互動，進一步演進為代理式工作流程，這種系統層級的觀點也變得更加重要。AI代理並非只是產生答案後便停止運作，系統必須彙整情境、選擇特定模型，挑選工具、儲存與擷取狀態、路徑請求，並觀察及評估結果。代理式AI讓系統協同設計成為必要條件，因為最高效率來自整體系統的協同運作，而不是經過個別最佳化的每一項元件。

這項演進也正在改變衡量AI基礎設施的方式。每秒詞元（token）數與模型延遲仍是重要指標，但它們無法說明AI代理是否已成功完成被交付的工作。使用者在意的是，任務是否正確完成，而基礎設施營運商在意的則是使用率、可靠性、能源消耗，以及交付成果所需的成本。系統建置者如今不再只關注單一模型的效能，而是進一步衡量如任務完成時間、每項成果的成本、使用率、可靠性，以及整個工作流程的能源效率等指標。

Mohamed Award提到，在資料中心規模下，看似微小的低效率會不斷累積。更完善的系統設計能提升使用率、縮短閒置時間，並在有限的電力與空間下實際完成更多工作。

以Arm來舉例，其平台涵蓋Arm的矽智財、運算子系統、合作夥伴設計的晶片，與Arm AGI CPU，並由開源代理式軟體堆疊提供支援。這讓合作夥伴可選擇希望在哪些部分展現差異化、要自行設計多少系統內容，以及希望以多快的速度推進產品開發流程。

差異服務 高度客製化

部分合作夥伴會針對特定工作負載或服務，打造高度客製化的晶片。其他合作夥伴則會採用運算子系統，加速整合，同時保留差異化空間。合作夥伴的晶片也將持續把專用功能帶入市場。Arm AGI CPU則為依據代理式AI需求設計的基礎設施，提供更快速的導入途徑。

Mohamed Award也說，由於工作負載、營運環境、商業模式與部署需求等差異很大，無法採用單一做法來因應所有情境，隨著AI基礎設施日漸專用化，雲端服務供應商、晶片合作夥伴、系統建置者與軟體開發者都需要具備足夠彈性，依據實際工作需求來打造基礎設施。

最後，Mohamed Award表示，基礎設施建置者希望加快腳步，要達成這項目標，需要一個廣泛且緊密合作的生態系，在機櫃規模下整合運算、網路、儲存、軟體、電力與散熱等需求，而這正是Arm與廣大的合作夥伴攜手打造的未來。