英特爾推出第三代Gaudi 3加速器 將打通生成式AI應用瓶頸

英特爾今日在2024願景日（Vision 2024）客戶暨合作夥伴大會上，推出第三代 Gaudi 3加速器，為企業生成式AI帶來效能、開放性和選擇，並揭露新的開放式可擴充系統、下一代產品和策略合作，以加速生成式AI的採用。英特爾強調，去年僅有10%的企業成功將生成式AI（GenAI）專案投入生產，預料在英特爾推出最新產品後，將解決企業在擴展AI計畫時所面臨的挑戰。

英特爾執行長基辛格（Pat Gelsinger）表示：「創新正在以前所未有的速度發展，且都需要晶片的助力，每家公司也正迅速地轉型為AI公司。英特爾在企業的各層面實現『AI無所不在』，從PC、資料中心到邊緣應用。我們最新的Gaudi、Xeon和Core Ultra平台提供一套全面且彈性的解決方案，以滿足客戶與合作夥伴不斷改變的需求，並充分利用未來的龐大機會將其盈利化。」

英特爾表示，企業正在尋求將生成式AI從小規模試驗擴展到生產。透過基於高效能、能源效率、成本效益的處理器如Intel Gaudi 3 AI加速器，打造可用的解決方案，不僅可以解決複雜性、碎片化等問題，還符合資料安全性和法規要求。

英特爾強調，第三代Gaudi 3 AI加速器，將透過乙太網路通用標準，連接數萬個加速器，為AI系統提供支援。與前一代產品相比，Intel Gaudi 3將BF16的AI運算能力提高4倍，並將記憶體頻寬提高1.5倍。Intel Gaudi 3 AI加速器將為尋求大規模布署生成式AI的全球企業，帶來AI訓練和推理方面的重大躍進。

英特爾的Gaudi強大之處，在具有70億和130億參數的Llama2模型及1750億參數的GPT-3模型上，Intel Gaudi 3的平均訓練時間將比Nvidia H100縮短50%。此外，在Llama 70億、700億參數以及Falcon 1800億參數模型中2，Intel Gaudi 3加速器的推理處理量，將比H100平均高出 50%，推理效能平均高出40%。

英特爾表示，Intel Gaudi 3提供開放、基於社群的軟體和符合業界標準的乙太網路，讓企業能從單一節點彈性延伸到數千個節點的叢集、超級叢集和巨型叢集，支援最大規模的推理、微調和訓練。

Intel Gaudi 3將於2024年第2季開始提供給OEM廠商， 包括戴爾科技、慧與科技、聯想和美超微等。