本文共664字
輝達(NVIDIA)推出最新AI頂尖算力Blackwell GPU平台,Amazon網路服務(AWS)表示,雙方合作,將AWS在生成式AI創新推向新高度。AWS將提供基於NVIDIA Grace Blackwell GPU的Amazon EC2實例和NVIDIA DGX Cloud,以提高在數萬億參數LLM(大語言模型)上建構和運行推論的效能。
NVIDIA的超強運算晶片系統與AWS強大的Elastic Fabric Adapte(EFA)網路連接能力、高級虛擬化(Amazon Nitro System)和超大規模叢集(Amazon EC2 UltraClusters)等領先技術的結合,使得該平台在加速資源密集型、數萬億參數語言模型的推論工作負載方面實現了巨大進步。
在安全性方面,AWS的Nitro系統、AWS KMS、EFA加密和 Blackwell 加密的整合將為客戶提供對其訓練資料和模型權重的端到端控制,進而為客戶在AWS上的生成式AI應用程式提供更強的安全性。
AWS指出,Blackwell也加入了雙方合作的Project Ceiba,該專案專為NVIDIA自身的AI研發工作設計,是一台AWS上託管的採用DGX Cloud的AI超級電腦,搭載了20,736顆GB200 Superchips晶片,透過第四代EFA網路擴展,為每個Superchip提供高達800 Gbps的低延遲、高頻寬網路傳輸量,能夠提供414 exaflops的運算能力,與之前計畫在Hopper架構上建構的Ceiba相比,效能提升了六倍。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容
留言