美光推全球首款高容量256GB LPDRAM SOCAMM2 資料中心基礎架構

記憶體大廠美光科技今日宣布開始正式向客戶送樣業界最高容量的 LPDRAM 模組256GB SOCAMM2，進一步鞏固其在低功耗伺服器記憶體領域的領先地位。此一里程碑由業界首款 32Gb LPDDR5X 單晶粒設計推動，為 AI 資料中心帶來變革性的重大突破，提供足以實現全新系統架構的低功耗記憶體容量。

美光表示， 256GB SOCAMM2 已進入客戶送樣階段，並提供業界最完整的資料中心 LPDRAM 系列產品，涵蓋 8GB 至 64GB 元件及 48GB 至 256GB SOCAMM2 模組。

AI 訓練、推論、代理式 AI 與通用運算的融合，正推動更嚴苛的記憶體需求，並重塑資料中心的系統架構。現代 AI 工作負載推動大型模型參數、龐大的上下文視窗及持久性關鍵價值（KV）快取的需求，而核心運算則持續在資料密集度、並行處理和記憶體使用量方面不斷攀升。

面對上述工作負載，記憶體容量、頻寬效率、延遲表現和能源效率已成為系統層級的主要瓶頸，直接影響效能、可擴充性和總體擁有成本。LPDRAM 憑藉上述特性的獨特優勢，使其在日益受限於功耗與散熱條件的資料中心環境中，成為 AI 及核心運算伺服器的關鍵解決方案。 美光正與 NVIDIA 攜手合作，共同設計先進記憶體解決方案，以滿足先進 AI 基礎架構的需求。

美光雲端記憶體業務部門資深副總裁暨總經理 Raj Narasimhan 表示：「美光 256GB SOCAMM2 為 AI 與高效能運算提供最具能源效率的CPU附加記憶體解決方案。此次產品發佈充分展現美光在技術與封裝領域的突破，打造業界容量最高、功耗最低、規格尺寸最小的模組化記憶體解決方案。美光在資料中心低功耗記憶體解決方案領域持續保持領先地位，使我們具備獨特優勢，率先推出 32Gb LPDRAM 單晶粒，協助推動業界加速採用更節能、更高容量的系統架構。」

美光強調這是一款為AI 伺服器擴充的記憶體容量的產品，包括256GB SOCAMM2 較前一代最高容量 192GB SOCAMM2 提升三分之一的容量，為每顆 8 通道 CPU 提供 2TB 的 LPDRAM，適用於更大的上下文視窗和複雜的推論工作負載。

另外就是功耗更低，規格尺寸更小：SOCAMM2 的功耗僅為同級 RDIMM 的三分之一，同時僅使用三分之一的規格尺寸，有效提升機架密度並降低總體擁有成本。

再者它能大幅提升推論和核心運算效能。在整合記憶體架構中，與現有的解決方案相比，可將長上下文即時 LLM 推論中首個 token 的生成時間提升 2.3 倍。

還有它採用模組化設計提升可維護性和可擴充性。可提升可維護性，支援液冷式伺服器架構，並可隨著 AI 和核心運算記憶體需求持續成長，實現未來容量擴充。