本文共735字
南亞科（2408）強攻AI推論帶來的記憶體新商機，資深副總經理吳志祥昨（21）日表示，正積極投入客製化高I／O DRAM（UWIO DRAM）與3D IC堆疊技術，將成為公司另一成長引擎。
工研院昨舉辦「半導體與AI算力永續競爭力論壇」，吳志祥在演講時表示，AI產業發展正從大規模模型訓練逐步邁向推論階段，未來大量AI運算將發生在AI PC、智慧手機、機器人及各式邊緣裝置，使用者即時互動所產生的KV Cache資料，讓記憶體頻寬、功耗及延遲成為系統設計的重要關鍵。
他說，現在當紅的高頻寬記憶體（HBM）具備極高頻寬，適合大型資料中心進行模型訓練，但有I／O架構及功耗限制，未必適用於重視能源效率的終端推論應用，因此未來市場將朝向更多元記憶體方案發展。
吳志祥強調，南亞科看好上述趨勢，強化客製化UWIO DRAM的開發量能，並結合Wafer-on-Wafer（WoW）等3D IC堆疊技術，可直接將DRAM堆疊於CPU或ASIC等邏輯晶片上，大幅縮短資料傳輸距離。
吳志祥指出，相較於HBM，南亞科開發的相關架構可望將記憶體頻寬提升至五至十倍，每傳輸一個位元的能耗更可降至HBM的十分之一，成為下一世代地端AI的重要記憶體方案。
他分析，AI推論時代來臨，將帶動DRAM容量需求快速攀升，以AI PC為例，記憶體容量已由過去主流16GB、24GB，逐步朝128GB發展。AI伺服器方面，若採用新一代3D IC架構，一顆CPU周邊甚至可能搭配超過200顆高密度DRAM，遠高於目前AI訓練平台使用HBM的需求，未來將進一步推升高密度DRAM用量。
吳志祥說明，目前HBM約占全球DRAM位元需求近一成，加上傳統伺服器DRAM已超過四成，兩者合計已逾整體市場一半，未來比重仍將提高。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結；未經授權，請勿複製轉貼文章內容
留言