本文共789字
NAND Flash 控制IC廠群聯(8299)日前於國立陽明交通大學舉辦生成式AI的落地解決方案發表會,參加的同學在會後於網路上分享心得,大讚作為一個處於有在設計語言模型的研究生來說,得到極具啟發性的資訊。
群聯曾說,在 ChatGPT 等超大型AI模型的興起,帶動AI人工智慧於未來可能輔助企業與個人的無窮想像空間,也因為AI模型的成長速度極快,導致提供AI服務的硬體建構成本大幅提升,其主要原因為現行AI模型主要運行於 GPU 與 DRAM 當中,但未來AI模型的成長速度將遠超過 GPU 與 DRAM 可供給的量。
根據微軟研究報告指出,AI模型的成長速度將會是 GPU 卡中的 DRAM 成長速度的200倍,換言之,現行的AI運算硬體架構成長速度可能已無法滿足AI應用的需求。
據悉,群聯自主研發的AI人工智慧運算服務「aiDAPTIV+』」,是透過群聯獨創整合 SSD 的AI運算架構,將大型AI模型做結構性拆分,並將模型參數隨應用時間序列與 SSD 協同運行,以達到在有限的 GPU 與 DRAM 資源下,最大化可執行的AI模型,預計能有效降低提供AI服務所需投入的硬體建構成本。
群聯將相關知識往下扎根,先前在國立陽明交通大學舉辦生成式AI的落地解決方案發表會,有一名在做語言模型的研究生,於網路上指出,在聽完發表會後,這樣一個解決訓練大型語言模型受硬體規格限制的創新方案,對他來說,獲得了具啟發性的資訊。
該研究生說明,在過去的實驗中,他經常遭遇到硬體規格不足的限制,使得他難以訓練更大的語言模型,不過此次群聯的發表會上,提供他許多的思路和解決方案,特別是成本更低、更有效率的硬體構想,這讓他期待未來能夠以更合理的成本配置硬體,訓練像 LLaMA-13b 這樣的大型語言模型。
換言之,意味著實驗室無需投入高昂的成本購買 A100等硬體,仍能擁有專業且具有成本效益的配置。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容
留言