本文共1916字
新創公司Skymizer(台灣發展軟體科技)從編譯器跨足LPU(語言處理器)推理加速器IP,被前科技部長陳良基大力稱讚,是台灣扮演「全世界AI模型服務供應商」跑得最快的一家,他們合作的第一批晶片預計在2025年首季量產,為何他們自傲比對手快一年以上?
回專題:AI晶片推手!IP股獲利揭祕
延伸閱讀
AI IP大進擊1/台灣IP有助力!護國神山罩、晶創計畫助攻
輝達董事長黃仁勳倡議要跟台灣合作打造AI Foundry (AI代工),加速推動全球AI普及,Skymizer也看到這樣的機會,他們開發的「ET2」LPU矽智財已經獲得客戶採用,協助將手上處理器多增加語言能力,能運行LLM(大語言模型)。
Skymizer從編譯器軟體起家,早期協助X86處理器效能優化,2018年跨入CNN(卷積神經網路)加速器IP,2022年開始研究LLM,在看到META在2023年發表LLaMA 大語言模型,不在資料中心也可以跑LLM後,「我們覺得機會來了!」Skymizer執行長唐文力說,他們立刻大轉向棄CNN投入LLM。
編譯器就是軟體版的CPU,兩者從演算法到架構都有相似之處,兩大處理器巨頭英特爾跟超微的主架構師過去都有編譯器背景,為提高運算效率及記憶體控制效率,CPU跟編譯器一直是互相搭配合作的關係,若能把一些編譯器功能搬移到CPU硬體去,幫助CPU具備AI演算法處理效能,使LPU能大量問世。
唐文力是Skymizer技術長,過去曾在Marvell及聯發科服務,帶領的技術團隊來自晶心科、Google、HTC、聯發科、Marvell、Yahoo。在此之前,合作的晶片商包括Habana Labs(被英特爾收購)、Annapurna Labs(被AWS收購)、聯詠及神盾等等,都是國際一線晶片大廠。
「我那時候花兩個月,把團隊拉進來,每天都在追最新的論文來看,那真是大爆發時期。」唐文力說,公司本來就會做晶片加速器IP,現在AI模型可以縮小,所需算力也縮小,公司就不一定要做資料中心等級晶片生意。
從編譯器軟體跨足IP(矽智財)產業,Skymizer主要是看到LLaMA問世後解放了LLM於裝置端運行的可能。以數量來說,未來裝置端的AI推論晶片量肯定比雲端更大,「推論晶片與訓練晶片將是17比1。」唐文力表示,推出後市場只有短暫的混亂,LLM市場就逐漸建立秩序,在LLaMA 2模型問世後,「我們稱為AI霸權時代結束,還好只有短短四個月。」唐文力說。
而由於編譯器需非常瞭解處理器架構,經過研究,Skymizer發現未來運行LLM晶片架構將有通用標準,讓團隊興起自行研發出IP的念頭,ET2(Edge Thought 2)就是第一款產品,每秒可以跑32個~1200個Token(符元),目前客戶已進入投片階段,預計最快2025年第一季度就能看到客戶晶片問世。
Transformer模型問世後,Skymizer發現CNN的未來不妙,全力轉向投入以Transformer模型為基礎的LPU 開發,「我們可能是極少數知道這個架構會長怎樣的人,與其等別人做出來,不如我們直接把它做出來。」唐文力說。
LLM的應用雖多元,但架構可以標準化,把這顆IP做出來,就能整合到各種SOC中讓晶片也能在地端跑LLM,目前他們第一個IP「ET2」最高可以支援70~130億參數的LLM模型。
唐文力表示,一顆IC的開發約18~24個月,從META去年7月發表LLaMA2為起算,客戶用ET2開發的晶片最快2025年首季可以問世,唐文力表示,團隊發現,LLM運算中最關鍵就是記憶體,CPU跟記憶體的運算速度調配是2:1甚至1:1,也就是對記憶體的速度是最大瓶頸,Skymizer則透過特殊記憶體廠商合作,以外部記憶體大頻寬加快LLM運算效率。
看好未來一個人平均身邊會有4.8台電腦,若每台都支援LLM市場需求將十分龐大,唐文力認為LLM未來不只扮演人類跟機器的溝通介面,也會是機器跟機器的溝通介面。
「你不狐疑為何AI現在都沒有在身邊發生嗎?」唐文力拋出提問,他表示,實際上是因為「目前沒有晶片」,因為LLM晶片最早出來的時間再快都是今年第3季度,實際上真正大量晶片上市時間應該是2025年第一或第二季度,屆時才有裝置可以用這些晶片做應用。
「明年上半年LLM地端應用會突然爆發出來!」唐文力指出,Skymizer不僅是第一批投入LPU IP的開發商,內部也早已投入次世代IP開發,他也看好這一波是台灣記憶體業者的機會。
企業專訪
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容
留言