經濟日報 App
  • 會員中心
  • 訂閱管理
  • 常見問題
  • 登出

聯發科從「不會」到贏過 GPT 蔡明介為何堅持做 LLM?

聯發創新基地負責人 許大山博士(左二)、聯發創新基地 資深技術經理 陳宜昌(左一)、聯發科技 人工智慧暨數據工程處協理 葉家順(右二)、聯發科技 人工智慧暨數據工程處副處長 楊建洲 (右一)。聯發科提供
聯發創新基地負責人 許大山博士(左二)、聯發創新基地 資深技術經理 陳宜昌(左一)、聯發科技 人工智慧暨數據工程處協理 葉家順(右二)、聯發科技 人工智慧暨數據工程處副處長 楊建洲 (右一)。聯發科提供

本文共1757字

經濟日報 記者王郁倫/台北即時報導

「對於(營收)4,500億的公司來說,這是ESG的概念,即使收費也一點都不顯著。」聯發科(2454)人工智慧暨數據工程處副處長楊建州談到開發生成式AI服務平台「MediaTek DaVinci」(聯發科技達哥)及大語言模型(LLM)MR BreeXe背後的動機,除董事長蔡明介要求追求技術力,更希望台灣產業加速導入生成式AI。

聯發科9日發表450億參數的繁中語言模型MR BreeXe,為何這家IC設計公司堅持投資大語言模型LLM?聯發創新基地負責人許大山表示,董事長蔡明介曾說聯發科是一個以技術力為主,而不是以產品為主的公司,所以要做就做對世界有最重要影響的技術,以最好的人才去掌握,「而AI最重要的技術就是大語言模型」。

另外,聯發科運用「達哥」作為集團內部提高生產力的生成式AI工具平台已久,目前應用滲透率96%,跨部門生成式AI專案超過50個,88%使用同仁認同可以提升工作效率,從軟體開發需求分析、人資自動媒合、財務報銷都有用AI協助。

如今達哥變身成有40多家企業參與的開放平台生態系,能串接各家大語言模型如Anthropic公司Claude2/3、Google Vertex AI、Amazon Bedrock、微軟Cognitive AI、GPT3.5/4、DALLE3、及Google Gemini等,開放開發者上傳客製化外掛插件,成為百工百業都能應用的生成式AI工具平台,尤其是企業希望在「地端」使用生成式AI時,而目前國際開源大語言模型(LLM)可落地的選擇少,聯發科打造自有LLM就十分重要。

「在企業內部封閉環境,很多模型用不了,要就得自己下載去DIY,做得頭破血流,所以我們做了這個450億參數的模型,有很好的表現,看在這方面能不能幫大家一點?」許大山表示,MR BreeXe強調可以支援全地端或部分地端。

許大山透露,2年前聯發科決投入生成式AI,就是對標OpenAI,目標打造的大語言模型要成為繁中版GPT4。

聯發科這套LLM用輝達(NVIDIA)16台「DGX H100」AI系統,訓練歷時一個月,在繁中測試項目上表現超過GPT3.5。

許大山透露,2年前聯發科鎖定投入生成式AI時,同仁都不知怎麼做,「不會做,才更要做!」許大山指出,MR BreeXe不是聯發科最後一個大語言模型,「期望技術力能跟世界上最強的一樣強。」

不過,隨聯發科發布旗下大語言模型MR BreeXe,AI業者認為,該模型是基於Mixtral所開發,而Mixtral的弱點是呼叫外部功能能力不如OpenAI,後者目前是在功能呼叫上做得最好的,但若企業將生成式AI落地,則勢必是不能用OpenAI。

聯發科「MR BreeXe」是以Mixtral 8x7B模型為基礎去開發,具備Mixtral多專家模型的特色,運算資源節省,而聯發科又根據繁中進行優化,並導入生成式AI檢索增強生成(RAG)功能,可以讓企業在地端取用內部文件檔案協助工作,速度比Mixtral快,「我希望生成式AI可以普及台灣各產業,生成式AI是一個平台,聯發科已經做出來了,大家不要再花時間做。」許大山說。

而助攻聯發科訓練該大語言模型的夥伴是NVIDIA,NVIDIA去年在台灣設立「人工智慧創新研發中心」,去年底建置完成超級電腦「Taipei-1」後,建置64個DGX H100系統,而第一個從Taipei-1訓練出來的AI模型就是MR BreeXe,用掉系統資源1/4,凸顯聯發科與輝達關係密切。輝達的Taipei-1預計7月將釋出25%算力給一般企業團隊免費申請。

不僅輝達助攻,生成式AI服務應用平台「達哥」背後整合8個大模型服務,雲端服務由微軟Azure支援,聯發科很快將對外宣布達哥的服務方案,並透過協力系統整合商對外提供導入服務,目前系統整合商包括宏碁資訊、雲馥數位、賽微科技及緯創軟體。

意藍科技是AI語意分析、搜尋引擎、商業數據分析業者,在達哥平台上也推出相關應用。意藍策略行銷副總經理張建文表示,透過輿情資料庫開發出兩個小助理,一個是風向小精靈,另一個反向推出炎上小精靈,讓AI可以像幕僚一樣提前預警企業什麼事件可能會導致公司被「炎上」,聯發科透過廣邀開發者加入,在達哥平台推出並分享AI插件,未來商業模式將隨生態系逐漸豐富化進一步落實。

聯發創新基地負責人 許大山博士(左二)、聯發創新基地 資深技術經理 陳宜昌(左一...
聯發創新基地負責人 許大山博士(左二)、聯發創新基地 資深技術經理 陳宜昌(左一)、聯發科技 人工智慧暨數據工程處協理 葉家順(右二)、聯發科技 人工智慧暨數據工程處副處長 楊建洲 (右一)。聯發科提供

※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容

延伸閱讀

上一篇
首季全球前十大晶圓代工產值季減4.3% 中芯升第三
下一篇
好市多熱賣的鮮榨果汁!金利食安成立13年,如何從年營收不到百萬翻近6億,還征服長榮華航?

相關

熱門

看更多

看更多

留言

完成

成功收藏,前往會員中心查看!