本文共484字
經濟日報 記者蕭君暉／台北即時報導
東擎（7710）與群聯（8299）宣布展開策略合作，透過由群聯 aiDAPTIV 技術驅動的新世代 AI 記憶體擴充架構，加速大規模本地 AI 部署。結合東擎科技AI BOX-A395 與群聯 aiDAPTIV 技術，可在僅需 64GB 系統記憶體的條件下，搭配高達85GB的aiDAPTIV Cache Memory，即可在本地運行高達 120B 參數的大型語言模型（LLM），相較傳統架構最高可降低約 50% 記憶體需求，大幅降低邊緣 AI 部署門檻。
雙方展示此應用，使大型 LLM 可於本地端穩定運行，呈現高效流暢的邊緣 AI 應用體驗。此合作打造的新一代邊緣 AI 架構，不僅有效降低總體擁有成本（TCO）、提升推論效能，更能在精巧的邊緣裝置上運行更大型 AI 工作負載。該突破將進一步強化東擎科技邊緣AI平台的大型本地 LLM 部署能力，提升企業與工業AI應用的彈性與擴展性。
此外，東擎科技亦將透過 AI-Pathfinder 工具提供經驗證的群聯 aiDAPTIV 最佳化配置，協助客戶依據不同工作負載需求與部署場景，快速找到最適合的 AI 系統配置方案。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結；未經授權，請勿複製轉貼文章內容
留言