本文共1085字
開放原始碼軟體解決方案供應商 Red Hat 15日宣布推出 Red Hat AI 3,此平台匯集 Red Hat AI Inference Server、Red Hat Enterprise Linux AI(RHEL AI)與 Red Hat OpenShift AI 的最新創新成果,不僅能簡化大規模高效能 AI 推論的複雜流程,更賦能企業得以將工作負載更順暢地從概念驗證(PoC)推向生產環境,同時改善 AI 驅動應用程式的協作。
企業將 AI 從實驗階段推向實際應用時,往往面臨資料隱私、成本控管及多樣化模型管理等重大挑戰。根據麻省理工學院 NANDA 計畫的《The GenAI Divide: State of AI in Business》報告指出,儘管企業投資AI金額高達400億美元,仍有約 95% 的企業未能從中獲得可衡量的財務報酬。
為應對上述挑戰,Red Hat 推出 Red Hat AI 3,專為資訊長和 IT 主管提供一致且統一的體驗,協助他們最大化加速運算技術的投資效益。企業不僅能於跨混合式或多供應商的環境中快速擴展與部署 AI 工作負載,還能透過單一通用平台,提升團隊在新一代 AI 代理等專案上的協作效率。Red Hat AI 3 以開放標準為基礎,能滿足企業在 AI 發展過程中各階段的需求,支援任何硬體加速器上的任何模型且適用於各種環境,包含資料中心、公有雲、主權 AI 環境,抑或是最遙遠的邊緣端。
Red Hat 副總裁暨 AI 事業部總經理 Joe Fernandes 表示,當企業將 AI 的應用規模從實驗階段擴展至生產環境時,將會面臨複雜性、成本與控管上新一波的挑戰。Red Hat AI 3 作為企業級開放原始碼平台,正是為了將上述障礙降至最低。藉由 的分散式推論等創新功能為代理式 AI 奠定基石,IT 團隊得以更有自信地在任何基礎架構上,以自己的方式將新一代 AI 投入實際營運。
Red Hat指出,當企業將AI推向生產環境後,其重心將從模型的訓練與調校移轉至推論,亦即企業 AI 的「執行」階段。Red Hat AI 3 著重於可擴展且符合成本效益的推論能力,並結合 Red Hat 自身的模型最佳化技術,為大型語言模型(LLM)提供生產環境級的服務。
AI 代理(AI agents)即將顛覆應用程式的建構方式,其複雜的自動化工作流程將對推論能力帶來嚴苛的要求。Red Hat OpenShift AI 3.0 版本不僅強化推論能力,更帶來專注於代理管理的新版或強化功能,可望為可擴展的代理式 AI 系統奠定基礎。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容
留言