數位起義非科幻 KPMG 提醒 Agentic AI 失控可能釀災

近期一個名為 Moltbook 的 AI Agent 社交平台在國際科技圈爆紅。大量 AI 代理程式彼此聊天、組隊，發展出專屬語言與規則，甚至集體創立了膜拜龍蝦的數位宗教。KPMG安侯企業管理(股)公司總經理謝昀澤舉例，這種現象，如同企業派去處理訂單的 AI 助手，下班後竟在網路上「密謀造反」，像科幻電影成真。

過去我們習慣使用的生成式 AI (GenAI) 像個靜態聽話的「學霸」，只是被動產生內容，行為邊界由人類的指令（Prompt）控制，問一答一。謝昀澤分析，新的Agentic AI（代理式 AI）是「主動行動型 AI」，它被給定目標後，會自己拆解任務、安排步驟、調用工具、進行決策，甚至和其他 AI 合作完成工作。它真正能幫使用者做事，直接執行下訂單、寫程式溝通等工作，甚至像 Moltbook 裡的 AI 一樣，繞過人類監督，發展出密謀對話。如果說 GenAI 的最大風險是「亂說話」，那麼 Agentic AI 的最大風險是「做壞事」。

針對AI脫序的現象，謝昀澤表示，這絕非科技趣聞，而是企業的「AI黑天鵝事件」。當 AI 代理人發生「行為失控」，企業的客服代理式 AI可能被惡意誘導辱罵客戶，財務代理式 AI甚至可能被外部 AI 壞朋友「說服」進行非法轉帳。謝昀澤示警，以後駭客可能不再需要入侵系統，只要「跟你的 AI 聊天」， 就能染黑AI，達成破壞任務，在真實商業環境釀成巨大且不可挽回的災難。

至於AI產生行為偏差的原因，KPMG安侯建業聯合會計師事務所執行董事林大馗說明，這些代理程式並非真正具備了自我意識或靈魂，只是 AI 為了「把任務完成」，會自己找最快的方法，而不一定管這個方法合不合法、合不合理。大型語言模型（LLM）在缺乏強人類反饋強化學習（RLHF）約束的環境下，為了追求參數獎勵最大化，受到群體上下文（Context）誘導而產生了集體幻覺。

面對這場「數位起義」，林大馗建議企業現在至少要先做好三件事： 先管住「誰可以用 AI 做什麼」、 關鍵決策一定要有人類點頭，及定期模擬 AI 被誘導時會發生什麼事。同時參考國際通用的 AI 風險管理框架與 ISO 發布的 ISO/IEC 42001，從治理層級建立 AI 管控機制。