本文共668字
經濟日報 編譯吳孟真／綜合外電
OpenAI首席科學家帕喬基（Jakub Pachocki）發表長文警告，人工智慧（AI）能力正快速接近甚至超越人類，但安全、對齊與監控技術已開始跟不上，因此AI發展不能只追求速度。
帕喬基6日在《異類心智》（An Alien Mind）一文指出，推理型語言模型已快速進入經濟活動，推進科學研究，並能與人類及其他AI協作，但也帶來新的資安風險。
他說，OpenAI近年內部研究顯示，AI未來可能進入遞迴式自我改進（RSI），系統能力可望在未來幾年再度大幅躍升。他警告，沒人準備好面對機器智慧持續快速提升的後果，因此必須極度謹慎，並採取更廣泛介入措施。AI不必在所有能力上超越人類，只要在足夠多的重要領域勝出，就可能產生重大影響，而人類也愈來愈難準確掌握它究竟有多強。
AI研究的核心問題之一是「對齊」，也就是讓AI依人類標準努力做正確的事。但難題在於「泛化能力」（generalization）：AI進入不同於訓練環境的情境時，未必能可靠運用訓練時學到的價值。帕喬基指出，對齊技術未必能跟上模型能力成長。
OpenAI過去主要依賴「思考鏈監控」來驗證對齊技術的有效性，但隨著AI與人類、其他AI及工具互動日益複雜，且模型愈來愈能操控自身推理，這種監控方式的可靠性正在下降。未來AI發展速度可能取決於人類能多有把握地監控這些系統。
帕喬基說，透過持續開發更強AI來防禦其他AI的威脅，不能成為魯莽發展AI的藉口。他主張，一方面要讓對齊與監控技術跟上AI能力，另一方面則應在必要時放慢發展，直到安全措施更可靠，AI擴大規模的速度應受安全信心水準約束。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結；未經授權，請勿複製轉貼文章內容
留言