本文共805字
美國指控大陸模型透過「蒸餾」方式學習美國AI模型能力。字節跳動創辦人張一鳴反擊美方的不實指控，他罕見就模型研發路線表態強調，公司內部「拒絕蒸餾」，認為做模型應堅持長期主義，為長期目標犧牲一部分短期收益。
新浪科技報導，截至今年6月，字節跳動旗下豆包大模型每日平均Token使用量已突破180兆次，旗下火山引擎在公有雲大型語言模型服務市場占有重要地位，據推估，字節跳動大模型業務的年度經常性收入已達40億美元，超過大陸其他大模型公司總和。
澎湃新聞報導，張一鳴鮮少在旗下AI開發的Seed團隊會議上發言，但在AI競爭白熱化背景下他罕見發聲。有字節跳動內部人士透露，今年大陸競爭對手開源模型快速發展，給字節跳動帶來更大壓力。在近日內部會議中，張一鳴表示，做模型要堅持長期主義、延遲滿足感，而不是利用他人的輸出換取一時榜單排名，字節跳動「應該願意為長期目標犧牲一部分短期收益」。
字節跳動員工稱，Seed團隊內部關於是否應轉向蒸餾的爭論由來已久。今年，隨大陸競爭對手開源模型快速進步，尤其每當大陸有新的強大開源模型發布，相關討論再次升溫。蒸餾可節省大量訓練時間和算力成本，因為新模型可直接學習現有前沿模型的推理步驟，而不必完全依賴原始及篩選後的訓練資料。
報導指出，今年以來，大陸AI大模型競爭激烈，幾乎每隔數天就有新模型發布。隨著強大的開源新模型陸續推出，字節跳動內部關於是否採用蒸餾技術的討論升溫。
據了解，字節跳動內部對開源模型嚴禁蒸餾，甚至透過API檢測等方式，在內部加強相關限制。張一鳴認為，蒸餾會干擾真正意義上的長期技術突破。
此前，美國科技媒體The Information提到，字節跳動員工表示，字節跳動不願使用蒸餾，被視為其大型語言模型落後於大陸其他AI實驗室的原因之一。不過，報導也指出，字節跳動是大陸主要AI公司中，唯一一家大型語言模型幾乎全部採用專有模型（閉源模型）的企業，而其他同業則多專注於開源模型。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結；未經授權，請勿複製轉貼文章內容
留言