集 OpenAI 技術大成 短影片生成器 Sora 震撼全球

經濟VIP文章限時開放

Sora不是第一個能靠提示詞產出影片的生成器，這種AI模型2022年底就已出現，但Meta、Google、新創公司Runway等的首代影片生成器，易有故障雜訊，畫質也相當粗糙。此後技術突飛猛進，Runway去年發布的第二代模型，品質直逼大型動畫公司，不過多數影片的片長只有幾秒鐘。

Sora畫質細膩 具運鏡功力

相形之下，OpenAI表示，Sora能生成長達一分鐘的影片，範例影片的畫質精緻，細節栩栩如生，以Sora製作的東京街道短片為例，鏡頭從遠方拉近，跟隨一對情侶漫步在落櫻紛飛的小路。Sora之名來自日文，意思是天空。

Sora不只能依照提示詞生成影片，還初步掌握運鏡敘事的原理。另一段影片的提示詞是摺紙造型的海洋世界，裡頭有珊瑚礁，以及色彩繽紛的魚類和海洋生物。Sora研究人員皮伯斯指出，Sora透過運鏡角度和時間，展現敘事功力。他說：「鏡頭切換了好幾次，這些畫面不是被湊在一起，而是由模型一口氣生成。我們沒告訴Sora要這麼做，它卻自動辦到。」

儘管如此，Sora生成的影片絕非完美無缺，以東京短片為例，商店和車輛看來比人還小。此外，這些短片雖令人驚豔，但必定經過了精挑細選，以展現Sora的最佳能力。在缺乏更多資訊的情況下，難以確知這是否是Sora平時的產出水準。

OpenAI坦承，Sora苦於無法正確描繪複雜的場景，也不大了解因果關係。比方說有人咬了一口餅乾，但下個畫面中的餅乾，可能毫無咬痕。

集OpenAI科技大成

Sora是擴散模型（diffusion model），也就是另一種形式的生成式AI。運作方式為「摧毀」影像，把畫面變成無法辨識的像素，之後反向運作，把模糊不清、充滿靜態畫面的影片，打造成連貫影像。

OpenAI的文字轉圖片模型DALL-E 3也採用擴散模型，能將隨機的像素轉化為圖形。Sora團隊以此為基礎，但用影片取代靜態圖片，來打造Sora。不同於DALL-E和其他的短影片生成器，Sora的擴散模型還加入名為轉換器（transfromer）的神經網路。

轉換器擅長處理文字等長篇序列資料，這是大型語言模型ChatGPT4等的運作秘方。但影片不是由文字組成，研究者必須想辦法把短片切成一塊一塊，以便用相同方式處理。他們想到的辦法是依時間和空間來切割影片。研究者布魯克斯說，這就像是從一堆影片畫面中，切出一小塊。

Sora轉換器處理影像數據的方式，類似大型語言模型處理文稿中的單字。研究者說，和其他短影片生成模型相比，這讓他們能用更多種類的影片訓練Sora，影片的解析度、長度、長寬比、方向均不相同。

經過這些訓練後，Sora能接受用戶指示，從數據叢中打造出極度細緻的畫面。OpenAI宣稱：「這個模型不只了解使用者的提示詞要求，也明白這些物件以何種方式存在於實體世界。」

有望撼動短影音平台

Sora並未對大眾開放，目前僅限少數人使用，或許是因為今年是全球大選年，OpenAI不希望自家工具被拿去生成有害的深偽影片。部分用戶和專家正在對這個模型進行安全測試，包括視覺藝術家、設計師、製片等，目的是蒐集回饋，確保不會用於打造惡意內容、釀成紛爭。

影片生成器要威脅電影產業，恐怕還要很長一段時間。Sora不會以完全相同的方式回應提示詞，沒辦法把Sora生成的120個1分鐘短片串在一起，製作出有連貫性的電影。

然而，Sora之類的短影片生成器，可能會徹底改變TikTok、Reels等短影音平台。皮伯斯說，拍攝專業影片，需要許多昂貴設備，新模型將讓社群媒體上的一般人，也能拍出高品質的內容。