作者團隊介紹：本文作者主要來自騰訊 AI Lab，作者分別是曾愛玲，騰訊 AI 資深研究員；來自中科大的楊雨航，主要研究方向是人與物互動的理解與生成；陳衛(wèi)東，騰訊 AI 資深研究員；劉威，騰訊杰出科學家，IEEE fellow。

最近，騰訊 AI Lab 聯(lián)合中科大發(fā)布了一份針對類 SORA 視頻生成模型的測評報告，重點聚焦目前最前沿的類 SORA DiT 架構的高質量視頻生成閉源模型，產(chǎn)品以及部分開源模型評估，從技術上，這些模型相較于之前 Stable Diffusion 類的視頻模型不僅全面提升了畫質，還在動作自然度和多樣性、視覺 - 語言對齊以及控制精度上做出了顯著進步，測評涵蓋了從文生視頻（T2V）、圖生視頻（I2V）以及視頻到視頻（V2V）生成模型全面能力評估，甚至連前幾天剛更新的 pika1.5 特效以及 Meta 公布的 Movie Gen 都加進來了！

為了更加系統(tǒng)全面地測試，作者團隊從多個維度系統(tǒng)地設計了 700 多個生成提示詞和圖片，分別從 1) 視頻垂類場景，2) 多個客觀評價角度，3) 十大視頻應用場景以及用戶需求等角度，從基礎能力到應用和落地能力多方面進行了測試設計，評估了 13 個主流模型（包括 10 個閉源和 3 個最新開源模型），生成了超過 8000 個視頻案例，以多模型對比可視化地形式直觀展示生成效果，幫助大家更好地理解現(xiàn)在模型的能力與不足，作者強調需要關注各個維度的實際例子的比較，而不僅僅是一個數(shù)值指標。

圖一：視頻生成的多維度測評一覽

• 論文題目：The Dawn of Video Generation: Preliminary Explorations with SORA-like Models
• 論文鏈接：https://arxiv.org/pdf/2410.05227
• 網(wǎng)站鏈接：https://ailab-cvc.github.io/VideoGen-Eval/ 

這篇文章可以說是現(xiàn)階段視頻生成領域的一次全面梳理和深度評估。之前視頻生成測評報告里多用客觀數(shù)值指標來判斷模型的能力，但目前的自動化評估仍然難以完全反映模型的真實表現(xiàn)并且難以對齊人類偏好，同時測評的模型有較大的滯后性，且極少有生成視頻的案例梳理，難以體現(xiàn)視頻生成研究的前沿性。本文以最直觀的測評方式：把測評視頻公開，把答案交給讀者，強調了人眼觀感的重要性，讀者可以在網(wǎng)站上直接觀看并對比多個模型的生成結果來直觀感受。這種 “眼見為實” 的評估方式，也為行業(yè)帶來了更多的透明性和參考價值，給創(chuàng)作者實實在在帶來了更多參考來源。

研究的亮點之一在于對模型在垂直領域中的應用，包括以人為中心的視頻生成、機器人、動畫插幀、自動駕駛、世界模型、相機可控的視頻生成等領域的垂類模型的深入對比。

以下是部分提示詞測試結果展示：

文字提示詞：這是一個動畫視頻，中間有一個鏡頭，顯示一個棕色頭發(fā)的小男孩餓著肚子吃盤子里的雞蛋和熏肉。那男孩吃得又快又亂，把食物弄到臉上。

文字提示詞：三個人談笑風生，一起向右轉，然后右邊的兩個人蹲了下來，左邊的人指著右邊的兩人。

其次，用數(shù)百個提示詞測試視頻模型在文本對齊、視覺和動作質量、構圖美學、組合能力、鏡頭轉場、情感理解、穩(wěn)定性和創(chuàng)意等客觀視頻生成能力上的表現(xiàn)。

文字提示詞：相機保持靜止，男孩揮舞著棒球棍，把棒球打走了。

文字提示詞：展示世界上最具標志性的橋梁和高速公路，從金門大橋到中國長城。攝像機跟隨車輛穿過這些建筑，突出了它們的建筑輝煌和它們所連接的風景。使用無人機拍攝、路上拍攝和延時拍攝相結合的方式來捕捉這些基礎設施的運動和功能。

文字提示詞：一個人在網(wǎng)上收到負面反饋，導致他 / 她與焦慮和抑郁作斗爭。

文字提示詞：超市里的泰迪熊。相機正在逆時針移動。

文字提示詞：特寫鏡頭：濃郁的巧克力傾瀉而下。流動在傾倒時形成 “TME”。溫暖的燈光增強了光澤質感。慢動作捕捉到天鵝絨般的漣漪。隨著巧克力令人著迷的下降，相機開始拍攝。

文章的后半部分探討了使用場景（包括廣告電商、動漫、影視、短視頻、教育等十大場景）和新任務的探索，這不僅為學術研究提供了重要參考，也為實際視頻廣泛應用鋪平了道路。所有生成結果均公開，并將持續(xù)更新，成為新的視頻生成基準。

文字提示詞：這段視頻是一個靜態(tài)的中鏡頭，拍攝了一袋濃縮咖啡豆和一個裝滿咖啡的白色咖啡杯。當咖啡充滿杯子時，蒸汽開始上升。

深入比較了開源和閉源模型，目前開源模型的性能還遠遠不足，強調了差距尤其體現(xiàn)在訓練資源、模型規(guī)模、數(shù)據(jù)質量與數(shù)量等方面。最后，文章詳細列舉了視頻生成領域面臨的挑戰(zhàn)和介紹未來的研究方向，包括復雜動作理解與生成、概念理解、交互視頻生成、個性化生成、多語種文本生成、多模態(tài)視頻生成、以及提出持續(xù)可改進的視頻生成模型等前沿探索性問題。

文字提示詞：相機保持靜止，該男子用右手拿起桌子上的眼鏡。

注：目前圖生視頻，存在對輸入圖片的理解不足，以及生成動作困難等問題

文字提示詞：一支足球隊在贏得比賽后在球場上擠在一起、跳躍和歡呼的動態(tài)鏡頭。相機捕捉到了歡樂和友情。 

注：目前視頻生成對多人場景生成較差

總的來說，這篇報告不僅系統(tǒng)性地展示了 SORA 類模型的現(xiàn)狀，還提供了大量的視頻結果分析，特別是在不同場景中的應用表現(xiàn)和未來的研究挑戰(zhàn)方面。作者鼓勵社區(qū)利用這些公開資源進行深入研究，并通過直接觀察生成視頻，獲取更細致的理解，總結共性問題。隨著領域的快速發(fā)展，報告對未來的突破持樂觀態(tài)度，并承諾持續(xù)更新研究成果，探索更全面的定量評估方法，推動對視頻生成領域的更深刻理解。對于視頻生成領域的研究人員和開發(fā)者來說，這篇文章為理解模型的能力邊界、局限性以及未來的研究方向提供了寶貴的參考。

今年初伴隨著 Sora 的出現(xiàn)，也是視頻生成的元年。從本文的大量視頻來看，真的如題目所寫 “視頻生成的黎明時期”，尚有很多不足但這一年確實進展很快。我們也期待隨著技術的迭代進步，以語言交互的方式做視頻以及把創(chuàng)作視頻內容門檻降低，人人都能釋放更多創(chuàng)意和制作高質量視頻內容的時代終將到來，到那個時候也許會迎來新一輪 AIGC 生產(chǎn)革命。

回顧近期人工智能的發(fā)展，可以看到目前正處于規(guī)模化階段，各公司競相擴大模型規(guī)模，工程執(zhí)行成為主要任務。未來將進入以研究和創(chuàng)新為主導的第三階段，數(shù)據(jù)生產(chǎn)和模型評估將至關重要。單純出租模型的商業(yè)模式可能難以為繼，構建模型之上的應用程序和提供模型基礎設施將更有前景。

最后劃重點：為了方便研究人員和用戶更好地查看和對比，作者非常貼心地在網(wǎng)站中分別展示了一個視頻對比所有的模型以及單個模型單獨查看模式，一次看個夠！

（圖二、圖三、圖四參考原項目查看。）

圖二：一個視頻對比所有的模型的查看方式

圖三：網(wǎng)站貼心地準備了三大任務以及 12 個模型分別的查看入口

圖四：點擊每個模型的名字，就能單獨查看每個模型的視頻生成結果了！

針對本文測評的持續(xù)更新結果，作者建立了一個專業(yè)用戶交流群，歡迎感興趣的讀者加入。點擊以下鏈接訪問：

https://github.com/AILab-CVC/VideoGen-Eval/blob/main/docs/specifc_model/wechat.md