撰稿 | 清竹
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
2023年底，AI圈似乎已經(jīng)被“文生視頻”模型攻占了！
11月底 AI 文生視頻工具 Pika 1.0 橫空出世、風頭一時無兩，日前斯坦福大學 AI 科學家李飛飛團隊聯(lián)合谷歌推出AI 視頻生成模型 W.A.L.T（Window Attention ）繼續(xù)炸圈，近日，騰訊團隊帶著新作品來炸場了！
1、吊打黑馬AnimateDiff，實力碾壓
AnimateZero 是騰訊AI團隊發(fā)布的一款視頻生成模型，它通過改進預訓練的視頻擴散模型（Video Diffusion Models），將視頻生成當作一種零樣本的圖像動畫問題，能夠更精確地控制視頻的外觀和運動。
據(jù)介紹，該模型的效果秒殺 Animatediff，并且能夠更好地兼容現(xiàn)有的SD生態(tài)。口說無憑，先來看看 AnimateZero 生成的視頻效果如何？
AnimateZero 展示了在多個 T2I 模型上生成的個性化視頻。
比如由動漫人物的圖片生成的視頻，人物動作流暢，還融入了眼睛變色、頭發(fā)蓬蓬的小細節(jié)：
再看看自然景觀的生成，沙灘上浪花的涌動、煙花的絢爛綻放、閃電襲來的氛圍感，都有種身臨其境的感覺。
AnimateZero 還演示了一種通過插入文本嵌入來控制視頻的動態(tài)效果：由圖像生成視頻后，再增加如“快樂+微笑”、“憤怒而嚴肅”、“張開嘴”、“非常悲傷”等文本，視頻人物就能呈現(xiàn)對應的情緒和動作。
除了在現(xiàn)有模型上生成個性化視頻，AnimateZero 是如何“秒殺”AnimateDiff 的？
AnimateZero 方面表示， AnimateDiff （AD）的一種常見用途是協(xié)助 ControlNet (CN) 進行視頻編輯，但它仍然存在域間隙問題。AnimateZero （AZ）在這方面具有明顯的優(yōu)勢，即生成主觀質(zhì)量更高、與給定文本提示匹配度更高的視頻。
AnimateZero 官方也給出了視頻效果對比：根據(jù)原視頻生成在熔巖中游泳的女孩，AnimateDiff 的視頻畫面比較模糊，熔巖的效果幾乎看不出來，對比之下，AnimateZero 的視頻無論是與文本的契合度還是畫面的美感，明顯優(yōu)于AnimateDiff。
如果要將原視頻中的黑色汽車變成紅色呢？效果也顯而易見：
再來看看要求將原視頻變成在森林的草地上奔跑的小女孩，AnimateDiff生成的視頻既沒有呈現(xiàn)森林也沒有看到草地，只是在背景墻和小女孩的頭發(fā)上呈現(xiàn)一些綠色，這顯然不符合要求；而AnimateZero的效果就好多了，和主題詞完美契合。
2、AnimateZero 到底強在哪？
AnimateZero是一種基于視頻擴散模型的零樣本圖像動畫生成器。傳統(tǒng)的視頻擴散模型（VDM）存在以下幾個問題：
- 黑匣子：生成過程不透明
- 低效且不可控：要獲得滿意的結(jié)果，需要大量的試錯
- 域差距：受訓練期間使用的視頻數(shù)據(jù)集的域限制
AnimateZero 利用一種分步生成視頻的方法，將外觀和運動過程解耦，解決了傳統(tǒng)文本到視頻（T2V）擴散模型缺乏精確控制的問題。通過零樣本修改，還能將T2V模型轉(zhuǎn)換為I2V模型，使其成為零樣本圖像動畫生成器。
- 解耦：視頻生成過程解耦為外觀（T2I）和運動過程（I2V）
- 高效可控：T2I 生成相比 T2V 更加可控、高效，在 I2V 生成視頻之前可以獲得滿意的圖像
- 緩解域差距問題：可以微調(diào) T2I 模型的域以與實際域保持一致，這比調(diào)整整個視頻模型更有效
傳統(tǒng)視頻擴散模型（a) 和 AnimateZero 視頻生成模型 (b) 的對比
除了本身的創(chuàng)新之外，相比AnimateDiff，AnimateZero 有哪些優(yōu)勢呢？
- 更高的一致性：在文本描述與生成視頻之間，以及T2I（文本到圖像）域與生成視頻之間，AnimateZero展示了更高的一致性。
- 多樣化應用：相比于AnimateDiff，AnimateZero支持更廣泛的個性化圖像域，并且能夠在不同風格（如真實風格、動漫風格）中表現(xiàn)更好。
- 更強的動畫效果：在動畫質(zhì)量和風格一致性方面，AnimateZero優(yōu)于AnimateDiff，尤其在處理復雜運動和不常見對象時表現(xiàn)出更好的性能。
再完美的模型也會有它的局限性，AnimateZero的性能受限于其基礎(chǔ)模型AnimateDiff的運動先驗。對于一些復雜運動（如體育運動）或不常見對象的動畫，AnimateZero的表現(xiàn)可能不盡如人意。另外由于AnimateZero是基于AnimateDiff的改進，因此其性能和應用范圍受到基礎(chǔ)模型的限制。
3、AI視頻生成模型大爆發(fā)
1年以前，ChatGPT 以迅雷不及掩耳之勢席卷全球，為文本創(chuàng)作領(lǐng)域帶來重大的變革；一年后，文生視頻賽道已成爆發(fā)態(tài)勢，國內(nèi)外的玩家都紛紛“開卷”。
先看國外的科技巨頭：
11 月 3 日，Runway 宣布其 AI 視頻生成工具 Gen-2 更新，一周后，Runway 又發(fā)布運動畫筆功能，強化視頻局部編輯能力；
11 月 16 日，科技巨頭 Meta 推出了文生視頻模型 Emu Video，首先生成以文本為條件的圖像，然后生成以文本和生成的圖像為條件的視頻。
Stability AI 當然也毫不示弱。11 月 29 日，Stability AI 推出了名為 Stable Video Diffusion 的視頻生成模型，提供 SVD 和 SVD-XT 兩個模型。
更有最近火爆出圈的 AI 創(chuàng)企 Pika Labs 推出網(wǎng)頁版 Pika 1.0，直接甩出體驗鏈接引爆市場。
國內(nèi)方面，11月12日，中國科學院等機構(gòu)的研究者11 月 21 日提出了一個無需訓練的文本生成視頻框架 GPT4Motion；11 月 18 日，字節(jié)跳動推出了文生視頻模型 PixelDance，提出了基于文本指導 + 首尾幀圖片指導的視頻生成方法，使得視頻生成的動態(tài)性更強；12月1日，阿里的研究團隊提出新框架 Animate Anyone，支持從靜態(tài)圖像 AI 生成動態(tài)視頻；12月5日，美圖公司發(fā)布的 AI 視覺大模型 MiracleVision 的 4.0 版本，主打設計和視頻能力。
4、紛紛加碼，“開卷”背后有何玄機？
那么，AI視頻生成的技術(shù)和產(chǎn)品加速爆發(fā)，背后說明了什么？
從技術(shù)層面來看，文生圖和文生視頻的人工智能模型有較高相似性，文生圖的技術(shù)和經(jīng)驗可供文生視頻加以運用和參考是一個重要原因。
從市場情緒來看，近日95后女生以4人團隊打造Pika Labs，快速出圈刷屏，成立半年就獲得5500萬美元融資，估值2億美元。緊接著，也在A股上演了“父憑女貴”的戲碼，其父親所在的上市公司在這款工具爆火后連續(xù)收獲3個漲停。可見文生視頻領(lǐng)域的吸金能力空前巨大。
此外，國內(nèi)頭部企業(yè)的技術(shù)積累已經(jīng)具備條件。湖南大學信息科學與工程學院博士生導師、教授張大方分析稱，文生視頻的人工智能模型參數(shù)為10億級別至100億級別，國內(nèi)頭部企業(yè)已能熟練掌握上述技術(shù)。在加快改進模型、清洗學習數(shù)據(jù)、調(diào)整操作界面、優(yōu)化內(nèi)部參數(shù)的共同推動下，文生視頻技術(shù)已逐步克服諸多不足，并快速進入商業(yè)化應用。
同時，從應用角度方面來看，AI生成視頻的前景毋庸置疑，影視、游戲以及廣告等領(lǐng)域都是其落地的重要場景。艾媒咨詢CEO兼首席分析師張毅表示：“個性化的視頻制作更麻煩、成本更高，甚至超出了雇用程序員編程。不少行業(yè)都渴望有一款簡單的視頻生成工具。”
根據(jù)月狐iAPP統(tǒng)計的數(shù)據(jù)，從2022年Q2到今年6月，在移動互聯(lián)網(wǎng)的所有類別的APP中，短視頻的使用時長占比均高達30%以上，為所有類別中最高。這樣的需求，也一定程度表明在視頻制作領(lǐng)域蘊含著一個巨大增量的“蓄水池”。
客觀來看，雖然各大廠商企業(yè)競相加碼，但相關(guān)應用的優(yōu)化迭代速度和商業(yè)化進程都較慢，大公司與初創(chuàng)團隊勢均力敵，文生視頻應用的潛力還沒有徹底被開發(fā)。如何找到視頻生成時長、效果、成本之間的平衡點，這依舊需要在各自不斷的實踐中尋求最優(yōu)解。
參考鏈接：
https://vvictoryuki.github.io/animatezero.github.io/
https://www.chinaz.com/2023/1212/1582268.shtml
https://baijiahao.baidu.com/s?id=1785065486791669561&wfr=spider&for=pc
