阿里開源電影級(jí)AI視頻模型！MoE架構(gòu)，5B版本消費(fèi)級(jí)顯卡可跑

2025-07-29 09:12:00

來(lái)自阿里，來(lái)自通義——通義萬(wàn)相Wan2.2。并且率先將MoE架構(gòu)實(shí)現(xiàn)到了視頻生成擴(kuò)散模型中，能夠?qū)崿F(xiàn)電影級(jí)效果。

電影級(jí)視頻生成模型來(lái)了。

嗯，依然發(fā)布即開源。

就在剛剛，阿里開源了新一代視頻生成模型王者通義萬(wàn)相Wan2.2，包括文生視頻、圖生視頻和混合視頻生成。

其中Wan2.2-T2V-A14B和Wan2.2-I2V-A14B是業(yè)界首個(gè)使用MoE架構(gòu)的視頻生成模型，可一鍵生成電影級(jí)質(zhì)感視頻；5B版本則同時(shí)支持文生視頻和圖生視頻，可在消費(fèi)級(jí)顯卡部署，也是目前最快的24fps、720P的基礎(chǔ)模型。

無(wú)論是對(duì)比自家上一代模型Wan2.1，還是視頻生成模型標(biāo)桿Sora，Wan2.2都明顯有更強(qiáng)勁的表現(xiàn)。

那么話不多說(shuō)，先看幾個(gè)官方demo嘗嘗鮮。

Wan2.2首先致敬了多部經(jīng)典電影，從科幻片到愛情片，Wan2.2都能1:1還原。

當(dāng)然也可以創(chuàng)作自己的原創(chuàng)電影，想象自己是帥氣的西部牛仔、沙漠中嗜血的孤狼。

仔細(xì)看，人物坐下時(shí)還能有極為真實(shí)的沙發(fā)回彈。

幻想題材也不在話下：

另外官方還做了部概念電影，點(diǎn)擊下方立馬大飽眼福～

難怪網(wǎng)友都直呼難以置信：

這么強(qiáng)還開源，一定需要用戶很強(qiáng)的電影技術(shù)功底吧？

No No No！Wan2.2只需要用戶自由選擇美學(xué)關(guān)鍵詞，就能輕松拍出王家衛(wèi)、諾蘭等名導(dǎo)的相同質(zhì)感畫面。

更流暢的復(fù)雜運(yùn)動(dòng)過(guò)程、更強(qiáng)的物理世界還原，電影工業(yè)要被重塑了…

操作簡(jiǎn)單但效果不簡(jiǎn)單

現(xiàn)在，用戶可直接通過(guò)通義萬(wàn)相平臺(tái)（官網(wǎng)和APP），就能立即上手體驗(yàn)，也可在GitHub、HuggingFace以及魔搭社區(qū)下載模型和代碼，具體鏈接指路本文末，都為大家準(zhǔn)備好了。

具體上手體驗(yàn)下來(lái)，就是操作簡(jiǎn)單，但效果非常不簡(jiǎn)單。

在Prompt前加入自己的喜歡的美學(xué)關(guān)鍵詞，就可以非常輕松地還原真實(shí)世界，多人互動(dòng)也不會(huì)出現(xiàn)明顯的動(dòng)作扭曲，鏡頭變化也相當(dāng)流暢。

從現(xiàn)實(shí)到虛擬的過(guò)渡也很自然，不會(huì)出現(xiàn)明顯的突兀感。

在視頻內(nèi)還可以編輯文字，提升畫面層次。

尤其是Wan2.2在光影上下足了功夫，影子的變換都足夠平滑。

另外，Wan2.2本次還支持ComfyUI，借助其自動(dòng)卸載功能，50億參數(shù)版本的顯存要求直接降低至8GB。

那么，具體是如何實(shí)現(xiàn)的呢？

首個(gè)MoE架構(gòu)的視頻生成模型

本次Wan2.2在模型架構(gòu)上，首次創(chuàng)新地將MoE架構(gòu)引入視頻生成。

要知道視頻生成模型目前面臨的最大瓶頸，就是在擴(kuò)展參數(shù)規(guī)模時(shí)，所涉及的token長(zhǎng)度遠(yuǎn)超文本和圖像。

而MoE架構(gòu)通過(guò)將復(fù)雜輸入拆分給多個(gè)專家模型分別處理，可實(shí)現(xiàn)在模型參數(shù)擴(kuò)充的前提下，不額外增加多余的計(jì)算負(fù)載。

傳統(tǒng)語(yǔ)言模型中MoE架構(gòu)是在Transformer的FFN層進(jìn)行多專家的切分，Wan2.2則根據(jù)擴(kuò)散模型的階段性降噪過(guò)程，利用信噪比將其分為高噪聲階段和低噪聲階段。

然后通過(guò)選擇900的去噪時(shí)間步，將模型分為高噪模型和低噪模型，輸入首先交由高噪專家模型負(fù)責(zé)前期去噪并構(gòu)建主體結(jié)構(gòu)，再經(jīng)過(guò)低噪專家模型進(jìn)行后期去噪生成細(xì)節(jié)。

引入MoE架構(gòu)后，Wan2.2擁有了最低的驗(yàn)證損失（Validation loss），即生成視頻與真實(shí)視頻之間的差異最小，質(zhì)量也最高。

相比于Wan2.1，本次模型在訓(xùn)練數(shù)據(jù)上也實(shí)現(xiàn)了顯著提升，其中圖像數(shù)據(jù)增加了65.6%，視頻數(shù)據(jù)增加83.2%。

其中更多的是集中在后期的美學(xué)數(shù)據(jù)上，引入專門的美學(xué)精調(diào)階段，通過(guò)顆粒度訓(xùn)練，讓模型能夠生成與用戶給定Prompt相對(duì)應(yīng)的美學(xué)屬性。

另外，模型在訓(xùn)練過(guò)程中還融合了電影工業(yè)標(biāo)準(zhǔn)的光影塑造、鏡頭構(gòu)圖法則和色彩心理學(xué)體系，將專業(yè)導(dǎo)演的美學(xué)屬性進(jìn)行分類并整理成美學(xué)提示詞。

因此用戶可自由選擇合適的提示詞組合，生成目標(biāo)視頻。

在訓(xùn)練后期，模型還通過(guò)RL微調(diào)，進(jìn)一步對(duì)齊人類審美偏好。

為了更方便地在消費(fèi)級(jí)顯卡上部署模型，5B版本采用自研的高壓縮比3D VAE結(jié)構(gòu)，在視頻生成隱空間中，分別在高度（H）、寬度（W）和時(shí)間（T）三個(gè)維度上進(jìn)行16x16x4的壓縮比，以減少顯存占用。

通過(guò)引入殘差采樣結(jié)構(gòu)和非對(duì)稱編解碼框架，可以在更高的信息壓縮率下依舊保持重建質(zhì)量領(lǐng)先。

電影級(jí)美學(xué)控制系統(tǒng)

Wan2.2還首次推出了電影級(jí)美學(xué)控制系統(tǒng)，將光影、色彩、鏡頭語(yǔ)言三大電影美學(xué)元素全部打包裝進(jìn)模型，用戶可直接通過(guò)選擇美學(xué)關(guān)鍵詞，就能獲取電影質(zhì)感的視頻畫面。

具體來(lái)說(shuō)，首先是將復(fù)雜的電影攝影技術(shù)轉(zhuǎn)化為12個(gè)美學(xué)維度，共計(jì)60多個(gè)專業(yè)級(jí)參數(shù)，包括：

光影氛圍塑造

可自由選擇不同時(shí)段的光線（如黃昏、黎明、夜晚），或者特定光源（如日光、人造光），也可以精準(zhǔn)控制光線的強(qiáng)度（柔光或硬光）和光線方向（頂光、側(cè)光等）。

也可以修改環(huán)境對(duì)比度高低，營(yíng)造出明暗對(duì)比氛圍。

鏡頭語(yǔ)言表達(dá)

可以調(diào)用多種構(gòu)圖法（如中心構(gòu)圖、對(duì)稱構(gòu)圖等），靈活選擇近遠(yuǎn)景或不同拍攝角度，精準(zhǔn)控制畫面焦點(diǎn)。

色彩情緒渲染

輕松切換色調(diào)溫度（暖色調(diào)或冷色調(diào)），傳遞不同情緒范圍，或者選擇不同程度的飽和度。

另外，模型還提供不同的鏡頭焦距（如廣角或長(zhǎng)焦等），以及不同類型的鏡頭（如單人鏡頭、雙人鏡頭等）。

因此用戶只需要在指令前添加以上美學(xué)關(guān)鍵詞前綴，模型就會(huì)自動(dòng)理解不同美學(xué)元素間的內(nèi)在聯(lián)系，并精確響應(yīng)用戶需求。

除美學(xué)控制外，本次Wan2.2也在復(fù)雜運(yùn)動(dòng)能力上有了大幅度提升，重點(diǎn)針對(duì)四類動(dòng)態(tài)表現(xiàn)能力進(jìn)行了優(yōu)化：

面部表情的細(xì)膩表達(dá)

Wan2.2構(gòu)建了人類面部原子動(dòng)作和情緒表情系統(tǒng)，不僅能生成常見的喜怒哀樂(lè)，還可以還原復(fù)雜微表情，如“強(qiáng)忍淚水時(shí)的嘴唇顫抖”、“羞澀微笑中的臉頰微紅”等。

提升手部運(yùn)動(dòng)的靈巧性

構(gòu)建了豐富的手部動(dòng)作系統(tǒng)，從基礎(chǔ)物理操作到專業(yè)領(lǐng)域的精密動(dòng)作范式都能夠輕松生成。

增加單人與多人交互

無(wú)論是單人表演還是多人復(fù)雜互動(dòng)，模型可理解角色間的位置關(guān)系、力量傳遞等，生成符合物理規(guī)律的動(dòng)作序列，避免人物穿模。

提升高強(qiáng)度復(fù)雜體育運(yùn)動(dòng)的穩(wěn)定性

對(duì)高速運(yùn)動(dòng)（如體操、競(jìng)技滑雪、花樣游泳等）中存在失真的情況，Wan2.2可以減少動(dòng)作扭曲，讓畫面保持動(dòng)感的同時(shí)兼具美感。

Wan2.2還擁有更為強(qiáng)大的復(fù)雜指令遵循能力，可以生成物理規(guī)律嚴(yán)謹(jǐn)且細(xì)節(jié)豐富的現(xiàn)實(shí)世界動(dòng)態(tài)表現(xiàn)，顯著提升視頻的真實(shí)感和可控性。

OMT

加上Wan2.2，本周阿里通義實(shí)驗(yàn)室已經(jīng)連續(xù)發(fā)布四項(xiàng)開源模型，包括之前的Qwen3-Coder、Qwen3-235B-A22B-Instruct-2507（非思考版）模型、Qwen3-235B-A22B-Thinking-2507推理模型。

截止到目前，Qwen系列模型的累計(jì)下載量已超4億次，衍生模型超14萬(wàn)，位居全球排名第一，構(gòu)建了強(qiáng)大的模型生態(tài)。

其中通義萬(wàn)相作為通義大模型旗下的AI繪畫創(chuàng)作模型，目前開源產(chǎn)品主要涵蓋生圖和生視頻兩大類，生視頻又可細(xì)分為文生視頻和圖生視頻，以及混合視頻生成。

從2月底發(fā)布的Wan2.1開始，通義萬(wàn)相陸續(xù)開源多款模型，例如首尾幀生視頻、Wan2.1-VACE，而Wan2.2則主要是在Wan2.1的技術(shù)模型上進(jìn)行迭代升級(jí)，預(yù)計(jì)后續(xù)通義萬(wàn)相還將繼續(xù)沖擊國(guó)產(chǎn)開源視頻生成寶座。