1. Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model

我們提出了 Step-Video-T2V，這是個(gè)有 300 億參數(shù)的超厲害的文本到視頻預(yù)訓(xùn)練模型，它能生成有 204 幀那么長(zhǎng)的視頻內(nèi)容。為了做好視頻生成這個(gè)任務(wù)，我們專門設(shè)計(jì)了一個(gè)深度壓縮變分自動(dòng)編碼器，也就是 Video-VAE。它能把空間壓縮到 16x16，時(shí)間上壓縮 8 倍，還能保證視頻重建的質(zhì)量非常高。。

用戶要是輸入提示內(nèi)容，我們用兩個(gè)雙語文本編碼器來處理，不管是英語還是中文都沒問題。我們還通過 Flow Matching 訓(xùn)練了一個(gè)帶 3D 全注意力機(jī)制的 DiT 模型，它能把輸入的噪聲去掉，變成有用的潛在幀。另外，我們還用了基于視頻的 DPO 方法，也就是視頻 - DPO，這么做是為了減少視頻里的瑕疵，讓生成的視頻看起來畫質(zhì)更好。

我們還整理了詳細(xì)的訓(xùn)練策略，這里面的關(guān)鍵要點(diǎn)和一些發(fā)現(xiàn)也都能分享給大家。我們?cè)谛碌囊曨l生成基準(zhǔn) Step-Video-T2V-Eval 上測(cè)試了 Step-Video-T2V 的性能，結(jié)果表明，不管跟開源的還是商業(yè)的引擎比，它的文本轉(zhuǎn)視頻能力都是最牛的。要是大家想深入了解，我們會(huì)在https://github.com/stepfun-ai/Step-Video-T2V 分享 Step-Video-T2V 和 Step-Video-T2V-Eval 。

論文: ??https://arxiv.org/pdf/2502.10248??

2. Region-Adaptive Sampling for Diffusion Transformers

擴(kuò)散模型在生成任務(wù)中很受歡迎，但多次順序前向傳遞影響實(shí)時(shí)性能。此前加速方法因卷積 U-Net 結(jié)構(gòu)限制，無法利用圖像空間區(qū)域變化。

擴(kuò)散 transformer（DiTs）能靈活處理不同數(shù)量標(biāo)記，基于此我們提出無需訓(xùn)練的 RAS 采樣策略，它可根據(jù) DiT 模型關(guān)注點(diǎn)，動(dòng)態(tài)分配不同區(qū)域采樣比例。 我們發(fā)現(xiàn)模型采樣時(shí)聚焦語義重要區(qū)域，且這些區(qū)域連續(xù)性強(qiáng)。RAS 利用這一特性，只更新關(guān)注區(qū)域，其他區(qū)域用上一步噪聲更新，依據(jù)上一步結(jié)果確定關(guān)注區(qū)域，利用時(shí)間一致性。

在 Stable Diffusion 3 和 Lumina-Next-T2I 上測(cè)試，RAS 最高分別提速 2.36 倍和 2.51 倍，圖像質(zhì)量略有下降。用戶研究表明，RAS 生成質(zhì)量與人評(píng)估相當(dāng)，速度提升 1.6 倍。

論文: ??https://arxiv.org/pdf/2502.10389??

3. Large Language Diffusion Models

一直以來，大家都覺得自回歸模型（ARMs）是大語言模型（LLMs）的核心基礎(chǔ)。但今天我們提出了 LLaDA，這是一種擴(kuò)散模型，它不走尋常路，是從預(yù)訓(xùn)練和監(jiān)督微調(diào)（SFT）這個(gè)全新的范式出發(fā)，完全從頭開始訓(xùn)練的。

LLaDA 的原理其實(shí)不難理解，它通過正向的數(shù)據(jù)掩碼過程，還有一個(gè)反向過程來對(duì)分布進(jìn)行建模。這里面起關(guān)鍵作用的是一個(gè)基礎(chǔ) Transformer，它負(fù)責(zé)預(yù)測(cè)那些被掩碼的令牌。通過不斷優(yōu)化似然性邊界，LLaDA 提供了一種很靠譜的生成方法，能夠進(jìn)行概率推理。

在各種基準(zhǔn)測(cè)試中，LLaDA 的表現(xiàn)相當(dāng)驚艷。它展現(xiàn)出了強(qiáng)大的擴(kuò)展能力，直接超越了我們自己搭建的自回歸模型基線。更讓人意想不到的是，LLaDA 8B 在上下文學(xué)習(xí)方面，居然能和 LLaMA3 8B 這樣厲害的大型語言模型一較高下。而且在微調(diào)之后，從案例研究來看，它在指令執(zhí)行能力上，比如多輪對(duì)話，表現(xiàn)得非常出色。還有啊，LLaDA 還解決了反轉(zhuǎn)詛咒這個(gè)難題，在反轉(zhuǎn)詩(shī)歌完成任務(wù)中，連 GPT-4o 都不是它的對(duì)手。

論文: ??https://arxiv.org/pdf/2502.09992??

4. MM-RLHF: The Next Step Forward in Multimodal LLM Alignment

最近這些年，多模態(tài)大語言模型（MLLMs）確實(shí)取得了不小的進(jìn)步，好多模型的表現(xiàn)都挺厲害。不過呢，這里面其實(shí)有個(gè)問題，大部分先進(jìn)的模型都沒有好好地去和人類的偏好對(duì)齊。為啥會(huì)這樣呢？現(xiàn)在的對(duì)齊研究，主要是在一些特定的小領(lǐng)域有成果，像減少模型產(chǎn)生幻覺這方面，確實(shí)有進(jìn)展。但有個(gè)更重要的問題卻一直沒怎么被深入研究，那就是按照人類的偏好來調(diào)整模型，到底能不能讓MLLM的能力得到系統(tǒng)性的提升呢？

為了解決這個(gè)問題，我們提出了MM-RLHF數(shù)據(jù)集，這里面有12萬對(duì)經(jīng)過人工仔細(xì)標(biāo)注的偏好對(duì)比數(shù)據(jù)。和以前的那些數(shù)據(jù)集比起來，我們這個(gè)強(qiáng)太多了，數(shù)據(jù)量更大，涵蓋的范圍更廣，多樣性十足，質(zhì)量也特別高。

有了這個(gè)數(shù)據(jù)集，我們還提出了一些新點(diǎn)子。一方面，我們做了個(gè)基于批評(píng)的獎(jiǎng)勵(lì)模型。以前的獎(jiǎng)勵(lì)機(jī)制就只是給個(gè)簡(jiǎn)單的分?jǐn)?shù)，我們這個(gè)不一樣，在打分之前，會(huì)先對(duì)模型的輸出給出詳細(xì)的評(píng)價(jià)和建議。這樣一來，大家就能更清楚模型好在哪、不好在哪，反饋的信息也更有用。另一方面，我們還提出了動(dòng)態(tài)獎(jiǎng)勵(lì)縮放方法。簡(jiǎn)單來說，就是根據(jù)獎(jiǎng)勵(lì)信號(hào)的情況，靈活調(diào)整每個(gè)樣本的損失權(quán)重，這樣就能把那些高質(zhì)量的對(duì)比對(duì)利用得更充分。

為了驗(yàn)證這些方法好不好用，我們做了大量的測(cè)試。在10個(gè)不同的維度，還有27個(gè)不同的基準(zhǔn)測(cè)試?yán)铮紝?duì)我們的方法進(jìn)行了嚴(yán)格的評(píng)估。結(jié)果特別讓人驚喜，模型的性能有了明顯的提升，而且在各種測(cè)試?yán)锉憩F(xiàn)都很穩(wěn)定。就拿LLaVA-ov-7B這個(gè)模型舉例，用我們的MM-RLHF數(shù)據(jù)集和對(duì)齊算法對(duì)它進(jìn)行微調(diào)之后，它的對(duì)話能力提高了19.5%，安全性更是提升了60%。

論文: ??https://arxiv.org/pdf/2502.10391??

本文轉(zhuǎn)載自 ??AI-PaperDaily??，作者： AI-PaperDaily