字節憋大招，中國版Sora該有的樣子！ 原創
編輯 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
字節終于又跳動了一把！昨天，字節豆包大模型冷不防就公開了一個新品大招！
9月24日，深圳。字節對于大模型領域的雄心壯志再度升級，不等OpenAI的Sora發布，視頻生成領域，字節要當No.1。
字節就是這樣，總在看似尋常的更新會議上，放出驚艷的大招！
劃重點：不負大家對于字節的期待，全新的豆包視頻生成模型實在威力驚人，活動現場非常火爆！
圖片
巡展開始，火山引擎總裁譚待宣布了豆包大模型家族的新成員——全新發布豆包·視頻生成模型、以及豆包·音樂模型、豆包·同聲傳譯模型、豆包通用模型pro 和文生圖模型、語音合成模型等垂類模型大幅升級。這也宣告了字節在大模型領域，正式角逐AI視頻生成賽道。
可以這樣形容，即便是Sora、可靈，都要讓出王座！
一、字節版Sora，重新定義中國視頻大模型
此次全新發布的豆包視頻生成模型有兩款：PixelDance、Seaweed。活動現場展示的視頻生成效果令人驚嘆。無論是語義理解能力，多個主體運動的復雜交互畫面，還是多鏡頭切換的內容一致性，豆包視頻生成大模型均達到業界先進水平。火山引擎總裁譚待表示，“視頻生成有很多難關亟待突破。豆包兩款模型會持續演進，在解決關鍵問題上探索更多可能性，加速拓展AI視頻的創作空間和應用落地。”
此前視頻生成模型雖然逼真，但看多了就會發現不少雞肋之處：只能完成簡單指令、多主體交互容易變形、運鏡延伸時一致性差等等。
這次字節的豆包視頻生成模型一次打包全部搞定了這些難題，該模型不僅能夠深度理解并響應復雜指令，驅動不同人物角色完成一系列精細的動作互動，更在細節處理上達到了極致，從人物樣貌、服裝的微妙變化到頭飾的精準呈現，均能在不同運鏡角度下保持高度一致，仿佛實拍般自然流暢。
除了手上的表有一些些閃動，人物比例、動作、肢體、光影等等，幾乎毫無瑕疵。（來源：數字生命卡茲克）
有創作者在搶鮮體驗豆包視頻生成模型時發現，其生成的視頻不僅能夠遵循復雜指令，讓不同人物完成多個動作指令的互動，人物樣貌、服裝細節甚至頭飾在不同運鏡下也保持一致，接近實拍效果。
Prompt：拿著鐮刀的死神朝女人走近。特寫女人的臉，她驚恐地尖叫。（來源：數字生命卡茲克）
巡展上火山引擎介紹，豆包視頻生成模型基于 DiT 架構，通過高效的DiT融合計算單元，讓視頻在大動態與運鏡中自由切換，擁有變焦、環繞、平搖、縮放、目標跟隨等多鏡頭語言能力。全新設計的擴散模型訓練方法更是攻克了多鏡頭切換的一致性難題，在鏡頭切換時可同時保持主體、風格、氛圍的一致性，這也是豆包視頻生成模型獨樹一幟的技術創新。
經過剪映、即夢AI等業務場景打磨和持續迭代，豆包視頻生成模型具備專業級光影布局和色彩調和，畫面視覺極具美感和真實感。深度優化的Transformer結構，則大幅提升了豆包視頻生成的泛化能力，支持3D動畫、2D動畫、國畫、黑白、厚涂等多種風格，適配電影、電視、電腦、手機等各種設備的比例，不僅適用于電商營銷、動畫教育、城市文旅、微劇本等企業場景，也能為專業創作者和藝術家們提供創作輔助。
圖片
Prompt：小貓和小熊貓開心地跳著，然后擁抱在一起。（來源：機器之心）小貓晃動著爪子，和小熊貓玩親親，細節層次豐富，光影隨著主體運動而變化，大幅提升畫面視覺審美。
目前，新款豆包視頻生成模型正在即夢AI內測版小范圍測試，未來將逐步開放給所有用戶。
二、背后有哪些黑科技？
大家可能好奇，首次突破多主體互動難關，字節如何做到的？
首先，是豆包大模型能力的提升。“豆包視頻生成”大模型憑借其卓越的語義理解能力、對復雜交互畫面的精準捕捉以及多鏡頭切換下的內容一致性，成功躋身業界先進水平。
據悉，“豆包視頻生成”模型依托字節跳動自主研發的DiT（Dynamic Integration Transformer）架構，通過高效的DiT融合計算單元，實現了視頻在大動態場景與多樣運鏡之間的無縫切換。這一技術突破賦予了視頻變焦、環繞、平搖、縮放、目標跟隨等多鏡頭語言能力，讓視頻創作更加自由靈動，滿足了創作者對視覺表達的無限想象。
其次，為了進一步提升視頻創作的專業性和觀賞性，“豆包視頻生成”團隊還創新性地采用了全新設計的擴散模型訓練方法。
prompt：睡美人躺在床上陷入沉睡，窗外的小鳥嘰嘰喳喳也吵不醒她，這時一位王子俯下身吻了睡美人，試圖喚醒她。（來源：機器之心） 在這個 prompt 中，涉及多個鏡頭的切換，但主體、風格、氛圍和邏輯仍能保持一致性。
這一方法有效攻克了多鏡頭切換過程中保持主體、風格、氛圍一致性的技術難題，確保在鏡頭切換的瞬間，視頻的整體氛圍與細節表現依然和諧統一，為觀眾帶來更加沉浸式的觀看體驗。
三、寫在最后
自此，AI視頻賽道，字節可謂一鳴驚人！2025前，我們看到了一個AI武裝版的字節正在醞釀之中。期待王者歸來！
最后不得不說一句，當你認為一切已黯淡成型時，宇宙條正悄悄為你準備新的開始。這正是，大模型戰場的魅力。
??本文轉載自???51CTO技術棧??，作者：言征
