又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下
Sora 再不開放使用，真的要被偷家了！
今日，舊金山初創公司 Luma AI 打出一手王牌，推出新一代 AI 視頻生成模型 Dream Machine。人人免費可用。
據介紹，該模型能夠根據簡單的文本描述生成高質量、逼真視頻，效果堪比 Sora。
消息一出，大量用戶擠進官網嘗鮮。
盡管官方聲稱該模型能在短短兩分鐘內生成 120 幀視頻，但由于訪問量激增，許多用戶在官網中苦苦等待數小時。
Luma 的產品增長主管 Barkley Dai 不得不在 Discord 上發文解釋 ——
「目前我們面臨巨大的需求，正在努力提升我們的處理能力。所有視頻生成任務都會保留，只是需要在隊列中稍作等待。一旦我們增加了處理能力，我會立刻在這里通知大家！」
Dream Machine 效果到底如何？
有網友表示，目前，Luma 是 AI 視頻領域的新王者。
還有網友稱，「我們不再需要 Sora ！」不知 OpenAI 看了作何感想。
不過也有網友吐槽，制作 8 個視頻后，系統提示「超出最大使用限制」，并且沒有解釋應該等待多長時間才能制作新視頻。
網友瘋狂整活兒
這幾天，AI 視頻圈子卷瘋了，你方唱罷我登場。
先是快手可靈開啟內測，排隊人數超過 5 萬人，緊接著 Luma 就祭出殺手锏 Dream Machine，人人免費可用。
與其他 AI 視頻模型相比，Dream Machine 具有以下幾個特點：
1. 速度快，120 秒即可生成 120 幀；
2. 動作逼真，流暢，還融入電影級別的攝影技巧和戲劇張力；
3. 角色一致性極強，能夠模擬物理世界；
4. 運鏡自然，可匹配場景情感。
Luma 官方和廣大網友們陸續整活兒，奉上了一出出精彩的視覺盛宴。
例如，這段使用文本生成的視頻，畫面是一輛汽車在馬路上狂飆。無論是行駛過程還是鏡頭轉換，絲滑逼真。
一個低至地面的攝像機，跟蹤一群小倉鼠深入洞穴，這畫面與 Sora 的螞蟻視頻有異曲同工之妙，不過，Dream Machine 使用的是圖生視頻功能，俗稱「墊圖」。
一個身穿橙色 T 恤的光頭男人在房間內移動，人物的逼真程度以及畫面構圖媲美電影大片。
這是一個廢墟場景拍攝鏡頭。地面上廢棄的繩子、木板以及墻面的涂鴉呈現地自然真實。
畫面中，一名妙齡女子揮舞裙擺跳舞，動作行云流水，像極了奢侈品廣告大片。不過美中不足的是，裙擺、頭發會出現形變。
甚至有網友生成了一段殺手槍戰的動作場景。
網友 @ai_mov_director 還用它生成一段 1 分鐘的故事片 ——「Break The Tie」，在保持人物一致性方面，Dream Machine 有兩把刷子。
除了生成逼真視頻外，Dream Machine 也可以嘗試不同風格。
比如日本動漫風：
迪士尼風格：
總體來看，Dream Machine 在視頻的逼真度、流暢度方面值得稱道，不過它并非完美。
曾為蘋果、三星、谷歌等知名品牌執導過廣告的 Julien Vallee 表示，Dream Machine 能夠模仿自然攝像機動作，特別是手持拍攝時，效果非常逼真。然而，與其他模型一樣，它也需要一些試錯，才能生成出色的鏡頭。
文生視頻圈大亂斗
2024 年是大選之年，OpenAI 為了不惹事，一直把 Sora 藏著掖著。
當 Sora「千呼萬喚」不出來時，對手們卻紛紛祭出大殺器來炸街。
AI 視頻領域風云突變。
既然 Dream Machine、可靈都打著「對標 Sora」的旗號，那么，我們索性就搞個競技場，讓 Dream Machine、可靈與 Sora 同臺 PK。
Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
中文提示詞 1：兩艘海盜船在一杯咖啡中航行時相互爭斗的逼真特寫視頻。
Sora：
Dream Machine：
可靈：
Prompt 2：Nighttime footage of hermit crabs using light bulbs as shells.
中文提示詞 2：寄居蟹用燈泡做殼的夜間鏡頭。
Sora：
Dream Machine：
可靈：
Prompt 3：macro shot of a leaf showing tiny trains moving through its veins.
中文提示詞 3：一片葉子的微距照片，顯示微小的火車在葉脈中移動。
Sora：
Dream Machine：
可靈：
Prompt 4：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
中文提示詞 4：一個時髦的女人走在東京的街道上，到處都是溫暖的霓虹燈和生動的城市標志。她穿著黑色皮夾克、紅色長裙、黑色靴子，拿著一個黑色錢包。她戴著太陽鏡，涂著紅色的口紅。她走起路來自信而隨意。街道是潮濕和反光的，創造了一個彩色燈光的鏡子效果。許多行人走來走去。
Sora：
Dream Machine：
可靈：
Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.
中文提示詞 5：考古學家在沙漠中發現了一把普通的塑料椅子，他們小心翼翼地挖掘并撣去了上面的灰塵。
Sora：
Dream Machine：
可靈：
Prompt 6：a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.
中文提示詞 6：一只穿著黑色連帽運動衫的電腦黑客拉布拉多獵犬坐在電腦前，當它快速打字時，屏幕的眩光照射在狗的臉上。
Sora:
Dream Machine：
可靈：
英偉達領投的這家公司什么來頭？
Dream Machine 火了，也讓其背后的公司 Luma AI 出盡了風頭。
Luma AI 成立于 2021 年，最初只是一家聚焦于 3D 內容生成的技術公司。
首席執行官 Amit Jain 曾是蘋果公司的計算機視覺系統工程師，首席技術官 Alex Yu 曾是加州大學伯克利分校的研究生（放棄博士學業創辦了 Luma AI ）。二人在 3D 視覺、機器學習、實時圖形學等領域都有所建樹。
據悉，這家公司已經歷數輪融資。
A 輪融資由 Amplify Partners、Nventures（Nvidia 投資部門）和 General Catalyst 領投，共籌集 2000 萬美元；B 輪融資則由硅谷頂級風投公司 Andreessen Horowitz、英偉達領投，籌集 4300 萬美元。截至目前，公司共融資 7000 多萬美元，估值在 2 億到 3 億美元之間。
去年 11 月，Luma AI 在 Discord 服務器上推出了文生 3D 模型 Genie。后來推出 1.0 版本，把出圖時間從 20 多秒提升到了 10 秒之內。
沒想到，這次 Luma AI 直接轉道 AI 視頻領域。
據官網顯示，Luma AI 核心團隊僅 34 人，從名字看，有 5 人是華人。
聯合創始人兼首席技術官 Alex Yu，2021 年從加州大學伯克利分校畢業。期間，他在伯克利人工智能研究實驗室與 Angjoo Kanazawa 教授一起進行 NeRFs 研究。
同年畢業于加州大學伯克利分校的 Angela Dong，曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司實習，隨后又加入 Cruise 擔任仿真工程師，專注于為感知模型訓練創造合成數據。目前，她在 Luma 擔任機器學習工程師。
首席科學家 Jiaming Song 本科畢業于清華大學，碩博畢業于斯坦福大學。在加入 Luma AI 之前，他曾擔任英偉達學習和感知（Learning and Perception）研究團隊和深度想象（Deep Imagination）研究團隊的研究科學家。
此外，Quei-An Chen 和 Paul Yoo 在 Luma 擔任研究科學家。
（左為Quei-An Chen，右為Paul Yoo）
其中 Quei-An Chen 在 NeRF 領域深耕，曾因其在 Github 上發起的多個熱門開源項目而聲名鵲起，比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前，他在 DENSO 公司和 LINE 公司參與了多個 3D 視覺技術項目。
