殺瘋了！谷歌卷視頻到語音，逼真音效讓AI視頻告別無聲！
這幾天，大洋彼岸殺瘋了！
Luma 的熱乎勁兒還沒過去，昨晚 Runway 就甩出一個王炸 ——Gen-3 Alpha。（查看詳情請移步：???Runway 版 Sora 發布：高保真、超強一致性，Gen-3 Alpha 震撼到網友了??）
更沒想到的是，一覺醒來，Google DeepMind 也有了新消息，悄咪咪地發布了視頻生成語音（V2A）技術的進展。
雖然這一功能還未向公眾開放，不過從官方放出的視頻 Demo 來看，效果那是相當絲滑。同時，Google DeepMind 強調，所有示例均由 V2A 技術和他們最先進的生成視頻模型 Veo 聯手打造。
音頻提示: 緊張刺激的恐怖片配樂，腳步聲在混凝土上回響。（Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete）
黑燈瞎火的廢棄倉庫中，一個黑衣人猶如鬼魅般緩行，再配上詭異的音樂和腳步聲，恐怖氣氛拉滿。
音頻提示: 狼在月光下的長嚎。（Wolf howling at the moon）
視頻 Demo 一出，評論區清一水的追問：啥時候能用？
還有網友寄希望于開源社區當一回賽博菩薩，復制谷歌的這一視頻生成語音技術。
其實，就在 Google DeepMind 官宣沒多久，AI 音頻領域的「扛把子」ElevenLabs 就橫插一腳，開源了一個上傳視頻自動配音的項目，可以為視頻生成合適的音效。
鏈接：
??https://elevenlabs.io/docs/api-reference/how-to-use-text-to-sound-effects??
如今 AI 圈子的競爭已呈白熱化階段，大小廠的你追我趕將會創造更加公平的競爭環境，而一旦這些技術成熟，AI 視頻領域將會有無限可能。
AI 視頻告別無聲電影
眾所周知，視頻生成模型正以驚人的速度發展。不過，無論是年初驚艷世人的 Sora，還是近期的可靈、Luma、Gen-3 Alpha，生成的全是「無聲電影」，無一例外。
而 Google DeepMind 的視頻生成音頻 (V2A) 技術，使得同步的視聽生成成為可能。它可以結合視頻像素和自然語言文本提示，為屏幕上的動作生成豐富的配音。
從技術應用上來說，V2A 技術能夠與 Veo 等視頻生成模型結合，創造出具有戲劇性配樂、逼真音效或與視頻角色以及風格相匹配的對話鏡頭。
它還能為檔案材料、無聲電影等傳統影像生成音軌，拓寬創作的可能。
音頻提示: 可愛的幼年恐龍在叢林中啁啾，伴隨著蛋殼的破裂聲。（Cute baby dinosaur chirps, jungle ambience, egg cracking）
音頻提示: 汽車打滑聲、引擎轟鳴聲，伴隨著天使般的電子音樂。（cars skidding, car engine throttling, angelic electronic music）
音頻提示: 日落時分，草原上響起悠揚的口琴聲。（a slow mellow harmonica plays as the sun goes down on the prairie）
V2A 技術能夠為任何視頻輸入生成無限數量的音軌。用戶可以選擇定義「正向提示」來引導生成期望的聲音，或者「負向提示」來避免不期望的聲音。
這種靈活性讓用戶對音頻輸出有了更多的控制，可以快速嘗試不同的音頻輸出，并選擇最佳匹配。
音頻提示：一艘宇宙飛船在浩瀚的太空中疾馳，星星在它周圍劃過，高速飛行，充滿科幻感。（A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi）
音頻提示：天籟般的大提琴氛圍（Ethereal cello atmosphere）
音頻提示：一艘宇宙飛船在廣袤的太空中高速穿梭，星星在它周圍飛速掠過，具有科幻感。（A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi）
背后的工作原理
研究團隊嘗試了自回歸和擴散方法，以發現最可擴展的 AI 架構。擴散方法在音頻生成上給出了最真實和引人入勝的結果，用于同步視頻和音頻信息。
V2A 系統首先將視頻輸入編碼成壓縮表示，然后擴散模型從隨機噪聲中迭代細化音頻。這個過程由視覺輸入和給定的自然語言提示指導，生成與提示緊密對齊的同步、逼真音頻。最終，音頻輸出被解碼成音頻波形，并與視頻數據結合。
為了生成更高質量的音頻并引導模型生成特定聲音，研究團隊在訓練過程中添加了更多信息，包括 AI 生成的注釋，詳細描述聲音和對話文本。
通過在視頻、音頻和額外注釋上的訓練，該技術學會將特定的音頻事件與各種視覺場景關聯起來，同時響應注釋或文本中提供的信息。
谷歌方面強調，他們的技術與現有的視頻到音頻解決方案都不同，因為它可以理解原始像素，并且添加文本提示是可選的。此外，該系統不需要手動對生成的聲音與視頻進行對齊，極大地簡化了創作流程。
不過，谷歌的這一技術也并非完美，他們仍在努力解決一些 bug。例如，視頻輸入的質量直接影響音頻輸出的質量，視頻中的偽影或失真可能導致音頻質量下降。
同時，他們也在優化唇形同步功能。
V2A 技術嘗試從輸入文本中生成語音，并將其與角色的口型動作進行同步，但若視頻模型未針對文本內容進行相應的調整，就可能導致口型與語音不同步。他們正改進這一技術，以提升唇形同步的自然度。
音頻提示：音樂，文本轉錄「這只火雞看起來好極了，我好餓。」（Music, Transcript: “this turkey looks amazing, I’m so hungry”）
或許是由于深度偽造技術帶來諸多社會問題，Google DeepMind 求生欲滿滿，一個勁承諾將負責任開發和部署 AI 技術，在向公眾開放之前，V2A 技術將經過嚴格的安全評估和測試。
此外，他們還整合了 SynthID 工具包到 V2A 研究中，為所有 AI 生成的內容添加水印，以防止技術的濫用。
本文轉自機器之心 ，作者：機器之心
