想要看懂短視頻，除了視覺內容外，語音和音頻等聽覺信息，如視頻音樂、音效、語音內容等，也對短視頻的理解起到關鍵作用。

音視頻大語言模型（av-LLMs）在近幾年取得了顯著進展，但語音作為視頻中人類語言的主要載體，仍未在這些模型中得到充分探索。語音不僅提供了豐富的語言和語義信息，還有助于理解視頻中的情感和潛在意義。

與此同時，語音信號還包含豐富的副語言信息，如音調和音高，以及多樣的說話者屬性（如年齡、性別、口音和身份），這些都是視頻理解中不可或缺的要素。

然而，增強通用視聽大語言模型的語音能力極具挑戰性，這需要時間上精細的建模，并在粗略（如視頻主題）和精細（如唇部動作）時間尺度上與其他模態進行復雜的交互。

近期，發表在ICML  2024的論文《video-SALMONN:  Speech-Enhanced Audio-Visual Large Language Models》成為了首個集齊視頻中所有音視頻元素（自然圖像、文字、語音、音頻事件、音樂）的大模型。

圖片

video-SALMONN論文鏈接：https://openreview.net/pdf?id=nYsh5GFIqX

SALMONN論文鏈接：https://arxiv.org/abs/2310.13289

Github Page：https://github.com/bytedance/SALMONN

通過下面幾個例子，一起來看看video-SALMONN是如何通過語音-音頻-視頻的信息來解讀視頻內容的吧！

首先來一段經典的《泰坦尼克號》片段

讓video-SALMONN來談談為什么這段視頻很浪漫吧：

圖片

問題：

請結合視頻，音頻和人物對白解釋為什么視頻很浪漫

回答：

這段視頻展示了一對男女在船上的浪漫場景。男人把女人擁在懷里，兩人一起看著日落。背景音樂是一首歌，增添了浪漫的氣氛。女人說「我在飛」和「杰克」，這表明他們很幸福，享受這一刻。船和日落的背景創造了一個美麗寧靜的環境，增強了視頻的浪漫感覺。男女的肢體語言和面部表情也傳達了他們對彼此的愛和深情。總的來說，這段視頻完美地展現了兩人之間浪漫而親密的時刻。

不止描述看到的場景，video-SALMONN還把聽到的音樂，和人物的對白，都融合進了他的描述里。

更驚喜的是，video-SALMONN還能知道是女人說的「我在飛」，進一步詢問的話，

此外，video-SALMONN還能推理出男人的名字是「杰克」。

我們都知道，正是這兩句對白成就了這個經典場景，而video-SALMONN恰恰抓住了這個場景的精髓所在！

再來一段《瘋狂動物城》的動畫片段：

看看video-SALMONN是怎么理解樹獺的搞笑之處吧：

圖片

問題：

場景中有兔子，狐貍和樹獺，樹獺說了什么？為什么樹獺很有趣？

回答：

樹懶在視頻結尾時說了「Nick」。樹懶之所以搞笑，是因為它是一種動作緩慢的動物，在視頻中表現得非常懶散，做事情花了很長時間。這與其他動物（如兔子和狐貍）的活躍和充滿活力形成了鮮明對比，使樹懶顯得尤為突出，增加了幽默感。此外，視頻中樹懶的慢動作和表情也增加了它的喜劇效果。

這個例子展示了視聽結合對說話人的識別，只有聽覺我們不知道是樹獺在說話，只有視覺我們不知道樹獺說了什么，只有視聽結合才能真正理解視頻！

還有這個非常受歡迎的meme：

，時長00:03

問問video-SALMONN這個視頻為什么搞笑吧：

問題：

你可以解釋為什么這個視頻很有趣嗎？

回答：

這段視頻之所以有趣，是因為它展示了一個男人做了一個滑稽的表情，然后說「nice」。他嚴肅的表情與「nice」這個詞之間的反差創造了幽默感和驚喜感。此外，男人打嗝的聲音效果和響亮的爆破音也增加了視頻的娛樂價值。

再來看一段國家地理的紀錄片片段，讓我們來看看理解語音還有什么幫助：

問問video-SALMONN視頻里是哪種鯊魚吧：

圖片

問題：

視頻中的鯊魚是哪種鯊魚？

帶audio輸入的回答：

視頻中的鯊魚是一頭鯨鯊

不帶audio輸入的回答：

視頻中的鯊魚是一頭大白鯊

光看視頻，沒點專業知識真的不知道是哪種鯊魚，模型就只能猜，容易出現幻覺。

但是聽了語音講解，video-SALMONN就能準確知道視頻講的是鯨鯊，再也不用瞎猜了。

還有這個大佬之間對話的視頻片段：

不止理解對話內容，video-SALMONN還將說話人和對話內容聯系到了一起：

提問：

基于視頻和語音，是視頻中飛去了Florence的是男人還是女人？

回答：

是女人飛去了Florence

這個例子進一步展示了video-SALMONN對視頻里語音的全方位理解。

如果直接輸入語音轉錄的文字，模型是不可能知道到底是誰飛去了Florence，而video-SALMONN可以將語音內容和說話人信息緊密結合在一起

接下來是干貨部分：讓我們一起來看看video-SALMONN具體是怎么實現語音-音頻-視頻的綜合理解的吧！

核心技術

圖片

video-SALMONN模型

面對音視頻大模型中語音理解挑戰，video-SALMONN通過以下三部分創新，使其能夠處理自然圖像、視覺幀序列、語音、音頻事件和音樂元素等各種視頻基本元素：

第一部分：音視頻編碼和時間對齊

video- SALMONN使用Whisper語音編碼器和BEATs音頻編碼器，分別得到語音和音頻的編碼向量序列（每1秒音頻對應50個向量），同時使用InstructBLIP視覺編碼器，以2 FPS的視頻采樣率得到視覺編碼向量序列（每1秒視頻2幀，對應64個向量）。

三個序列在時間維度上，以視頻幀為基準每0.5秒對齊并拼接一次（temporal fine-grained synchronisation），因為語音音頻序列略短于視覺序列，短的部分加上zero padding。

第二部分：多分辨率因果Q-Former

多分辨率因果（MRC）Q-Former結構是video-SALMONN的創新核心，它不僅在多個不同的時間尺度上將時間同步的視聽輸入特征與文本表示空間對齊，滿足依賴于不同視頻元素的任務需求，同時為了加強連續視頻幀之間事件的時間因果關系，引入了帶有特殊因果掩碼的因果自注意結構。

MRC Q-Former結構

首先，MRC Q-Former將輸入序列分成不同長度的窗。然后，在每一個窗內，用Q-Former把拼接后的多模態表征映射到語義表征空間。最后，將每個分辨率層級內的各個窗Q-Former輸出的向量串起來形成語義空間的向量序列。

MRC Q-Former通過保證輸出向量個數和窗長比為定值，來保證不同分辨率層級的輸出序列可以直接在特征維度拼接，拼接后的向量通過線性層映射后用作大語言模型的輸入。

通過訓練，高分辨率的Q-Former可以捕捉細粒度的信息，比如語音內容以及語音和唇部動作的聯系，低分辨率的Q-Former可以有效提取視頻層級的信息，對視頻的整體內容以及多個幀之間的關系有更好的理解。

（注：MRC Q-Former結構也適用于空間上的多分辨率，論文首次提出image spotlight方法，可以將圖片拆分成不同精度的子圖序列作為輸入，從而大大提高圖像理解的性能）

第三部分：多樣性損失函數和混合未配對音視頻數據的訓練

此外，為了避免視頻中某一特定幀主導地位，video-SALMONN在交叉熵的基礎上，提出并使用了一種新的多樣性損失函數，鼓勵模型探索整個序列的不同部分。

同時，為了防止配對音視頻數據中的單一模態的主導問題（比如視頻中非語音音頻往往只提供極少量的輔助信息，容易被忽視），video-SALMONN使用混合未配對的音頻和視頻的策略進行訓練，使video-SALMONN不得不同時注意兩個模態的信息。

主要結果

Video-SALMONN論文提出speech-audio-visual  evaluation (SAVE) benchmark來測試，并在語音，非語音音頻，圖像和視頻等任務上均展示了不俗的表現。

SAVE的測試任務包括語音識別 (ASR)，音頻描述  (AAC)，圖片描述 (IC)，視覺文字識別 (OCR)，圖片問答 (VQA)，視頻問答 (Video QA) 等視覺和聽覺單一輸入模態的任務，還包括視聽語音識別  (AVSR)，音視頻問答 (AVQA)，音視頻聲源檢測 (AVSSD)和音視頻匹配  (AVM)四個音視頻共同輸入的感知任務。

其中，AVQA為新提出的測試集，AVM為新提出的任務，要求模型判斷音頻和視頻是否匹配。

圖片

首先，video-SALMONN在單一模態輸入的任務上，達到了和僅能處理視覺或聽覺一種模態輸入的模型相同甚至更好的效果。

相比同樣可以處理音視頻的大模型Video-LLaMA，video-SALMONN不僅增加了對語音輸入的理解能力，而且在各個單模態任務上遠超其表現。

圖片

在音視頻共同輸入的理解任務上，video-SALMONN更是展現了遠超其他模型的表現。

得益于其理解語音的能力，video-SALMONN在AVQA上大幅超過同類大模型Video-LLaMA。

更重要的是，在AVM和AVSSD這兩個完全沒有訓練過的任務上，video-SALMONN展現了出色的語音-音頻-視覺聯合推理的零樣本的涌現能力。

圖片

這些共同推理的涌現能力需要模型同時給予輸入的視覺和聽覺信息等量的關注，且可以理解視聽之間復雜的聯系。

然而現存的開源模型，要么無法完全理解音頻，要么僅能分別描述每個單一的輸入模態。

結語

video-SALMONN的推出，將有助于提升視頻理解技術的全面性和準確性，為視頻內容分析、情感識別、多模態交互等領域帶來新的機遇。

該模型不僅在學術研究上具有重要意義，也為實際應用提供了強大的技術支撐。

參考資料：

https://openreview.net/pdf?id=nYsh5GFIqX