一、結論寫在前面  

這篇論文來自：中國科學技術大學、香港中文大學、北京大學、上海 AI Lab。

論文推出了ShareGPT4Video系列，旨在通過密集且精確的標注促進大型視頻語言模型（LVLMs）的視頻理解和文本到視頻模型（T2VMs）的視頻生成。該系列包括：

1）ShareGPT4Video，包含4萬個GPT4V標注的密集視頻標注，這些視頻具有不同長度和來源，通過精心設計的數據過濾和標注策略開發。

2）ShareCaptioner-Video，一個高效且能力強大的任意視頻標注模型，由其標注了480萬個高質量美學視頻。 

3）ShareGPT4Video-8B，一個簡單卻卓越的LVLM，在三個前沿視頻基準測試中達到了最先進（SOTA）性能。

為此，論文摒棄了不可擴展且成本高昂的人工標注者，發現使用GPT4V對視頻進行標注，采用簡單的多幀或幀連接輸入策略，會導致細節不足且有時時間上混亂的結果。論文認為設計高質量視頻標注策略的挑戰在于三個方面：1) 幀間精確的時間變化識別。2) 幀內詳細內容描述。3) 任意長度視頻的幀數可擴展性。

為此，論文精心設計了一種差異視頻標注策略，該策略穩定、可擴展且高效，適用于生成任意分辨率、寬高比和長度的視頻標注。基于此，論文構建了ShareGPT4Video，包含4萬個高質量視頻，涵蓋廣泛類別，其標注涵蓋豐富的世界知識、物體屬性、攝像機運動，以及關鍵的、詳細且精確的事件時間描述。基于ShareGPT4Video，論文進一步開發了ShareCaptioner-Video，一個能夠高效生成任意視頻高質量標注的優秀標注器。

論文通過它標注了480萬個具有美學吸引力的視頻，并在10秒文本到視頻生成任務中驗證了其有效性。對于視頻理解，論文驗證了ShareGPT4Video在幾種當前LVLM架構上的有效性，并展示了論文卓越的新LVLM ShareGPT4Video-8B。所有模型、策略和標注將開源，論文希望該項目能作為推動LVLMs和T2VMs社區進步的關鍵資源。 

二、論文的簡單介紹  

2.1 論文的背景  

盡管視頻內容具有豐富的語義和時間信息，但現有數據中視頻通常只配有簡短的描述。這些簡短的描述限制了對視頻的深入理解以及視頻生成的可控性。雖然圖像-文本對話和文本到圖像生成任務中已認識到詳細描述的重要性，但在視頻理解和生成方面類似的努力仍然不足。 

然而，創建大規模、高質量的視頻描述是一項挑戰性任務。即使是人類，為長視頻生成詳細的描述也是復雜且耗時的，這阻礙了大規模的標注工作。當前的開源大規模視覺語言模型（LVLMs）缺乏這種能力，而閉源API尚不支持視頻輸入。

論文認為，制定有效的視頻描述策略的挑戰源于三個基本方面：1) 幀間精確的時間變化識別：時間維度將視頻與圖像區分開來。不精確的時間描述會顯著降低視頻描述的質量，并在訓練模型時引起混淆。2) 幀內詳細內容的描述：詳細描述對于圖像與文本模態之間的對齊至關重要，對于視頻-文本對齊也同樣重要。3) 任意長度視頻的幀數可擴展性：在實際應用中，視頻的長度差異很大。理想的描述策略應能適應這種變化，并為任何長度的視頻生成適當的描述。

為此，論文提出了差分滑動窗口描述策略（DiffSW），該策略穩定、可擴展且高效，適用于為任意視頻生成描述。DiffSW的核心理念是將所有幀到描述的任務轉化為差分描述任務。 

2.2 ShareGPT4Video數據集  

這里詳細闡述了如何構建ShareGPT4Video數據集。論文在圖2中詳細描述了整個過程。             

              圖2：生成高質量視頻-標題數據的流程。論文首先根據美學質量和內容復雜性選擇多樣化的視頻來源。接下來，論文使用基于語義的數據過濾來防止內容同質化。然后，論文應用語義感知的幀提取進行稀疏采樣，保持顯著的語義變化。最后，論文實施差異滑動窗口標題生成策略，利用GPT-4V生成詳細且時間上豐富的標題

2.2.1 數據收集  

數據源選擇。為了服務于視頻理解和視頻生成任務，論文在收集過程中考慮視頻的美學質量和內容復雜性：

?論文首先考慮Panda-70M，這是一個從YouTube獲取的高分辨率視頻數據集，包含時長約一分鐘的片段。這個開放領域來源覆蓋了野生動物、烹飪、體育、新聞與電視節目、游戲與3D渲染等多樣領域。它通常包含復雜的內容和過渡，為理解各種現實世界場景提供了堅實基礎。 

?然而，這些內容和過渡的復雜性對視頻生成領域提出了重大挑戰。為了解決這一問題，論文還從一些用戶上傳視頻網站獲取了大量美學上吸引人的視頻。這些視頻主要由風景和美學上令人愉悅的人類活動組成，涉及較少的過渡和更簡單的事件。

?最后，論文通過選擇來自Ego4D 和BDD100K 的視頻來補充論文的收集，填補自我中心人類活動和自動駕駛場景中的空白，確保論文的視頻來源盡可能多地涵蓋現實世界場景。

基于語義的數據過濾。盡管論文的字幕生成方法能夠支持較長時間的視頻，但由于視頻時長與數量之間的權衡，論文的收集主要集中在短于兩分鐘的視頻上。

?論文首先從選定的數據源中過濾掉超過兩分鐘的視頻，將兩分鐘內的視頻作為候選。隨后，論文引入了一種基于語義的數據過濾策略，以減少這些候選視頻之間的內容同質性，并保持最終視頻數據集的多樣性。該方法旨在從候選視頻池中選擇具有顯著主題差異的視頻，以構成論文的最終視頻集合。

?具體而言，論文首先使用Panda-Student 模型為每個候選視頻生成一個簡短的單句字幕，然后維護一個最終的視頻候選池。論文提供了偽代碼，如圖14所示。

2.2.2 視頻處理  

論文開發了一種語義感知的關鍵幀提取方法，該方法在減少時間冗余和保持語義連貫性之間取得了平衡。               

                圖3：綜合視頻-標題數據集：(a) 該數據集涵蓋了廣泛的內容，包括野生動物、烹飪、體育、風景、以自我為中心的人類活動、自動駕駛場景等。(b) 數據集中的視頻長度從2秒到2分鐘不等。(c) 標題主要在200到400字之間，提供了豐富的時序信息，很好地服務于視頻理解和生成任務 。

2.2.3標題生成流程  

文發現如果直接將所有幀輸入GPT4V，GPT4V難以穩定生成具有正確時序關系的標題，并且隨著幀數的增加，其性能進一步惡化。另一方面，如果論文將所有幀合并成一張大圖，隨著幀數的增加，GPT4V會丟失更多細節，如圖11-12所示。 

差異滑動窗口字幕生成。為此，論文開發了一種差異滑動窗口字幕生成流程，用于為各種視頻生成高質量的字幕，并附帶詳細的時序描述。具體而言，每次輸入到圖像多模態模型的內容包括當前關鍵幀及其與前一關鍵幀的差異字幕。接著，論文引入了差異提示，引導GPT4V關注當前幀與前一幀之間的變化，如姿態、位置、攝像機角度等。此外，將前一幀的差異字幕作為補充上下文融入，提高了響應質量并減少了幻覺現象。這是因為圖像嵌入和文本字幕分別提供了圖像的顯式和隱式表示。差異字幕不僅增加了額外的上下文，還整合了來自兩幀之前的時序信息，進一步增強了模型的時序理解能力。最后，論文將所有差異字幕及其相應的時戳輸入到GPT4中。設計了一個特定的總結提示，指導大型語言模型生成具有精確時序動態和詳細空間信息的高質量視頻字幕。在實踐中，論文使用GPT-4-Turbo-04-09進行所有標注。

2.3 ShareCaptioner-Video  

2.3.1 模型設計  

論文使用收集的視頻字幕數據對IXC2-4KHD 進行微調，從而得到論文的ShareCaptioner-Video。為了靈活使用，論文對數據進行了重新組織，以支持以下功能：               

                圖 4：ShareCaptioner-Video 是一個具有以下功能的四合一出色視頻字幕模型：快速字幕生成、滑動字幕、剪輯總結以及提示重新字幕 

1.快速字幕生成：該模型采用圖像網格格式進行直接視頻字幕生成，提供了適用于短視頻的快速生成速度。在實踐中，論文將視頻的所有關鍵幀連接成一個垂直拉長的圖像，并在字幕任務上對模型進行訓練。

2.滑動字幕：該模型支持以差分滑動窗口格式進行流式字幕生成，生成適用于長視頻的高質量字幕。與第2.3節中使用的字幕流程類似，論文將前一個差分字幕旁邊的兩個相鄰關鍵幀作為輸入，并訓練模型描述它們之間發生的事件。

3.剪輯總結：該模型可以快速總結來自ShareGPT4Video或經歷了差分滑動窗口字幕生成過程的視頻的任何剪輯，無需重新處理幀。論文將所有差分描述作為輸入，輸出為視頻字幕。

4.提示重新字幕：該模型可以重新表達用戶輸入的提示，這些用戶偏好特定的視頻生成區域，確保基于高質量視頻字幕數據訓練的T2VM在推理過程中與其訓練中保持格式對齊。在實踐中，論文使用GPT-4生成Sora風格的提示用于論文的密集字幕，并以相反的方式訓練重新字幕任務，即使用生成的提示作為輸入，密集字幕作為訓練目標。

2.3.2 字幕生成規模化  

為了驗證論文的ShareCaptioner-Video在視頻字幕生成任務中的有效性，并進一步支持視頻生成領域的發展，論文利用它對大量審美吸引人的視頻進行了注釋。 

2.4實驗  

2.4.1 視頻理解  

數據集和基準。為了全面探索論文高質量視頻字幕數據給LVLMs帶來的益處，論文在三個多模態視頻基準上對模型進行了全面評估。VideoBench從13個現有數據源（如MSVD-QA，MSRVTT-QA，Activitynet-QA等）中策劃了約15,000個跨10個評估維度的QA對。MVBench 旨在挑戰LVLMs處理視頻任務，這些任務不能通過單幀依賴有效解決，其包含了從11個公共視頻測試中派生出的4,000個QA對基準。TempCompass 特別評估了LVLMs在各種時間方面的微妙性能，如速度、方向和屬性變化。它包含410個視頻和7,540個精心收集的指令，強調時間理解和交互。

通過ShareGPT4Video提升當前LVLM的性能。論文驗證了ShareGPT4Video收集的高質量視頻字幕數據對于提升當前LVLM性能的有效性。為了公平和簡化，論文將ShareGPT4Video中與復雜場景相關的28K高質量視頻字幕數據（包括Panda-70M 、Ego4D [18]和BDD100K ）整合，以同等數量替換VideoChatGPT-100K 對話數據中的字幕數據。然后，論文使用默認的訓練設置和超參數訓練VideoLLaVA 和LLaMA-VID。如表1所示，ShareGPT4Video在不同的LVLM架構和規模上持續提高了視頻與語言模態之間的對齊。具體而言，集成高質量字幕后，VideoLLaVA-7B在三個全面的多模態視頻基準測試上平均性能提升了1.1，而LLaMA-VID-7B和LLaMA-VID-13B分別實現了平均2.0和2.3的提升。論文高質量的視頻字幕數據特別有助于LVLM在需要復雜時間理解的基準測試上實現顯著的性能提升，例如TempCompass 。 

ShareGPT4Video-8B。為了獲得最終的ShareGPT4Video-8B模型，論文從LLaVA-Next-8B [26]圖像多模態模型開始。與之前的LVLM方法一致，論文遵循lG-VLM策略，從每個視頻中均勻采樣16幀，并將這些幀排列成4x4的圖像網格，以形成訓練和推理的輸入。對于訓練數據，論文首先從各種教學視頻到文本數據集中收集153K的VQA數據來構建論文的基準。這一收集包括來自VideoChatGPT的13K對話數據和140K問答對，其中45K數據點來自CLEVRER ，8K來自EGO-QA ，34K來自NextQA ，53K來自TGIF-Transition 。然后，這些VQA數據與28K視頻字幕數據結合，形成一個包含181K樣本的綜合訓練數據集。

如表3、4、5所示，論文展示了論文的ShareGPT4Video-8B模型（由論文的ShareGPT4Video數據集增強）與現有最先進的LVLMs之間的定量比較。值得注意的是，與之前的LVLMs相比，論文的ShareGPT4Video-8B在所有三個綜合基準測試中均取得了最優性能。具體而言，得益于ShareGPT4Video提供的豐富時間信息，論文的ShareGPT4Video-8B模型在TempCompass基準上實現了令人印象深刻的平均準確率61.59%。這比之前表現最佳的LVLM，VideoLLaVA-7B提高了11.6%。此外，盡管VideoBench和MVBench基準從各種現有視頻數據集中收集了多樣化的QA數據，論文在這兩個基準上均取得了穩健的性能，平均準確率分別超過之前的最先進水平2.7%和8.2%。 

關于標題質量和ViT的消融研究。基于ShareGPT4Video-8B，論文研究了標題質量和可學習的視覺編碼器如何影響模態對齊。如表2所示，在VQA數據之上引入簡短的標題可能不會帶來顯著的性能提升。由于模態對齊不佳，它甚至可能在某些基準上降低性能。比較表2中的第一、第二和第四行，得益于論文高質量標題數據理解時間序列所帶來的顯著性能提升是顯而易見的。此外，在訓練時使用詳細標題解鎖視覺編碼器有助于更好地實現LVLMs的模態對齊。

2.4.2 視頻字幕生成  

為了驗證ShareCapitoner-Video的能力，論文通過人類偏好投票定量比較了ShareCapitoner-Video與GPT4V之間的視頻字幕質量。如表7顯示，其性能與GPT4V相當。圖9中還展示了定性結果。更多詳情，請參閱附錄A.4節。

表3：與TempCompass上的SOTA方法進行比較。盡管競爭對手使用了更大的訓練數據或更多的參數，但擁有70億參數的ShareGPT4Video-8B在20個維度中的19個維度上超越了競爭對手。最佳結果以粗體顯示，次佳結果以下劃線標出

表 4：在 VideoBench 上與 SOTA 方法的比較。 表示論文使用公開檢查點進行評估的結果。最佳結果以粗體顯示，次佳結果以下劃線顯示

表 5：與MVBench上的SOTA方法的比較。表示論文使用公共檢查點的評估結果。最佳結果加粗，次佳結果下劃線*

2.4.3 視頻生成  

模型設置。為了驗證高質量字幕在T2VMs領域的有效性，論文使用ShareCaptioner-Video和Panda-Student 分別為450萬個65幀視頻和30萬個221幀視頻生成高質量且簡短的視頻字幕。遵循Open-Sora-Plan [25]中概述的流程，論文對預訓練的T2VM進行了微調，以生成高保真度10秒視頻。作為比較，論文對具有相同數量視頻-簡短字幕對的基線模型進行了微調。 

定性分析。如圖5所示，T2VM在ShareCaptioner-Video生成的高質量詳細字幕輔助下，能夠準確遵循詳細提示，并在語義內容和相機運動控制方面表現出卓越的控制能力。生成的視頻展示了復雜而生動的畫面。相比之下，當提供簡短字幕時，T2VM難以遵循復雜的生成提示，導致結果不佳。

論文標題：ShareGPT4Video: Improving Video Understanding and Generation with Better Captions

論文鏈接：??https://arxiv.org/pdf/2406.04325??

論文項目地址：??https://sharegpt4video.github.io/?? 

本文轉載自?? AI帝國??，作者： 無影寺