本文作者來自于香港中文大學深圳和深圳大數據研究院。其中第一作者為香港中文大學深圳博士生王熙棟和研究助理宋定杰，主要研究方向分別為醫療AGI和多模態學習；博士生陳舒年研究方向為多模態學習，博士生張辰研究方向為高效語言模型。通訊作者為香港中文大學深圳數據科學學院王本友教授。

擴展多模態大語言模型（MLLMs）的長上下文能力對于視頻理解、高分辨率圖像理解以及多模態智能體至關重要。這涉及一系列系統性的優化，包括模型架構、數據構建和訓練策略，尤其要解決諸如隨著圖像增多性能下降以及高計算成本等挑戰。

該團隊將模型架構調整為 Mamba 和 Transformer 塊的混合體，在數據構建中考慮多個圖像之間的時間和空間依賴性，并采用漸進式訓練策略。提出了首個混合架構多模態大語言模型 LongLLaVA，在效率和性能之間實現了更好的平衡。

LongLLaVA 不僅在各種基準測試中取得了有競爭力的結果，還保持了高吞吐量和低顯存消耗，其可以在單個 A100 80GB GPU 上處理近千張圖像，展現出了廣闊的應用前景。

• 論文地址：https://arxiv.org/abs/2409.02889
• 項目地址：https://github.com/FreedomIntelligence/LongLLaVA

1. 簡介

多模態大語言模型（MLLMs）的快速進步展示了它們在各個應用領域中的顯著能力。然而，多圖像理解場景仍然是一個重要但尚未充分探索的方面。特別是，將 MLLMs 的應用場景擴展到理解更長的視頻、更高分辨率的圖像以及基于更多歷史信息的決策，對于提升用戶體驗和進一步拓展 MLLMs 的應用范圍至關重要。

然而，將 MLLM 的上下文長度擴展以提高其可用性，面臨著處理更多圖像時性能下降和計算成本高昂的挑戰。一些研究專注于構造包含多個圖像的長上下文訓練數據，以增強性能。其他研究探索了創新性的訓練策略，以減輕性能下降。關于高計算成本的問題，LongVILA 通過降低通信成本在提高多節點效率方面取得了進展。然而，在管理更長的上下文時，加速計算這個問題本身仍有待解決。

為了解決上述挑戰，該研究提出了 LongLLaVA 系統解決方案，采用混合架構進行加速。該解決方案在三個維度上進行了全面優化：多模態架構、數據構建和訓練策略。

• 對于多模態架構，采用結合 Transformer 和 Mamba 的混合架構，并提出了一種高效圖像表示方法，該方法對圖像 Token 應用 2D 池化以降低計算成本同時保持性能。
• 對于數據構建，為不同的任務設計了獨特的格式，使模型能夠區分圖像之間的時間和空間的依賴關系。
• 在訓練策略方面，采用了一種三階段的多模態自適應方法 —— 單圖像對齊、單圖像指令調整和多圖像指令調整 —— 以逐步提升模型處理多模態長上下文的能力。

實驗結果表明，LongLLaVA 在高效理解多模態長上下文方面表現卓越。它在VNBench的檢索、計數和排序任務中領先，并在單張 80GB GPU 上對 1000 張圖像進行大海撈針評估時達到了近 100% 的準確率。從保證研究可復現和促進社區發展出發，團隊將開源所有與 LongLLaVA 相關的模型、代碼和數據集。

2. LongLLaVA: 將 LLaVA 擴展到更長的上下文

為了解決上述挑戰并提高模型對長文本和多圖像場景的適應性，團隊從三個角度進行了改進：多模態模型架構，數據構造和訓練策略。

2.1 多模態架構

LongLLaVA 基于 LLaVA 的三個核心組件：視覺編碼器、 映射器 和大語言模型。

視覺信息處理。團隊使用 CLIP 作為視覺編碼器來編碼視覺信息，并采用兩層 MLP 作為映射器，將視覺特征映射到適合 LLM 的文本嵌入空間。在映射之前，應用2D池化，有效地節省了訓練和推理時間，同時保持了圖像塊之間的基本空間關系。

混合 LLM 架構。LongLLaVA 采用了一種混合 LLM 架構，將 Transformer 和 Mamba 層以 1:7 的比例集成，如圖 2 所示。在每一層中還采用了混合專家（MoE）方法，使用 16 個專家，并為每個 Token 選擇前兩個專家。在層之間使用 RMSNorm 來增強歸一化，但省略了位置嵌入。該模型集成了分組 Query 注意力（GQA）和 SwiGLU 激活函數，與其他大型語言模型相似。模型的總體參數數量為 530 億，推理過程中的激活參數總數為 130 億。

2.2 數據處理協議

為確保模型在多圖像場景中有效地區分圖像之間的時序和空間依賴關系，并在各種任務中表現良好，團隊細致地區分了不同場景下的特殊字符。如圖 3 所示，這些特殊字符全面處理了不同情境下圖像之間的各種關系，從而增強了模型對不同任務的適應性。

• 常規單圖和多圖輸入：使用 <img></img> 幫助模型區分圖像和文本 Token 。
• 視頻：在不同的幀之間添加 <t>，以表示它們之間的時間依賴性。
• 高分辨率圖像：使用換行符 "\n" 來區分主圖像與其子圖像。 對于子圖像的排列，通過從左上角遍歷到右下角的方式進行分割，在分割行之間添加"\n"以保留子圖像的相對空間位置。

2.3 訓練策略

團隊逐步實現單模態和多模態的適配，將預訓練語言模型轉變為多模態長上下文模型。

純文本指令微調。首先提升預訓練語言模型在純文本場景中遵循不同長度指令的能力。這是通過使用包含來自 Evol-instruct-GPT4、WildChat 和 LongAlign 的 278k 條純文本條目的數據集實現的。

在多模態自適應方面，在 LLaVA 中 “單圖像對齊” 和 “單圖像指令微調” 階段之后，團隊引入了 “多圖像指令微調” 階段，逐步增強模型的多模態長上下文能力。采用漸進式訓練不僅是為了更好地控制變量，也是為了增加模型的可重用性。具體的數據集使用情況如圖 4 所示。

第一階段：單圖像對齊。這一階段是為了將視覺模態特征與文本模態進行對齊。團隊使用了 ALLaVA-Caption 和 ShareGPT4V 等數據集，這些數據集包含大約 600K 個高質量的圖像 - 字幕對。在此階段，僅訓練映射器，同時凍結視覺編碼器和 LLM 的參數。

第二階段：單圖像指令微調。這個階段的目的是賦予模型多模態指令遵循能力。團隊使用了 LLaVA-1.5 和 Manti-Single 等數據集，總共有約 932K 個高質量的問答對。在此過程中，只凍結了視覺編碼器，而映射器和 LLM 部分進行訓練。

第三階段：多圖像指令微調。在這一階段，模型被訓練以在多模態長文本場景中遵循指令。團隊分別從 Mantis、VideoChat2 和 ShareGPT4Video 中采樣 200K、200K 和 50K 數據項。為了保留模型的單圖像理解和純文本對話能力，團隊將來自單圖像指令微調和純文本指令微調階段的額外 200K 和 50K 數據項作為 Replay 部分。此外，為了提高模型解釋復雜單圖像（分割成多個子圖像）的能力，團隊從單圖像指令微調階段采樣 50K 條數據，進行填充和分割，將原始圖像分割成尺寸為 336x336 的子圖像作為 SubImage 部分。

3. 評估結果

3.1 主要結果

如表 2 所示，LongLLaVA 在 MileBench 上表現出色，甚至超過了閉源模型Claude-3-Opus，尤其在檢索任務方面表現出色。突顯其在處理多圖像任務方面的強大能力。

LongLLaVA 在涉及中等至長視頻的任務中表現出色，超越了傳統的視頻模型，如 Video-LLaMA2 和 VideoChat2。在取得了這些令人印象深刻結果的同時，LongLLaVA 的 FLOPs 比其他模型少一個數量級。

3.2 長上下文大型語言模型的診斷評估

考慮到以前的評估不能充分捕捉 MLLM 在長語境下的能力，團隊采用了一個新的診斷評估集 VNBench，以進一步分析模型在長語境下的原子能力。VNBench 是一個基于合成視頻生成的長上下文診斷任務框架，包括檢索、排序和計數等任務。

結果顯示如表 3 所示，LongLLaVA 在跨語境檢索、排序和技術能力等任務中的表現與領先的閉源模型相當，甚至在某些方面超過了 GPT-4V。在開源模型中，LongLLaVA 也展現出其卓越的性能。展示了 LongLLaVA 在管理和理解長上下文方面的先進能力。

3.3 消融實驗

表 4 中顯示，使用具有相同數據的混合 LLM 架構，在評估集中都觀察到了顯著的改進，證明了其在多模態場景中的潛力。對于 Token 壓縮，選擇了 2D 池化，這顯著減少了計算負載，同時將性能下降控制在可接受范圍內。與 1D 池化相比，2D 池化方法得到更好的結果。在數據構建方面，在訓練團隊的單圖像數據后，模型在 SEEDBench 上的準確率提高了 1.5%，在 MileBench 上提高了 12.3%。隨后的多圖像訓練使得 MileBench 上的準確率進一步提高了 7.4%，驗證了數據集構建的有效性。

4. 更多分析

為了解 LongLLaVA 的內部工作原理和跨模態長文本處理能力，該團隊進行了進一步分析。

4.1 關于混合架構的動機

團隊探討了不同架構在 ICL 能力和推理效率方面的優缺點，強調了混合架構的平衡優勢。

ICL 分析。團隊評估了在 VL-ICL 基準測試中對多模態情境學習中匹配圖像任務的性能。該任務的輸入包含一個圖像對，輸出表示是否存在特定的關系。MLLM 需要從示例中學習關系。如表 5 所示，混合架構和 Transformer 架構隨著示例數量的增加表現出快速的性能提升，而 Mamba 架構的提升較少，證實了其在情境學習方面的不足。

效率分析。團隊關注三個方面：預填充時間（首次推理延遲）、吞吐量（每秒生成的下一個 Token 數）和內存使用。團隊將輸入文本長度控制在 100K，并測量生成 1 個 Token 和 1000 個 Token 的輸出所需的時間和最大內存使用。吞吐量計算為。為了更好地模擬實際應用場景，使用 vLLM 框架和 Int8 量化評估了 Transformer 和混合架構。如表 5 所示，Mamba 架構具有最快的預填充時間，最高的吞吐量。與具有相似推理參數的 Transformer 架構相比，混合架構實現了 2.5 倍的吞吐量，75% 的預填充時間，并減少了內存使用。

4.2 圖像數量的縮放定律

隨著可處理圖像數量的增加，模型能夠支持更多圖像塊以進行高分辨率圖像理解，以及使用更多視頻幀進行視頻理解。為了探索增加子圖像和視頻幀數量的影響，團隊分別在 V* Bench 和 Video-MME 基準測試上評估了 LongLLaVA。

增加子圖像數量。V* Bench 評估了一個模型在大型圖像中定位小目標的能力。如圖 5 所示，最初增加子圖像的數量顯著提高了模型性能，表明模型對圖像細節的理解更好。然而，團隊也發現，進一步增加子圖像的數量略微降低了性能，這表明過多的子圖像可能會干擾在此任務上的性能。

增加幀數規模。視頻多模態編碼器是一個測試模型從視頻中提取信息能力的基準。從圖 6 中可以看到，隨著采樣幀數的增加，模型在基準測試中的性能顯著提高，當提取 256 幀時達到峰值。這表明模型能夠有效地理解和利用額外采樣幀中包含的信息，以提供更好的響應。

5. 進一步將圖像數量擴大到 1000

利用 LongVA 中提出的 V-NIAH 評估框架，團隊進行了 “大海撈針” 測試來評估模型性能。考慮到模型的訓練序列長度限制為 40,960 個 token，采用 token 池化技術將原始 token 數量從 144 個減少到 36 個。這種調整能夠高效地從大量數據集中檢索相關信息。如圖 7 所示，模型在 1000 張圖像集上實現了近 100% 的檢索準確率，而無需額外的訓練。

然而，當增加測試圖像數量超過 1,000 張時，團隊觀察到檢索準確率下降。這種性能下降可能是因為超出了模型的訓練序列長度，這可能會影響其保持更多圖像準確性的能力。在未來的工作中團隊將延長訓練序列長度至 140,000 Token，即 LongLLaVA 進行單卡推理的極限長度，以進一步釋放模型潛力。

6. 結論

LongLLaVA（長上下文大型語言和視覺助手）這一創新性混合架構模型，在長上下文多模態理解方面表現出色。該模型集成了 Mamba 和 Transformer 模塊，利用多個圖像之間的時空依賴性構建數據，并采用漸進式訓練策略。

LongLLaVA 在各種基準測試中表現出競爭性的性能，同時確保了效率，為長上下文多模態大型語言模型（MLLMs）設定了新的標準。