大模型技術論文不斷，每個月總會新增上千篇。本專欄精選論文重點解讀，主題還是圍繞著行業實踐和工程量產。若在某個環節出現卡點，可以回到大模型必備腔調或者LLM背后的基礎模型重新閱讀。而最新科技（Mamba,xLSTM,KAN）則提供了大模型領域最新技術跟蹤。若對于具身智能感興趣的請移步具身智能專欄。技術宅麻煩死磕AI架構設計。當然最重要的是訂閱“魯班模錘”。

多模態大型語言模型（MLLM）是人工智能領域的前沿創新，它結合了語言和視覺模型的功能，可以處理復雜的任務，如視覺問答和圖像字幕。這些模型利用大規模預訓練，集成了多種數據模態，以顯著提高其在各種應用程序中的性能。

1.架構概覽

較為常見的MLLM框架可以分為三個主要模塊：接收且有效編碼的多模態編碼器、多模態之間數據對齊的投影器、和接收對齊信號并執行推理的大語言模型。當然各種項目總有自己的差異化設計，例如Chameleon或者Octo。<可以隨鏈接查看！>

MLLM的主要的優化方向，在于處理高分辨率圖像、壓縮視覺標記（token）、多模態對齊、高效結構和利用緊湊語言模型等。

上圖是一些MLLM的部分例子，將其中的基座LLM、視覺編碼器、圖像分辨率和投影器列具出來。

2.視覺編碼器

來看看視覺編碼器，與主流MLLM實踐一致，基本上都是選擇CLIP<鏈接查看詳情！>的預訓練模型。這種方法有助于更好地對齊視覺和文本輸入的特征空間。視覺編碼器在MLLM參數中所占比例相對較小，因此與語言模型相比，輕量級優化不是剛需。

單一的編碼器肯定無法在不同的任務中始終表現出色，將各種偏差的數據編碼器進行聯動則能夠產生令人驚訝的相似結果。

BRAVE的深度消融實驗證明了上述的結論。BRAVE按順序連接了K個不同視覺編碼器的特征（上圖左）。之后這些串聯特征被MEQ-Former進一步提煉（上圖右）。

多個視覺編碼器的確有助于捕捉廣泛的視覺表征，從而增強模型對視覺數據的理解。Cobra將DINOv2和SigLIP集成為其視覺主干，其原理是將DINOv2的低級空間特征與 SigLIP提供的語義屬性相結合將提高后續任務的性能。SPHINX-X采用兩個視覺編碼器DINOv2和CLIP-ConvNeXt。

鑒于這些基礎模型已經通過不同的學習方法（自監督與弱監督）和網絡架構（ViT與 CNN）進行預訓練，應該能夠提供互補和復雜的視覺表征。

這些術語將在后續的文章中逐一講解！可以關注“具身智能”專欄！

輕量級視覺編碼器Vision Transformer架構在實際應用中由于硬件和環境限制而面臨挑戰。ViTamin代表一種輕量級視覺模型，專門針對視覺和語言模型量身定制。依照下圖所示，通過兩層的MBC外加一層的注意力塊完成視覺編碼，然后和文本一起進行對比學習。

值得一提，ViTamin-XL的參數數量只有436M，卻達到了ImageNet zero-shot 82.9%的準確率，超過了EVA-E的準確率82.0%。要知道EVA-E的參數數量為4.4B。

3.視覺投影器

視覺投影器的目的在于將視覺嵌入（Visual embeddings）等輸入映射到文本空間（Text Embeddings）中。換句話說也就是將不同模態進行對齊。

1)投影，相信讀者最直觀的就是線性投影儀或多層感知器（MLP）來實現，可以理解就是最普通的神經網絡。比如幾層的神經網與非線性激活函數組合而成。

2)部分的投影基于注意力機制。BLIP2引入Q-Former，這是一種輕量級轉換器，它使用一組可學習的查詢向量從凍結的視覺模型中提取視覺特征。

Q-former基于對比學習進行訓練，上圖右側展示了由Flamingo提出的感知重采樣器（Perceiver Resampler）考慮在交叉注意力中使用earned Queries（上圖彩色序列塊）作為Q，而圖像特征展開與Q連接起來，在交叉注意力中充當K和V。

上圖為BLIP-2的第二階段架構，通過這種方式，在Learned Queries的相應位置的轉換器輸出被作為視覺特征的聚合表示，從而將可變長度的視頻幀特征標準化為固定大小的特征。

3)部分的投影基于CNN。MobileVLMv2提出了LDPv2，這是一種新的投影。由三部分組成：特征轉換、Token壓縮和位置信息增強。通過使用逐點卷積層、平均池化和具有跳躍連接的PEG模塊，LDPv2實現了更高的效率，與原始LDP相比，參數減少了99.8%，處理速度略快。

4)最后還有基于大名鼎鼎的Mamba，VL-Mamba在其視覺語言投影儀中實現了2D視覺選擇性掃描（VSS）技術，促進了不同學習方法的融合。

5)和所有武功都有最后一式一樣，投影可以采用混合架構。Honeybee提出了兩種視覺投影儀的組合，即C-Abstractor和D-Abstractor，它們遵循兩個主要設計原則：（i）在視覺Token數量生成方面提供適應性，以及（ii）有效地維護本地上下文。下圖詳細的展示了Honeybee的投影混合架構：

C-Abstractor，或卷積抽象器，專注于通過采用卷積架構來熟練地對局部上下文進行建模。該結構由L個ResNet塊組成，然后緊接著是額外的L個ResNet塊，這有助于將視覺特征抽象為任意平方數量的視覺標記。而D-Abstractor是基于Deformable注意力的Abstractor。

4.視覺Token壓縮

MLLM在需要復雜識別的任務中面臨著相當大的挑戰，尤其是帶有OCR的場景。盡管提高圖像分辨率可以解決，然而增加視覺Token的數量給MLLM帶來了巨大的計算負擔，這主要是由于Transformer架構中計算成本與輸入Token數量呈二次比例，因此如何優化則成為這個領域很熱門的主題。

直接使用高分辨率視覺編碼器進行細粒度感知的成本高，并且不符合實際使用要求。為了讓MLLM能夠感知細節且實現低分辨率的編碼能力，一般會利用全局視圖進行圖片規模的壓縮以及通過拆分衍生局部的圖像塊(Patch)。

LLaVA-UHD提出了一種圖像模塊化策略，將原生分辨率的圖像劃分為更小的可變大小切片，以實現高效和可擴展的編碼。注意下圖左側，這個框架自動的選擇最優的切分方案。

此外，InternLM-XComposer2-4KHD 引入了一種通過自動布局排列動態調整分辨率的策略，不僅可以保持圖像的原始縱橫比，還可以自適應地改變Patch布局和計數，從而提高圖像信息提取的效率。

通過對不同分辨率的圖像實施自適應輸入策略，可以在感知能力和效率之間實現平衡。如上圖所示，說白了就是將原圖壓縮和切塊一起進行編碼。

Mini-Gemini由兩個編碼器組成，一個用于高分辨率圖像，另一個用于低分辨率視覺嵌入。它提出了patch的信息挖掘，它使用低分辨率的視覺嵌入作為查詢，通過交叉注意力從高分辨率候選者那里檢索相關的視覺線索。

Scaling on Scales表明，多尺度較小模型的學習能力與較大模型相當，并且預訓練較小的模型可以在MLLM基準測試上匹配甚至超過較大模型的優勢，同時計算效率更高。

S2-Wrapper是一種簡單的機制，它可以以無參數的方式將任何預訓練的視覺模型擴展到多個圖像尺度。以ViT-B為例，S2-Wrapper將輸入圖像插值到不同的尺度（例如2242和4482），然后將每個尺度分割成幾個與默認輸入大小相同的子圖像（4482→4×2242）。對于每個尺度，所有子圖像都被輸入到同一個模型中，輸出（例如4×162）被合并到整個圖像的特征圖中（322）。不同尺度的特征圖被平均池化到原始空間大小（162）并連接在一起。最終的多尺度特征具有與單尺度特征相同的空間形狀，但有更高維度（例如1536 vs 768）。

5.小結

MLLM的主要問題是資源需求，訓練這些模型需要大量的計算資源，通常只有擁有大量預算的大型企業才能使用。例如，在 NVIDIA A100 GPU上訓練像MiniGPT-v2這樣的模型需要超過800個GPU小時，這對于許多學術研究人員和小公司來說成本是巨大的。此外，推理的高計算成本進一步加劇了這個問題，使得在邊緣計算等資源受限的環境中部署這些模型變得困頓。OpenAI的GPT-4V和谷歌的Gemini等模型通過大規模預訓練取得了顯著的性能，但它們的計算需求限制了它們的使用。

目前應對這些挑戰的方法集中在優化MLLM的效率上，需要MLLM采用多種創新技術來解決資源消耗問題。其中包括引入更輕的架構，旨在降低參數和計算復雜性。例如，MobileVLM和LLaVA-Phi等模型使用視覺Token壓縮和高效的視覺語言投影器來提高效率。

通過采用Token壓縮和輕量級模型結構，這些模型實現了計算效率的顯著提高，并拓寬了其應用范圍。例如，與以前的型號相比，LLaVA-UHD支持處理分辨率高達6倍的圖像，只需94%的計算量。這使得在學術環境中訓練這些模型成為可能，一些模型只需23小時即可使用8個A100 GPU進行訓練。值得一提的是，這些效率的提高不是以犧牲性能為代價的。

本文轉載自 ??魯班模錘??，作者： 龐德公