近期，谷歌在 LMArena 上匿名上線的「nano-banana」（真身 Gemini 2.5 Flash Image）以 1362 分的斷層優勢登頂圖像編輯榜，網友驚呼“只需一句自然語言就能把模特 P 成穿香蕉服”。

圖片

谷歌AI Studio負責人最近還采訪了這個項目背后的團隊，透露技術細節有一條提到該模型的核心又是在于原生多模態。

圖片

那么，一個更底層的問題浮出水面：

當 MLLM 聽到“把背景換成藍天白云”時，它到底在第幾層才真正“看懂”這張圖，又在第幾層決定“怎么換”？

答案就藏在最新放出的論文《How Multimodal LLMs Solve Image Tasks》里。

圖片

提出了一套輕量級線性探針框架，用三種精心設計的 prompt 變體，把 LLaVA-1.5、LLaVA-Next-LLaMA-3、Qwen2-VL 的內部流程徹底拆開，發現了驚人的「四階段」通用結構，并指出：換 tokenizer、加數據、換預訓練語料都撼動不了這一結構，真正決定“哪層干什么”的是底層 LLM 架構本身。

方法：用三種 Prompt 變體給每層“體檢”

圖2 探針框架示意

圖2：在同一層上訓練線性探針；推理時固定探針，僅換 prompt 看準確率變化。

2.1 實驗設置

• 數據：ImageNet 120 類細粒度犬種（避免任務太簡單）。
• 錨定問題：Does this image show an animal? The answer must be always yes or no.
• 每層獨立訓練一個線性分類器，預測犬種標簽；用準確率下降幅度衡量該層對 prompt 擾動的敏感度。

3. 四階段流水線一次看明白

3.1 LLaVA-1.5 的典型四階段

圖3 左：Lexical 右：Semantic Negation 的逐層準確率

• Layers 1-4：Visual Grounding換 prompt 幾乎不掉點 → 純視覺編碼。
• Layers 5-13：Lexical Integration換“image→picture”立刻掉 40% → 圖文開始融合。
• Layers 12-15：Semantic ReasoningSemantic Negation 掉點嚴重，Output Format 仍高 → 決策已固化。
• Layers 16+：Answer DecodingOutput Format 掉點 → 開始準備輸出 token。

3.2 把“決策”和“格式”解耦

圖4 僅改輸出格式 yes/no→1/0

• 12-15 層：兩種格式準確率都高 → 這里存的是語義答案本身。
• 16 層以后：格式不同導致準確率下降 → 這里開始關心如何說而不是說什么。

4. 什么決定流水線？架構 > 數據 > Tokenizer

把 LLaVA-1.5、LLaVA-Next-LLaMA-3、Qwen2-VL 拉來對比，控制變量看「誰動了我的流水線」。

4.1 Tokenizer、指令數據、預訓練語料：影響微乎其微

圖5(a) LLaVA-Next vs LLaVA-1.5

→ 曲線幾乎重合，四階段結構穩定。

4.2 換底層 LLM：階段不變，層數搬家

圖5(b) Qwen2-VL vs LLaVA-1.5

換 Qwen → 更少層做視覺錨定，更多層做語義推理。

Reasoning 高峰從 Layer 10 延續到 Layer 20，Decoding 推遲到 21-28，直觀體現“層數搬家”現象。

Reasoning 高峰從 Layer 10 延續到 Layer 20，Decoding 推遲到 21-28，直觀體現“層數搬家”現象。

結論：底層 LLM 的架構差異決定了各階段“用幾層”，但四階段邏輯不變。

5. 結論

• 通用四階段：Grounding → Integration → Reasoning → Decoding。
• 架構決定深度：換 LLaMA→Qwen 就像把同一條流水線“拉伸”或“壓縮”。
• 輕量探針：無需梯度回傳、無需改動模型，即可橫向比較不同 MLLM。

未來工作將把這套探針搬到 BLIP-2、Chameleon 等非 LLaVA 架構，驗證四階段是否仍是“宇宙法則”。

想調 MLLM？先想清楚你的底層 LLM 在第幾層“開始動腦”，再談數據與 tokenizer！

https://arxiv.org/pdf/2508.20279
How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning,