在大模型領域快速發展的今天，經常面臨一個艱難選擇：要么選擇小而快的模型，犧牲質量；要么選擇大而準確的模型，但需要強大的GPU支持。谷歌最新推出的Gemma-3n模型，試圖徹底改變這一規則。

Gemma-3n不僅僅是緊湊型模型——它代表了AI架構設計的全新思路。這個僅需2-3GB顯存就能運行的模型，卻包含了多項革命性的技術創新，為邊緣設備上的AI應用開辟了全新的可能性。

1.核心突破：Matformer架構的創新設計

要理解Gemma-3n的創新之處，首先需要回顧傳統Transformer架構的工作原理。標準Transformer模型的每一層都包含兩個主要組件：多頭自注意力機制負責讓每個token理解其與其他token的關系。前饋網絡(FFN)負責讓每個token專注于自身特征的處理。

在傳統設計中，所有層級都使用相同大小的FFN，這就像是讓所有工人都使用相同規格的工具，無論他們處理的是簡單還是復雜的任務。

圖片

Gemma-3n引入的Matformer架構，如同俄羅斯套娃一般，在一個大的FFN內嵌套了多個不同規模的小FFN：完整FFN (S)，半規模 (S/2)，四分之一規模 (S/4)，八分之一規模 (S/8)

圖片

這種設計的核心理念是：不同的層級處理不同復雜度的任務，因此需要不同規模的計算資源。處理語法結構的第5層可能需要完整的FFN，而進行輕度清理工作的第20層只需要S/8的規模即可。

這種混合架構的訓練并不是簡單的拼湊，而是通過精心設計的策略實現的。

• 訓練過程中隨機選擇使用哪個FFN切片
• 確保每個FFN寬度都得到相等的訓練機會
• 較低層處理簡單特征，使用較小FFN；較高層處理復雜語義，獲得更大FFN

這種方法可以根據任務需求選擇每層的FFN大小，在不太關鍵的層中跳過昂貴的FFN計算，無需存儲多個模型變體，一個FFN統治一切

2.PLE緩存：只存儲真正需要的內容

傳統Transformer模型需要加載一個巨大的嵌入表，其中包括包含約256,000個token的詞匯表，2048維度的隱藏層大小，bfloat16格式。

這意味著僅僅是token嵌入就需要約1.05GB的顯存。更令人沮喪的是，即使提示詞只使用30個token，整個嵌入表仍然會被加載到GPU內存中。這就像是為了播放一首歌而下載全世界所有的音樂。

Per-Layer Embedding（PLE）緩存通過一個絕妙的想法解決了這個問題：不加載整個嵌入表，只加載實際使用的token。

例如用戶輸入提示詞，如"狐貍跳過了..."只有實際使用的token嵌入("狐貍"、"跳過"等)從CPU內存通過PCIe橋接獲取到GPU內存。加載后，這些嵌入被緩存在GPU內存中，如果后續層需要相同token，直接使用緩存版本，避免重復獲取。

有趣的是，Gemma-3n的E2B和E4B版本（有效2B和有效4B）實際上分別是5.44B和7.85B參數的模型。通過PLE緩存技術，它們在顯存使用上表現得像更小的模型，只獲取使用的token并智能緩存。

3.KV緩存共享：共享就是效率

在傳統模型中，當token進入時，會被分解為查詢(Q)、鍵(K)和值(V)，并緩存K和V以避免重復計算。但想象一下，當你給模型提供一張圖片和文本提示："這是我的貓的照片，請描述它。"在大多數模型中，圖像和文本都會有獨立的KV緩存，浪費珍貴的顯存。

Gemma-3n采用了不同的方法：計算圖像的K/V一次。當文本解碼器需要"查看"圖像并生成描述時，直接訪問相同的圖像KV緩存。無需在層間或解碼器頭之間創建重復緩存。

圖片

這就像是不為每個團隊打印50份報告，而是將一份放在云端，讓所有人訪問同一版本。

4.LAuReL：學習增強殘差層

傳統Transformer中的殘差連接雖然有助于模型學習，但每個自注意力和MLP層都使用巨大的變換矩陣。對于2048維輸入向量，矩陣可能是2048×2048，包含超過400萬個參數。

LAuReL通過兩個較小的步驟解決這個問題：將2048維輸入壓縮到64維空間，使用另一個矩陣將64維"摘要"擴展回2048維向量。由于這些矩陣更小（64×2048和2048×64），總參數數量從400萬降至約26萬，實現16倍的效率提升。

AltUp可以看作是Transformer層內的"預測和糾正"系統。token通過一組小型"專家"網絡，路由系統選擇激活哪些專家，組合輸出進行。而模型計算預測誤差，通過另一組專家來糾正錯誤，產生最終輸出這種設計受到專家混合(MoE)架構啟發，只激活需要的專家，提高速度和效率。

圖片

5.條件參數加載：按需使用

Gemma-3n包含所有模態的參數——文本、視覺、音頻、視頻。如果只進行文本聊天，為什么要加載音頻權重？Gemma 3n模型自動檢測正在使用的模態，動態加載正確的參數。

值得一提的是Gemma-3n的音頻編碼器基于通用語音模型(USM)，每160毫秒將語音分解為token，相當于每秒約6個token。這種設計支持實時字幕生成，低延遲語音翻譯以及語音控制助手功能。

視覺能力的核心是壓縮MobileNet V5編碼器——一個為設備端性能優化的精簡視覺骨干網絡。與較重的ViT風格編碼器不同，它專為快速、小型和離線運行而設計。

在Pixel等設備上實現60 FPS的實時視覺任務，通過量化實現13倍速度提升，內存減少4倍，參數減少46%。支持實時字幕、物體跟蹤和AR濾鏡，無需互聯網連接。

Gemma-3n支持140多種語言的文本理解和生成，真正實現全球化AI應用。通過交替本地-全局注意力機制，支持高達32K token的長上下文處理。經過指令調優和人類反饋強化學習(RLHF)訓練，能夠像人類一樣理解和執行指令。

E4B版本在LM Arena上獲得超過1300分的成績，這對于10B以下規模的模型來說是罕見的成就。盡管引入了多項復雜技術，Gemma-3n仍然保持了出色的推理速度。、

Gemma-3n不僅僅是谷歌的又一個緊湊模型——它是一個關于AI如何變得敏捷、多語言和真正移動優先的藍圖。通過Matformer架構、PLE緩存、KV緩存共享、LAuReL和AltUp等創新技術的有機結合，它證明了在不犧牲性能的前提下實現模型小型化是完全可能的。

這些技術創新的意義遠超模型本身。它們代表著AI發展的新方向：從追求更大的參數規模轉向追求更高的效率和實用性。在這個過程中，我們看到了AI技術正在變得更加普惠和可及。