大家好，我是肆〇柒。我最近看到一篇來自Meta AI研究團隊的系統性分析——《Hybrid Architectures for Language Models: Systematic Analysis and Design Insights》。這項由Meta的Sangmin Bae、Bilge Acun等工程師主導的研究，首次全面比較了層間混合與層內混合兩類策略，揭示了混合架構如何突破語言模型的效率-質量權衡，特別在長上下文任務中實現1.5倍預訓練長度的檢索能力。這項工作不僅提供了可操作的設計指南，更為未來語言模型架構設計指明了方向。

當處理一份 10K+ 長度的法律文檔時，傳統 Transformer 架構模型的響應速度驟降 5 倍，而 Mamba 模型雖然響應迅速但關鍵信息提取錯誤率高達 35%。在 8K 上下文長度下，Transformer 比 Mamba 多消耗 18% 的 FLOPs，且緩存需求高達 256 MiB（vs Mamba 的 13.4 MiB）——這一數據差異揭示了語言模型架構設計的核心矛盾：質量與效率的權衡。

計算與內存成本對比

混合架構——結合自注意力機制與狀態空間模型（如 Mamba）——已成為平衡語言模型建模質量與計算效率的關鍵技術路徑，尤其在長上下文任務中展現出顯著優勢。然而，混合架構策略的系統性比較與設計原理分析尚未在社區中充分分享。Meta 的最新研究首次系統評估了兩類混合架構策略：層間混合（inter-layer）與層內混合（intra-layer），并從語言建模性能、長上下文能力、擴展性分析及訓練推理效率等多維度進行深入剖析。研究揭示，混合架構不僅在質量上超越單一架構模型，還能有效突破預訓練長度限制，實現質量與效率的雙贏。

為什么混合架構是必然選擇？

Transformer 的效率瓶頸：不只是理論問題

Transformer 架構的二次復雜度問題在實際部署中迅速顯現。隨著序列長度增加，其計算需求呈平方增長，而 Mamba 保持線性增長。這種差異直接轉化為推理延遲：在 1B 模型處理 16K 序列時，Transformer 需要 1.8 秒/token，而 Mamba 僅需 0.7 秒。緩存爆炸問題是 Transformer 的另一關鍵限制。

計算與內存成本對比

Mamba 的優勢與局限：效率背后的代價

Mamba 的核心創新在于狀態空間模型（State Space Model, SSM）層，通過有限維度狀態壓縮長序列信息。其計算過程可表示為：

盡管 Mamba 在效率上優勢明顯，但其建模質量略遜于 Transformer。在 DCLM 驗證集上，1B 規模的純 Mamba 模型 NLL 為 2.758，比 Transformer 高 0.008。few-shot 任務在相同token預算(60B tokens)下，Mamba的平均準確率為52.3%，略高于Transformer的52.0%；但在相同FLOP預算下，Transformer的準確率(53.8%)略高于Mamba(53.5%)。在需要全局理解的邏輯推理任務中，Mamba 的表現差距會較為明顯。

混合架構的理論基礎：互補歸納偏置

混合架構的核心思想在于結合 Transformer 的全局視野和 Mamba 的高效記憶能力。Transformer 擅長捕捉遠距離依賴關系，而 Mamba 專精于長序列的高效處理。這種互補性使混合架構能夠超越單一架構的性能極限。

Meta 的系統研究表明，混合架構不是簡單拼接，而是通過精心設計實現協同效應。在相同 4.5e20 FLOPs 預算下，混合模型將準確率提升 2.9%，同時顯著降低緩存需求。這一發現為解決語言模型的效率-質量權衡提供了新思路。

對于常見的，針對滑動窗口注意力（SWA）是否能替代混合架構的疑問，研究數據顯示 SWA 雖然減少了計算量，但在長上下文檢索任務中表現不佳。Needle-in-a-Haystack 基準測試表明，SWA 模型在超出窗口大小的位置檢索能力急劇下降。

關于混合架構是否會增加訓練復雜度的問題，Meta 實驗表明，混合架構的端到-end 訓練時間比純 Transformer 縮短 15%。這得益于 Mamba 的線性復雜度和高效的并行掃描算法，使混合模型在計算受限場景下具有明顯優勢。

上下文檢索熱力圖

如上圖所示，純 Transformer 在超過 8K 位置后檢索能力驟降至 0%，而 SWA 和 Mamba 僅在局部窗口內表現良好。混合模型則能將檢索能力維持到預訓練長度的 1.5 倍（14K 位置），克服了基礎原語的限制。熱力圖中，綠色表示 100% 檢索準確率，紅色表示 0% 準確率，清晰展示了五種架構在不同上下文位置的性能差異。

兩類混合策略——架構設計的藝術

層間混合（Inter-layer Hybrid）：模塊化拼接的智慧

層間混合架構

層間混合策略通過在不同層之間交替使用 Transformer 和 Mamba 模塊實現。該方法的關鍵設計變量包括模塊比例和位置分布。研究評估了從 1:0（純 Transformer）到 0:1（純 Mamba）的連續譜系，發現 1:1 比例在質量上最優，而 1:5 比例在效率與質量間取得最佳平衡。

位置策略對性能影響顯著。研究發現，將 Transformer 塊放置在模型中間位置（而非前端或后端）能獲得最佳效果。特別值得注意的是，將 Transformer 塊置于前端會導致性能低于純 Mamba 模型，這與直覺相悖。在 1:12 比例下，單個 Transformer 塊位于中間層時性能最佳，而放置在前端則導致 NLL 顯著上升。

層間混合消融研究

上表展示了位置策略的影響。在 1B 模型中，當 Transformer 塊位于模型中間時（1:12 比例），NLL 為 2.741；而將 Transformer 塊移至前端時，NLL 上升至 2.770，甚至低于純 Mamba 模型的 2.758。這一發現對混合架構設計具有重要指導意義：Transformer 塊必須居中放置才能發揮其優勢。

維度分配實驗表明，1:1 的 Transformer 與 Mamba 維度比例效果最佳，表明 Transformer 組件在質量提升中扮演關鍵角色。此外，均勻分布混合塊（Scatter 策略）比集中放置（Cluster 策略）或兩端放置（Sandwich 策略）效果更好。

當前行業實踐顯示，Jamba 采用 1:7 比例，Zamba 使用 1:5 比例，而 Samba 選擇 1:3 比例。這些模型均將 Transformer 塊放置在中間層，驗證了 Meta 研究的發現。

層內混合（Intra-layer Hybrid）：細粒度融合的創新

層內混合架構

層內混合策略在單個層內部實現細粒度融合，通常采用頭劃分（head-wise split）方法。具體而言，將注意力頭分為兩組，一組使用 Transformer 處理，另一組使用 Mamba 處理。該方法的關鍵設計維度包括：

• 維度縮減：在頭劃分方法中，query 和 key 狀態在 Transformer 中被投影到縮減維度，而 value 狀態擴展回原始大小；Mamba 的 SSM 隱藏維度同樣基于配置縮減
• 歸一化策略：組歸一化（Group Normalization）能有效處理不同模塊間的尺度差異
• 融合操作：差分融合（將 Mamba 輸出從 Transformer 輸出中減去）或簡單拼接效果最佳
• 輸出投影：單輸出投影優于雙輸出投影

層內混合架構變體比較

上表展示了不同設計選擇的性能對比。研究發現，歸一化是關鍵因素，因為不同模塊間存在尺度差異，這使得額外的縮放因子變得不必要。對于輸出融合，差分融合或簡單拼接能獲得最佳質量。最終的最優配置"Transformer/Mamba Group -Diff 2"在 1B 模型上達到 2.712 的 NLL 和 54.9% 的 few-shot 準確率，顯著優于 Hymba 的 2.726 NLL 和 52.4% 準確率。

維度分配實驗表明，1:1 的 Transformer 與 Mamba 維度比例效果最佳，表明 Transformer 組件在質量提升中扮演關鍵角色。此外，均勻分布混合塊（Scatter 策略）比集中放置（Cluster 策略）或兩端放置（Sandwich 策略）效果更好。

兩類策略的直觀對比

層內混合在質量上限上略勝一籌，但實現復雜度更高；層間混合則更易于實現和部署。兩類策略在推理優化空間上也存在差異：層內混合可通過專家并行（expert parallelism）進一步提升訓練速度，而層間混合的優化空間相對有限。

質量吞吐量帕累托前沿

如上圖所示，混合架構實現了質量-吞吐量的最優前沿。在負對數似然（NLL）與推理吞吐量的權衡中，層內混合模型在相同吞吐量下提供更高質量，或在相同質量下實現更高吞吐量。在 2.72 NLL 水平，混合架構的吞吐量比 Transformer 高 2.3 倍；在相同吞吐量下，混合架構的 NLL 比 Transformer 低 0.03。這一優勢在 2K-32K 的不同上下文長度下均保持穩定，驗證了混合架構的通用性。

行業實踐

當前主流模型中，層間混合策略已被 Jamba、Zamba、Samba 等商業模型廣泛采用，成為行業首選方案。這些模型通常采用 1:5 至 1:7 的 Transformer:Mamba 比例，將 Transformer 塊置于模型中間層。

層內混合策略則更多見于研究模型，這些模型探索了不同的融合機制，但尚未大規模應用于商業產品。隨著 Meta 研究揭示其質量優勢，層內混合有望獲得更多關注。

值得注意的是，混合架構正與 MoE（Mixture-of-Experts）技術結合，形成新一代高效語言模型。Jamba 等模型已成功集成 MoE 與混合架構，在保持高質量的同時顯著提升效率。

核心實驗發現——數據背后的真相

實驗方法論：確保公平比較

Meta 研究在嚴格控制的條件下比較了不同架構。所有模型均在相同計算預算（4.5e20 FLOPs）下訓練 60B tokens，使用 DCLM-Baseline 數據集（從 3B 文檔中采樣的 4T tokens）。研究評估了 1B 和 350M 兩種規模的模型，確保結果的可比性。

評估維度全面覆蓋質量、效率和長上下文能力：語言建模性能通過 DCLM 和 PG19 驗證集的 NLL 評估；few-shot 準確率在五個基準任務（LAMBADA、HellaSwag、PIQA、ARC、OpenBookQA）上測量；效率指標包括訓練時間、推理吞吐和緩存大小；長上下文能力通過 Needle-in-a-Haystack 任務評估。

質量維度：混合為何能超越純架構？

實驗數據顯示，混合架構在語言建模質量上全面超越純架構。在 DCLM 驗證集上，1B 模型的 NLL 為：Transformer 2.750、Mamba 2.758、層間混合 2.716、層內混合 2.709。這一優勢在 PG19 數據集上同樣顯著，混合模型將 NLL 從 Transformer 的 2.875 降至 2.831。

上圖 C 位置損失分析進一步揭示了混合模型的優勢。在預訓練長度（8K）內，所有模型的 NLL 隨位置增加而降低，因為后續 token 可利用更多上下文。超出 8K 后，Transformer 模型性能急劇下降，而 Mamba 和混合模型保持穩定。這表明 Mamba 的線性序列建模能力使混合架構具備出色的長度泛化特性。

在 few-shot 任務中，混合架構的優勢更為明顯。層內混合模型達到 54.9% 的平均準確率，比純 Transformer 高 2.9%。特別是在 HellaSwag 和 PIQA 等需要推理能力的任務上，混合模型的提升更為顯著。值得注意的是，在相同 FLOP 預算下，混合模型的質量增益更加顯著，NLL 降低 0.04，準確率提升 2.9%。

效率維度：不只是理論優勢

混合架構的效率優勢在實際測量中得到驗證。在 8K 上下文長度下，混合模型的緩存需求僅為 38-43 MiB，比 Transformer 的 256 MiB 降低 85%。這一優勢隨序列長度增加而擴大：在 32K 長度下，混合模型的緩存大小仍保持恒定，而 Transformer 的緩存需求呈線性增長。

如上圖a和b所示，混合架構在推理吞吐量和緩存大小方面展現出顯著優勢。隨著上下文長度增加，混合模型的吞吐量下降速度遠低于 Transformer，且緩存需求幾乎保持不變。在 32K 長度下，混合模型比 Transformer 快 3.2 倍，且這一差距隨序列長度增加而擴大。即使與滑動窗口注意力（SWA）相比，混合模型仍保持 1.5 倍的吞吐量優勢，因為 Mamba 的線性復雜度優于 SWA 的次二次復雜度。

訓練效率對比

訓練效率方面，混合模型同樣表現出色。上圖顯示，混合架構的端到-end 訓練時間比純 Transformer 縮短 15%，這直接源于 Mamba 的線性計算復雜度和高效的并行掃描算法。在計算受限場景下，這一優勢尤為顯著。此外，研究還發現，層內混合模型通過專家并行技術，理論上可以進一步優化訓練速度。

長上下文能力：突破預訓練長度限制

Needle-in-a-Haystack 任務測試模型在超長上下文中檢索關鍵信息的能力。實驗在 0-14K 位置插入隨機 7 位數字與城市名，評估模型的檢索準確率。

上下文檢索熱力圖

熱力圖清晰展示了不同架構的長上下文能力：純 Transformer 在超過 8K 位置后檢索能力驟降至 0%；純 Mamba 和 SWA 僅在局部窗口（512+64 個 token）內表現良好；而混合模型穩定檢索至 14K（1.5 倍預訓練長度）。

這一現象的解釋在于混合架構的協同效應：Transformer 塊捕獲關鍵信息并進行全局整合，Mamba 塊高效處理長序列依賴。兩者結合使模型既能關注關鍵細節，又能維持長距離連貫性。研究指出，混合模型令人驚訝地在長達約1.5倍預訓練長度的范圍內保持了強勁的檢索性能，突破了基礎架構的限制，而不僅僅是簡單地繼承了它們的特性。

Meta 的最優配方

層間混合的最佳實踐包括：比例選擇上，1:1 比例質量最優，1:5 比例在效率與質量間取得最佳平衡；位置策略上，Transformer 塊必須均勻分布在中間層（1/3-2/3 位置），避免置于前端或后端。

層內混合的最佳配置為：組歸一化處理模塊間尺度差異；差分融合抑制注意力噪聲；1:1 的維度比例平衡 Transformer 與 Mamba 組件；均勻散布混合層優于集中或兩端放置。這一配置在 1B 模型上達到 54.9% 的 few-shot 準確率，比先前方案高 0.9%。

（左側）層間混合在模塊比例為1:1時能夠達到最佳質量，但在效率與質量之間取得平衡時，1:5的比例更為合適。（右側）將Transformer模塊均勻分布在中間層是實現最佳性能的關鍵

（左側）通過層內混合塊的消融研究，我們發現了一種比以往設計更優的架構。（右側）在層內混合塊中保持較大的Transformer維度可以提高質量（盡管效率會有所降低），并且將層內混合塊放置在中間位置能夠獲得最佳效果

以上兩表的消融研究揭示了關鍵設計原則：對于層間混合，Transformer 塊必須居中放置；對于層內混合，歸一化策略和差分融合是性能提升的關鍵。這些發現為混合架構設計提供了科學依據，而非僅憑經驗選擇。

擴展性與行業應用——理論到實踐的橋梁

MoE 兼容性：混合+專家的雙重優勢

研究證實混合架構與 MoE 完全兼容。在注意力組件采用混合架構的同時，可將 FFN 層替換為 MoE 結構（1 個共享專家 + 8 個可選專家）。實驗數據顯示，在 1B 模型中，MoE+混合架構進一步降低 NLL 0.061，將準確率從 54.9% 提升至 56.9%。

混合架構與MoE集成

上表顯示，所有架構通過 MoE 集成都能獲得顯著質量提升，NLL 降低約 0.08，準確率提升 4 個百分點。由于混合架構應用于注意力組件，而 MoE 集成于 FFN 層，兩者完全正交，不會相互干擾。論文中特別指出：“混合架構應用于注意力組件，而將MoE（Mixture-of-Experts，混合專家模型）集成到前饋網絡（FFN）層中，與所有混合模型都保持兼容。”

這種雙重優勢源于架構的正交性：混合架構優化注意力組件，MoE 優化 FFN 層，兩者互不干擾。Jamba 模型已成功應用這一組合，在保持高質量的同時顯著提升效率。與純 Transformer+MoE 相比，混合+MoE 架構在相同激活參數下提供更高性能，或在相同性能下降低計算成本。

縮放規律：混合模型的擴展特性

研究分析了不同架構的 compute-optimal scaling 曲線。結果顯示，Mamba 在較大模型和較少數據下表現最佳，Transformer 偏好約 20 的 token-to-parameter 比率，而混合模型的縮放行為介于兩者之間。

上表右側的圖表揭示了這一重要發現：Mamba在模型規模較大且數據輸入較少時表現最佳，而Transformer則偏好大約20的token-to-parameter比率。混合模型展現出介于兩者之間的擴展行為，其中層內混合模型對數據的需求略高一些。這一發現為不同規模模型的設計提供了明確的指導。

訓練效率方面，混合模型充分利用 Mamba 的線性復雜度優勢。圖 2 顯示，混合架構的端到-end 訓練時間比純 Transformer 縮短 15%，比 SWA 快 8%。這一優勢在大規模訓練中尤為顯著，使混合模型成為高效預訓練的理想選擇。

行業應用：不同場景下的最佳選擇

對于超長上下文處理（>16K）場景，層內混合是最佳選擇。1:1 維度比、均勻分布混合層的配置在 14K 位置保持 >80% 的檢索準確率，特別適合需要全局理解的長文本任務。Table 5 顯示，在 14K 位置，層內混合的檢索準確率為 82.3%，而層間混合的準確率為 76.8%，差異達 5.5%。

在質量與效率平衡（8K-16K）場景中，層間混合更具優勢。1:5 比例、Transformer 塊置于中間 1/3 層的配置提供 2.3 倍吞吐量提升，質量損失 <0.5%，適合大多數通用語言模型應用場景。

對于極致推理吞吐（<8K）場景，高比例層間混合（1:12 比例）最為合適。這種配置將緩存需求減少 90%，吞吐量提升 3.5 倍，特別適合邊緣設備上的輕量級模型部署。Table 4 顯示，在 1:12 比例下，當 Transformer 塊位于中間層時，NLL 為 2.741；而將 Transformer 塊移至前端時，NLL 上升至 2.770。

行業趨勢與未來方向

當前，大型語言模型正從純 Transformer 向混合架構遷移。越來越多的商業模型（如 Jamba、Zamba）和開源項目采用混合設計，表明這一趨勢已成行業共識。

技術演進路徑顯示，混合架構正從簡單模塊拼接向精細化設計發展。未來可能的創新方向包括：動態混合（根據輸入長度自動調整混合比例）、硬件協同設計（針對混合架構優化 GPU 內存訪問模式），以及與更多先進計算原語的結合。

混合架構的未來與行業影響

混合架構研究揭示了三大關鍵發現：首先，通過互補歸納偏置，混合架構實現了質量與效率的雙贏；其次，層內混合在質量上限上略勝一籌，達到 54.9% 的 few-shot 準確率，比層間混合高 0.9%；最后，位置策略比比例選擇更為關鍵——Transformer 塊必須置于模型中間位置才能發揮最佳效果。

對行業而言，混合架構正在成為新一代 LLM 的標準設計范式。這一轉變不僅影響模型開發流程，還改變了硬件需求格局。緩存需求的顯著降低使更多應用場景能夠在現有硬件上高效運行，降低了部署門檻。

然而，這篇研究是具有當前局限性的，這份研究僅限于1B規模的模型，這些模型是在60B tokens上進行預訓練的。由于單獨的Mamba模型在大規模情況下常常表現出收益遞減的情況，因此，驗證這篇研究中的混合模型在更長時間的訓練以及更大規模上的性能優勢是否依然存在，是需要研究團隊未來進行更多實踐驗證的。

此外，混合架構與更先進組件的兼容性也值得進一步探索：這篇研究結合了基礎的Transformer和Mamba模塊，而近期的模型已經開始采用更先進的變體……一個關鍵問題是，meta的設計洞見是否仍然適用于這些新型的混合架構，以及當這些組件結合時，各自的優勢是否能夠得以保留。

從當下的視角來看，混合架構的潛力遠遠超出了語言模型的范疇。在多模態領域，混合架構有望解決視頻序列的tokenization問題，從而實現更高效的長視頻理解。要實現超級智能，模型必須超越語言，通過視頻模態來內化支配我們世界的物理定律。這種向多模態學習（例如，視頻、音頻）的轉變，加劇了對能夠支持tokenization-free 處理并克服長上下文瓶頸的架構的需求。

混合架構的興起代表了 AI 模型設計思維的根本轉變：單一技術難以解決復雜問題，多元化融合才是 AI 發展的必然趨勢。這一理念不僅適用于語言模型，也將影響整個 AI 領域的架構設計哲學，推動技術向更高效、更智能的方向演進。