大模型浪潮下，你的 AI 應用遇到瓶頸了嗎？

當 GPT、Claude、文心一言等各類強大模型如繁星般涌現，我們驚喜于它們令人驚嘆的能力。然而，在實際落地中，我們常常發現，即使是最頂尖的單一模型，也難以完美應對所有復雜場景的需求。

為什么呢？因為現實世界的任務往往是多模態、跨領域的。解決一個問題可能既需要強大的邏輯推理，又需要豐富的知識儲備，甚至還需要調用外部工具或API。讓一個模型包攬一切，就像要求一位數學家同時成為詩人、程序員和歷史學家一樣，效率和效果都難以保證。

那么，未來的方向在哪里？答案或許在于協作。

不同于讓模型內部的模塊分工（比如 MoE），我們正在見證一種更靈活、更強大的協作模式崛起：讓多個獨立的、各有所長的大模型或 AI Agent 組成一個“夢之隊”，共同解決難題。

今天，我們要聚焦的，就是這一前沿領域的一個重要探索——混合 Agent（Mixture of Agents），簡稱 MoA。它不再是模型內部的“分身”，而是系統層面的“集結號”，讓不同的強大模型為了同一個目標而協同作戰！

你可能聽說過 MoE (Mixture of Experts)，它是一種提高模型效率和容量的內部技術，像是模型自己搭建了一個內部“專家團”，根據任務把計算分配給不同的內部子網絡。

而 MoA (Mixture of Agents) 則是一種更高維度的協作。它不是在模型內部做文章，而是把多個已經訓練好的獨立大模型（就像一個個具備特定技能的“智能體”Agent）拉到一個協作框架里。

你可以把 MoE 理解為一個公司內部的不同部門協同完成一個大項目；而 MoA 更像是一個跨公司的戰略聯盟，每個公司（Agent）都有自己的核心優勢和技術棧，為了一個共同的商業目標（用戶查詢/復雜任務）而緊密合作。

在 MoA 框架下，當一個復雜任務來臨時，它不是直接扔給一個“全能選手”。相反，它會被分發給聯盟中的多個“智能體”。

MoA 系統通常采用一種巧妙的分層結構，核心是兩種角色：提議者 (Proposers) 和 聚合者 (Aggregators)。

啟動階段（第一層）

 收到用戶任務后，系統會把任務發給第一層的多個“提議者”（它們是不同的、獨立的 LLM）。這些提議者就像接到同一個咨詢需求的多個專家，各自獨立思考并提出自己的初步“方案”。

迭代優化（中間層）

 接下來，前一層所有提議者的“方案”會被收集起來，作為新的參考信息，傳遞給下一層的提議者。這些下一層的提議者在參考了前人的智慧結晶后，再生成自己的、可能更精進的“方案”。這個過程可以重復多次，形成多層結構。

智慧融合（最后一層與聚合）

 當達到最后一層時，所有提議者生成的“方案”會被提交給一位特殊的成員——“聚合者”。聚合者就像一位經驗豐富的總編輯或項目經理，它會審閱所有提交的方案，從中吸收精華、整合信息，最終形成一個結構完整、內容豐富、質量最高的最終回復呈現給用戶。

MoA 的強大之處在于，它不是簡單地從多個回復中“挑一個最好的”，而是通過聚合者的綜合能力，將不同提議者在不同側面的優勢整合起來，形成一個超越任何單個提議者能力的答案。

而且，這個協作框架是基于提示詞（Prompt-based）實現的！這意味著你不需要去修改或微調底層的 LLM，只需設計好如何組織和傳遞信息給它們即可。如果未來出現了更強的模型，你可以輕松地將其加入這個“智能體聯盟”中，即插即用，大大提高了系統的靈活性和可升級性。

MoA 在多個公開基準測試中展現出了令人印象深刻的性能。在 AlpacaEval 2.0 和 MT-Bench 這類考驗模型通用對話能力的榜單上，采用 MoA 結構的系統，通過匯聚多個頂尖 LLM 的智慧，在某些配置下甚至超越了當時最先進的單一模型！

特別是在 FLASK 這樣的細粒度評估數據集上，MoA 在正確性、信息完整度、問題理解深度等多個關鍵維度上表現出色，證明了“集思廣益”在提升回復質量方面的有效性。

對比簡單的“選優”策略（比如只從多個提議者中挑一個最佳回復），MoA 的“融合”策略被證明能帶來更穩定的性能提升，因為它能夠博采眾長，彌補單個模型的不足。

想嘗試 MoA？一些研究和實踐經驗或許能幫到你：

在構建一個高效的語言模型協同工作系統時，成員的多樣性至關重要，就像組建團隊需要不同背景和技能的人一樣，選擇不同架構和訓練偏向的語言模型（LLM）作為提議者，其效果往往優于使用多個相同的模型。

增加提議者的數量通常能提升整體性能，因為它帶來了更多元的視角和信息來源供聚合者參考，但這需遵循適度原則，平衡性能提升與成本效率。系統的“隊長”——聚合者的能力至關重要，一個強大的、擅長信息整合和文本生成的LLM能更好地發揮提議者集群的優勢。

研究表明，即使是層數較少的配置（如雙層MoA-lite），通過合理的模型搭配，也能在性能上接近甚至超越一些頂級模型，同時顯著降低運行成本，體現了性價比的優勢。

當然，這種多模型協作并非沒有代價。最主要的挑戰在于延遲。等待多個提議者生成回復，再由聚合者進行處理，這個流程顯然會比單個模型直接輸出要耗時。如何優化響應速度，尤其縮短用戶感知到的首字生成時間（TTFT），是未來 MoA 發展需要解決的關鍵問題。一些潛在方案包括并行處理、流式聚合等。

寫在最后

MoA 為我們展示了一個充滿想象力的 AI 協作新范式。它突破了單一模型的局限，通過有機地組合和協同多個具備不同能力的智能體，去攻克那些復雜多變、需要綜合智慧的任務。

這不僅僅是一種技術架構的創新，更代表著一種理念的轉變：未來的 AI 不會是少數幾個“超級英雄”統治世界，而更可能是一個由各種專業智能體構成的、高效協作的“聯盟”。

2025年的今天，AI創新已經噴井，幾乎每天都有新的技術出現。作為親歷三次AI浪潮的技術人，我堅信AI不是替代人類，而是讓我們從重復工作中解放出來，專注于更有創造性的事情，關注我們公眾號口袋大數據，一起探索大模型落地的無限可能！