數量即力量！騰訊揭秘：Agent數量越多，大語言模型效果越好
來自騰訊的研究者們做了一個關于 agent 的scaling property（可拓展性）的工作。發現：通過簡單的采樣投票，大語言模型（LLM）的性能，會隨著實例化agent數量的增加而增強。其第一次在廣泛的場景下驗證了該現象的普遍性，與其他復雜方法的正交性，以及研究了其背后的原因，并提出進一步促成scaling發揮威力的辦法。
論文標題：
More Agents Is All You Need
論文地址：
??https://arxiv.org/abs/2402.05120???
代碼地址：
??https://github.com/MoreAgentsIsAllYouNeed/More-Agents-Is-All-You-Need??
本文中，來自騰訊的研究者發現：只需通過一種簡單的采樣投票法，大語言模型的性能就會隨著實例化 agent 的數量的增大而增強，呈現 scaling property（可拓展性），無需復雜的多 LLM agents 協作框架以及prompt工程方法的加持。此外，該方法與現有的復雜方法正交，結合之后，可進一步增強 LLM，其增強程度與任務難度相關。
該論文做了第一個關于 raw agent（指不依賴復雜的prompt工程和協作框架的LLM agent）的 scaling property 的研究，其對各種 LLM 基準進行了全面的實驗，以驗證此發現的普遍性，并研究了可以促進其發生的策略。目前代碼已開源。
▲ 多個小模型超過大模型
論文討論了諸多集成 LLM 的相關工作，包括 LLM 自集成、異構 LLM 集成、還有關于多個 LLM Agents 協作框架的工作，并與提出的方法進行了對比，可以看出論文進行了更全面的研究和分析：
為了研究大型語言模型的性能如何隨著實例化 agents 數量的增加而提升。論文使用了一種簡單的采樣和投票方法（作者用了 simple (st) 的說法，可見他們認為這個方法也許是最簡單的方法之一）。值得注意的是，此方法可與現有的復雜方法正交結合。它可以被分為兩個階段：
- 將任務 query 輸入到單個 LLM 或多個 LLM Agents 協作框架中，生成多個輸出；
- 通過多數投票確定最終結果
論文從 Llama2 和 GPT 系列選擇不同規模的語言模型進行評估，任務數據集涵蓋推理和生成等多個領域。實驗結果表明，在所有任務和不同種類、規模的 LLM 上，發現 LLM 的性能隨著實例化 agent 的數量而增加。
例如，在 GSM8K 任務上提升了 12% 至 24%，在 MATH 上提升了 6% 至 10%。有趣的是，多個小 LLM 集成可以達到甚至超越較大 LLM 的性能。例如，多個 Llama2-13B 的集成在 GSM8K 上達到了 59% 準確率，超過了單一 Llama2-70B 的 54% 的準確率。
進一步地，作者還探索了與其他方法的兼容性。盡管這些方法實現各不相同，但是在與之結合使用時，性能可以進一步提升，并同樣符合實例化 agent 越多，性能增益越強的現象。實驗結果顯示增益范圍從 1% 到 27% 不等，說明這個簡單的方法通過和其他方法正交使用可以進一步增強 LLM 的性能。
▲ 基于 LLama13B
▲ 基于 LLama70B
▲ 基于 GPT-3.5-Turbo
此外，論文還分析了性能提升與問題難度之間的關系。
- 固有難度：隨著任務固有難度的增加，性能提升（即相對性能增益）也會增加，但當難度達到一定程度后，增益會逐漸減少。這表明在任務過于復雜時，模型的推理能力可能無法跟上，導致性能提升的邊際效應遞減。
- 步驟數量：隨著解決任務所需的步驟數量增加，性能提升也會增加。這表明在多步驟任務中，通過增加 agent 數量可以幫助模型更好地處理每一步，從而整體提高任務的解決性能。
- 先驗概率：正確答案的先驗概率越高，性能提升越大。這意味著在正確答案更有可能的情況下，增加 agent 數量更有可能帶來顯著的性能提升。
▲ 節點：步驟，虛線：可能的替代步驟。節點的深度：步驟的數量，顏色的強度：固有難度的水平。圖示幫助讀者理解任務的復雜性是如何通過這些維度來衡量的。
基于此，論文提出了兩種優化策略來進一步提升方法的有效性：
- 逐步采樣和投票（Step-wise Sampling-and-Voting）：這種方法將任務分解為多個步驟，并在每個步驟中應用采樣和投票，以減少累積錯誤并提高整體性能。
- 分層采樣和投票（Hierarchical Sampling-and-Voting）：這種方法將低概率任務分解為多個高概率子任務，并分層解決，同時可以使用不同模型來處理不同概率的子任務以降低成本。
最后，提出了未來的工作方向，包括優化采樣階段以降低成本，并繼續開發相關機制來減輕 LLM 幻覺（hallucinations）的帶來的潛在負面影響，確保這些強大模型的部署既負責任又有益。
本文轉載自讓你更懂AI的 ，作者：PaperWeekly
