大型語言模型（LLMs）時代協(xié)作策略是一個新興研究領(lǐng)域，協(xié)作策略可以分為三種主要方法：合并（Merging）、集成（Ensemble）和合作（Cooperation）。

每個模型都有其獨特的優(yōu)勢，這種多樣性促進了這些模型之間的合作研究

盡管LLMs通過ICL和指令跟隨在各種任務(wù)上表現(xiàn)出強大的多樣性，但不同的LLMs在訓練語料庫和模型架構(gòu)上的差異導(dǎo)致它們在不同任務(wù)上有不同的優(yōu)勢和劣勢，有效的協(xié)作可以發(fā)揮它們的綜合潛力。

對大型語言模型（LLM）協(xié)作的主要分類

LLMs協(xié)作方法的分類：

• 合并（Merging）：在參數(shù)空間中整合多個LLMs，創(chuàng)建一個統(tǒng)一的、更強大的模型。
• 集成（Ensemble）：結(jié)合不同模型的輸出以獲得一致的結(jié)果。
• 合作（Cooperation）：利用不同LLMs的多樣化能力來實現(xiàn)特定目標，如高效計算或知識轉(zhuǎn)移。

不同協(xié)作策略的示意圖，圖中的每種動物代表一個不同的大型語言模型（LLM）

 合并（Merging）方法

合并策略旨在通過在參數(shù)空間中整合多個模型來創(chuàng)建一個統(tǒng)一的、更強大的模型：

1. 合并的目的：合并方法旨在解決單一模型可能存在的限制，如信息缺失、陷入局部最優(yōu)或缺乏多任務(wù)能力。
2. 合并為相對最優(yōu)解（M-ROS）：

• 描述了深度學習模型在訓練過程中可能無法達到精確最優(yōu)解的現(xiàn)象。
• 提出了通過合并多個模型的參數(shù)來獲得更好的相對最優(yōu)解的方法，包括簡單平均和加權(quán)平均兩種方法。

3. 基本M-ROS方法：

• 簡單平均：將多個微調(diào)模型的參數(shù)以相等的系數(shù)進行平均，以創(chuàng)建一個更強的模型。
• 加權(quán)平均：根據(jù)模型的重要性或質(zhì)量分配不同的系數(shù)，以實現(xiàn)更好的合并。

4. 合并以增強多任務(wù)能力（M-MTC）：

• 通過合并具有不同能力的模型來構(gòu)建具有多任務(wù)能力的統(tǒng)一模型的嘗試。
• 介紹了基于加權(quán)平均、基于任務(wù)屬性和基于增量訓練的方法來解決模型參數(shù)空間中的分歧問題。

5. 基于任務(wù)屬性的合并方法：

• 定義了任務(wù)向量τt，這是一個指定預(yù)訓練模型參數(shù)空間中方向的向量，該方向的移動可以提高特定任務(wù)的性能。
• 解決參數(shù)沖突的方法，包括參數(shù)沖突解決、減少參數(shù)方法和工具包（Toolkit）。

6. 基于增量訓練的方法：

• 提出了通過增量學習技術(shù)來恢復(fù)原始性能的方法，如尋找模型參數(shù)空間中的共享低維子空間以最小化任務(wù)干擾。

7. 合并方法的局限性：

• 當前模型合并方法僅適用于具有相同架構(gòu)和參數(shù)空間的模型，對于參數(shù)不兼容的模型，如LLaMA和QWen，當前的合并技術(shù)是無效的。?

 集成（Ensemble）方法

集成方法是一種通過結(jié)合多個模型的輸出來提高整體性能的策略，探討了在推理前、推理中和推理后進行集成的不同方法，以及它們?nèi)绾斡绊懲评硭俣取⒓闪６群兔媾R的限制。

在推理之前（a）、推理期間（b）和推理之后（c）的大型語言模型（LLM）集成方法的示意圖。

1. 集成學習的重要性：與傳統(tǒng)的分類任務(wù)不同，LLMs通常通過文本生成來解決各種任務(wù)，因此它們的輸出更加靈活和自然。這要求為LLMs設(shè)計特定的集成方法。
2. LLM集成方法論：

• 根據(jù)集成發(fā)生的時間點，將集成方法分為三類：推理前（Before Inference）、推理中（During Inference）和推理后（After Inference）。

3. 推理前的集成（Before Inference）：

• 這類方法在推理前選擇最適合特定輸入樣本的LLM，例如通過訓練外部路由器來選擇最優(yōu)的LLM。

4. 推理中的集成（During Inference）：

• 在推理期間，LLMs自回歸地生成令牌。這類方法在每個解碼步驟中執(zhí)行集成，以減少早期錯誤隨時間累積的影響。

5. 推理后的集成（After Inference）：

• 這類方法在推理后結(jié)合生成的輸出，例如構(gòu)建LLM級聯(lián)以減少僅使用大型LLMs的推理成本，或者從多個LLMs生成的候選中選擇最佳輸出。?

6. 推理速度：

• 集成方法通常會降低推理速度，尤其是在推理期間和推理后的集成方法。

7. 集成粒度：

• 推理前和推理后的集成方法通常在示例級別工作，提供粗粒度集成；而推理中的集成方法在令牌級別工作，提供細粒度集成。?

 合作（Cooperation）方法

在大型語言模型（LLMs）的時代，協(xié)作策略不僅僅局限于簡單的合并或集成。越來越多的研究正專注于通過LLMs之間的合作來解決各種問題或特定任務(wù)的更廣泛方法，根據(jù)目標可以分為不同合作策略：

• 高效計算：通過輸入壓縮和推測性解碼來加速模型推理。

大型語言模型（LLMs）與壓縮模塊合作進行輸入壓縮

 大型語言模型（LLMs）與草稿生成器合作進行推測性解碼

• 知識轉(zhuǎn)移：通過合作在推理階段轉(zhuǎn)移知識，而不是涉及訓練。

1. 知識轉(zhuǎn)移的重要性：由于直接訓練大型模型獲取新知識既困難又成本高昂，因此通過合作轉(zhuǎn)移知識或能力成為一個重要的研究方向。
2. 知識轉(zhuǎn)移的方法：

• 幾種主要的方法，包括減少錯誤知識（Mitigating Incorrect Knowledge）、加強正確知識（Strengthening Correct Knowledge）和提供新知識（Supplying New Knowledge）。

3. 減少錯誤知識：

• LLMs在生成文本時可能出現(xiàn)的幻覺（hallucinations）和偏見（bias）問題，并提出了對比解碼（Contrastive Decoding, CD）等方法來減少這些問題。

4. 加強正確知識：

• 如何通過額外的模型來增強解碼輸出的忠實度，例如使用屬性控制文本生成（attribute-controlled text generation）和驗證方法來提高輸出與輸入或指令的一致性。

5. 提供新知識：

• 觀察到輸出邏輯的變化反映了LLMs能力的變化，并提出了調(diào)整輸出邏輯來為大型模型提供從小模型中提取的新能力的方法。?
• 補償性合作：引入額外的控制器來補償LLMs的不足，如檢測器和檢索器。

• 聯(lián)邦合作：通過聯(lián)邦學習和聯(lián)邦提示工程來保護用戶隱私并有效執(zhí)行命令。

大型語言模型（LLMs）在聯(lián)邦學習中與客戶端模型合作

https://arxiv.org/abs/2407.06089
Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models

本文轉(zhuǎn)載自??PaperAgent??