GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型性能超群
自 GPT-4 問世以來，人們一直驚艷于它強大的涌現能力，包括出色的語言理解能力、生成能力、邏輯推理能力等等。這些能力讓 GPT-4 成為機器學習領域最前沿的模型之一。然而，OpenAI 至今未公開 GPT-4 的任何技術細節。
上個月，喬治?霍茲（George Hotz）在接受一家名為 Latent Space 的 AI 技術播客的采訪時提到了 GPT-4，并稱 GPT-4 其實是一個混合模型。具體來說，喬治?霍茲稱 GPT-4 采用由 8 個專家模型組成的集成系統，每個專家模型都有 2200 億個參數（比 GPT-3 的 1750 億參數量略多一些），并且這些模型經過了針對不同數據和任務分布的訓練。
Latent Space 的采訪內容。
這或許只是喬治?霍茲的一種推測，但這種模式確實有一定的合理性。最近，由來自谷歌、UC 伯克利、MIT 等機構的研究者聯合發表的一篇論文證實：混合專家模型（MoE）與指令調優的結合能夠讓大型語言模型（LLM）的性能大幅提升。
圖片
論文地址：https://arxiv.org/pdf/2305.14705.pdf
稀疏混合專家模型是一種特殊的神經網絡架構，可以在不增加推理成本的情況下，為大型語言模型（LLM）增加可學習的參數。指令調優（instruction tuning）是一種訓練 LLM 遵循指令的技術。該研究發現 MoE 模型比密集模型更能從指令調優中獲益，因此提出將 MoE 和指令調優結合起來。
該研究在三種實驗設置下進行了實證研究，包括
- 在沒有指令調優的情況下在單個下游任務進行直接微調；
- 指令調優后對下游任務進行 in-context 少樣本或零樣本泛化；
- 指令調優后對單個下游任務進行進一步微調。
在第一種情況下，MoE 模型總體上不如具有相同計算能力的密集模型。然而，隨著指令調優的引入（第二和第三種情況），FLAN-MoE_32B（Fine-tuned LAnguage Net，簡寫為 Flan，是一種經過指令調優的模型，Flan-MoE 即為指令調優 MoE）在四個基準任務上性能超過了 FLAN-PALM_62B，卻只用了三分之一的 FLOPs。
如下圖所示，在使用指令調優前，MoE→FT 不如 T5→FT。指令調優后，Flan-MoE→FT 優于 Flan-T5→FT。MoE 從指令調優中獲得的收益 (+15.6) 大于密集模型 (+10.2)：
圖片
看來 GPT-4 采用混合模型還是有點根據的，MoE 確實能夠從指令調優中獲得更大的收益：
圖片
方法概述
研究者在 FLAN-MOE （是一組經過指令微調的稀疏混合專家模型）模型中使用了稀疏激活 MoE（Mixture-of-Experts）。此外，他們還用 MoE 層替換了其他 Transformer 層的前饋組件。
每個 MoE 層可理解為一個「專家」，然后，使用 softmax 激活函數對這些專家進行建模，得到一個概率分布。
盡管每個 MoE 層有很多參數，但專家是稀疏激活的。這意味著對于給定的輸入 token，只使用有限的專家子集就能完成任務，從而為模型提供了更大的容量。
對于具有 E 個專家的 MoE 層，這實際上提供了 O (E^2) 種不同的前饋網絡組合，從而實現了更大的計算靈活性。
由于 FLAN-MoE 是經過指令調優的模型，因而指令調優非常重要，該研究在 FLAN 集合數據集的基礎上對 FLAN-MOE 進行微調。此外，該研究將每個 FLAN-MOE 的輸入序列長度調整為 2048，輸出長度調整為 512。
實驗與分析
平均而言，在不增加任何額外計算的情況下，Flan-MoE 在所有模型尺度上都優于密集的同類產品 (Flan-T5)。
圖片
專家數量。圖 4 顯示，隨著專家數量的增加，初始時，模型受益于更豐富的專門子網絡，每個子網絡能夠處理問題空間中的不同任務或方面。這種方式使得 MoE 在處理復雜任務時具有很強的適應性和效率，從而整體上改善性能。然而，隨著專家數量的不斷增加，模型性能增益開始減少，最終達到飽和點。
圖片
圖 3 和表 1 詳細研究了不同的路由決策如何影響指令調優性能：通過 FLAN-Switch 和 FLAN-GS 策略之間的比較可以得出，激活更多的專家會在四個基準測試中提高性能。在這些基準測試中，MMLU-Direct 模型顯示出最顯著的改進，對于 BASE/LARGE 尺寸的模型，從 38.0% 增加到 39.9%。
值得注意的是，與等效容量的密集模型相比，指令調優顯著放大了 MoE 模型在保留 MMLU、BBH 和內部 QA 和推理基準測試方面的性能。對于較大的 MoE 模型，這些優勢進一步放大。例如，指令調優使 ST_32B 的性能提升了 45.2%，而對于 FLAN-PALM_62B，這種改進相對較小，約為 6.6%。
當進行模型擴展時，Flan-MoE (Flan-ST-32B) 優于 Flan-PaLM-62B 。
圖片
此外，該研究通過 freeze 給定模型的門控函數（gating function）、專家模塊和 MoE 參數進行了一些分析實驗。如下表 2 所示，實驗結果表明，freeze 專家模塊或 MoE 組件對模型性能有負面影響。
相反，freeze 門控函數會使模型性能略有改善，盡管并不明顯。研究者推測這一觀察結果與 FLAN-MOE 的欠擬合有關。該研究還進行了消融實驗來探究下圖 5 描述了微調數據效率消融研究。
最后，為了比較直接對 MoE 進行微調和 FLAN-MOE 之間的差距，該研究對單任務微調的 MoE、單任務微調的 FLAN-MoE 和密集模型進行了實驗，結果如下圖 6 所示：
感興趣的讀者可以閱讀論文原文，了解更多研究內容。
