在自然界，「適應」是一種非常普遍的現(xiàn)象。例如，章魚能夠迅速改變自身的膚色和紋理，以融入周圍環(huán)境，從而躲避天敵和捕捉獵物；人腦在受傷后能夠重新連接自身神經回路，使個體能夠恢復失去的功能并適應新的思維方式或行動方式。生物體展現(xiàn)出的適應能力使得生命能夠在不斷變化的環(huán)境中蓬勃發(fā)展。

在人工智能領域，適應的概念同樣具有巨大的吸引力。想象一個機器學習系統(tǒng)，它能夠動態(tài)地調整自身的權重以在陌生的環(huán)境中不斷學習、進化。與部署在環(huán)境中的靜態(tài) AI 模型相比，這種有自適應能力的模型明顯學習效率更高，而且有望成為與現(xiàn)實世界動態(tài)本質始終保持一致的終生模型。

日本 AI 初創(chuàng)公司 Sakana AI 的一項成果就是對這一方向的探索。在論文中，他們提出了一種可以根據(jù)不同任務動態(tài)調整模型權重的機器學習系統(tǒng) ——Transformer^2。

Transformer^2 這個名稱反映了它的兩步過程：首先，模型分析傳入的任務以了解其要求，然后應用特定于任務的調整來生成最佳結果。通過有選擇地調整模型權重的關鍵組成部分，該框架允許 LLM 實時動態(tài)地適應新任務。

Transformer^2 在各種任務（例如數(shù)學、編程、推理和視覺理解）上展示了顯著進步，在效率和特定于任務的性能方面優(yōu)于 LoRA 等傳統(tǒng)靜態(tài)方法，同時需要的參數(shù)少得多。

作者表示，這項研究為人們提供了一個未來 AI 模型不再靜態(tài)的初步展望。這些系統(tǒng)將在測試時動態(tài)地調整其計算能力，以適應它們所遇到的任務的復雜性，體現(xiàn)出能夠持續(xù)變化和終生學習的「活」的智能。

有人就此展望說，「未來，『預訓練』和『后訓練』之間的界限將會消失，我們的模型和智能體將不斷適應和自我改進。像這樣的系統(tǒng)將為新一代自適應人工智能鋪平道路，這種人工智能能夠修改自身的權重和架構，以適應它們在環(huán)境中遇到的任務不斷變化的本質。」

• 論文標題：TRANSFORMER2 : SELF-ADAPTIVE LLMS
• 論文鏈接：https://arxiv.org/pdf/2501.06252

這篇論文共有三位共同一作，其中兩位是華人。Qi Sun 在東京工業(yè)大學擔任研究助理，同時在 Sakana AI 兼職，研究方向是視覺語言模型的訓練與評估、大規(guī)模合成數(shù)據(jù)生成等。Yujin Tang 曾在谷歌工作多年，現(xiàn)在是 Sakana AI 的研究科學家，研究方向是強化學習和機器人。

論文概覽

自適應大語言模型（LLM）將代表 AI 領域的一個重要進展，提供了一個使模型能夠實時適應不同任務和動態(tài)環(huán)境的框架。雖然組合性和可擴展性對于有效適應至關重要，但當前的 LLM 訓練方法難以同時實現(xiàn)這兩個特性。Sakana AI 的研究旨在提出一個開創(chuàng)性的解決方案來實現(xiàn)這一愿景并解決這些 gap。

傳統(tǒng)上，LLM 后訓練試圖在單次大規(guī)模訓練中優(yōu)化模型的廣泛能力。雖然這種「一次性」微調框架從簡單性的角度來看是理想的，但在實踐中很難實現(xiàn)。例如，后訓練仍然非常消耗資源，導致巨大的計算成本和超長的訓練時間。此外，在引入額外數(shù)據(jù)廣度時往往存在明顯的性能權衡，這使得同時克服過擬合和任務干擾變得具有挑戰(zhàn)性。

相比之下，自適應模型提供了更靈活和高效的方法。與其試圖一次性訓練 LLM 完成所有任務，專家模塊可以離線開發(fā)并按需增強到基礎 LLM 中。這使模型能夠根據(jù)當前任務動態(tài)修改其行為，而無需不斷重新調整。除了具有獨立組件的好處外，這種模塊化還支持持續(xù)學習，使模型能夠隨時間增加新技能而不會出現(xiàn)災難性遺忘。此外，自適應 LLM 反映了神經科學和計算生物學中一個公認的原理，即大腦根據(jù)當前任務激活特定區(qū)域，并動態(tài)重組其功能網絡以響應不斷變化的任務需求。

原則上，實現(xiàn)自適應 LLM 的第一步可以通過開發(fā)專門的專家模塊來實現(xiàn)，每個模塊都通過 LoRA 等技術進行微調。然后這些專家模塊可以根據(jù)任務需求在運行時動態(tài)組合，這個過程可以通過 MoE 類系統(tǒng)高效管理。然而，要使這種方法既可擴展又具有組合性，需要解決幾個挑戰(zhàn)。首先，微調 LLM 以創(chuàng)建多個專家模塊顯著增加了需要訓練的參數(shù)數(shù)量。實際上，即使使用 LoRA 等參數(shù)高效的方法，這些模塊的累積大小也會快速增加，導致存儲和計算需求增加。其次，這些專家模塊往往容易過擬合，這種現(xiàn)象在較小數(shù)據(jù)集或窄任務領域訓練時尤為普遍。第三，這些專家模塊的靈活組合也帶來了目前尚未解決的挑戰(zhàn)。

為了克服這些限制，作者首先提出了奇異值微調（SVF），這是一種新的參數(shù)高效微調（PEFT）方法，用于獲得自適應的有效構建塊。SVF 通過僅提取和調整模型權重矩陣中的奇異值來工作。通過專注于這種原則性的參數(shù)化，他們提出的方法降低了過擬合風險，大幅減少了計算需求，并允許固有的組合性。他們證明這些特性使他們能夠通過在窄數(shù)據(jù)集上使用強化學習進行訓練來廉價地獲得一組有效的領域特定「專家」向量，直接優(yōu)化各個主題的任務性能。

然后，作者引入了完整的 Transformer^2 框架，通過自適應的基本原則來增強 LLM。給定來自未知任務的提示，Transformer^2 采用兩階段推理機制，如圖 1 所示。

在第一階段，Transformer^2 執(zhí)行模型并觀察其測試時行為，收集相關信息以理解解決當前問題所需的技能。在第二階段，Transformer^2 框架使用這些信息組合可用的專家向量，并對 LLM 的基礎權重提供專門針對其測試時條件的新修改。作者在 Transformer^2 中設計了三種不同的適應策略，并證明這些策略隨著對測試時條件的訪問增加而提供單調的性能提升。

作者通過在各種 LLM 和任務上的廣泛實驗評估了 SVF 和完整的 Transformer^2 框架。首先，在領域特定數(shù)據(jù)集上訓練時，他們展示了 SVF 始終優(yōu)于傳統(tǒng)的高效微調策略（如 LoRA），同時參數(shù)量減少了數(shù)個數(shù)量級。然后，他們展示了 Transformer^2 能夠進一步提高性能，即使在完全分布外的應用（如視覺問答）中也能有效調整基礎模型的權重。最后，他們分析了新框架的特性，驗證了它在獲得更多當前測試時條件訪問權限時提供增量收益，甚至允許跨模型架構重用預訓練的 SVF 專家。

方法概覽

奇異值微調（SVF）

就像人類大腦通過互連的神經通路存儲知識和處理信息一樣，LLM 在其權重矩陣中存儲知識。這些矩陣是 LLM 的「大腦」，保存著它從訓練數(shù)據(jù)中學到的精髓。

要理解這個「大腦」并確保它能夠有效地適應新任務，需要仔細研究其內部結構。這就要使用奇異值分解（SVD），SVD 將存儲在 LLM 中龐大、復雜的知識分解成更小的、有意義的、獨立的部分（例如數(shù)學、語言理解等不同的組件）。

Transformer^2 的核心是能夠動態(tài)調整其權重矩陣的關鍵組件。在訓練時，該研究引入奇異值微調（SVF），這是一種使用強化學習來增強 / 抑制來自不同「大腦」組件的信號以用于各種下游任務的方法。在推理時，該研究采用三種不同的策略來檢測任務的身份并相應地調整模型的權重。

使用 SVF 和 RL 進行訓練

在訓練時，SVF 學習一組 z 向量，每個下游任務一個。每個 z 向量可以被視為任務的專家，是一個緊湊的表征，負責指定權重矩陣中每個組件的所需強度，形成一組「放大器」或「衰減器」來調節(jié)不同組件對模型行為的影響。

SVF 使用 RL 在預定義的下游任務集上學習這些 z 向量。學得的 z 向量使 Transformer^2 能夠適應各種新的下游任務，同時只引入最少量的額外參數(shù)（即 z 向量。

自適應

在推理時，該研究為框架設計了一個兩階段適應策略，以有效地組合任務特定的 z 向量集。在第一次推理時，給定任務或單個輸入提示，Transformer^2 使用以下三種適應方法之一分析其測試時條件：

• 基于提示的適應：專門設計的適應提示，對任務進行分類（例如數(shù)學、編程）并選擇預訓練的 z 向量。
• 基于分類器的適應：使用 SVF 訓練的任務分類器，在推理過程中識別任務并選擇合適的 z 向量。
• 少樣本適應：通過加權插值組合多個預訓練的 z 向量。簡單的優(yōu)化算法根據(jù)少樣本評估集上的性能調整這些權重。

在第二次推理時，Transformer^2 通過組合 z 向量相應地調制權重，為其新設置產生最相關的最終響應。

實驗結果

SVF 性能

表 1 提供了在 LLAMA3-8B-INSTRUCT、MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 基礎模型上對每個任務進行訓練后的結果。

值得注意的是，SVF 在幾乎所有任務和基礎模型上都提供了顯著且一致的性能提升。相比之下，LoRA 專家產生的收益較小，甚至出現(xiàn)了零星的性能下降。

這種趨勢也可以擴展到視覺 - 語言領域，因為用 SVF 微調 LLAMA3-LLAVA-NEXT-8B 將基礎模型的性能提升了超過 39%（見圖 5）。

適應性能

該研究使用 SVF 訓練的 z 向量評估了 Transformer^2 在未見任務上的自適應能力。

如表 2 所示，所有的 Transformer^2 適應策略都在 LLAMA3-8B-INSTRUCT 基礎模型的所有任務上表現(xiàn)出性能提升，在 MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 的三個任務中至少有兩個任務有所改進。相比之下，即使是最佳訓練 LoRA 也只在 ARC-Challenge 任務上提供了改進，在 MATH 和 Humaneval 上顯著降低了性能。

這種差異表明 LoRA 的參數(shù)化和優(yōu)化可能特別容易過擬合，特別是在使用較小的 GSM8K 和 MBPP-Pro 數(shù)據(jù)集訓練時。

在圖 5 中，基礎 LLAMA3-LLAVA-NEXT-8B VLM 的性能僅在應用 Transformer^2 后得到改善。研究團隊注意到在這種設置中，Transformer^2 僅從 GSM8K、MBPP-Pro 和 ARC-Easy 的專家向量中進行自適應。因此，這一結果進一步強調了自適應的高度靈活性，基于語言任務的知識也可以遷移到不相關的基于視覺的問題上。

通過對三種適應策略的比較，作者發(fā)現(xiàn)了一個明顯的單調趨勢 —— 即隨著策略的增加和測試時間條件的增加，自適應的效果越來越明顯。特別是，具有少樣本自適應的 Transformer^2 幾乎總是得分最高的方法，在所有測試設置中都提供了顯著改進，除了 LLAMA3-70B-INSTRUCT @MATH。由于 GPU 資源有限，作者只對一半的層進行了 SVF 調優(yōu)。這種趨勢表明，提供額外或不同類型的信息似乎對 Transformer^2 框架非常有益，表明  Transformer^2 可以為基礎模型提供在終身設置中部署時持續(xù)改進性能的新方法。

表 3 報告了 Transformer^2 的提示適應策略所需的推理時間，分別展示了第一階段和第二幾段解決整個問題集所花費的時間。注意，「2nd pass」推理時間是解決問題所花費的時間，「1st pass」推理時間是自適應的時間。括號中是「1st pass」占「2nd pass」推理時間的比率。雖然額外的推理階段可能看起來會使整體運行時間翻倍，但重要的是要注意推理時間主要取決于生成的 token 數(shù)量。在論文的設置中，它是 O (n)，其中 n 是輸入的長度。ARC-challenge 括號中的數(shù)值較大，因為它們是單選題，因此「2nd pass」的成本也是 O (n)。在一般設置中，作者認為這個比率更接近 MATH 和 Humaneval 的比率是合理的。

更多內容請參見原論文。