引言

隨著大型語言模型（LLMs）在各個領域的廣泛應用，訓練后優化已成為提升模型能力的關鍵環節。然而，一個長期被忽視但至關重要的問題是：在訓練后階段，模型是否會遺忘其在預訓練期間獲得的知識？這一現象被稱為"災難性遺忘"，它可能嚴重影響模型的整體性能和實用性。

本文基于最新研究成果，深入分析了大規模語言模型在訓練后階段的知識遺忘現象，提出了創新的樣本級遺忘度量方法，并通過大規模實驗揭示了不同訓練后策略對模型知識保持的影響。

研究背景與動機

訓練后優化的重要性

現代語言模型的訓練通常分為兩個主要階段：預訓練和訓練后優化。預訓練階段通過大規模無監督學習獲得廣泛的世界知識，而訓練后優化則通過指令微調、強化學習等方法提升模型的特定能力。

訓練后優化包括多個關鍵步驟：領域持續預訓練、指令微調、監督微調（SFT）、以及基于人類反饋的強化學習（RLHF）。每個步驟都旨在增強模型的特定能力，如編程、數學推理、工具使用和安全性。

遺忘現象的挑戰

傳統的持續學習理論表明，順序訓練往往導致災難性遺忘。然而，在實際的大規模語言模型訓練中，這一現象的具體表現和影響程度尚未得到充分研究。更重要的是，現有的評估方法主要關注任務級別的性能變化，忽略了知識的非可替代性特征。

例如，了解一位美國總統的信息并不能彌補遺忘另一位總統的損失；掌握NumPy的廣播規則也無法抵消丟失特定云API語法的影響。這種知識的獨特價值要求我們采用更精細的評估方法。

創新方法論

樣本級遺忘度量

研究團隊提出了一種革命性的樣本級遺忘度量方法，將每個樣本根據訓練前后的正確性分為四個象限：

保持（Retention）：訓練前后均正確（1→1）向后遷移（Backward Transfer）：從錯誤變為正確（0→1）遺忘（Forgetting）：從正確變為錯誤（1→0）非獲得（Non-acquisition）：訓練前后均錯誤（0→0）

這種分類方法能夠精確捕捉知識變化的細微差別，避免了傳統聚合指標可能掩蓋的重要信息。

機會調整機制

考慮到多選題評估中隨機猜測的影響，研究引入了機會調整的遺忘和向后遷移指標。這些指標通過以下公式計算：

這種調整機制確保了評估結果的準確性和可靠性，特別是在選項較少的情況下。

大規模實驗設計

實驗范圍

研究涵蓋了近30種模型-訓練組合，包括不同規模的模型（3B到32B參數）和多種訓練后策略。實驗評估了12個公共基準測試，涵蓋約100個子領域，這些子領域被歸類為九個語義相關的組別：常識、文化、邏輯、知識、語言、文科、數學、安全和科技。

評估協議

所有實驗采用統一的評估設置，使用零樣本思維鏈提示，要求模型以固定的多選題格式回答。對于基礎模型，采用少樣本提示來教授格式。實驗使用LightEval框架，記錄每個樣本的準確性，確保結果的可重現性。

關鍵發現與深度分析

領域持續預訓練的影響

實驗結果顯示，領域持續預訓練引起的遺忘程度為低到中等，且在各個知識類別中表現一致。向后遷移效果有限，這表明專門領域的訓練很少能改善非目標任務的性能。值得注意的是，較大規模的模型表現出更少的遺忘現象，這為模型擴展提供了重要啟示。

定性分析表明，遺忘主要體現在指令遵循能力的降低，如對約束、格式和角色特定指令的遵循能力減弱。這一發現對實際應用具有重要意義，提醒我們在進行領域特化時需要平衡專業能力和通用能力。

指令微調的雙重效應

指令微調展現出復雜的雙重效應：一方面在文化和知識類別中出現中等程度的遺忘，另一方面在數學類別中實現顯著的向后遷移。這種現象在不同模型家族中保持一致，且模型規模的增加能夠減少遺忘并增強向后遷移效果。

這一發現挑戰了傳統觀點，表明指令微調不僅僅是簡單的能力損失，而是一個復雜的知識重組過程。向后遷移的收益主要反映了對預訓練知識的更好激發，而非新知識的獲得。

推理訓練的復雜動態

從基礎模型開始的推理訓練（SFT/RL）表現出最有趣的結果：總體遺忘程度最小，但在數學和邏輯類別中實現了中等到高等程度的向后遷移收益。這表明推理訓練能夠在保持原有知識的同時，顯著提升特定領域的能力。

然而，當從指令微調模型開始進行推理訓練時，結果呈現出數據規模依賴的復雜模式。在低數據量情況下，遺忘和向后遷移都很小；在高數據量情況下，效果變得混合且難以預測，需要更好的控制機制進行深入研究。

模型合并的局限性

令人意外的是，模型合并并未可靠地緩解訓練后管道中的遺忘問題。即使是小比例的基礎檢查點混合也會降低性能，在某些情況下甚至嚴重惡化。這一發現對當前流行的模型合并策略提出了質疑，表明需要更深入的理論理解和方法改進。

技術細節深度解析

評估框架的技術實現

研究采用了嚴格的技術標準確保結果的可靠性。所有實驗使用溫度0.6和核采樣（top_p=0.95）進行解碼，序列長度限制為32K令牌。對于某些模型如Qwen2.5-7B-Math，由于上下文長度限制，調整為4K令牌。

為了處理基礎模型可能繼續生成后續問題答案的問題，研究設置了明確的停止序列，確保在產生預測后終止生成。這種細致的技術處理保證了評估的準確性和一致性。

數據集選擇與分類策略

研究選擇了12個具有代表性的公共數據集，包括MMLU、BBH、GPQA、MuSR、ARC、TruthfulQA、HellaSwag、Social IQa、MCTest、PIQA、CommonsenseQA和SaladBench。這些數據集被精心分類為九個語義相關的組別，每個組別展現出相似的遺忘趨勢。

這種分類策略不僅簡化了結果解釋，還提供了對不同知識領域受訓練后策略影響程度的清晰映射。例如，數學和邏輯類別通常顯示出更強的向后遷移效應，而文化和知識類別則更容易受到遺忘的影響。

統計顯著性與可重現性

所有實驗結果都包含標準差信息，確保統計顯著性。研究團隊承諾發布每個子基準的樣本級日志以及完整代碼，為后續研究提供堅實基礎。這種開放科學的做法有助于推動整個領域的發展。

實際應用意義

對模型開發的指導

研究結果為實際的模型開發提供了重要指導。首先，領域特化訓練應該謹慎平衡專業能力和通用能力的保持。其次，指令微調的雙重效應提醒我們需要更精細的訓練策略，特別是在處理不同知識類別時。

推理訓練的成功表明，從基礎模型開始的訓練路徑可能比從指令微調模型開始更有效。這一發現可能改變當前的模型開發流程，促使研究者重新考慮訓練階段的順序和方法。

對評估方法的改進

樣本級遺忘度量方法的成功應用表明，傳統的聚合評估指標可能掩蓋重要信息。未來的模型評估應該更多關注細粒度的知識變化，特別是在持續學習和多任務學習場景中。

機會調整機制的引入也為多選題評估提供了更準確的方法，這對于大規模語言模型的標準化評估具有重要意義。

未來研究方向與創新展望

理論框架的深化

基于當前研究成果，未來需要建立更完善的理論框架來解釋訓練后遺忘現象。這包括從神經科學角度理解知識在模型中的表示和變化機制，以及從優化理論角度分析不同訓練策略對知識保持的影響。

一個有前景的方向是開發基于海馬體空間支架理論的記憶模型框架，結合注意力機制和正則化策略，為知識保持提供生物學啟發的解決方案。

技術方法的創新

未來的技術創新應該聚焦于三個主要方向：

目標導向的訓練策略：設計明確懲罰1→0轉換的目標函數，同時獎勵0→1轉換，實現知識保持和能力提升的平衡。

動態記憶管理：開發類似于人腦記憶鞏固機制的技術，通過周期性回顧和強化重要知識點來防止遺忘。

知識圖譜增強：利用外部知識圖譜和檢索機制減少對權重內知識存儲的依賴，提高模型的知識保持能力。

評估標準的標準化

建立行業標準的遺忘評估協議對于推動整個領域的發展至關重要。這包括標準化的數據集、評估指標和報告格式，確保不同研究之間的可比性。

同時，需要開發更多樣化的評估場景，包括長期記憶保持、跨領域知識遷移、以及在實際應用中的知識穩定性評估。

實際應用的優化

在實際應用層面，未來研究應該關注如何在保持知識的同時實現高效的模型部署。這包括開發輕量級的知識保持技術、設計適應性訓練策略、以及建立實時監控和修正機制。

特別是在多模態和多任務學習場景中，如何平衡不同模態和任務之間的知識保持將是一個重要挑戰。

結論與展望

本研究通過創新的樣本級遺忘度量方法，系統揭示了大規模語言模型在訓練后階段的知識變化規律。研究發現，與傳統持續學習理論的預期相反，現代訓練后管道并不會導致嚴重的災難性遺忘，但不同訓練策略的影響存在顯著差異。

領域持續預訓練表現出可控的遺忘程度，指令微調展現復雜的雙重效應，而推理訓練則在知識保持和能力提升之間實現了良好平衡。這些發現不僅挑戰了現有理論，也為實際模型開發提供了重要指導。

更重要的是，研究提出的評估框架和度量方法為未來的相關研究奠定了堅實基礎。通過關注樣本級的知識變化和引入機會調整機制，我們能夠更準確地理解和評估模型的知識保持能力。

隨著大型語言模型在各個領域的深入應用，理解和控制訓練后遺忘現象將變得越來越重要。本研究為這一關鍵問題提供了新的視角和工具，為構建更可靠、更智能的AI系統鋪平了道路。

相關資源

• 論文原文：https://arxiv.org/abs/2510.17776
• 項目主頁：?https://post-forget.github.io/
• 代碼倉庫：https://github.com/post-forget/post-forget?

本文轉載自??頓數AI??，作者：蔥蔥