ICLR（國際學習表征會議）是機器學習領域三大頂會之一，以推動深度學習基礎理論和技術創新著稱。每年，ICLR時間檢驗獎都會授予近十年對深度學習領域產生深遠影響的里程碑式論文。

今年這一殊榮花落Adam優化器（Adaptive Moment Estimation），該算法于2014年由OpenAI工程師Diederik Kingma和University of Toronto研究生Jimmy Ba提出。

從計算機視覺到自然語言處理，從強化學習到生成模型，Adam以其卓越的自適應能力，成為當代深度學習模型的「標配」優化器，堪稱AI領域的「萬金油」。

Diederik Kingma是谷歌的一名研究科學家，曾經是OpenAI初創團隊的一員，期間領導了基礎算法研究團隊。2018年，Kingma跳槽到谷歌，加入Google Brain（現為Google DeepMind），專注于生成式模型研究，包括擴散模型和大型語言模型。他是變分自編碼器(VAE)、Adam優化器、Glow和變分擴散模型等工作的主要作者。

Jimmy Ba是深度學習教父Geoffrey Hinton的得意門生，于2018年獲得University of Toronto的博士學位。作為Hinton學術家族的核心成員，他在ICLR、NeurIPS等頂級會議發表多篇開創性論文（其中Adam優化器論文引用量已突破21萬次），堪稱AI領域最具影響力的青年科學家之一。

Adam優化器雖在工程實踐中表現優異，但長期以來缺乏對其優異性能的理論解釋。

近期，清華大學李升波教授課題組發文 《Conformal Symplectic Optimization for Stable Reinforcement Learning》，解析了這一「黑箱」算法的優化動力學機理。

該課題組的研究發現了神經網絡優化過程與共形哈密頓系統演化存在「完美」的數學對偶性，揭示了Adam優化器暗藏的「相對論動力學」和「保辛離散化」本質，并由此提出了訓練更加穩定、性能更加優秀的RAD優化器（Relativistic Adaptive Gradient Descent），這一研究工作為神經網絡優化動力學的分析及全新算法的設計開辟了新航道。

Adam優化器的歷史與算法特點

神經網絡的優化主要依賴梯度下降方法。自20世紀50年代隨機梯度下降（SGD）首次提出以來，優化算法經歷了多次重要演進。從動量方法如SGD-M和NAG，到自適應方法如AdaGrad、RMSprop，優化算法的「演變之戰」已持續超過70年。

2014年，Diederik Kingma與Jimmy Ba聯合提出了Adam優化器（算法1），將神經網絡優化算法的性能向前推進了一大步。該算法的核心設計思想是融合Momentum和RMSProp兩大優化方法的優勢：

通過指數移動平均計算一階動量v_k+1和二階動量y_{k+1，分別估計梯度的一階矩（即梯度期望）和原始二階矩（近似于梯度方差）。針對動量零初始化導致的估計偏差，通過引入偏差修正技術，Adam兼具了快速收斂與穩定訓練的雙重特性。}

從算法原理看，Adam優化器通過動態維護一階動量（方向修正）和二階動量（步長調節），實現了參數更新的雙重自適應：既優化了更新方向，又自動調整了有效學習率，顯著加速了網絡收斂。其偏差修正機制有效消除了訓練初期的估計偏差，確保了參數更新的準確性。

此外，Adam展現出優異的超參數魯棒性，在大多數場景下無需精細調參即可獲得穩定性能。正是這些優勢使其成為各類監督學習、強化學習任務的首選優化器。

Adam優化器為何具備如此出色的訓練性能？至今仍缺乏對其優化動力學機理的深入解釋，這已成為限制新一代神經網絡優化算法設計的關鍵障礙。

梯度下降過程與動力學演化的對偶機制

受中國科學院院士馮康先生和美國國家三院院士M. I. Jordan的研究啟發（前者開創了哈密頓算法與保辛離散化理論，后者成功將保辛理論引入最優化領域），清華大學的研究團隊提出了一種神經網絡優化算法的性能理論解釋框架：

第一步，將神經網絡的參數優化過程對偶為共形哈密頓系統的狀態演化過程，建立參數梯度下降與系統能量耗散之間的內在聯系。

第二步，利用保辛機制實現共形哈密頓系統的離散化，將離散系統的優勢動態特性映射到神經網絡的優化過程，從而完成對算法優化動力學的機理解釋。

研究發現，神經網絡梯度下降過程與共形哈密頓離散系統的演化呈現高度相似性，通過將網絡參數θ對偶為系統狀態q，目標函數J(θ)對偶為系統勢能U(q)，可直接建立二者間的對偶關系。

研究者據此開發了一個全新的網絡優化算法開發框架，包含兩個核心步驟：

1）動能建模：通過設計合適的動能項T(p)以嵌入期望的動態特性；

2）保辛離散：采用保辛離散方法以精確保持系統的動力學性質。

RAD優化器的設計思路與性能對比

進一步地，研究者將神經網絡參數的優化過程建模為多粒子相對論系統狀態的演化過程，通過引入狹義相對論的光速最大原理，抑制了網絡參數的異常更新速率，同時提供了各網絡參數的獨立自適應調節能力，從理論上引入了對網絡訓練穩定性和收斂性等動態特性的保障機制。

這一工作使得研究者提出了既具備穩定動力學特性又適用于非凸隨機優化的神經網絡優化算法，即RAD優化器（算法2）。

研究發現，當速度系數σ=1且保辛因子ζ_k取固定小值ε時，RAD優化器將退化為Adam優化器，揭示了Adam優化器的動力學機理，說明了Adam優化器是新提出的RAD優化器的一個特例。

相比于Adam優化器，RAD優化器具有更加優異的長期訓練穩定性，這是因為：

1）優化前期：RAD具有類似Adam的快速收斂特性，能夠高效定位到最優解的鄰域；

2）優化后期：RAD的保辛結構逐漸增強，具備維持共形哈密頓系統動態特性的能力，確保算法具備更加優異的抗干擾能力。

值得注意的是，Adam中的有理因子ε是一個「人為引入」的小常數，用于避免分母為零的數值錯誤。而RAD的保辛因子ζ與哈密頓系統的「質量×質能」（即m²c²）相關，具有明確的物理根源。

這為之前的經驗性發現（即適度增加ε可提升Adam性能）提供了理論性解釋：增大ε使得優化過程更加接近原始的動力學系統。該研究成果不僅深化了Adam與動力學系統的本質聯系，同時也為分析其他主流自適應優化器（如AdaGrad、NAdam、AdamW等）提供了普適性的框架。

為了評估RAD優化器的性能，研究者在5種主流深度強化學習（DRL）算法（包括DQN、DDPG、TD3、SAC和ADP）和12個測試環境（包括1個CartPole任務、6個MuJoCo任務、4個Atari任務和1個自動駕駛任務）中開展了廣泛測試，并與9種主流神經網絡優化器（包括SGD、SGD-M、DLPF、RGD、NAG、Adam、NAdam、SWATS和AdamW）進行了比較，結果表明RAD綜合性能均排名第一。

特別在圖像類標準測試環境Seaquest任務中，RAD性能達到Adam優化器的2.5倍，得分提升了155.1%