ICML 全稱是 International Conference on Machine Learning，由國際機器學習學會（IMLS）舉辦，是計算機人工智能領域的頂級會議。今年的 ICML 大會已是第 40 屆，于 2023 年 7 月 23 日至 29 日在美國夏威夷會議中心舉行。

今年，ICML 共收到 6538 份投稿，其中 1827 份被接收，接收率約為 27.9%。相較于 2022 年，本屆的投稿、接收論文數量以及接收率都有所增加（投稿 5630 篇、接收短論文 1117 篇、長論文 118 篇、接收率 21.9%）。

ICML 官方表示，每一份投稿都由領域主席和高級領域主席進行評審，以確保每一份投稿都得到適當的評估。

今日，ICML 官方放出了杰出論文獎獲獎論文。

六篇杰出論文獎

本屆會議共評出了 6 篇杰出論文，研究覆蓋了無學習率、為 LLM 加水印、未見過域泛化、不完全信息零和博弈的近優策略、MCMC 和頻率順序學習的貝葉斯設計原則等課題。

論文 1：Learning-Rate-Free Learning by D-Adaptation

• 機構：Meta AI、Inria Sierra
• 作者：Aaron Defazio、Konstantin Mishchenko（現為三星人工智能中心研究科學家）
• 論文地址：https://openreview.net/forum?id=GXZ6cT5cvY

該研究旨在為非光滑隨機凸優化獲取無學習率的最優界限，所提方法克服了優化此類問題時傳統學習率選擇的限制，為優化領域做出了有價值且實際的貢獻。

該研究還提出了新方法的 SGD 和 Adam 變體，將用于大規模 CV 和 NLP 問題。

圖片

論文 2：A Watermark for Large Language Models

• 機構：馬里蘭大學
• 作者：John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
• 論文地址：https://openreview.net/forum?id=aX8ig9X2a7

論文簡介：該論文提出了一種對大型語言模型的輸出添加水印的方法 —— 將信號嵌入到生成的文本中，這些信號對人類來說是不可見的，但可以通過算法檢測到。無需重新訓練語言模型即可生成水印，無需訪問 API 或參數即可檢測水印。

圖片

為了檢測水印，該論文還提出了一種具有可解釋 p 值的統計測試方法，以及用于分析水印敏感度的信息論框架。該研究所提方法簡單新穎，并提供了徹底的理論分析和扎實的實驗。鑒于檢測和大型語言模型（LLM）生成的文本正面臨嚴峻的挑戰，該研究可能會對機器學習社區產生重大影響。

論文 3：Generalization on the Unseen, Logic Reasoning and Degree Curriculum

• 機構：EPFL、蘋果
• 作者：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk
• 論文地址：https://openreview.net/forum?id=3dqwXb1te4

論文簡介：該論文在布爾函數的學習方面取得了重要進展，尤其是針對未見過域的泛化（Generalization on the Unseen, GOTU），這是一個具有挑戰性的分布外泛化問題。該論文深入探究了這一課題，提出了一種結構良好的方法，并有充足的理論分析和大量實驗支撐。此外該論文還概述了深度神經網絡領域的一個關鍵研究方向。

具體而言，研究者探究了具有 holdout 的函數學習問題，其中部分分布支持在訓練中幾乎或從來沒有見過，并使用布爾目標函數來捕捉各種推理任務（如算術、決策樹和邏輯電路）的離散和組合屬性。

最終，研究者對長度泛化問題給出了自己的解釋，并提出了一種名為「Degree-Curriculum」的課程式學習算法，該算法通過增加支持更高效地學習單項式。算法如下所示：

論文 4：Adapting to game trees in zero-sum imperfect information games

• 機構：CREST、ENS Lyon、Omron Sinic X、Deepmind 等
• 作者：C?me Fiegel、Pierre MENARD、Tadashi Kozuno、Remi Munos、Vianney Perchet、Michal Valko
• 論文地址：https://openreview.net/forum?id=O1j4uFuSVW

論文簡介：該論文介紹了不完全信息零和博弈的近優策略。研究者建立了一個新穎的下界，并提出了兩種算法 — 平衡 FTRL 和自適應 FTRL。這些貢獻極大地推動了不完全信息博弈優化領域的發展。論文的多項實驗證實了這些說法，為研究結果提供了充分的支持。

論文 5：Self-Repellent Random Walks on General Graphs - Achieving Minimal Sampling Variance via Nonlinear Markov Chains

• 機構：IQVIA Inc、北卡羅來納州立大學
• 作者：Vishwaraj Doshi、Jie Hu、Do Young Eun
• 論文地址：https://openreview.net/forum?id=450iImFM4U

論文簡介：該論文解決了一組具有挑戰性的開放問題，提出了具有自排斥隨機游走的馬爾可夫鏈蒙特卡洛（MCMC）。給定任何對應目標概率分布的馬爾可夫鏈，這種自排斥隨機游走（SRRW）不太可能過渡到過去高訪問量的節點，而更有可能過渡到很少訪問的節點。

該方法超越了傳統的無回溯方法，并為 MCMC 采樣的新研究方向鋪平了道路。研究者為 MCMC 研究做出了原創性和重大的貢獻，更值得一提的是過程可以被嚴格地分析和證明。結果也非常全面，令人信服。

圖片

這篇論文的作者之一 Jie Hu，現為北卡羅來納州立大學博士生，他在武漢理工大學獲得了本科學位，在美國西北大學獲得了碩士學位。

論文 6：Bayesian Design Principles for Frequentist Sequential Learning

• 機構：哥倫比亞大學
• 作者：Yunbei Xu、Assaf Zeevi
• 論文地址：https://openreview.net/forum?id=tRhQsHnoFw

論文簡介：該論文探討了設計 bandit 和其他順序決策策略這一非常普遍的問題。論文提出使用一種稱為算法信息比的新量對任何策略的遺憾進行約束的方法，并推導出優化該約束的方法。該約束比早期類似的信息理論量更為嚴格，而且這些方法在隨機性和對抗性的 bandit 設置中都表現出色，實現了全局最優。

特別有趣的是，除了眾所周知的 Thompson Sampling 和針對 bandit 的 UCB 之外，這篇論文可能為全新的 exploration-exploitation 策略打開了大門。事實上，這一原理如果擴展到強化學習領域是非常有前途的。該論文得到了專家評審的一致大力支持。

論文一作 Yunbei Xu 為哥倫比亞大學商學院博士，現為 MIT 博士后研究員，并將于 2024 年秋季開始任職 NUS 助理教授。他本科畢業于北京大學數學系。