ICML 2021 大獎出爐！谷歌大腦摘桂冠，Hinton高徒獲時間檢驗獎
就在今天，機器學習頂會ICML公布了2021年度的論文獲獎名單！
本次大會共有6篇論文獲獎，其中包括1篇杰出論文獎，4篇杰出論文提名獎，以及1篇時間檢驗獎。
來自多倫多大學和谷歌大腦的研究人員斬獲杰出論文獎，Hinton高徒鄭宇懷獲時間檢驗獎。
ICML 2021是第38屆年會，受疫情影響，本屆會議在7月18日-7月24日采用線上會議的形式舉行。
本屆會議中，共有430多位華人論文入選ICML，西北大學汪昭然和普林斯頓大學楊卓然9篇論文入選，并列第一。
2021年ICML一共接收了1184篇論文，其中包含1018篇短論文和166篇長論文，接收率為21.48%，近五年最低。
在這1184份論文中，組委會精心挑選出了6篇論文，授予杰出論文獎、杰出論文提名獎和時間檢驗獎。
杰出論文
今年杰出論文獎的作者來自多倫多大學和Google Brain。
論文地址：
http://proceedings.mlr.press/v139/vicol21a.html
作者指出，目前在一些計算圖中優化參數的方法存在高變異梯度、偏差、緩慢更新或大量內存使用等問題。
因此，本文引入了一種Persistent Evolution Strategies（PES）的方法。
PES通過在整個序列中積累修正項來消除這些偏差，并允許快速更新參數，內存使用率低，無偏差，并且具有合理的方差特性。
實驗證明，PES與其他幾種合成任務的梯度估計方法相比具有優勢，并適用于訓練學習型優化器和調整超參數。
作者介紹
論文一作Paul Vicol，來自多倫多大學和Vector Institute機器學習小組的博士生。
主要研究領域為神經網絡、貝葉斯推論、生成模型和強化學習，以及根據大腦工作原理改進神經網絡等。
2016年，Paul Vicol在西蒙弗雷澤大學獲得了計算機科學碩士學位，碩士研究側重于信念變化，即一個知識表示領域，涉及根據新信息更新知識庫，曾開發一個名為Equibel的Python包，能夠讓研究人員更容易在多智能體系統中試驗信念變化。
2014年獲得西蒙弗雷澤大學計算機科學學士學位。
Hinton高徒鄭宇懷獲時間檢驗獎，表彰10年前經典
時間檢驗獎（Test of Time Award）是頒給那些被時間和事后證明對機器學習界具有持久價值的論文。
Bayesian Learning via Stochastic Gradient Langevin Dynamics 獲得了時間檢驗獎。
ICML 2021 時間考驗獎頒給了2011年的一項研究，作者分別來自加利福尼亞大學的Max Welling（高通荷蘭公司技術副總裁）和倫敦大學學院的Yee Whye Teh（鄭宇懷，牛津大學教授）。
論文地址：
https://icml.cc/Conferences/2011/papers/398_icmlpaper.pdf
值得一提的是，鄭宇懷（Yee Whye Teh）可是深度學習三巨頭之一Hinton的高徒，曾在2006 年與 Hinton 合著論文《A fast learning algorithm for deep belief nets》，引發了深度學習革命！
1997年他于加拿大滑鐵盧大學獲得計算機科學與數學學士學位，之后在多倫多大學師從Geoffery Hinton，并于2003年獲得計算機博士學位。
杰出論文提名獎
杰出論文提名1 ：分散訓練中的最佳復雜度 論文地址：
https://arxiv.org/pdf/2006.08085.pdf
作者提出，去中心化（Decentralization）是一種擴大并行機器學習系統規模的有效方法。為此，作者在隨機非凸環境下為復雜的迭代提供了一個下界。 作者通過構造證明了這個下界是嚴格的和可實現的，同時作者還指出，現有的分散訓練算法（如D-PSGD）在已知的收斂率和理論值上存在一定的差距。 作者進一步提出了gossip式分散算法DeTAG，該算法只需要一個對數間距就能達到下界。 作者將DeTAG與其他分散算法在圖像分類任務上進行了比較，結果表明，DeTAG與基線相比具有更快的收斂性，尤其是在無數據混洗以及在稀疏網絡的情況下。 作者介紹 杰出論文獎的獲獎者是來自康奈爾大學的計算機科學專業博士陸昱成。 他在上海交通大學獲得了電子工程的工程學學士學位。并且對建立可擴展和可證明正確的機器學習系統有廣泛興趣。 此外，陸昱成還發表過多篇頂會和期刊的論文。
杰出論文提名2 ：離散分布的可擴展采樣
論文地址：
https://arxiv.org/abs/2102.04509
針對具有離散變量的概率模型，作者提出了一種通用的、可擴展的近似采樣策略。該方法利用似然函數與其離散輸入的梯度，更新Metropolis-Hastings采樣。
結果表明，結果表明，在如sing模型、Potts模型、受限玻爾茲曼機和隱馬爾科夫模型等許多有難度的設定中，這種方法優于一般的采樣器。
作者還展示了改進的采樣器在高維離散數據上訓練基于能量的深度模型（EBM）時的應用。這種方法的性能優于變異自動編碼器和現有的基于能量的模型。
最后，作者表明該方法可在局部更新的采樣器類別中接近最優。
作者介紹
論文一作Will Grathwohl，2014年在麻省理工學院取得了數學本科學位，如今是多倫多大學機器學習小組博士生，導師是Richard Zemel和David Duvenaud。
主要研究領域為生成模型，以及如何讓模型更加靈活，并能夠應用于下游判別任務。
2019年曾在Google Brain兼職。2021年夏季將完成博士學位，秋季將入職位于紐約的Deepmind。
曾獲Borealis AI研究生獎學金、華為獎、ICLR 2018 Travel Award等獎項。
共參與發表19篇論文，其中包括頂會論文8篇。
杰出論文提名3 ：理解非對比自監督學習動態
論文地址：
https://arxiv.org/abs/2102.06810
自監督學習 (SSL) 的對比方法通過最小化同一數據點（positive pairs）的兩個增強視圖之間的距離，和最大化不同數據點（negative pairs）的視圖之間的距離來學習表征。
最近BYOL和SimSiam的非對比自監督學習方法在沒有negative pairs的情況下也能表現出卓越的性能。
作者受到簡單線性網絡中非線性學習動態的啟發，提出了一種新方法DirectPred，它根據輸入的統計數據直接設置線性預測器，而無需梯度訓練。
同時，作者首次嘗試分析非對比自監督學習訓練的行為以及多個超參數的經驗效應。
在ImageNet上，DirectPred的性能與使用BatchNorm的雙層非線性預測器相當，并且在300個epoch的訓練中比線性預測器強2.5%，在60個epoch的訓練中強5%。
作者介紹
田淵棟，在上海交通大學計算機本科和碩士學位后，到卡耐基梅隆大學機器人研究所攻讀博士學位。
博士畢業后加入了谷歌無人駕駛汽車項目組，現為Facebook人工智能研究院（FAIR）研究員、研究經理。
他曾獲2013年ICCV馬爾獎提名（Marr Prize Honorable Mentions ）。
杰出論文提名4：利用張量鏈解決高維拋物線型PDEs
論文地址：
https://arxiv.org/abs/2102.11830
由于傳統的基于網格的方法往往受到維數災難的影響，高維偏微分方程（PDEs）的數值處理面臨著艱巨的挑戰。
作者認為，張量鏈（Tensor Train）為拋物線型PDEs提供了一個可行的近似框架。通過反向隨機差分方程和回歸型方法，有望利用潛在的低秩結構，完成壓縮和高效計算。
由此，作者提出了新的迭代方案，其中包括顯式和快速或隱式和精確的更新。
實驗證明，與基于SOTA神經網絡的方法相比，該方法在準確性和計算效率之間得到了有效的權衡。
作者介紹
論文一作Lorenz Richter，本科和碩士均就讀于德國柏林自由大學（Freie Universität Berlin），獲得數學、心理學學士學位，數學碩士學位。
2017年在勃蘭登堡工業大學攻讀數學專業博士學位，將于今年博士畢業。
2018年創辦了一家專門從事計算機視覺和遙感領域的軟件項目實施公司dida Datenschmiede GmbH，現為公司CTO。
ICML 2021 華人作者入圍情況
本屆ICML 2021獲獎論文中，華人作者約有430名，其中一作華人學生209名（據不完全統計）。
相較于去年，一作華人學生數量明顯提升，2020年共118人。
據Aminer統計，華人作者投稿數量最多為9篇，來自西北大學汪昭然和普林斯頓大學楊卓然并列第一。
排在第二的是來自RIKEN 高級智能項目中心的Gang Niu，共有8篇論文入選。
第三名是來自斯坦福大學的Percy Liang，共有7篇論文入選（去年8篇，位列第一）。
再來看一作華人學生，來自得克薩斯大學奧斯汀分校的陳天龍位列第一，共有5篇論文入選。
谷歌一騎絕塵，北大31篇，實力碾壓清華
根據谷歌AI Blog 統計，本次來自于 Google 的論文一共被收錄了109 篇，位居所有企業與科研機構之首，足見其在機器學習的行業領軍地位。
其次是MIT、斯坦福大學、伯克利、微軟、卡內基梅隆大學，均超過50篇。
在國內，在接收的1184篇論文中，中國大陸高校和機構共占了166多篇。其中，北京大學31篇 ，清華大學26篇。
國內投稿最多的機構華為（14篇）、騰訊（10篇）、阿里巴巴（10篇）。
圖源：網絡（據不完全統計）
其他企業界收錄情況（據不完全統計）：
Facebook：共 36 篇論文被接收
Amazon：共 23 篇論文被接收
IBM：共 18 篇論文被接收
Apple：共 10 篇論文被接收
NVIDIA：共 8 篇論文被接收
