NeurIPS 2024評審結果公布！AI大佬曬出成績單，又是被吐槽最嚴重的一屆?
NeurIPS 2024評審結果已經公布了！
收到郵件的小伙伴們，就像在開盲盒一樣，紛紛在社交媒體上曬出了自己的成績單。
俄亥俄州立大學助理教授曬圖，明明評審員給的評價是「論文接收」，卻沒想到最終決定是「拒收」。
應該給這位審稿人頒發一個NeurIPS 2024最佳AC獎
順便提一句，今年是NeurIPS第38屆年會，將于12月9日-15日在加拿大溫哥華舉辦。
AI大佬曬出成績單
一些網友們早已曬出了自己的錄用結果，好像一件大事。
來自洛桑聯邦理工學院（EPFL）的博士Maksym Andriushchenko稱，自己有3篇論文被NeurIPS 2024接收。
它們分別是：
論文一：Why Do We Need Weight Decay in Modern Deep Learning?
論文地址：https://arxiv.org/pdf/2310.04415
權重衰減（weight decay），比如在AdamW中傳統上被視為一種正則化的方法，但效果非常微妙，即使在過度參數化的情況下也是如此。
而對大模型而言，權重衰減則扮演者完全不同的角色。與最初一版arXiv論文相比，研究人員對其進行了很多更新。
Andriushchenko表示，自己非常喜歡這項新實驗，并且匹配了AdamW有效學習率，得到了完全相同的損失曲線，而沒有使用權重衰減。
論文二：JailbreakBench（Datasets and Benchmarks Track）
論文地址：https://arxiv.org/pdf/2404.01318
JailbreakBench是全新評估大模型越獄能力的基準。上個月，該數據集在HuggingFace上，被下載了2500次。
而且，多家媒體還使用了這個越獄神器，Gemini 1.5技術報告中也將其用于模型穩健性的評估。
論文三：Improving Alignment and Robustness with Circuit Breakers
論文地址：https://arxiv.org/pdf/2406.04313
這篇論文發布之初，已經掀起了不少的討論。
其中最重要的一點是，它有助于訓練Cygnet模型，其在越獄競技場上表現出驚人的性能，而這正是對防御是否有用的測試。
來自UT Austin的副教授Qixing Huang也有三篇論文被NeurIPS錄用。
它們分別是：
局部幾何感知神經曲面表示法CoFie。
以及另外兩篇，一個是參數化分段線性網絡PPLN，另一個是關于時空聯合建模的運動生成。
谷歌DeepMind團隊Self-Discover算法被NeurIPS 2024錄用。
中國有句古話：千人千面。正如每個人都是獨一無二的，每個問題也是獨一無二的。如何讓LLM通過推理解決復雜的看不見的問題？
Self-Discover最新論文證明了，模型可以從一般問題解決技術的集合中，組成特定用于任務的推理策略。
最新算法在GPT-4和PaLm 2-L上的性能比CoT高32%，而推理計算量比Self-Consistency少10-40倍。
論文地址：https://arxiv.org/pdf/2402.03620
又是被吐槽的一屆
不論是哪個頂會，吐槽是必不可少的。
這不，網友們對NeurIPS 2024審稿結果，吵成一鍋了。
紐約大學工學院的助理教授稱，一篇在NeurIPS提交中得分相當高的論文被拒絕。原因竟是：「模擬器是用C++編寫的，而人們不懂C++」。
他表示，論文被拒的現象太正常了，但是對這個被拒理由，實在是令人震驚。
還有一位大佬表示，團隊的兩篇關于數據集追蹤的NeurIPS論文被拒了，盡管評審結果有積極的反饋。
這顯然是，組委會試圖人為地標尺較低的錄取率。
「根據錄取率而不是成績來排擠研究，這一點其實我不太確定」。
無獨有偶，UMass Amherst的教員也表達出了這種擔憂：
我看到很多人抱怨 NeurIPS的AC，推翻了最初收到積極評審論文的決定。
作為一名作者和評審員，我能理解這種做法有多令人沮喪。作為一名區域主席，我也經歷過管理那些勉強達到錄用分數的論文的壓力，特別是當項目委員會要求更嚴格的錄用率時。
有趣的是，NeurIPS已經變得像「arXiv精選」——突出展示前一年的最佳論文。
一位UCSC教授Xin Eric Wang表示，一篇平均得分為6.75的NeurIPS投稿被拒絕了。
他表示，這是自己收到第二荒謬的元評審，最荒謬的那次，是因為結果中沒有加「%」就否決了論文。
無論論文質量如何，似乎總會有無數理由可以否決一篇論文。
元評審中提到的關鍵問題，在原始評審中只是小問題，而且他們團隊已經在回復中明確解決。Xin Eric Wang懷疑AC是否真正閱讀了他們的回復：
(1) AC提出了一個重大問題，這是基于一個得分為8分的評審者的小建議，引用了「大部分數據」，但實際數字小于10%（如回復中所述）。
(2) AC指出缺少統計數據，這些數據評審者從未提及，而且在論文正文中已經清楚地呈現。
LLM參與評審
而且AI火了之后，大模型也被用來論文評審。
這次，NeurIPS 2024也不例外。
Reddit網友評論道，自己用一個月的時間審核6篇論文，當看到自己得到的是LLM的評價，真的很受傷。
還有人指出，在自己審閱的論文中，至少發現了3篇由大模型生成的評審意見，很可能還有更多，其中3篇明顯是直接復制粘貼了ChatGPT輸出，完全沒有閱讀論文。
這些評審都給了6分，Confidence為4，與其他所有人的評價完全不一致。
更有網友評價道，「論文評論的質量很低」。
一個評審者混淆了我們方法的基線，另一個評審者混淆了基線的派生（正如我們的工作所批評的那樣）和我們方法的派生。我懷疑一些評論是由LLM產生的。
