AI頂會審稿人竟是本科生？女物理學家發推吐槽，圈內大佬紛紛點贊
你以為的學術頂級會議期刊審稿人，都是來自各自領域的大牛？
事實上，你辛辛苦苦幾個月做的研究論文，審稿人很有可能是一群本科生或研究生？
最近，來自洛桑聯邦理工學院（école polytechnique fédérale de Lausanne (EPFL)）的女物理學家Lenka Zdeborova就在推特上吐槽頂會的審稿人機制。
研究生院的申請人就已經有頂會審稿經驗？而且數量還不少。
我正在審查EPFL計算機科學研究生院的申請，我看到許多申請人都有擔任頂級ML會議審稿人的經驗，我想知道如果同行評議的很大一部分是由本科生完成的，我們為什么還要費心去進行同行評議??？
Lenka Zdeborová是EPFL的物理學和計算機科學教授，她領導計算機學院的統計物理學科。
她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等眾多學術期刊的編委。
Lenka擅長的領域是將統計物理學的概念（例如高級平均場方法、復制方法和相關消息傳遞算法）應用于機器學習、信號處理、推理和優化中的問題。
一些圈內人士也表示贊同，研究生一年級的學生竟然已經可以在頂會審稿，而且沒有人覺得這是個問題。
你以為的審稿人是這些學界大佬，事實上其實是他們帶的本科生或研究生......
知乎答主「卡卡卡卡比」認為這種現象已經是司空見慣了，從ICLR到AAAI,審稿人的水平參差不齊，保不齊你的paper就落到了某個本科生手里。
抱怨完審稿人水平之后，關鍵還是要思考如何能夠寫出讓大家make sense并且能兼顧大多人審稿taste的工作。
來源：卡卡卡卡比
另一位答主「歇斯底里i」也認為，審稿人很少懂你的領域，所以你要把論文的結果清晰明了地呈現出來，讓別人看不懂就是你的問題了。
來源：歇斯底里i
頂會審稿到底怎么審
那么頂會審稿究竟怎么審？
同行評審（Peer-review）是現代科學的基石，幾乎所有機器學習 (ML) 頂會（如NeurIPS、ICML、AAAI）都依靠它來決定提交的論文是否與社區相關，以及原創性是否足以在那里發表。
不幸的是，隨著過去十年提交文章數量呈指數級增長，審稿質量也以同樣快的速度下降。
如果您曾經向其中一個會議提交過論文，在為您認為是一個絕妙的想法而努力工作了幾個月之后，您得到的是糟糕的、無用的，而且（更糟糕的是 ) 具有諷刺意味的評論意味著你將不得不重新經歷一次提交過程，而沒有任何關于你的論文存在什么問題的提示。
圖靈獎獲得者Geoffrey Hinton在2018年接受 Wired 雜志采訪時給出了造成這種情況的原因之一：
現在如果你提交的論文有一個全新的想法，它根本就沒有機會被接受，因為這些年輕的初級審稿人根本無法理解。
或者它會遇到一位高級審稿人，他審閱了太多的論文，第一次看并不理解，并認為它一定是胡說八道。我認為這真的很糟糕。
知乎答主電光幻影煉金術對審稿被拒做了個假設，如果你發現你的論文因為一些概念問題審稿人沒理解被給了低分，有三種可能：
（1）審稿人是個本科生/低年級博士生，他看不懂這些概念。
（2）審稿人是個超級大佬，他很重視基礎概念問題，并且他已經不做這個領域多年。
（3）審稿人是個超級大佬，但他沒有時間，他交給了他的低年級博士學生來審稿。所以說，學術圈就是一個輪回，本科生的表現和超級大佬最像。
- 你以為理想中的審稿人：
周一打開論文，看看摘要，速讀一遍，評估一下novelty。周二細細看方法，挑挑毛病。周三看一下實驗，看看baseline的相關論文，查對實驗細節。周四開始寫審稿意見，決定審稿分數。周五補充一些審稿意見，提交審稿分數。
- 實際審稿人：
周一上午八點打開審稿論文，讀了讀摘要，感覺沒什么novelty。看了看圖片，感覺不看正文看不明白。翻到后面看了看實驗數字，感覺提升也不大?？纯捶椒?，四頁好多看不完。下午還有事，給個5分走人吧。周一上午十一點半結束審稿工作。
我們再來看看ICML2022的審稿規則：
- 選題意義：
這部分評審的目的是向MR（Meta-reviewer）和作者展示您對這篇論文的理解程度以及您對這篇論文的看法。
- 寫作創新性、相關性、重要性：
它們與我們的社區相關嗎？它們是新的嗎？如果答案是否定的（或部分否，例如，引用早期論文中的精確結果），則需要一個精確的理由，以便作者知道如何修復論文。
- 健全性：
理想情況下，一篇論文提出的主張應該得到理論論據或實驗結果的充分支持。
- 寫作質量：
這篇論文是否組織良好并且寫得很清楚？它是否很好地解釋了新穎性和結果？該論文是否包含支持其聲明所需的足夠信息？
- 參考文獻：
這篇論文是否被恰當地置于當代文學中？如果沒有，請具體說明缺少的內容。請注意，由于論文有頁數限制，因此通常需要判斷是否應提及結果。
而這些屬于第一階段審稿人的審核標準，符合審核標準的則可以進入第二階段。
通過第一階段的論文，會再經過元審稿人（MR）、項目主席過目，之后還會有額外的審稿人來確保論文審核質量。
而為什么現在的頂會審稿人的水平參差不齊，甚至冒出了一群本科生和研究生，原因主要在于行業發展太快，投稿量的增加速度遠高于合格審稿人的培養速度。
這不僅導致有能力審稿的人占比少了，而且有能力的審稿的人對每篇文章能投入的時間也少了。
