ICLR審稿集體搞抽象！評(píng)審結(jié)果寫(xiě)半句，還有的求ta也不審，網(wǎng)友：科研人自己的春晚
今天，ICLR 2025的discussion phase的ddl已經(jīng)截止?；乜催^(guò)去14天的討論過(guò)程，可太精彩了！
各大平臺(tái)上隨手一翻就是作者們的吐槽大會(huì)，都在無(wú)語(yǔ)這屆ICLR評(píng)審的各種奇葩亂象。
譬如UCSB博士生@JiachenLi11 就在推特上非常之無(wú)奈：
我收到的評(píng)審內(nèi)容，低到令人擔(dān)憂(yōu)——其中一條評(píng)審甚至話(huà)都沒(méi)說(shuō)完。難道審稿人的tokens用完了嗎？？？
△圖源推友@JiachenLi11
你還真別說(shuō)，他這個(gè)“tokens用完”的吐槽并不是空穴來(lái)風(fēng)——
ICLR 2025的論文提交數(shù)前所未有地高，約有11000篇。
為了提升審稿速度和質(zhì)量，ICLR今年引入了AI參與審稿工作。
當(dāng)然了，倒也不是單一AI，是多個(gè)AI大模型組成的Agent。
然而，你以為審稿人話(huà)不寫(xiě)完評(píng)審內(nèi)容就點(diǎn)發(fā)送，就是ICLR 2025的全部槽點(diǎn)了嗎？
ICLR吐槽大賞
要細(xì)數(shù)今年ICLR 2025的神奇事件，咱們先從最廣為人知的一件說(shuō)起：
[10,10,10,10]和3個(gè)poor得分并存
今年的ICLR出現(xiàn)了一篇4個(gè)審稿人同時(shí)打出了10分的論文。
假如這個(gè)分?jǐn)?shù)能保持到中稿通知，這將是近5年來(lái)，ICLR的唯一一篇滿(mǎn)分作文。
論文題目如下圖，是一個(gè)叫IC-Light（全稱(chēng)Imposing Consistent Light）項(xiàng)目，是關(guān)于控制圖像照明的。
作者張呂敏，也是大名鼎鼎的ControlNet的作者。
他在蘇州大學(xué)拿到學(xué)士學(xué)位后，去往斯坦福讀博。
IC-Light可以隨意控制照片主體的光源和背景，將主體、光源、背景三者迅速地融合在一張圖片里。
半年前，IC-Light就在GitHub上開(kāi)源，現(xiàn)在共6.5k星。
與此同時(shí)，ICLR 2025還出現(xiàn)了幾篇，某一審稿人給某篇論文全打1分的論文。
這里我們打斷一下，了解一下ICLR的評(píng)分體系：
- 1分：太差了
- 3分：拒絕
- 5分：婉拒了哈
- 6分：接……吧
- 8分：接收
- 10分：強(qiáng)接收
就拿其中一篇來(lái)說(shuō)吧，看到這個(gè)結(jié)果給作者氣的，寫(xiě)了一篇十幾頁(yè)的strong rebuttal。
那審稿人為什么給人家Soundness、Presentation、Contributions都給了1分？
審稿人言辭非常犀利，直呼Paper Writing is quite bad，然后還毫不客氣地提問(wèn)：“Is there a human author on this paper？”
審稿人還表示，（這也是全部最低分的最重要一點(diǎn)），我們是可以判斷一篇論文是人寫(xiě)的還是AI寫(xiě)的，“也許您在生成文本時(shí)沒(méi)有進(jìn)行基本的連貫性檢查”。
作者繼續(xù)輸出長(zhǎng)篇大論rebuttal，并回?fù)簟拔铱烧鏆J佩你識(shí)別AI的能力”。
作者5頁(yè)回應(yīng)，審稿人在ddl突然否定領(lǐng)域
一位在北大CS讀博的小某書(shū)網(wǎng)友@Kevin 對(duì)審稿人的神操作大吐苦水。
事情是這樣的，ICLR不是共14天用來(lái)discussion phase嘛。
這14天里，有一位審稿人5，一共對(duì)他所在團(tuán)隊(duì)提交的paper提出了10個(gè)問(wèn)題。
團(tuán)隊(duì)認(rèn)真回復(fù)了整整五頁(yè)，審稿人5已讀不回。
團(tuán)隊(duì)多次希望與其討論，審稿人5已讀不回。
總之就是一整個(gè)石沉大海。
到了昨天，也就是discussion phase的最后一天，“審稿人5突然否定這個(gè)領(lǐng)域，并將5分改為3分”。
@Kevin非常不理解為什么審稿人這樣做的意圖。
真的就，令人心碎的discussion phase。
“你需要引用另一篇ICLR 2025投稿”
推友@PandaAshwinee（普林斯頓博士畢業(yè)，現(xiàn)在在Trails.ai從事博后工作）給看熱鬧的網(wǎng)友們畫(huà)了個(gè)自己接收到的評(píng)審內(nèi)容的亮點(diǎn)：
你需要引用另一篇ICLR 2025的投稿。
展開(kāi)說(shuō)說(shuō)，就是審稿人鏈接了ICLR 2025 openreview的另外一篇論文，表示兩個(gè)項(xiàng)目高度相關(guān)，所以小哥應(yīng)該引用。
但是哭啊，小哥查過(guò)了，要求被引的論文根本不在arXiv上。
而且這不是他第一次感覺(jué)“天塌了”——他在評(píng)論區(qū)補(bǔ)充，之前他的項(xiàng)目在ICML 2024被拒，主要原因也是“與另一篇ICML 2024投稿高度相似”。
不過(guò)ICLR很快在小哥推文下面回復(fù)了，表達(dá)程序主席開(kāi)始調(diào)查這個(gè)事兒。
“乞討式”ICLR
前面提到的都是審稿人和作者有來(lái)有回（哪怕回得慢）的激情battle，更有意思的事是，無(wú)論國(guó)內(nèi)還是國(guó)外，很多人都把這屆稱(chēng)為“乞討式”ICLR。
簡(jiǎn)而言之，就是審稿人一直不給評(píng)審不給分。
有人上個(gè)月下旬的時(shí)候，就開(kāi)始給所有AC（區(qū)域主席）發(fā)了郵件，要求他們提醒審稿人回復(fù)作者。
或者至少確認(rèn)審稿人們知道自己還得干這活。
當(dāng)時(shí)就有網(wǎng)友提醒“最壞的打算”，有的審稿人會(huì)拖到最后一刻，因?yàn)樗麄円苍跒樽约捍朕o……
果不其然，單看國(guó)內(nèi)，昨天開(kāi)始24h內(nèi)倒計(jì)時(shí)了，很多作者還在懇求審稿人快快評(píng)審，快快給分。
哎。
對(duì)作者的奇怪請(qǐng)求
在Google DeepMind工作的Ahmad Beirami（@abeirami）分享了一則訊息：
發(fā)到推特上后，有ICLR作者表示出了疑惑：
如果作者們寫(xiě)了這玩意兒，是否真的對(duì)審稿有幫助？
他覺(jué)得這“可能是在浪費(fèi)時(shí)間”，因?yàn)閷徃迦送耆赡芸炊疾豢?，直接去看paper原文。一切都是徒勞的。
不過(guò)Ahmad很快回復(fù)了這位作者：
Yes！
作為一名AC，我想確保我沒(méi)有從作者的角度遺漏任何內(nèi)容?？赡軙?huì)有很多變化、新結(jié)果等。我想確保我知道在哪里找到它們，以便能夠形成觀點(diǎn)，判斷一些原始評(píng)論/關(guān)注是否適用。
得到這個(gè)答復(fù)后，作者小哥很愉快地去添加注釋去了。
ICLR 2025為何這樣
以上種種，只是大家或身在其中/或圍觀看熱鬧的ICLR 2025的一點(diǎn)點(diǎn)故事而已。
但，身為權(quán)威頂會(huì)，為什么會(huì)這樣？
有的人認(rèn)為和今年的稿件數(shù)量有關(guān)。
官方數(shù)據(jù)顯示，ICLR 2025的論文提交數(shù)量達(dá)到了11,000多篇，同比增長(zhǎng)61%。
而去年ICLR 2024組委會(huì)收到的投稿總數(shù)為7,262篇——當(dāng)然了，對(duì)那時(shí)候的ICLR來(lái)說(shuō)也是不小的工作量，同比增長(zhǎng)了47%。
今年，面對(duì)如此龐大的論文數(shù)量，審稿人數(shù)量高達(dá)15,000多名。
這還不夠，官方還引入了多個(gè)AI大模型構(gòu)成的Agent來(lái)參與審稿。但它的功用不是完全替代審稿人，它不會(huì)撰寫(xiě)審稿評(píng)論或直接編輯評(píng)論，而是提供建設(shè)性和可操作性的反饋，幫助審稿人提高審稿質(zhì)量。
這個(gè)Agent針對(duì)審稿中可能存在的三類(lèi)問(wèn)題提供建議：
- 鼓勵(lì)審稿人改寫(xiě)含糊的評(píng)論，使其對(duì)作者更具可操作性；
- 突出文章中可能已經(jīng)回答了審稿人問(wèn)題的部分；
- 發(fā)現(xiàn)并處理不專(zhuān)業(yè)、不恰當(dāng)?shù)难哉摗?/li>
但很多作者認(rèn)為，稿件數(shù)量激增確實(shí)加大了工作量，Agent的輔助無(wú)可厚非，但絕不是ICLR變成被看熱鬧的“科研春晚”的原因。
一方面，Agent提出的建議，審稿人是可以選擇接受或者忽略不管的。
另一方面，極速擴(kuò)張的審稿人中，是否有人并不是適合評(píng)審工作？
再一方面，為了確保審稿質(zhì)量，每位審稿人平均分配3篇論文，頂天了看4篇，工作量并不是超負(fù)荷狀態(tài)。
除了有點(diǎn)混亂以外，另一個(gè)被網(wǎng)友們激烈討論的點(diǎn)，集中在這屆ICLR的分?jǐn)?shù)上。
一般來(lái)說(shuō)，ICLR的傳統(tǒng)接收率在30%左右，然后今年ICLR的排名前30%的論文，平均評(píng)分約為5.6。
前面我們介紹了，6分算是一個(gè)勉勉強(qiáng)強(qiáng)的分?jǐn)?shù)，屬于論文被接收的邊緣門(mén)檻。
這就意味著“低于‘邊緣接受’門(mén)檻的論文將被接收”。
網(wǎng)友談道，“當(dāng)會(huì)議接受變得如此隨意時(shí)，我們正在破壞整個(gè)科學(xué)評(píng)估系統(tǒng)——這影響到AI研究整體的完整性。”
在此基礎(chǔ)上，他提出了三點(diǎn)自己的思考，希望ICLR應(yīng)有更嚴(yán)格和公平的程序。
當(dāng)然，也有另一種聲音：
期待一些超級(jí)強(qiáng)大到無(wú)懈可擊的大模型出現(xiàn)，讓它們充當(dāng)審稿人，解決上述所有問(wèn)題，以此幫助減輕審稿的負(fù)擔(dān)。
只是不知道這一天什么時(shí)候會(huì)到來(lái)了。
