ICLR 2024審稿結(jié)果公布了！

ICLR是機(jī)器學(xué)習(xí)領(lǐng)域重要的學(xué)術(shù)會議之一，每年舉辦一次。2024年是第十二屆，將在奧地利維也納5月7日-11日召開。

根據(jù)OpenReview官方放出的結(jié)果顯示，今年共有7135篇投稿論文。

此外，另有國內(nèi)開發(fā)者魏國強(qiáng)自己爬蟲做了完整的統(tǒng)計數(shù)據(jù)，論文投稿有7215篇，平均分為4.88。

https://guoqiangwei.xyz/iclr2024_stats/iclr2024_submissions.html

就具體分?jǐn)?shù)分布情況來看，均分為4.2分的論文有1086篇，4.9分1163篇，5.7分1015篇，這些都是1000篇+的論文的得分。

亞馬遜工程師統(tǒng)計有7304篇提交的論文，平均分為4.9。

具體占比，均分為4.9-5.0，5.2-5.3論文數(shù)分別占總數(shù)的9%。

https://github.com/maxxu05/openreview_summarizereviews/tree/main

論文投稿暴漲7000+，創(chuàng)歷史新高

最值得一提的是，不管具體投稿數(shù)字是多少，ICLR 2024總論文提交創(chuàng)下歷史新高。

這種巨大反差，可以從歷年的統(tǒng)計數(shù)據(jù)中可以看出。

ICLR 2017那時僅有490篇，一直到ICLR 2023漲到4955篇。ICLR 24更是增長了2000+篇。

最近兩年接收率都在30%以上，今年也不會低。

論文提交數(shù)量空前爆發(fā)，離不開ChatGPT做出的巨大貢獻(xiàn)。

上周，arXiv平臺公布了10月份該平臺論文提交總數(shù)，僅僅一個月就有20,710篇，也創(chuàng)下了最新記錄。

其中，大約一半的論文關(guān)于CS領(lǐng)域，3500預(yù)印與CV、ML領(lǐng)域有關(guān)。

平均一下，每天有668論文上傳，這個數(shù)據(jù)確實(shí)有點(diǎn)離譜。

ICLR 2024研究領(lǐng)域，擴(kuò)散模型占比最多

那么，ICLR 2024提交論文的主題都涉及了哪些領(lǐng)域，也有網(wǎng)友做出了總結(jié)。

- 451個標(biāo)題包含「Diffusion」

- 208個標(biāo)題包含「LLM」

- 6個標(biāo)題包含「ChatGPT」

- 25個標(biāo)題包含「NeRF」

- 41個標(biāo)題包含「GAN」

- 15個標(biāo)題包含「All you need」

- 22個標(biāo)題包含「Dream」

- 6個標(biāo)題包含「Magic」

高分論文

第一篇Generalization in diffusion models arises from geometry-adaptive harmonic representation是關(guān)于擴(kuò)散模型的研究，評分為8,8,10,8。

當(dāng)前，基于分?jǐn)?shù)的反向擴(kuò)散算法，能夠生成高質(zhì)量的樣本，這一發(fā)現(xiàn)表明經(jīng)過去噪訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)（DNN）可以學(xué)習(xí)數(shù)據(jù)密度分布，盡管存在維數(shù)災(zāi)難（curse of dimensionality）。

但是，最近有許多討論關(guān)于，模型只是簡單地記憶了訓(xùn)練數(shù)據(jù)，并沒有真正意義上學(xué)習(xí)到數(shù)據(jù)的本質(zhì)分布。

對此，研究人員訓(xùn)練了兩個在不同數(shù)據(jù)子集上訓(xùn)練去噪DNN模型，結(jié)果發(fā)現(xiàn)它們得分函數(shù)和密度分布非常接近，而且訓(xùn)練圖像數(shù)據(jù)量驚人地少。

這種強(qiáng)大的泛化能力證明了，DNN架構(gòu)和訓(xùn)練算法中存在強(qiáng)大的歸納偏置（Inductive bias）。

研究人員進(jìn)一步分析了這種歸納偏置存在的原因，證明去噪模型在適應(yīng)底層圖像的基礎(chǔ)上執(zhí)行收縮操作。

即使在一些不適合這種基礎(chǔ)的圖像數(shù)據(jù)上訓(xùn)練，模型也還是會學(xué)習(xí)到這種諧波表示。因此可以證明去噪模型對這種自適應(yīng)諧波表示存在偏置。

此外，我們表明，當(dāng)在已知最優(yōu)基礎(chǔ)是幾何自適應(yīng)和調(diào)和的常規(guī)圖像類上訓(xùn)練時，網(wǎng)絡(luò)的去噪性能接近最優(yōu)。

第二篇Revitalizing Channel-dimension Fourier Transform for Image Enhancement是關(guān)于圖像增強(qiáng)、傅里葉變換的研究，評分為8,10,8,8。

探索傅立葉變換的全局表示來增強(qiáng)圖像已成為一種替代方法，并取得了重大進(jìn)展。

然而，以往的研究只在空間維度上進(jìn)行，忽略了通道維度的潛力，而通道維度本身就具有識別特征。

在這項工作中，作者提出了一個全新的視角，即用于圖像增強(qiáng)的通道維傅里葉變換。

其中的設(shè)計過程簡單而有效，包括3個簡單的步驟：對通道維度進(jìn)行傅里葉變換以獲得通道傅里葉域特征，對其振幅和相位分量進(jìn)行通道變換，然后返回空間域。

根據(jù)上述規(guī)則，作者在不同的運(yùn)算空間中提供了3種可供選擇的通道變換實(shí)現(xiàn)格式，分別在 1) 帶高階的全局向量；2) 帶通道組的全局向量；以及 3) 基于空間的傅里葉變換得到的傅里葉特征中進(jìn)行運(yùn)算。

上述核心設(shè)計作為通用運(yùn)算器，可與增強(qiáng)網(wǎng)絡(luò)無縫集成，取得顯著收益并建立高效模型。

通過對多種圖像增強(qiáng)任務(wù)（如低照度圖像增強(qiáng)、曝光校正、SDR2HDR轉(zhuǎn)換和水下圖像增強(qiáng)）的廣泛實(shí)驗(yàn)，研究的設(shè)計架構(gòu)顯示出一致的性能提升。

Monte Carlo guided Denoising Diffusion models for Bayesian linear inverse problems是關(guān)于去噪擴(kuò)散模型的研究，評分為6,10,8,10。

從計算攝影到醫(yī)學(xué)成像，各種應(yīng)用中經(jīng)常出現(xiàn)難以解決的線性逆問題。最近的研究方向是利用貝葉斯推理和信息先驗(yàn)來處理這類問題。

在這些前置條件中，基于分?jǐn)?shù)的生成模型（SGM）最近被成功應(yīng)用于幾個不同的逆問題。

在這項研究中，作者利用SGM定義的先驗(yàn)的特殊結(jié)構(gòu)，定義了一系列中間線性逆問題。隨著噪聲水平的降低，這些逆問題的后驗(yàn)越來越接近原始逆問題的目標(biāo)后驗(yàn)。

為了從這一系列后驗(yàn)中采樣，研究人員使用了序列蒙特卡羅（SMC）方法，并提出了算法 \algo。

研究證明，在貝葉斯環(huán)境下處理問題不明確的逆問題時，該算法的性能優(yōu)于其他同類算法。

SDXL模型我們最熟悉不過了，它的評分為8,8,8,8。

作者介紹了用于文本到圖像合成的潛在擴(kuò)散模型——SDXL。與之前版本的SD模型相比，SDXL利用的UNet主干網(wǎng)擴(kuò)大了3倍，這是通過顯著增加注意力塊的數(shù)量，并加入第二個文本編碼器實(shí)現(xiàn)的。

此外，研究者還設(shè)計了多種新穎的調(diào)節(jié)方案，并在多種長寬比上對SDXL進(jìn)行了訓(xùn)練。

為了確保獲得最高質(zhì)量的結(jié)果，他們還引入了一個細(xì)化模型，用于利用事后圖像對圖像技術(shù)提高SDXL生成的樣本的視覺保真度。

研究證明，SDXL比以前版本的Stable Diffusion有了顯著改進(jìn)，其結(jié)果可與Midjourney等先進(jìn)圖像生成器相媲美。

至于如何能拿下8,8,10,8的高分論文，你只需要復(fù)習(xí)自己大學(xué)本科學(xué)習(xí)的圖像處理課程就行了。

剩下的高分論文，有感興趣的童鞋，可以自己查閱。

地址：https://guoqiangwei.xyz/iclr2024_stats/iclr2024_submissions.html

最后，祈禱大家都能中。