[[419098]]

圖像預(yù)處理的一個(gè)重要操作就是resize，把不同大小的圖像縮放到同一尺寸，但目前用到的resize技術(shù)仍然是老舊的，無(wú)法根據(jù)數(shù)據(jù)變換。Google Research提出一個(gè)可學(xué)習(xí)的resizer，只需在預(yù)處理部分略作修改，即可提升CV模型性能！

神經(jīng)網(wǎng)絡(luò)要求輸入的數(shù)據(jù)的大小在每個(gè)mini-batch中是統(tǒng)一的，所以在做視覺(jué)任務(wù)的時(shí)候，一個(gè)重要的預(yù)處理步驟就是image resize，把它們調(diào)整到統(tǒng)一的大小進(jìn)行訓(xùn)練。

通常縮放（image down-scaling）后的圖像不會(huì)太大，因?yàn)槿绻直媛蔬^(guò)高會(huì)導(dǎo)致訓(xùn)練過(guò)程中模型占用的內(nèi)存急劇上升，并且過(guò)高的分辨率也會(huì)導(dǎo)致訓(xùn)練速度和推理速度過(guò)慢。雖然近年來(lái)GPU的性能逐漸提升，但標(biāo)準(zhǔn)的輸入圖像仍然是224 × 224。

在大多數(shù)情況下，經(jīng)過(guò)處理的圖像的最終尺寸非常小，例如早期的deepfake生成的圖片只有80 × 80的分辨率。

[[419099]]

在人臉數(shù)據(jù)集中，因?yàn)槿四樅苌儆惺钦叫蔚模粡垐D片中的像素會(huì)浪費(fèi)比較多的空間，可用的圖像數(shù)據(jù)就更少了。

目前最常用的圖像大小調(diào)整方法包括最近鄰（nearest neighbor）、雙線性（bilinear）和雙三次（bicubic）。這些resize方法的速度很快，可以靈活地集成在訓(xùn)練和測(cè)試框架中。

但這些傳統(tǒng)方法是在深度學(xué)習(xí)成為視覺(jué)識(shí)別任務(wù)的主流解決方案之前幾十年發(fā)展起來(lái)的，所以并不是特別適合新時(shí)代的深度學(xué)習(xí)模型。

Google Research提出了一種新的方法，通過(guò)改進(jìn)數(shù)據(jù)集中的圖像在預(yù)處理階段縮放的方式，來(lái)提高基于圖像的計(jì)算機(jī)視覺(jué)訓(xùn)練流程的效率和準(zhǔn)確性。

圖像大小對(duì)任務(wù)訓(xùn)練精度的影響并沒(méi)有在模型訓(xùn)練中受到很大關(guān)注。為了提高效率，CV研究人員通常將輸入圖像調(diào)整到相對(duì)較小的空間分辨率(例如224x224) ，并在此分辨率下進(jìn)行訓(xùn)練和推理。

研究人員想到，這些resizer是否限制了訓(xùn)練網(wǎng)絡(luò)的任務(wù)性能呢？

通過(guò)一個(gè)簡(jiǎn)單的實(shí)驗(yàn)就可以證明當(dāng)這些傳統(tǒng)的resizer被可學(xué)習(xí)的resizer替代后，可以顯著提高性能。

傳統(tǒng)的resizer通常可以生成更好的視覺(jué)上的縮放圖像，可學(xué)習(xí)的resizer對(duì)人來(lái)說(shuō)可能不是特別容易看清楚。

文中提出的resizer模型架構(gòu)如下圖所示：

它主要包括了兩個(gè)重要的特性：（1） 雙線性特征調(diào)整大小（bilinear feature resizing），以及（2）跳過(guò)連接（skip connection），該連接可容納雙線性調(diào)整大小的圖像和CNN功能的組合。

第一個(gè)特性考慮到以原始分辨率計(jì)算的特征與模型的一致性。跳過(guò)連接可以簡(jiǎn)化學(xué)習(xí)過(guò)程，因?yàn)橹囟ù笮∑髂Ｐ涂梢灾苯訉㈦p線性重定大小的圖像傳遞到基線任務(wù)中。

與一般的編碼器-解碼器架構(gòu)不同，這篇論文中所提出的體系結(jié)構(gòu)允許將圖像大小調(diào)整為任何目標(biāo)大小和縱橫比。并且可學(xué)習(xí)的resizer性能幾乎不依賴于雙線性重定器的選擇，這意味著它可以直接替換其他現(xiàn)成的方法。

并且這個(gè)的resizer模型相對(duì)較輕量級(jí)，不會(huì)向基線任務(wù)添加大量可訓(xùn)練參數(shù)，這些CNN明顯小于其他基線模型。

論文中的實(shí)驗(yàn)主要分為三個(gè)部分。

1、分類(lèi)性能。

將使用雙線性調(diào)整器訓(xùn)練的模型和輸出調(diào)整分辨率224×224稱(chēng)為默認(rèn)基線。結(jié)果表明，在224×224分辨率的模型中，性能最好，使用文中提出的resizer訓(xùn)練的網(wǎng)絡(luò)對(duì)性能有所提升。

與默認(rèn)基線相比，DenseNet-121和MobileNet-v2基線分別顯示出最大和最小的增益。對(duì)于Inception-v2、DenseNet-121和ResNet-50，提出的resizer的性能優(yōu)于具有類(lèi)似雙線性重定器。

2、質(zhì)量評(píng)估

研究人員使用3種不同的基線模型對(duì)AVA數(shù)據(jù)集進(jìn)行訓(xùn)練。基線模型根據(jù)ImageNet上預(yù)先訓(xùn)練的權(quán)重進(jìn)行初始化，并在AVA數(shù)據(jù)集上進(jìn)行微調(diào)。resizer權(quán)重是隨機(jī)初始化的。在這組實(shí)驗(yàn)中，使用雙三次resizer為基線方法。通過(guò)平均基本真實(shí)分?jǐn)?shù)和平均預(yù)測(cè)分?jǐn)?shù)之間的相關(guān)性來(lái)衡量性能，相關(guān)性的評(píng)價(jià)采用使用皮爾遜線性相關(guān)系數(shù)（PLCC）和斯皮爾曼秩相關(guān)系數(shù)（SRCC）。

與基線模型相比，存在確定性的改進(jìn)。此外，對(duì)于Inception-v2和DenseNet-121型號(hào)，文中提出的resizer性能優(yōu)于雙三次resizer。在更高的失敗率下，對(duì)于學(xué)習(xí)型resizer來(lái)說(shuō)，EfficientNet似乎是一個(gè)更難有所提升的基線模型。

3、泛化性

首先使用與resizer的默認(rèn)基線不同的目標(biāo)基線聯(lián)合微調(diào)的可學(xué)習(xí)resizer。然后，度量目標(biāo)基線在底層任務(wù)上的性能。可以觀察到，對(duì)大約4個(gè)epoch的訓(xùn)練數(shù)據(jù)進(jìn)行微調(diào)足以使resizer適應(yīng)目標(biāo)模型。這個(gè)驗(yàn)證是一個(gè)合理的指標(biāo)，能夠表明經(jīng)過(guò)訓(xùn)練的resizer對(duì)各種體系結(jié)構(gòu)的通用性如何。

由分類(lèi)和IQA結(jié)果可知，每列顯示resizer模型的初始化檢查點(diǎn)，每行表示一個(gè)目標(biāo)基線。這些結(jié)果表明，經(jīng)過(guò)最少次的微調(diào)，就可以為一個(gè)基線訓(xùn)練的resizer可以有效地用于開(kāi)發(fā)另一個(gè)基線的resizer。

在某些情況下，如DenseNet和MobileNet模型，微調(diào)的resizer實(shí)際上超過(guò)了通過(guò)隨機(jī)初始化獲得的分類(lèi)性能。對(duì)于IQA的EffectiveNet模型也有同樣的觀察結(jié)果。

最后研究人員指出，這些實(shí)驗(yàn)專(zhuān)門(mén)針對(duì)圖像識(shí)別任務(wù)進(jìn)行了優(yōu)化，并且在測(cè)試中，他們的 CNN驅(qū)動(dòng)的可學(xué)習(xí)的resizer能夠在這類(lèi)任務(wù)中降低錯(cuò)誤率。

未來(lái)也許考慮在其他圖像任務(wù)中訓(xùn)練image resizer。