本文經(jīng)計(jì)算機(jī)視覺(jué)研究院公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

論文地址：https://arxiv.org/pdf/2201.02314.pdf

一、前言

當(dāng)真正的退化未知或與假設(shè)不同時(shí)，預(yù)處理模塊和隨后的高級(jí)任務(wù)（如目標(biāo)檢測(cè)）都會(huì)失敗。在這里，研究者提出了一個(gè)新的框架，RestoreDet，來(lái)檢測(cè)退化的低分辨率圖像中的目標(biāo)。RestoreDet利用下采樣降級(jí)作為自監(jiān)督信號(hào)的一種轉(zhuǎn)換，以探索針對(duì)各種分辨率和其他降級(jí)條件的等變表示。

具體來(lái)說(shuō)，通過(guò)編碼和解碼一對(duì)原始和隨機(jī)退化圖像的退化變換來(lái)學(xué)習(xí)這種內(nèi)在的視覺(jué)結(jié)構(gòu)。該框架可以進(jìn)一步利用具有任意分辨率恢復(fù)解碼器的高級(jí)SR架構(gòu)來(lái)從退化的輸入圖像重建原始對(duì)應(yīng)關(guān)系。表示學(xué)習(xí)和目標(biāo)檢測(cè)都以端到端的訓(xùn)練方式聯(lián)合優(yōu)化。RestoreDet是一個(gè)通用框架，可以在任何主流目標(biāo)檢測(cè)架構(gòu)上實(shí)現(xiàn)。廣泛的實(shí)驗(yàn)表明，基于CenterNet的框架在面對(duì)變質(zhì)退化情況時(shí)與現(xiàn)有方法相比取得了卓越的性能。代碼很快就會(huì)發(fā)布。

二、背景

由于大規(guī)模數(shù)據(jù)集，高級(jí)視覺(jué)任務(wù)（即圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割）取得了巨大成功。這些數(shù)據(jù)集中的圖像主要由具有更高分辨率和信噪比(SNR)的商用相機(jī)捕獲。在這些高質(zhì)量圖像上進(jìn)行訓(xùn)練和優(yōu)化后，高級(jí)視覺(jué)在低分辨率或低質(zhì)量圖像上的性能會(huì)下降。為了提高視覺(jué)算法在退化的低分辨率圖像上的性能，Dai等人[Is image super-resolution helpful for other vision tasks?]提出了第一個(gè)全面的研究，提倡使用超分辨率(SR)算法對(duì)圖像進(jìn)行預(yù)處理。其他高級(jí)任務(wù)，如人臉識(shí)別、人臉檢測(cè)、圖像分類和語(yǔ)義分割，也受益于恢復(fù)模塊以提取更多區(qū)分特征。

三、新框架分析

研究者不是在嚴(yán)格假設(shè)下使用恢復(fù)模塊顯式增強(qiáng)輸入圖像，而是利用針對(duì)各種分辨率和退化狀態(tài)的內(nèi)在等變表示。基于上圖所示的編碼表示，研究者提出了 RestoreDet，這是一種用于在退化的LR圖像中進(jìn)行目標(biāo)對(duì)象檢測(cè)的端到端模型。為了捕捉視覺(jué)結(jié)構(gòu)的復(fù)雜模式，利用下采樣退化變換組作為自我監(jiān)督信號(hào)。在訓(xùn)練過(guò)程中，通過(guò)隨機(jī)退化變換t從原始HR圖像x生成退化的LR圖像t(x)。如上圖所示，這對(duì)圖像被送入編碼器E以獲取其潛在特征E(x)和E(t(x))。

為了訓(xùn)練編碼器E學(xué)習(xí)退化等變表示，研究者首先引入一個(gè)變換解碼器Dt來(lái)表示E(x)和E(t(x))解碼應(yīng)用的退化變換t。如果可以重建轉(zhuǎn)換，則表示應(yīng)盡可能捕捉它們?cè)诓煌D(zhuǎn)換下如何變化的動(dòng)態(tài)。

為了進(jìn)一步利用快速增長(zhǎng)的SR研究的優(yōu)勢(shì)，研究者引入了任意分辨率恢復(fù)解碼器 (ARRD) Dr。ARRD從各種退化的LR圖像t(x)的表示E(t(x))重建原始HR數(shù)據(jù) x。ARRD Dr將監(jiān)督編碼器E對(duì)有助于后續(xù)任務(wù)的詳細(xì)圖像結(jié)構(gòu)進(jìn)行編碼。基于編碼表示E(t(x))，目標(biāo)檢測(cè)解碼器Do然后執(zhí)行檢測(cè)以獲取對(duì)象的位置和類別。在推理過(guò)程中，目標(biāo)圖像直接通過(guò)上圖中的編碼器E和目標(biāo)檢測(cè)解碼器Do進(jìn)行檢測(cè)。與基于預(yù)處理模塊的方法相比，研究者的推理pipeline計(jì)算效率更高。

為了覆蓋實(shí)際場(chǎng)景中的各種退化，根據(jù)實(shí)際的下采樣退化模型，通過(guò)隨機(jī)抽樣變換 t來(lái)生成退化的t(x)。如上圖所示，變換t由下采樣率s、退化核k和如下等式中的噪聲水平n表征。

上圖(a)是anchor free框架的CenterNet。圖(b)說(shuō)明了如何基于CenterNet實(shí)現(xiàn)的RestoreDet。詳細(xì)的訓(xùn)練過(guò)程在Algo.1中給出。在訓(xùn)練RestoreDet時(shí)，原始HR圖像x和變換后的退化LR圖像t(x)被發(fā)送到編碼器E以對(duì)退化等變表示進(jìn)行編碼。在這里，直接使用CenterNet的編碼器E，但將其復(fù)制到共享權(quán)重Siamese結(jié)構(gòu)中，分別接收HR和LR圖像。

Algo.1

四、實(shí)驗(yàn)及可視化

MS COCO 和KITTI數(shù)據(jù)集上性能比較

(a)/(b) is CenterNet trained on normal images and tested on normal/degraded down4 testset, (c)/(d)/(e) is CenterNet tested on the degraded image restored by individual SR algorithm RRDB/RealSR/BSRGan. (f) is the detection result of our RestoreDet and we use the output of ARRD Dr as background images.