實(shí)時(shí)運(yùn)行、使用單塊英偉達(dá) RTX 2080 TI GPU 即可以實(shí)現(xiàn) HD 60fps 和 4K 30fps 的速度，那個(gè)「讓整個(gè)世界都變成你的綠幕」的摳圖方法 Background Matting 發(fā)布了 2.0 版本，為用戶提供了更自然更快速的實(shí)時(shí)背景替換效果。

背景替換是電影特效中的關(guān)鍵一環(huán)，在 Zoom、Google Meet 和 Microsoft Teams 等視頻會議工具中得到廣泛應(yīng)用。除了增加娛樂效果之外，背景替換可以增強(qiáng)隱私保護(hù)，特別是用戶不愿在視頻會議中向他人分享自身位置以及環(huán)境等細(xì)節(jié)時(shí)。而這面臨著一項(xiàng)關(guān)鍵挑戰(zhàn)：視頻會議工具的用戶通常無法獲得電影特效背景替換所使用的綠幕或其他物理?xiàng)l件。

為了使用戶更方便地替換背景，研究人員陸續(xù)開發(fā)了一系列摳圖方法。今年 4 月份，華盛頓大學(xué)研究者提出了 background matting 方法，不在綠幕前拍攝也能完美轉(zhuǎn)換視頻背景，讓整個(gè)世界都變成你的綠幕。但是，這項(xiàng)研究無法實(shí)現(xiàn)實(shí)時(shí)運(yùn)行，只能以低幀率處理低分辨率下（512×512）的背景替換，有很多需要改進(jìn)的地方。

八個(gè)月過去，這些研究者推出了 background matting 2.0 版本，并表示這是一種完全自動化、實(shí)時(shí)運(yùn)行的高分辨率摳圖方法，分別以 30fps 的幀率在 4k（3840×2160）和 60fps 的幀率在 HD（1920×1080）圖像上實(shí)現(xiàn) SOTA 結(jié)果。

先來看一些效果展示場景：

[[358147]]

非常自然流暢的背景替換。

這位小哥將自己亂糟糟的房間背景替換成了下雪場景。

不過該方法也有「翻車」的時(shí)候，在下圖替換背景中都出現(xiàn)了明顯的銳化陰影（sharp shadow）。

Background Matting 2.0 版本有哪些改進(jìn)？

Background Matting 2.0 相較 1.0 版本有哪些技術(shù)改進(jìn)呢？我們都知道，設(shè)計(jì)一個(gè)對高分辨率人物視頻進(jìn)行實(shí)時(shí)摳圖的神經(jīng)網(wǎng)絡(luò)極具挑戰(zhàn)性，特別是頭發(fā)等細(xì)粒度細(xì)節(jié)特別重要的情況。1.0 版本只能以 8fps 的幀率實(shí)現(xiàn) 512×512 分辨率下的背景替換。若要在 4K 和 HD 這樣的大分辨率圖像上訓(xùn)練深度網(wǎng)絡(luò)，則運(yùn)行會非常慢，需要的內(nèi)存也很大。此外，它還需要大量具備高質(zhì)量前景蒙版（alpha matte）的圖像以實(shí)現(xiàn)泛化，然而公開可用的數(shù)據(jù)集也很有限。

收集具有大量手動制作前景蒙版的高質(zhì)量數(shù)據(jù)集難度很大，因此該研究想要通過一系列具有不同特性的數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)。為此，他們創(chuàng)建了兩個(gè)數(shù)據(jù)集 VideoMatte240K 和 PhotoMatte13K/85，二者均包含高分辨率前景蒙版以及利用色度鍵軟件提取的前景層。研究者首先在這些包含顯著多樣化人體姿勢的較大型前景蒙版數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)以學(xué)習(xí)魯棒性先驗(yàn)，然后在手動制作的公開可用數(shù)據(jù)集上繼續(xù)訓(xùn)練以學(xué)習(xí)細(xì)粒度細(xì)節(jié)。

此外，為了設(shè)計(jì)出能夠?qū)崟r(shí)處理高分辨率圖像的網(wǎng)絡(luò)，研究者觀察發(fā)現(xiàn)圖像中需要細(xì)粒度細(xì)化的區(qū)域相對很少。所以他們提出了一個(gè) base 網(wǎng)絡(luò)，用來預(yù)測低分辨率下的前景蒙版和前景層，并得到誤差預(yù)測圖（以確定哪些圖像區(qū)域需要高分辨率細(xì)化）。然后 refinement 網(wǎng)絡(luò)以低分辨率結(jié)果和原始圖像作為輸入，在選定區(qū)域生成高分辨率輸出。

結(jié)果表明，Background Matting 2.0 版本在具有挑戰(zhàn)性的真實(shí)視頻和人物圖像場景中取得了 SOTA 的實(shí)時(shí)背景摳圖結(jié)果。研究者還將公布 VideoMatte240K 和 PhotoMatte85 數(shù)據(jù)集以及模型實(shí)現(xiàn)代碼。

• 論文地址：https://arxiv.org/pdf/2012.07810.pdf
• 項(xiàng)目主頁：https://grail.cs.washington.edu/projects/background-matting-v2/

數(shù)據(jù)集

該研究使用了多個(gè)數(shù)據(jù)集，包括研究人員創(chuàng)建的新型數(shù)據(jù)集和公共數(shù)據(jù)集。

公共數(shù)據(jù)集

Adobe Image Matting（AIM）數(shù)據(jù)集提供了 269 個(gè)人類訓(xùn)練樣本和 11 個(gè)測試樣本，平均分辨率約為 1000×1000。該研究還使用了 Distinctions646 數(shù)據(jù)集的 humans-only 子集，包含 362 個(gè)訓(xùn)練樣本和 11 個(gè)測試樣本，平均分辨率約為 1700×2000。這些數(shù)據(jù)集中蒙版均為手動創(chuàng)建，因此質(zhì)量較高。但訓(xùn)練樣本數(shù)量較少，無法學(xué)習(xí)多樣化的人類姿勢和高分辨率圖像的精細(xì)細(xì)節(jié)，于是研究人員創(chuàng)建了兩個(gè)新的數(shù)據(jù)集。

新型數(shù)據(jù)集 VideoMatte240K 和 PhotoMatte13K/85

VideoMatte240K 數(shù)據(jù)集：研究者收集了 484 個(gè)高分辨率綠幕視頻（其中 384 個(gè)視頻為 4K 分辨率，100 個(gè) HD 分辨率），并使用色度鍵工具 Adobe After Effects 生成 240709 個(gè)不同的前景蒙版和前景幀。

PhotoMatte13K/85 數(shù)據(jù)集：研究人員收集了 13665 張圖像，這些圖像是用演播室質(zhì)量的照明和相機(jī)在綠幕前拍攝的，并通過帶有手動調(diào)整和誤差修復(fù)的色度鍵算法提取蒙版。

下圖展示了這兩個(gè)數(shù)據(jù)集中的樣本示例：

方法

給定圖像 I 和捕獲背景 B，該研究提出的方法能夠預(yù)測前景蒙版 α 和前景 F。

具體而言，該方法通過 I'= αF + (1−α)B' 基于新背景進(jìn)行合成（B' 為新背景）。該方法沒有直接求解前景，而是求解前景殘差 F^R = F − I。然后通過向輸入圖像 I 添加 F^R 來恢復(fù) F：F = max(min(F^R + I, 1), 0)。研究人員發(fā)現(xiàn)該公式可以改善學(xué)習(xí)效果，并允許通過上采樣將低分辨率前景殘差應(yīng)用到高分辨率輸入圖像上。

使用深層網(wǎng)絡(luò)會直接導(dǎo)致大量計(jì)算和內(nèi)存消耗，因此高分辨率圖像摳圖極具挑戰(zhàn)性。如圖 4 所示，人類蒙版通常非常稀疏，其中大塊像素區(qū)域?qū)儆诒尘埃?alpha;=0）或前景（α=1），只有少數(shù)區(qū)域包含較精細(xì)的細(xì)節(jié)（如頭發(fā)、眼鏡、人體輪廓）。因此該研究沒有設(shè)計(jì)在高分辨率圖像上直接運(yùn)行的網(wǎng)絡(luò)，而是提出了兩個(gè)網(wǎng)絡(luò)：一個(gè)基于較低分辨率圖像運(yùn)行，另一個(gè)基于先前網(wǎng)絡(luò)的誤差預(yù)測圖選擇圖像塊（patch），僅在這些圖像塊上以原始分辨率運(yùn)行。

該架構(gòu)包含 base 網(wǎng)絡(luò) G_base 和 refinement 網(wǎng)絡(luò) G_refine。

給出原始圖像 I 和捕捉背景圖 B，該方法首先使用因子 c 對圖像 I 和 B 執(zhí)行下采樣，得到 I_c 和 B_c。然后 base 網(wǎng)絡(luò) G_base 以 I_c 和 B_c 為輸入，預(yù)測粗粒度前景蒙版 α_c、前景殘差 F^R_c、誤差預(yù)測圖 E_c 和隱藏特征 H_c。緊接著 refinement 網(wǎng)絡(luò) G_refine 使用 H_c、I 和 B 在預(yù)測誤差 E_c 較大的區(qū)域中細(xì)化 α_c 和 F^R_c，得到原始分辨率的蒙版 α 和前景殘差 F^R。

該模型為全卷積模型，可以處理任意大小和長寬比的圖像。

架構(gòu)圖。

base 網(wǎng)絡(luò)

該方法的 base 網(wǎng)絡(luò)是一個(gè)受 DeepLabV3 和 DeepLabV3+ 啟發(fā)的全卷積編碼器 - 解碼器網(wǎng)絡(luò)，包含三個(gè)主要模塊：骨干網(wǎng)絡(luò)、ASPP 和解碼器。

研究者采用 ResNet-50 作為編碼器骨干網(wǎng)絡(luò)，它可以被替換為 ResNet-101 和 MobileNetV2 以實(shí)現(xiàn)速度和質(zhì)量之間的權(quán)衡。

和 DeepLabV3 方法一樣，該方法在骨干網(wǎng)絡(luò)之后采用了 ASPP（空洞空間金字塔池化）模塊，該模塊包含多個(gè)空洞卷積濾波器，擴(kuò)張率分別為為 3、6、9。

解碼器網(wǎng)絡(luò)在每一步均使用了雙線性上采樣，結(jié)合來自骨干網(wǎng)絡(luò)的殘差連接（skip connection），并使用 3×3 卷積、批歸一化和 ReLU 激活函數(shù)（最后一層除外）。解碼器網(wǎng)絡(luò)輸出粗粒度的前景蒙版 α_c、前景殘差 F^R_c、誤差預(yù)測圖 E_c 和 32 通道的隱藏特征 H_c。H_c 包含的全局語境將用于 refinement 網(wǎng)絡(luò)中。

refinement 網(wǎng)絡(luò)

refinement 網(wǎng)絡(luò)的目標(biāo)是減少冗余計(jì)算并恢復(fù)高分辨率的摳圖細(xì)節(jié)。base 網(wǎng)絡(luò)在整個(gè)圖像上運(yùn)行，而 refinement 網(wǎng)絡(luò)僅在基于誤差預(yù)測圖 E_c 選擇的圖像塊上運(yùn)行。refinement 網(wǎng)絡(luò)包括兩個(gè)階段：先以原始分辨率的 1/2 進(jìn)行細(xì)化，再用全分辨率細(xì)化。在推斷過程中，該方法細(xì)化 k 個(gè)圖像塊，k 可以提前設(shè)置，也可以基于權(quán)衡圖像質(zhì)量和計(jì)算時(shí)間的閾值進(jìn)行設(shè)置。

實(shí)驗(yàn)

該研究將這一方法與基于 trimap 的兩種方法 Deep Image Matting、FBA Matting (FBA) 和基于背景圖像的方法 Background Matting (BGM) 進(jìn)行對比。

在合成數(shù)據(jù)集上的評估結(jié)果

下表 1 展示了這些方法在不同數(shù)據(jù)集上的量化評估結(jié)果。從中可以看出，該研究提出的方法在所有數(shù)據(jù)集上均優(yōu)于基于背景的 BGM 方法，但略遜于當(dāng)前最優(yōu)的 trimap 方法 FBA，F(xiàn)BA 需要人工精心標(biāo)注的 trimap 且速度比該研究提出的方法慢。

在現(xiàn)實(shí)數(shù)據(jù)上的評估結(jié)果

該研究還對比了這些方法在真實(shí)數(shù)據(jù)上的性能。從下圖中可以看出，該研究方法的生成結(jié)果在頭發(fā)和邊緣方面更加清晰和詳細(xì)。

該研究邀請 40 位參與者評估該方法與 BGM 的生成效果，結(jié)果參見下表 2。從中可以看出該方法較 BGM 有顯著提升。59% 的參與者認(rèn)為該算法更好，而認(rèn)為 BGM 更好的參與者比例僅為 23%。在 4K 及更高分辨率的樣本中，認(rèn)為該方法更好的參與者比例更是高達(dá) 75%。

性能對比

下表 3 和表 4 表明該方法比 BGM 小但速度更快。

該方法的參數(shù)量僅為 BGM 的 55.7% 。但它在批大小為 1 的情況下，使用一塊英偉達(dá) RTX 2080 TI GPU 就能夠?qū)崿F(xiàn) HD 60fps 和 4K 30fps 的速度，可用于很多實(shí)時(shí)應(yīng)用。相比之下，BGM 只能以 7.8fps 的速度處理 512×512 分辨率圖像。

將該方法的骨干網(wǎng)絡(luò)換成 MobileNetV2 后，其性能得到了進(jìn)一步提升，實(shí)現(xiàn)了 HD 100fps 和 4K 45fps。

實(shí)際使用

研究人員將此方法應(yīng)用到了 Zoom 視頻會議和摳圖這兩種場景中。

在 Zoom 實(shí)現(xiàn)中，研究人員構(gòu)建了攔截?cái)z像頭輸入的 Zoom 插件，收集一張無人的背景圖，然后執(zhí)行實(shí)時(shí)視頻摳圖和合成，在 Zoom 會議中展示結(jié)果。研究人員使用 720p 攝像頭在 Linux 中進(jìn)行了測試，實(shí)際效果很好。

此外，研究人員對比了該方法和綠幕色度摳圖的效果，發(fā)現(xiàn)在光照不均勻的環(huán)境下，該方法的效果勝過專為綠幕設(shè)計(jì)的方法，如下圖所示：