盲人臉恢復（Blind Face Restoration, BFR）旨在從低質量的人臉圖像中恢復高質量的人臉圖像，是計算機視覺和圖形學領域的一項重要任務，廣泛應用于監控圖像修復、老照片修復和人臉圖像超分辨率等各種場景。

然而，這項任務非常具有挑戰性，因為不確定性退化會損害圖像質量以至于損失圖像信息，例如模糊、噪聲、下采樣和壓縮偽影等。以前的 BFR 方法通常依賴于生成對抗網絡 (GAN)，通過設計各種特定于人臉的先驗來解決問題，包括生成先驗、參考先驗和幾何先驗。盡管這些方法達到了最先進的水平，但仍然沒有完全達到在恢復細粒度面部細節的同時獲得逼真紋理這一目標。

因為在圖像修復過程中，人臉圖像的數據集通常分散在高維空間中，并且分布的特征維度呈現長尾分布形式。與圖像分類任務的長尾分布不同，圖像修復里的長尾區域特征指的是對身份影響較小，而對視覺效果影響很大的屬性，比如痣、皺紋和色調等等。

如圖 1 所示，簡單的實驗表明，過去基于 GAN 的方法不能很好地同時處理位于長尾分布頭部和尾部的樣本，導致修復圖像會出現明顯的過平滑和細節消失問題。而基于擴散概率模型 (Diffusion Probistic Models, DPM) 的方法能夠較好地擬合長尾分布，在擬合真實數據分布的同時保留尾部特征。

圖 1 GAN-based 和 DPM-based 在長尾問題上的測試

來自美圖影像研究院（MT Lab）與中國科學院大學的研究者共同提出一種基于 DPM 的盲人臉圖像修復新方法 DiffBFR，實現了盲人臉圖像恢復，將低質量（low-quality, LQ）的人臉圖像修復成高質量（high-quality, HQ）的清晰圖像。

論文鏈接：https://arxiv.org/abs/2305.04517

該方法探索了兩種生成式模型 GAN 和 DPM 對長尾問題的適應性，設計合適的人臉修復模塊來得到更加準確的細節信息，進而降低生成式方法帶來的臉部過平滑現象，從而提高修復精度和準確性。該論文已被 ACM MM 2023 接收。

DiffBFR：基于 DPM 的盲人臉圖像修復方法

研究發現，擴散模型在避免訓練模式崩潰和擬合生成長尾分布方面優于 GAN 方法，因此 DiffBFR 利用擴散概率模型來增強人臉先驗信息的嵌入，基于它在任意分布范圍內產生 HQ 圖像的強大能力，選擇 DPM 作為解決方案的基本框架。

針對論文中所發現的人臉數據集上的特征長尾分布，以及過去基于 GAN 方法的過平滑現象，該研究探索合理的設計來更好地擬合近似長尾分布，進而克服修復過程中的過平滑問題。通過相同參數大小的 GAN 和 DPM 在 MNIST 數據集上的簡單實驗（如圖 1），該論文認為 DPM 方法能夠合理地擬合長尾分布，而 GAN 會過度關注頭部忽略尾部特征，導致尾部特征不再生成。因此，選擇 DPM 作為 BFR 的一種解決方案。

通過引入兩個中間變量，DiffBFR 中提出了兩個具體的修復模塊，采用兩階段設計，首先從 LQ 圖像中恢復身份信息，再根據真實人臉的分布增強紋理細節。該設計由兩個關鍵部分組成：

（1）身份恢復模塊（Identity Restoration Module, IRM）：

該模塊用于保留結果中的人臉細節。同時，提出了一種從 LQ 圖像中加入部分噪聲的截斷采樣方法，取代了在反向過程中以 LQ 圖像為條件，從純高斯隨機分布去噪的方法。論文從理論上證明了這種變化縮小了 DPM 的理論證據下界（ELBO），從而恢復了更多的原始細節。在理論證明的基礎上，引入兩個不同輸入大小的級聯條件擴散模型來增強這種采樣效果，降低直接生成高分辨率圖像的訓練難度。同時進一步證明，條件輸入的質量越高，越接近真實數據分布，恢復的圖像越準確，這也是 DiffBFR 在 IRM 中首先恢復低分辨率圖像的原因。

（2）紋理增強模塊 (Texture Enhancement Module, TEM)：

用于對圖像進行紋理打磨。這里引入了一個無條件擴散模型，這是一個與 LQ 圖像完全無關的模型，進一步使得恢復結果看起來更接近真實圖像數據。論文從理論上證明了這種在純 HQ 圖像上訓練的無條件擴散模型有助于 IRM 在像素級空間中輸出圖像的正確分布，即應用該模塊后圖像分布的 FID 低于使用前的 FID，得到的修復圖像總體上和 HQ 圖像的分布更相似。具體而言，就是利用時間步長截斷采樣，在保留身份信息的同時對像素級紋理進行打磨。

DiffBFR 的采樣推理步驟如圖 2 所示，采樣推理過程示意圖如圖 3 所示。

圖 2 DiffBFR 方法的采樣推理步驟

圖 3 DiffBFR 方法的采樣推理過程示意圖

實驗結果

圖 4 BFR 的 GAN-based 方法和 DPM-based 方法的可視化效果比較

圖 5 BFR 的 SOTA 方法的性能比較

圖 6 BFR 的 SOTA 方法的可視化效果比較

圖 7 IRM 和 TEM 在模型中的性能比較可視化

圖 8 IRM 和 TEM 在模型中的性能比較

圖 9 IRM 不同參數性能比較

圖 10 TEM 不同參數性能比較

圖 11 DiffBFR 各個模塊的參數設置

總結

該論文提出了基于擴散模型的盲退化人臉圖像恢復模型 DiffBFR，避免了過去基于 GAN 方法的訓練模式崩潰和長尾消失問題。通過將先驗嵌入到擴散模型中，從隨機嚴重退化的人臉圖像中生成高質量清晰的恢復圖像。具體來說，提出了 IRM 和 TEM 兩個模塊，分別用于還原逼真度和還原真實細節。理論邊界的推導和實驗圖像的演示表明了該模型的優越性，并與現有的 SOTA 方法進行了定性和定量比較。

研究團隊

本論文由美圖影像研究院（MT Lab）和中國科學院大學的研究者們共同提出。美圖影像研究院（MT Lab）成立于 2010 年，是美圖公司致力于計算機視覺、深度學習、增強現實等領域的算法研究、工程開發和產品化落地的團隊，成立以來聚焦于計算機視覺領域的探索研究，2013 年開始布局深度學習，為美圖旗下全系軟硬件產品提供技術支持，同時面向影像行業內多個垂直賽道提供針對性 SaaS 服務，通過前沿影像技術推動美圖 AI 產品生態發展，曾先后參與 CVPR、ICCV、ECCV 等國際頂級賽事并斬獲十余項冠亞軍，發表超 48 篇國際頂級學術會議論文。美圖影像研究院（MT Lab）長期深耕影像領域研發，已經形成深厚的技術儲備，在圖片、視頻、設計、數字人領域具有豐富的技術落地經驗。