ICML 2025 Spotlight | 用傅里葉分解探討圖像對(duì)抗擾動(dòng)，代碼已開源
本文作者分別來(lái)自中國(guó)科學(xué)院大學(xué)和中國(guó)科學(xué)院計(jì)算技術(shù)研究所。第一作者裴高政為中國(guó)科學(xué)院大學(xué)博士二年級(jí)學(xué)生，本工作共同通訊作者是中國(guó)科學(xué)院大學(xué)馬坷副教授和黃慶明教授。
對(duì)抗凈化旨在測(cè)試階段將對(duì)抗圖像還原為其原始的干凈圖像?，F(xiàn)有的基于擴(kuò)散模型的對(duì)抗凈化策略試圖通過(guò)前向過(guò)程將對(duì)抗擾動(dòng)淹沒(méi)在各向同性噪聲中，隨后通過(guò)逆向過(guò)程恢復(fù)干凈圖像。然而，現(xiàn)有策略在時(shí)域（即像素空間）無(wú)法對(duì)干凈像素與對(duì)抗擾動(dòng)進(jìn)行解耦，導(dǎo)致破壞對(duì)抗擾動(dòng)的同時(shí)不可避免地?fù)p害原始干凈圖像的語(yǔ)義信息。
因此，本文從時(shí)域轉(zhuǎn)向頻域進(jìn)行研究。具體來(lái)說(shuō)，本文利用傅里葉分解技術(shù)將圖像分解為幅度譜和相位譜，探討了對(duì)抗擾動(dòng)的分布特征：結(jié)果表明，對(duì)抗擾動(dòng)更傾向于破壞高頻幅度譜和相位譜?；谶@一實(shí)驗(yàn)觀察，本文提出在擴(kuò)散模型的逆向過(guò)程中注入原始樣本的低頻信息作為先驗(yàn)，以引導(dǎo)干凈樣本的生成。這種方法不僅能夠有效去除對(duì)抗擾動(dòng)，同時(shí)極大地保留了原始圖像的語(yǔ)義內(nèi)容和結(jié)構(gòu)信息，使得凈化后的圖像盡可能保持與干凈樣本的語(yǔ)義相似性。
本工作對(duì)應(yīng)的論文和代碼均已開源。
- 論文題目：Diffusion-based Adversarial Purification from the Perspective of the Frequency Domain
- 論文鏈接：https://arxiv.org/pdf/2505.01267
- 代碼鏈接：https://github.com/GaozhengPei/FreqPure
研究背景
在計(jì)算機(jī)視覺(jué)領(lǐng)域，對(duì)抗樣本的出現(xiàn)對(duì)模型的安全性和魯棒性構(gòu)成了重大挑戰(zhàn)。對(duì)抗樣本是通過(guò)對(duì)正常圖像施加微小擾動(dòng)生成的，這些擾動(dòng)通常難以被人眼察覺(jué)，但卻能顯著降低深度學(xué)習(xí)模型的性能。為了解決這一問(wèn)題，研究者們提出了多種對(duì)抗凈化（Adversarial Purification）技術(shù)，旨在將對(duì)抗樣本恢復(fù)為原始的干凈圖像。
現(xiàn)有的對(duì)抗凈化方法主要分為兩類：基于訓(xùn)練的方法和基于擴(kuò)散模型的方法?；谟?xùn)練的方法需要在訓(xùn)練階段使用對(duì)抗樣本進(jìn)行訓(xùn)練，以提高模型的魯棒性，但這通常需要大量的訓(xùn)練數(shù)據(jù)和時(shí)間。相比之下，基于擴(kuò)散模型的凈化方法不依賴于訓(xùn)練數(shù)據(jù)，具有更強(qiáng)的泛化能力且無(wú)需訓(xùn)練過(guò)程，其基本策略是通過(guò)向圖像添加噪聲并在反向過(guò)程中恢復(fù)干凈圖像，從而消除對(duì)抗樣本中的對(duì)抗擾動(dòng)。
對(duì)抗凈化具有重要意義，尤其是在深度學(xué)習(xí)被廣泛應(yīng)用于安全關(guān)鍵領(lǐng)域（如自動(dòng)駕駛、金融分析和醫(yī)療影像等）時(shí)，確保模型的安全性顯得尤為重要。對(duì)抗凈化方法能夠降低對(duì)抗攻擊對(duì)系統(tǒng)造成的潛在威脅，從而提升應(yīng)用系統(tǒng)的整體安全性和可靠性。
動(dòng)機(jī)和理論分析
圖 1：圖像被分解為幅度譜（左）和相位譜（右），并分別計(jì)算對(duì)抗圖像與原始圖像之間的差異。
對(duì)抗凈化成功的關(guān)鍵是在消除對(duì)抗擾動(dòng)的同時(shí)盡可能的保留原始圖像的語(yǔ)義信息，然而當(dāng)前通過(guò)加入噪聲將對(duì)抗擾動(dòng)淹沒(méi)在各向同性噪聲中的策略會(huì)過(guò)度的破壞原始圖像的語(yǔ)義信息，導(dǎo)致最后凈化的圖像和原始圖像之間的語(yǔ)義信息有差距。而通過(guò)對(duì)抗樣本引導(dǎo)的逆向過(guò)程可以盡可能少的損失語(yǔ)義信息，然而也會(huì)引入對(duì)抗擾動(dòng)信息，導(dǎo)致凈化的圖像無(wú)法盡可能的去除圖片上的對(duì)抗擾動(dòng)信息。為解決上述存在的矛盾，我們希望將對(duì)抗擾動(dòng)和圖像本身的語(yǔ)義信息進(jìn)行解耦，在擴(kuò)散模型逆向過(guò)程中用干凈的語(yǔ)義信息作為引導(dǎo)，就可以實(shí)現(xiàn)去除對(duì)抗擾動(dòng)的同時(shí)，又可以保持和原始圖像的語(yǔ)義相似程度。
為了將對(duì)抗擾動(dòng)和干凈的圖像語(yǔ)義信息解耦開來(lái)，我們選擇快速傅里葉變換技術(shù)，將圖像分解為幅度譜和相位譜，通過(guò)計(jì)算對(duì)抗樣本的幅度譜和相位譜和原始干凈樣本的幅度譜和相位譜之間的差異，我們可以繪制從低頻到高頻幅度譜和相位譜之間的差異（圖 1），可以觀察到對(duì)抗擾動(dòng)更傾向于破壞圖像的高頻信息，而低頻信息對(duì)對(duì)抗擾動(dòng)更加魯棒。
圖 2：理論分析結(jié)果的實(shí)驗(yàn)驗(yàn)證
對(duì)于幅度譜和相位譜來(lái)說(shuō)，噪聲強(qiáng)度對(duì)任何頻率的結(jié)構(gòu)信息和內(nèi)容信息隨時(shí)間步 t 單調(diào)遞增：
圖 2 的實(shí)驗(yàn)結(jié)果也驗(yàn)證了我們的理論分析，同時(shí)我們也發(fā)現(xiàn)，相位譜會(huì)被噪聲更快的破壞，因此在逆向過(guò)程中保留相位譜非常的關(guān)鍵。
方法
圖一實(shí)驗(yàn)現(xiàn)象表明低頻幅度譜成分對(duì)對(duì)抗性擾動(dòng)表現(xiàn)出顯著的魯棒性，幾乎不受對(duì)抗擾動(dòng)的影響。且由于自然信號(hào)（如圖像）通常表現(xiàn)出低通特性，這意味著低頻功率譜成分相對(duì)較大。即使保留很少的低頻幅度譜信息，也能夠保留大部分的圖像的內(nèi)容信息。我們首先對(duì)幅度譜構(gòu)造一個(gè)濾波器：
使用上面定義的濾波器 ，我們可以將估計(jì)圖像幅度譜的低頻成分替換為輸入樣本幅度譜的低頻成分，適用于每個(gè)通道（彩色圖像通常由三個(gè)通道組成：RGB），具體如下：
不同于幅度譜，相位譜受到所有頻率成分的對(duì)抗性擾動(dòng)影響。直接保留低頻相位譜會(huì)保留對(duì)抗性擾動(dòng)，同時(shí)也會(huì)影響高頻相位譜的恢復(fù)。因此，我們選擇將估計(jì)圖像的低頻相位譜投影到輸入圖像的低頻相位譜的某個(gè)范圍內(nèi)：
根據(jù)更新后的幅度譜和相位譜，我們將兩者結(jié)合，首先通過(guò)逆離散傅里葉變換（iDCT）獲得時(shí)間域表示，如下所示：
下一個(gè)狀態(tài)可以從聯(lián)合分布中采樣，具體公式為：
實(shí)驗(yàn)效果
CIFAR10
表 1：在 WideResNet-28-10 模型以及 WideResNet-70-16 上測(cè)試。相比于 SOTA，本文方法在論 Standard Accuracy 以及 Robust Accuracy 兩個(gè)指標(biāo)均有提升。
ImageNet
表 2：使用 ResNet-50 作為分類器，在 ImageNet 數(shù)據(jù)集上的 Standard Accuracy 以及 Robust Accuracy
可視化
圖 3：原始干凈圖像、對(duì)抗圖像和凈化圖像的可視化。本文方法凈化后的圖像與原始干凈圖像最為相似
圖 4：原始圖像和凈化圖像的聯(lián)合分布。本文方法凈化后的圖像分布與原始圖像最為相似。
結(jié)語(yǔ)
盡管該工作在保留語(yǔ)義信息和消除對(duì)抗擾動(dòng)上取得了顯著效果，但如何找到一種更有效的圖像分解手段，可以更好將對(duì)抗擾動(dòng)和圖像語(yǔ)義解耦開來(lái)仍有待探索，以及提供更深入的理論解釋，仍然是未來(lái)值得深入研究的方向。我們?nèi)栽趯?duì)抗凈化領(lǐng)域進(jìn)一步探索，歡迎大家持續(xù)關(guān)注。如果有任何問(wèn)題或進(jìn)一步的想法，隨時(shí)歡迎討論。
