近年來，CNN 因其優異的性能，在計算機視覺、自然語言處理等各個領域受到了研究者們的青睞。但是，CNN 是一個 「黑盒」 模型，即模型的學習內容和決策過程很難用人類能夠理解的方式提取和表達，這限制了它的預測可信度和實際應用。因此，CNN 的可解釋性受到了越來越多的關注，研究者們試圖采用特征可視化，網絡診斷和網絡架構調整等方式輔助解釋 CNN 的學習機制，從而將這一 「黑盒」 透明化，使人類更容易理解、檢測和改進其決策過程。

近日，北京大學，東方理工，南方科技大學和鵬城實驗室等機構的研究團隊提出了一種語義可解釋人工智能(semantic explainable AI, S-XAI）的研究框架，從語義層面解釋了 CNN 的學習機制，并以貓狗二分類問題為例，形象地揭示了模型是如何學習類別意義上的貓的概念，即「何以為貓」。

該研究聚焦于 CNN 從同一類別的樣本中學習到的共性特征，并提取出人類可理解的語義概念，為 CNN 提供了語義層面的解釋。基于此，研究首次提出了 「語義概率(semantic probability)」 的概念來表征語義要素在樣本中的出現概率。實驗表明，S-XAI 在二分類和多分類任務中均能成功地提取共性特征并抽象出超現實但可辨認的語義概念，在可信度評估和語義樣本搜索等層面有著廣泛的應用前景。

該研究以《Semantic interpretation for convolutional neural networks: What makes a cat a cat?》為題，于 2022 年 10 月 10 日發表于《Advanced Science》上。

論文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/advs.202204723

代碼鏈接：https://github.com/woshixuhao/semantic-explainable-AI

模型效果

不同于以往的單樣本可視化研究，S-XAI能夠提取并可視化群體樣本的共性特征，從而獲得全局可解釋性。在進一步抽象出的語義空間與計算出的語義概率的基礎上，S-XAI 可以為 CNN 的決策邏輯自動生成人類可理解的語義解釋，并且從語義層面上評估決策的可信度。

如圖 1 所示，在貓狗二分類問題中，對于同一只貓的三個角度的圖片，S-XAI 自動生成了相應的語義概率雷達圖和解釋語句。雖然神經網絡都以 90% 以上的概率將這些圖片識別為貓，但是 S-XAI 從語義概率上提供了更多的解釋信息，體現出這些圖片之間的差異。例如，對于正面的圖像，S-XAI 的解釋是 「我確信它是一只貓，主要是因為它有著生動的眼睛和鼻子，顯然是貓的眼睛和鼻子。同時，它有著栩栩如生的腿，有點像貓的腿。」 這個解釋顯示出很高的可信度。對于側面角度的圖像，S-XAI 的解釋是 「它可能是一只貓，主要是因為它有眼睛，也許是貓的眼睛，但是它的腿是有點令人困惑。」 對于貓背面的圖像，所有的語義概率均不明顯，S-XAI 的解釋是 「它可能是一只貓，但我不確定。」 同時，對于一張狗的圖片，S-XAI 的解釋為：「我確信它是一只狗，主要是因為它有生動的眼睛和鼻子，這顯然是狗的眼睛和鼻子。雖然它的腿有點令人困惑。」

事實上，如果將這只狗的上半身遮蓋住，只看腿部，即使是人類也很難判斷這是貓還是狗。可以看出，S-XAI 提供的語義解釋較為準確，且與人類的認知相一致，從語義層面讓人類更好地理解神經網絡的類別識別邏輯。

圖 1. S-XAI 自動生成的語義概率雷達圖和解釋語句

同時，S-XAI 在語義樣本搜尋中也有廣闊的應用前景。如圖 2 所示，當人們需要從大量圖片中篩選出具有某些語義特征的圖片時，S-XAI 提供了一種快捷且準確的方式，即通過語義概率進行篩選。考慮到計算語義概率只涉及神經網絡的前向操作（即預測），該流程十分迅速。

圖 2. 語義樣本搜尋示例

在研究中，研究人員也證明了 S-XAI 在多分類任務上有著良好的拓展性。如圖 3 所示，以 Mini-ImageNet 數據集（包含 100 種動物類別）為例，S-XAI 仍然能夠從不同類別數據（如鳥，蛇，螃蟹，魚等）中分別提取出清晰可辨認的共性特征和語義空間，并產生相應的語義解釋。

圖 3. S-XAI 在多分類任務中的表現。

原理方法

目前常見的提高模型解釋性的思路主要分為可視化和模型干預兩大類。可視化方法將 CNN 內部的特征圖，過濾器或熱力圖進行可視化，從而理解網絡在面對給定樣本時關注到的特征。該方法的局限性在于它只能從單個樣本中提取個體特征以獲得局部可解釋性，無法幫助人們理解模型面對同一類數據時的整體決策邏輯。模型干預方法則將已有的一些解釋性強的模型（如樹模型等）融入到神經網絡的架構中，以提升模型的可解釋性能力。雖然此類方法具有全局可解釋性的優勢，但往往需要重新訓練模型，解釋成本較大，不利于推廣和應用。

受人類認知模式的啟發，在 S-XAI 中，研究人員采用了一種新的解釋策略，從語義層面來解釋 CNN 的類別學習機制（圖 4）。在自然界中，相同種類的物體往往具有某些相似的共性特征，這些共性特征構成了類別認知的重要基礎。例如，盡管貓的形態各異，但它們都具有一些共性特征（如胡須，鼻子和眼睛的相關特征），這使得人類能夠快速地將它們判斷為貓。在實驗中，研究人員發現，CNN 的類別學習機制與人類有異曲同工之處。

圖 4. 語義可解釋人工智能研究框架

研究中采用了一種名為行中心樣本壓縮（row-centered sample compression）的技術，從 CNN 中提取出了從同一類別樣本中學習到的共性特征。不同于傳統的主成分分析，行中心樣本壓縮將大量樣本在 CNN 中得出的特征圖在樣本空間上進行降維，從而提取出少量主成分作為 CNN 學習到的共性特征。為了使提取出的共性特征更清晰，樣本通過超像素分割和遺傳算法找出了最優的超像素組合以降低干擾。提取出的共性特征則通過可視化的方式展現出來（圖 5）。

圖 5. 共性特征的提取路徑

以 VGG-19 網絡架構上的貓狗二分類問題為例，對貓和狗的類別數據分別提取出的不同主成分如圖 6 所示。圖中可以清晰地看出不同主成分展現出了可辨認的，不同層次的特征。很明顯，第一主成分顯示出完整的臉部特征，第二主成分顯示出零散的語義概念，如胡須、眼睛和鼻子等，第三主成分則主要呈現出毛皮的特質。值得一提的是，這些主成分展現出的特征是超自然的，即不屬于任何樣本，而是體現出了所有同類別樣本的共同特征。

圖 6. 對貓和狗的類別數據分別提取出的不同主成分的可視化結果

基于提取出的共性特征，研究人員通過對樣本中的語義信息進行掩碼 (mask) 處理，對比主成分的變化，進一步地將其中雜糅在一起的語義概念分離開來，從而提取出各語義概念對應的語義向量，抽象出語義空間。在這里，研究人員使用了眼睛，鼻子等人類理解的語義概念，并將抽象出的語義空間可視化。在成功提取語義空間后，研究人員定義了 「語義概率」 的概念以表征語義要素在樣本中的出現概率，從而為 CNN 的語義層面的解釋提供了定量分析的手段。

如圖 7 所示，語義空間中出現了清晰可辨認的語義概念（明亮的眼睛，小巧的鼻子），這表明語義空間被成功地從 CNN 中提取出來，展示了 CNN 從類別數據中學習到的語義信息。同時，研究者發現 CNN 對語義的認知與人類存在一定的差異，它所學習到的 “語義” 并不一定是人類共識的“語義”，甚至可能神經網絡的語義更加高效。例如，研究者發現，對于貓而言，CNN 經常會將貓的鼻子和胡須作為一個整體的語義，這或許是更有效的。同時，CNN 學習到了語義之間的一些聯系，例如貓的眼睛和鼻子往往是同時出現的，這一方面值得后續深入的研究。

圖 7. 從 CNN 中提取出的語義向量與可視化的語義空間（上：貓眼睛空間；下：貓鼻子空間）

總結展望

綜上所述，研究中提出的語義可解釋人工智能（S-XAI）通過提取共性特征和語義空間，從語義層面上為 CNN 的類別識別機制提供了解釋。該研究框架無需改變 CNN 的架構即可獲取一定的全局解釋能力，由于不涉及網絡的重新訓練，S-XAI 具有響應速度較快的優勢，在可信度評估和語義樣本搜尋方面有著可觀的應用潛力。

本質上而言，S-XAI 與知識發現有著異曲同工之處。知識發現意圖從神經網絡找出反映共性物理規律的函數項，S-XAI 則是從 CNN 中找出反映樣本共性特征的語義空間，二者的核心思想均為尋找共性并將其表示出來，盡可能的讓人類可以理解。