?2020年2月，隨著 COVID-19在全球迅速傳播且抗原檢測難以獲得，一些醫生轉向人工智能(AI)來嘗試診斷病例。一些研究人員采用深度神經網絡通過查看X射線和胸部計算機斷層掃描(CT)掃描來快速區分患有COVID-19肺炎的人和未患肺炎的人。

“在COVID-19大流行的早期，人們競相構建工具，尤其是AI工具來提供幫助”，西雅圖華盛頓大學的計算機工程師Alex DeGrave說，“但研究人員并沒有注意到許多人工智能模型已經決定走一些捷徑” 。

AI通過分析被標記為COVID-19陽性和陰性的X射線圖片來訓練模型，然后利用它們在圖像之間發現的差異性來進行推斷，但是在當時面臨著一個問題，“可用的訓練數據并不多。”DeGrave說。

多家醫院公開了COVID-19患者的X射線照片（被標記為COVID-19陽性），美國國立衛生研究院在大流行之前收集的肺部圖像庫提供了未感染COVID-19的X射線數據（被標記為COVID-19陰性），這些數據在被用作訓練時存在無法忽視的誤作用，例如，許多X射線會使用字母R來標記一個人身體右側，從而方便放射科醫生正確定位圖像與人體的關系，但是不同醫院采用的字母R的外觀不同，同時，大多數COVID-19陰性圖片來源單一，這使得最終使用這些數據訓練的模型不僅會根據照片上顯示的生物特征進行推斷，還會根據圖片上字母R的風格與位置進行推斷（如圖1所示）。

圖1 用作訓練的X射線圖片

DeGrave和 Joseph Janizek 都是計算機科學家Su-In Lee位于西雅圖的生物和醫學科學可解釋AI實驗室的成員，他們于2021年5月在《Nature Machine Intelligence》上發表了一篇論文，報告了前文所述問題。

機器學習模型的決策過程通常被學者稱為黑匣子，因為研究人員通常只知道模型的輸入和輸出，但很難看到模型里面究竟發生了什么。

DeGrave和Janizek 使用旨在測試AI系統并解釋它們為什么這樣做的技術來打開這些黑盒子，即構建可解釋的AI模型。

構建可解釋的AI（eXplainable AI，XAI）有很多優勢，在醫療環境中，了解模型系統做出特定診斷的原因有助于讓病理學家相信它是合法的，因為在某些情況下，法律要求做出解釋。例如，當一個貸款系統就用戶貸款資格做出決定時，美國和歐盟都要求提供證據，證明拒絕信貸不是出于法律禁止的原因（例如種族或性別）。

深入了解AI系統的內部工作原理還可以幫助計算機科學家改進和完善他們創建的模型，甚至可能會帶來關于如何解決某些問題的新想法。

然而，只有當XAI給出的解釋本身是可理解和可驗證的，并且構建模型的人認為這是值得的努力時，XAI的好處才能實現。

神經元

DeGrave和Janizek研究的深度神經網絡因其不可思議的能力而廣受歡迎，因為它們能夠通過曝光來了解照片中的內容、口語的含義等等。

這些神經網絡的工作方式與人腦相似，就像某些活性神經細胞響應外部刺激從而以某種模式發射一樣。例如，神經網絡中的人工神經元會在他們收到的輸入的基礎之上，當看到一只貓時會觸發與看到一棵樹不同的模式，即神經元會尋找到二者之間的差異性。

在這種情況下，神經元是數學函數，輸入數據以數字形式進入系統。例如描述照片中像素的顏色，然后神經元對該數據執行計算。在人體中，神經元只有在收到的刺激超過某個電閾值時才會發出信號。類似地，人工神經網絡中的每個數學神經元都用一個閾值加權。

如果計算結果超過該閾值，則將其傳遞給另一層神經元進行進一步計算。最終，系統會學習到輸出數據與輸入數據之間關系的統計模式。例如，被標記為有貓的圖像將與那些標記為沒有貓的圖像存在系統差異，然后這些明顯的差異可以幫助AI模型在其他圖像中確定貓存在的可能性。

神經網絡的設計與其他機器學習技術存在差異。

神經網絡模型作用于輸入的計算層（即hidden layer）越多，解釋模型在做什么的難度就越大。馬薩諸塞州波士頓大學的計算機科學家Kate Saenko說，“簡單的模型，例如小型決策樹并不是真正的黑匣子。小型決策樹‘基本上是一組規則’，人類可以很容易地理解該模型在做什么，因此它本質上是可解釋的。然而，深度神經網絡通常過于復雜，一個神經網絡涉及數百萬計算，或者現在更可能是數十億計算，學者們很難對其內在工作機理進行解釋”。

一般來說，解釋深度神經網絡神秘工作原理的工作涉及到找出輸入數據的哪些特征會影響輸出結果。

幫助DeGrave和Janizek確定胸部 X 射線圖片上的方向標記（字母R）影響診斷的一種工具是顯著性圖（Saliency Map），這是一種用顏色編碼的圖表，顯示計算機在推斷時最關注圖像的哪一部分。如圖2所示。

Saenko 和她的同事開發了一種稱為D-RISE（用于解釋AI的檢測器隨機輸入采樣）的技術來生成此類映射。研究人員拍攝了一張照片，例如，一個裝滿鮮花的花瓶（圖2），并系統地屏蔽了圖像的不同部分，然后將其展示給負責識別特定對象（例如花瓶）的AI模型。然后，他們記錄每組像素的模糊程度如何影響結果的準確性，并根據每個部分對識別過程的重要性對整張照片進行顏色編碼。

不出所料，在一張裝滿鮮花的花瓶的照片中，花瓶本身被明亮的紅色和黃色照亮，這表明AI識別花瓶時，花瓶本身的存在很重要。但這并不是圖片中唯一突出顯示的區域。“顯著性一直延伸到一束鮮花，”Saenko說，“它們沒有被標記為花瓶的一部分，但模型了解到，如果你看到鮮花，這個物體更有可能是花瓶。”D-RISE突出強調了會導致 AI 模型改變其結果的因素。

“這有助于了解他們可能犯了什么錯誤，或者他們是否出于錯誤的原因做某事，”Saenko說，他在該領域的工作部分由美國國防高級研究中心運營的現已完成的XAI項目資助。

更改輸入數據以識別重要特征是探究許多AI模型的基本方法。

但賓夕法尼亞州匹茲堡卡內基梅隆大學的計算機科學家Anupam Datta表示，這項任務在更復雜的神經網絡中變得更具挑戰性，在這些復雜的情況下，科學家們不僅要弄清楚哪些特征在模型推斷中發揮作用以及這個作用效果有多大，而且還要弄清楚一個特征的重要性如何隨著其他特征的變化而變化。

“因果關系仍然存在，因為我們仍在試圖找出哪些特征對模型的預測具有最高的因果影響，” Datta說，“但測量它的機制會發生一點變化。”，與Saenko的顯著性圖一樣，Datta系統地屏蔽了圖像中的單個像素，然后為圖像的該部分像素分配一個數學值，表示由于遮擋該部分而導致的變化幅度。看

到哪些像素是最重要的，可以告訴Datta隱藏層中的哪些神經元在結果中的作用最大，從而幫助他更好地解釋模型工作原理。

可解釋性的好處

DeGrave和Janizek通過另一種復雜神經網絡來測量顯著性圖，這種網絡叫做生成對抗網絡（generative adversarial network，GAN）。

典型GAN由一對網絡組成，一個負責生成數據（如街道的圖像），另一個嘗試確定該輸出是真實還是虛假的。這兩個網絡不停地以這種方式交互，直到第一個網絡可靠地創建能夠欺騙另一網絡的圖像。在他們的案例中，研究人員要求GAN將COVID-19陽性X射線突變轉為COVID-19陰性圖片，通過查看GAN修改了X射線圖片的哪些方面，研究人員可以確定圖片的哪一部分對AI模型產生了作用，從而增加模型可解釋性。

盡管GAN原理簡單，但研究人員對這對網絡的微妙動態改變還不是很清楚。“GAN生成圖像的方式很神秘，給定一個隨機輸入的數字，GAN最終會輸出一張看起來很真實的圖片”，計算機科學家Antonio Torralba說。Torralba和他的團隊負責剖析GAN，查看GAN的每個神經元到底在做什么，就像Datta一樣，他們發現GAN中一些神經元會特別專注于某些特定概念。“我們找到了負責繪制樹木的神經元組，負責繪制建筑物的神經元組以及繪制門窗的神經元”，Torralba說。

圖2 顯著性圖示例（圖中指出AI在識別花瓶時也注意到了花瓶中的花朵）

Torralba說，能夠識別出哪些神經元正在識別或產生哪些物體，這為改進神經網絡提供了可能性，而無需向其展示數千張新照片。

如果一個模型已經被訓練來識別汽車，但它所訓練的所有圖像都是鋪砌路面上的汽車，那么當展示一張雪地上的汽車圖片時，模型可能會無法識別該車。但是了解模型內部連接的計算機科學家能夠調整模型以識別一層雪，使其相當于鋪砌的表面，從而提高模型識別該類型圖片的準確率。類似地，可能想要自動創建不可能的場景的計算機特效設計師可以手動重新設計模型來實現這一點。

可解釋性的另一個價值是了解機器執行任務的方式可以讓使用模型的人了解模型如何以不同的方式做事，并修改模型做其得更好。

計算生物學家 Laura-Jayne Gardiner 訓練了一個AI來預測哪些基因在調節生物鐘（控制一系列生物過程的內部分子計時器）中起作用。Gardiner和她在IBM Research Europe和英國諾里奇生命科學研究小組Earlham Institute的同事也讓計算機突出了它用來決定基因是否可能在晝夜節律中發揮作用的特征。

“我們只關注基因調控的啟動子，”加德納說，“但AI在基因序列中發現了研究人員會忽略的線索”,加德納解釋說；該團隊可以在實驗室的研究中使用AI來進一步完善其對生物學的理解。

AI準確性和可信度

卡內基梅隆大學的計算機科學家 Pradeep Ravikumar 說，解釋AI是一個開始，但也應該有一種方法來量化它們的準確性，他正在研究自動化這種評估的方法，他認為對人類來說似乎有意義的解釋實際上可能與模型實際在做什么幾乎沒有關系。

“如何客觀評估解釋AI這一問題仍處于早期階段，”Ravikumar 說，“我們需要得到更好的解釋，也需要更好的方法來評估解釋。”，測試解釋真實性的一種方法是對它所說的重要特征進行小的改動。

如果解釋正確，那么輸入的這些微小變化應該會導致輸出的巨大變化。樣，對不相關特征的大改動,比如，從貓的照片中刪除一輛公共汽車，應該不應該影響模型判斷結果。如果更進一步評估AI，不僅可以預測哪些特征很重要，還可以預測如果對這些特征進行微小更改，模型的推測判斷結果將如何變化。“如果一個解釋實際上是在解釋模型，那么它就會更好地了解模型在這些微小變化下的表現”Ravikumar 說。

解釋AI內在工作原理有時看起來像是一項繁重的工作，以至于許多計算機科學家可能會想跳過它，并從表面上看待AI的結果。但至少某種程度的可解釋性相對簡單，例如，顯著性圖現在可以快速且廉價地生成，相比之下，訓練和使用GAN更加復雜和耗時。

“你肯定必須非常熟悉深度學習的東西，以及一臺帶有一些圖形處理單元的好機器才能讓它工作，”Janizek 說。他的團隊嘗試的第三種方法——使用照片編輯軟件手動修改數百張圖像以確定某項特征是否重要——甚至更加耗費人力。

機器學習社區的許多研究人員也傾向于在模型可解釋性和準確性之間進行權衡。他們認為，龐大的計算量使得神經網絡輸出更準確，也使它們超出了人類的理解范圍。但有些人質疑這種權衡是否真實，Janizek 說。“最終可能會出現這樣的情況，即一個更可解釋的模型是一個更有用的模型和一個更準確的模型。”

Ravikumar 說，無論可解釋性的挑戰是大是小，一個好的解釋并不總是足以說服用戶依賴一個系統，知道為什么人工智能助手（例如亞馬遜的 Alexa）以某種方式回答問題可能不會像禁止濫用私人對話記錄的法律那樣促進用戶之間的信任，也許醫生需要臨床證據證明計算機的診斷隨著時間的推移證明是正確的。政策制定者可能會要求將有關使用此類系統的一些保護措施寫入法律。

然而，在解釋領域，人工智能研究人員已經取得了長足的進步。Torralba 說，盡管可能仍有一些細節需要制定以涵蓋正在使用的各種機器學習模型，但這個問題可能會在一兩年內得到解決。

他說，“人們總是談論這個黑匣子，我們不認為神經網絡是黑匣子。如果他們工作得非常好，那么如果你仔細觀察，他們所做的事情是有道理的。”?