不久前，來自 UIUC 和南洋理工大學的三名研究者投入了 20 個月的時間，研究了 673 篇論文，撰寫了一篇翔實而深入的可信機器學習綜述。他們使用統一的數學語言，以數據為中心視角，總結了這個領域的最新研究進展。他們嘗試解答以下三個問題：

1. 近年來可信機器學習領域的不同方法之間是否具有內在的聯系？

2. 如何從因果推理的角度理解可信機器學習，這對我們有何啟示？

3. 在大模型時代，可信機器學習如何實現？

論文地址：https://arxiv.org/pdf/2307.16851.pdf

一、背景

隨著機器學習模型性能不斷強大，它們更加廣泛地進入人們的生活，模型的可信性變得尤為重要。人們對模型 “可信” 的要求涵蓋很多方面：一個訓練好的模型部署到實際中，需要在未知的分布遷移下保持準確預測；為了使用者理解、驗證和采信模型做出的高風險預測，模型需要向用戶解釋其推理過程；模型應該不帶偏見地預測，保證對社會各個群體的公平性，等等。

研究者們認為，現有的模型之所以不夠可信，根源往往在于數據的構成：數據集中廣泛存在著混淆因子、虛假特征等結構，即使標注質量再高也無法避免。模型在經驗風險最小化 (ERM) 的原則下訓練，容易學到這些虛假特征和標簽之間的統計關聯。這些關聯在獨立同分布假設下存在，但其本質很脆弱，在真實世界隨時可能發生變化，使得模型的性能驟降。此外出于倫理考慮，我們也不希望模型學到某些統計關聯，比如在互聯網數據中廣泛存在的對社會弱勢群體的歧視。

圖 1：綜述中討論的核心問題圖示。特征分為 “因果” 特征和 “虛假” 特征，它們的含義由具體任務的場景確定。

這份綜述將 “可信機器學習” 作為一系列話題的總稱，涵蓋魯棒性，安全性（對抗魯棒性），公平性和可解釋性這四個方面。“可信” 的具體含義應由利益相關者 (stakeholder) 來確定。例如，魯棒性往往指 “模型的預測對于數據的一些非實質性的變化保持不變”，那么在討論魯棒性之前，需要明確用戶期望模型對什么樣的變化保持魯棒性。

圖 2：左圖顯示的圓形 / 三角分類問題，和右圖的海龜 / 陸龜分類問題，作為例子說明了魯棒性研究必須指明模型要對什么因素魯棒。

二、連接可信機器學習的不同主題

在過去的十年里，學術界為了提高機器學習模型的可信性，在魯棒性、安全性、公平性、可解釋性等方面提出了許多方法。盡管這些方法千變萬化，但他們之間具有內在的聯系。

魯棒性 領域適應 (Domain Adaptation) 可能是最早關注機器學習模型對分布遷移的魯棒性的方向之一。模型在一個分布的數據上訓練，用遵從另一個分布的一些未標注數據適應后，希望模型將在訓練集上學到的知識遷移到這個新的分布中，做出準確預測。自領域對抗網絡方法問世以來，學習領域不變表示這一思路在魯棒性研究中迅速普及。另外一大類方法使用生成模型進行數據增強，從訓練樣本產生符合新的分布風格的樣本。與領域適應密切相關的是領域泛化，這個方向關注更有挑戰性的場景，即希望模型在來自一個或多個分布的數據上訓練后，不需適應能直接在一個未曾見過的新分布上做出準確預測。

安全性 作者圍繞 “對抗魯棒性” 的話題展開討論。一些早期工作發現，可以對圖像施加人眼難以察覺的擾動，讓圖像分類模型做出誤判，準確率降到接近零。這種被稱為 “對抗” 的方法，和神經網絡易受打擊的特性，給包括無人駕駛在內的 AI 應用帶來很大的安全隱患。人們對這一現象的本質提出了多種角度的理解，比如認為對抗噪音也是一種特征。為了解決這一問題，最常使用的方法是對抗訓練，即用生成的對抗樣本和原樣本一起訓練模型。很多研究也借鑒了領域不變表示的方法。

公平性 公平性主要指兩個方面的問題：結果歧視、質量差異。前者是指模型根據人的社會群體信息做出帶有偏見的預測，后者是指模型對少數群體的預測質量降低。結果歧視問題與領域泛化有類似的結構，可以采用領域不變表示學習，或者數據增強的方法。質量差異往往是某些群體的數據稀少導致的，往往可以通過某種算法對訓練樣本進行加權來解決。

可解釋性 打開模型的黑盒子，向用戶解釋模型預測的理由，對一些涉及重要后果的應用場景十分有必要。可解釋性方法可以分為全局解釋和局部解釋，包括多種形式。作者關注的一類方法旨在揭示模型主要用了輸入樣本的哪些特征做出預測。實現方法往往涉及對樣本進行擾動，或計算輸出對特征的梯度，與對抗原理類似。

圖 3：可信機器學習共同主題的方法總結。(a) 標準 ERM 損失；（b）領域對抗網絡方法 ；(c) 最壞情況數據增強策略；(d）樣本加權方法。

在這份綜述中，作者圍繞這些可信話題，梳理了近年來各種方法的發展脈絡。他們發現，這些為不同話題提出的方法可以用幾個主題公式統一起來，如圖 3 所示。他們還探討了這些公式與因果推理框架之間的聯系，將在下文介紹。

圖 4：綜述中討論的幾大話題總結。藍框表示可信話題，紅框表示主題公式，綠框表示因果層次。

三、因果視角理解可信機器學習

圖靈獎得主 Judea Pearl 提出的因果推理框架關注如何從關聯數據中得到穩健的因果關系，消除數據中混淆因子的影響，這正是可信機器學習的核心問題。從因果的角度，可以在數據生成過程中找到混淆因子的產生機制，從而使用因果推斷的方法消除其影響。可信機器學習領域的諸多方法，與因果推理的原理不謀而合。不同機器學習任務的數據生成過程多種多樣，作者經過調研，選擇最普遍的一種展開討論。假設數據是由兩種潛在變量生成的，稱其為 “因果變量” 和 “非因果變量”。這兩種變量之間存在著非因果的關聯；標簽變量只由因果變量生成。下圖左為數據生成過程的因果圖。

圖 5：左圖為數據生成過程的因果圖，右圖顯示對因果特征施加干預后的變化。由于外部的機制取代了生成 C 的機制，圖中進入節點 C 的邊被取消。

按照 Pearl 的因果層次論，因果有三個層級：關聯，干預，反事實。作者沿著因果層次介紹重要的因果推理概念及技術，如隨機受控實驗，工具變量，逆概率加權，后門調整等。作者通過推導說明，如果在數據生成過程中對因果特征進行干預（如上圖右所示），可以消除數據中混淆因子的影響，而數據增強和樣本加權等方法可以間接實現這種干預。作者從因果的角度重新闡述了上文提到的可信機器學習方法。此外，近年來一些工作提出了明確基于因果推理的機器學習方法，在綜述中也進行了介紹。

圖 6：用以 GAN (左圖) 和 VAE (右圖) 為代表的生成模型進行數據增強，與反事實推理的相似之處。

從因果的角度理解可信機器學習，可以得知現有方法背后的因果假設，判斷它們的適用范圍。也可以從數據生成過程出發，選擇能消除混淆效應的因果技術，從而啟發更有效的可信機器學習方法的設計。目前，因果推理在機器學習中的應用還面臨諸多挑戰，如無法測量的內生變量，以及特征的耦合等等，這些問題仍需要進一步研究和解決。

四、大模型時代，可信機器學習的未來方向

最近一年，以 ChatGPT 為代表的大模型取得突破性進展，不僅在各項基準數據集中成績矚目，也獲得了大量用戶的青睞。GPT 系列模型的發展似乎表明，隨著模型參數和訓練數據不斷增多，模型會變得越來越可信。然而，隨著研究者的深入調查，人們發現近期的大模型在幾個重要方面仍然存在著可信問題。其一，大模型在專業性較強，數據較少的領域魯棒性不足，性能嚴重下降或者不穩定。其二，大模型的預測常對一些社會群體帶有偏見，缺乏公平性。其三，大模型經常產生幻覺 (hallucination)，輸出一些似是而非的答案。大量證據表明，這些問題并沒有隨著規模增大得到令人滿意的解決方案。RLHF 這一類技術雖然可以使模型產生更符合標注者偏好的輸出，但從實際效果上并不能顯著提升模型的魯棒性和公平性。

前文介紹的可信機器學習方法具有堅實的理論基礎，也在多種場景中驗證有效，如果用于訓練大模型，將有望提高模型的可信性。然而大模型的訓練需要極大的成本，為了改進現有的大模型，可以借助高效使用大模型的技術，如微調 (finetuning)，參數高效微調 (parameter-efficient fine-tuning)，提示學習 (prompting)，以及從人類反饋進行強化學習 (RLHF)。作者對近年來這些技術的發展逐一介紹，并表明前三者采用不同參數化的經驗風險最小化 (ERM) 目標，而 RLHF 以學習到的人類獎勵作為目標。它們都可以與綜述中的主題公式結合，進一步提高模型的可信性。

而這種結合的可能性，也是這篇綜述在整理現有方法的同時，具備了一定預測未來可能誕生的方法的能力。

提高機器學習模型的可信性，在大模型時代尤為重要，這需要研究者和實踐者的共同努力。最后，作者探討了可信機器學習可能的未來方向，如：

1. 將不同的可信話題結合起來，訓練同時具有多種可信屬性的模型；

2. 利用因果推理的最新研究進展，推動更有效的可信機器學習方法研究；

3. 在更復雜的場景，如多模型的協作中，開發和檢驗可信機器學習方法。