在2019年2月，波蘭政府增加了一項銀行法修正案，該修正案賦予了客戶在遇到負面信用決策時可獲得解釋的權利。這是GDPR在歐盟實施的直接影響之一。這意味著如果決策過程是自動的，銀行需要能夠解釋為什么不批準貸款。

在2018年10月，“亞馬遜人工智能招聘工具偏向男性”的報道登上了全球的頭條新聞。亞馬遜的模型是基于有偏見的數據進行訓練的，這些數據偏向于男性應聘者。該模型構建了不利于含有“Women's”一詞的簡歷的規則。

“不理解模型預測”產生的影響

上述兩個例子的共同之處在于，銀行業中的模型和亞馬遜構建的模型都是非常復雜的工具，即所謂的黑盒分類器，它們不提供簡單且可解釋的決策規則。

如果金融機構想要繼續使用基于機器學習的解決方案，就必須投資于模型可解釋性的研究。這些機構可能確實會這么做，因為這樣的算法在預測信用風險方面會更準確。另一方面，如果模型經過適當的驗證和理解，亞馬遜本可以節省大量資金并避免負面報道。

為什么是現在?數據建模的趨勢

自2014年以來，機器學習一直保持在Gartner的Hype Cycle(技術成熟度曲線)的最頂端，直至2018年被深度學習(機器學習的一種形式)所取代，這表明其普及尚未達到峰值。

來源：https://www.gartner.com/smarterwithgartner/5-trends-emerge-in-gartner-hype-cycle-for-emerging-technologies-2018/

機器學習增長預計將進一步加速。根據Univa的調查報告，96%的公司預計在未來兩年內將機器學習用于生產。

其背后的原因是：廣泛的數據收集、大量計算資源的可獲得性以及活躍的開源社區。機器學習采用的增長伴隨著解釋性研究的增加，而研究的增加是由像GDPR這樣的法規、歐盟的“解釋權”、對(醫療、自動駕駛汽車)安全性以及可重現性和偏見的擔憂，或者最終用戶的期望(調試優化模型或者學習一些關于研究對象的新知識)所驅動的。

來源：http://people.csail.mit.edu/beenkim/papers/BeenK_FinaleDV_ICML2017_tutorial.pdf

黑盒算法可解釋性的可能性

作為數據科學家，我們應該能夠向最終用戶提供有關模型如何工作的解釋。但是，這并不一定意味著理解模型的每個部分或需要根據模型生成一組決策規則。

同時，如下情況也不需要解釋模型：

• 問題被完美研究
• 模型結果沒有后果
• 最終用戶理解模型可能會給系統帶來博弈風險

如果我們看看2018年Kaggle所做的機器學習和數據科學調查結果，大約60%的受訪者認為他們可以解釋大多數機器學習模型(有些模型仍難以解釋)。用于機器學習理解的最常用方法，是通過查看特征重要性和特征相關性來分析模型特征。

特征重要性分析提供了對模型學習內容以及哪些因素可能重要的初步的良好洞察。但是，如果特征之間是相關的則該方法會不太可靠。只有模型變量可解釋時，它才能提供良好的洞察。對于許多GBMs庫(Gradient Boosting Machine)，繪制關于特征重要性的圖表非常容易。

對于深度學習來說，情況要復雜得多。使用神經網絡時，可以查看權重，因為它們包含關于輸入的信息，但信息是壓縮的。此外，你只能分析第一層的連接，因為在更深的層次上它太復雜了。

難怪2016年LIME(局部可解釋的模型-可解釋的說明)論文在NIPS會議上發表時，它產生了巨大的影響。LIME的模式是在可解釋的輸入數據上構建一個易于理解的白盒模型去局部模擬一個黑盒模型。已經證明它在為圖像分類和文本提供解釋方面獲得很棒的結果。但是，對于列表數據，很難找到可解釋的特征，其局部解釋可能會產生誤導。

LIME通過Python(lime和Skater)和R(lime包和iml包、live包)實現，并非常容易使用。

另一個有前景的想法是SHAP(Shapley Additive Explanations)。它基于博弈論。它將特征當做玩家、將模型當做聯盟，用Shapley值說明各特征分別帶來了怎樣的“影響(Payout)”。該方法公平地衡量(各特征的)作用，易于使用并提供吸引人的可視化實現。

以R提供的DALEX軟件包(描述性機器學習說明)提供了一組工具，可幫助了解復雜模型的工作原理。使用DALEX，可以創建模型解釋器并通過可視化進行檢查，例如分解繪圖。你可能也會對DrWhy.Ai感興趣，它和DALEX是由同一組研究人員開發的。

實際用例

1、檢測圖片上的對象

圖像識別已被廣泛使用，其中在自動駕駛汽車中用于檢測汽車、交通信號燈等，在野生動物保護中用于檢測圖像中的某種動物，或在保險中用于檢測毀于洪澇的農作物。

我們將使用原始LIME論文中的“哈士奇 vs 狼的例子”來說明模型解釋的重要性。該分類器的任務是識別圖片上是否有狼，但它錯誤地將西伯利亞哈士奇分類為狼。感謝LIME的研究人員能夠識別圖片上的哪些區域對模型比較重要，最終發現如果圖片包含雪就會被歸類為狼。

該算法使用了圖片的背景并完全忽略了動物的特征。模型原本應該關注動物的眼睛。由于這一發現，就可以修復模型并擴展訓練樣本以防止推理為雪=狼。

2、將分類作為決策支持系統

阿姆斯特丹UMC的重癥監護室希望預測出院時患者再入院和/或死亡的可能性。目標是幫助醫生選擇將病人移出ICU的合適時機。如果醫生了解模型正在做什么，就更有可能在做最終判斷時使用它的建議。

為了展示如何使用LIME解釋這種模型，我們可以看另一個旨在早期預測ICU死亡率的研究。其使用了隨機森林模型(黑盒模型)預測死亡率情況，使用LIME局部解釋每個患者的預測分數。

來源：https://www.researchgate.net/publication/309551203_Machine_Learning_Model_Interpretability_for_Precision_Medicine

來自所選樣本中的一個患者被預測具有高死亡概率(78%)。導致死亡的模型特征為更高的房顫次數和更高的乳酸水平，這與當前的醫學理解是一致的。

人類和機器 - 完美搭配

為了在構建可解釋的AI方面取得成功，我們需要將數據科學知識、算法和最終用戶的專業知識結合起來。創建模型之后，數據科學的工作還沒有結束。這是一個可迭代的、經由專家提供反饋閉環的通常很漫長的過程，以確保結果是可靠的并且可被人類所理解。

我們堅信，通過結合人類的專業知識與機器的性能，我們可以獲得最佳結論：改進機器結果并克服人類直覺的偏差。

參考資料:

• On-line and web-based: Analytics, Data Mining, Data Science, Machine Learning education：https://www.kdnuggets.com/education/online.html
• Software for Analytics, Data Science, Data Mining, and Machine Learning：https://www.kdnuggets.com/software/index.html

相關信息:

• Are BERT Features InterBERTible：https://www.kdnuggets.com/2019/02/bert-features-interbertible.html
• Artificial Intelligence and Data Science Advances in 2018 and Trends for 2019：https://www.kdnuggets.com/2019/02/ai-data-science-advances-trends.html
• The year in AI/Machine Learning advances: Xavier Amatriain 2018 Roundup：https://www.kdnuggets.com/2019/01/xamat-ai-machine-learning-roundup.html