論文題目：

Attention Is Not the Only Choice: Counterfactual Reasoning for Path-Based Explainable Recommendation

論文鏈接：

????https://arxiv.org/pdf/2401.05744??

近日，悉尼科技大學徐貫東教授團隊，聯合香港中文大學、昆士蘭大學、香港理工大學、以及新加坡南洋理工大學等多家單位，發布了基于路徑反事實推理的推薦系統解釋新方法，并提出了一系列全新的定性和定量的解釋性評價標準，引發同行廣泛關注。

01 反事實推理的解釋的背景

近年來，由知識圖驅動的推薦系統利用各種圖神經網絡建模取得了不錯的效果。然而，與傳統模型相比，比如協同過濾等，圖上豐富的信息使數據結構變得更加復雜，這給模型的可解釋性帶來了巨大的挑戰。

為了得到推薦的解釋，許多相關研究先用圖建模和圖神經網絡進行推薦，然后用連接到目標結果的路徑來解釋推薦的結果，因為這些連接到目標結果的路徑可以反映它和相近項目的關系。

然而，在推薦圖中通常有大量的候選路徑，如何從中選擇有意義的路徑作為解釋，成為一個值得研究的問題。一些工作將注意力機制集成到模型中，通過注意力機制學習路徑的權重作為路徑的重要性進行解釋。這些權重通常學習了一跳鄰居項目之間的關系、用戶的購買記錄之間的關系和輔助信息的重要性，這些解釋都可以通過可視化案例進行評估。

▲ 通過 3 次獨立訓練對 16 條路徑進行注意力權重。每個方塊代表一條路徑，深橙色意味著更高的權重。

然而，越來越多的工作對基于注意力機制的解釋提出了一些擔憂，具體總結為以下兩點：首先，因為許多研究發現通過注意力機制得到的結果的可靠性較弱，因此對于它是否能用來解釋這一點有廣泛質疑。

如圖所示，在推薦圖上，我們用注意力模型在 16 條路徑上獨立地運行三次，并用熱圖繪制了 16 條路徑的注意力權重，其中每個色塊表示一個路徑的權重大小，較深的橙色意味著更高的注意力權重。

我們可以看到，基于注意力的模型在三次獨立運行后，無法保證穩定的權重分布，這種不穩定的結果無法作為推薦的解釋。其次，圖中使用的注意力機制也傾向于為那些頻繁出現的路徑分配更高的權重，這些路徑通常包含更普遍、廣泛、大范圍且模糊的信息，而那些有特定解釋語義信息的路徑沒有被分配了較低的權重。

02 反事實推理：初露鋒芒

克服上述問題的一個初露鋒芒的方向是反事實推理。一般來說，反事實推理遵循“假設”思維：如果某個條件不再成立，結果會發生什么。尤其是，導致最終結果發生巨大變化的條件會被視為重要的原因。

受此啟發，在推薦場景中，我們可以嘗試通過對候選路徑添加一些輕微的擾動來尋找重要的可解釋路徑，看是哪一個或者哪一些路徑的擾動導致了推薦分數的變化。如果路徑的輕微干擾導致結果項目的推薦分數大幅下降，則認為當前路徑是重要的路徑，小幅下降則表示不太重要。

這種基于反事實推理的解釋的新方向可能會給我們帶來以下好處：首先，反事實推理主要關心模型的輸入和輸出，與模型內部的參數無關，這非常適合與模型無關的解釋。這意味著我們可以在多個推薦模型上使用相同的反事實推理方法來查看哪一個更值得信賴。

另外，反事實機制對于那些信息豐富的路徑更有效，因為包含更加廣泛信息的路徑通常具有較低的不確定性，因此它們更難以受到小的干擾來翻轉推薦分數。這有望克服目前基于注意力的解釋存在的諸多問題。

最近的研究已經開始探索反事實推理在生成推薦的解釋的可行性。然而，他們中的大多數只關注項目、項目的特征或用戶特征。它們都沒有關注圖中豐富的信息，比如路徑，而基于路徑的解釋是推薦圖中最有說服力、包含信息量最大的解釋方式。盡管有工作探索了知識圖譜上的反事實推理，但他們學習的可解釋權重是針對其模型的，并不能用于不同的推薦模型。

03 論文的研究貢獻

為了填補反事實推理和基于路徑的可解釋推薦模型之間的空白，我們提出了反事實的基于路徑的可解釋推薦（簡稱 CPER）。我們設計了兩種有效的反事實推理方法，從路徑向量表示和路徑拓撲結構兩個角度尋找可解釋的路徑。具體地，我們提出了一個優化框架來學習路徑表示的擾動因素。另外，我們還提出了通過強化學習驅動的路徑替換策略，對路徑的拓撲結構進行反事實推理。

此外，除了傳統的基于案例研究的可解釋性評估，我們還提出了一套包括定量和定性的可解釋評估方案。我們在四個數據集上評估了我們的可解釋方法，驗證了其顯著優勢。

綜上，這篇論文有以下貢獻：

• 我們通過對路徑向量表示和路徑拓撲結構進行反事實推理，提出了一種新穎的可解釋框架用于基于路徑的推薦。對于基于路徑拓撲結構的反事實推理，我們設計了一種強化學習方法來學習反事實學習中擾動的路徑替換策略。
• 我們提出了一套解決方案來評估基于可解釋路徑的可解釋性質量。與傳統的基于案例研究的可解釋性評估不同，我們提出的評估方法包括定量和定性的方法，可廣泛用于評估各種基于路徑的解釋方法。
• 在四個現實世界數據集上進行了實驗，進一步驗證了我們框架的有效性。將我們的解釋與基于注意力的解釋進行比較，結果表明我們的解釋方法具有更高的穩定性、有效性和置信度。

04 文章核心看點

為了避免基于注意力的可解釋路徑權重帶來的不可靠性問題，我們通過反事實學習來學習可解釋路徑權重來代替傳統的注意力權重。主要思想是，一旦對每個可解釋路徑或路徑集合進行擾動，推薦預測分數的降低值就可以視為該路徑或路徑集合的可解釋權重。

為了實現這一目標，我們從路徑向量表示和路徑拓撲結構兩個擾動角度進行反事實推理。具體來說，我們通過學習路徑嵌入上的擾動因子來對路徑表示進行反事實推理，并通過基于強化學習的策略來替換一些路徑頂點來替換原有路徑，并對路徑拓撲結構進行反事實推理。除此之外，我們還提出了一系列定量和定性的可解釋評估方法用于評估得到的可解釋路徑的優勢。

看點1：路徑表征上的反事實推理方法。與傳統的基于注意力的解釋通過注意力權重來衡量路徑重要性不同，我們從兩個方面評估路徑的重要性：擾動的大小和對推薦結果的影響。如果對路徑上的擾動非常輕微，但導致推薦的分數急劇下降，則相應的路徑應該非常重要。為此，本方法旨在學習輕微的擾動因素，同時找到受該擾動影響的可解釋路徑。

看點2：路徑拓撲結構上的反事實推理。具體來說，我們利用強化學習強大的搜索功能，設計了一種路徑替換策略，對路徑的集合進行擾動，即對路徑中頂點進行替換，推薦預測分數的降低值就可以視為路徑集合的可解釋權重。

看點3：基于路徑的推薦的可解釋性評估。評估解釋是否可信是非常主觀的。據我們所知，很少有一種被廣泛接受的衡量標準來評估基于路徑的可解釋性。在本文中，我們希望通過提出并總結定性和定量方法來推動這一領域的發展。

定量評估：

• 置信度（confidence）：我們將每個可解釋路徑的置信度定義為其不確定性，又名熵，其計算方式是受信息論啟發的。直觀上，更好的解釋模型往往會更自信地探索可解釋的路徑，并使路徑不確定性相對較低。
• 信息量（informativeness）：我們將學習到的可解釋路徑反饋給推薦后端，以查看學習到的可解釋路徑對推薦性能的貢獻有多大。與所有其余路徑相比，越接近原始結果，學習到的可解釋路徑的信息越多。
• 保真度（fidelity）：它測量從輸入可解釋路徑中刪除不同比例的可解釋路徑時預測分數的下降。保真度值越大，表明反事實權重越強，可解釋性也越好。

定性評估：

• 穩定性（stability）：我們通過多次獨立重復推薦模型學習并查看可解釋路徑分布是否一致來評估可解釋方法的穩定性。可解釋分布越穩定，可解釋方法越可靠。
• 有效性（effectiveness）：我們隨機向路徑集中添加一條不相關的路徑，以查看解釋框架學習的權重。直觀上，不相關路徑的可解釋權重應該盡可能小才能有意義。否則，可解釋的權重是不可靠的。

本文轉自 PaperWeekly ，作者：李逸聰

原文鏈接:??https://mp.weixin.qq.com/s/kIhvTi7lGOsm9NFDth_Saw??