編譯 | 汪昊
審校 | 重樓
推薦系統能夠給亞馬遜和 TikTok 每年帶來 30% - 40% 的流量或者銷售額增量，因此毫無疑問，推薦系統是互聯網和科技公司的搖錢樹。許多懵懂青年在上大學或者剛工作的時候，非常向往從事互聯網推薦行業。一方面，趨之若鶩的人才極大地推動了領域的發展；另一方面，該領域的發展給相關人才帶來了豐厚的回報。
在剛剛過去的2023 年的推薦系統領域權威會議 RecSys 2023 上，一篇題為 gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling 的論文（下載地址：https://arxiv.org/pdf/2308.07192.pdf）獲得了最佳論文獎。
作者首先回顧了過度自信問題的由來：在負采樣的過程中，推薦系統中的正樣本的比例通常會增加。這一現象，就是所謂的過度自信問題。過度自信問題會帶來如下隱患：1. 推薦系統偏重區分特別好和特別差的推薦，而差別不那么大的推薦結果得不到重視；2. 在某些情況下會導致嚴重的數值錯誤。我們在實際中發現，SASRec 算法會出現過度自信問題。并且常見的解決方案很難在深度學習的場景下適用。
基于 Transformer 的推薦算法通常在序列推薦的場景下表現更優。在這一領域，BERT4rec 和 SASRec 是兩款經典算法。
兩個最常用的序列推薦的損失函數是 BCE (Binary Cross Entropy) 和 Softmax Loss。BCE 的損失函數定義如下：
其中：
Softmax Loss 的定義如下：
其中：
Softmax Loss 不適合負采樣場景下的推薦系統。因此有學者提出了 Sampled Softmax Loss :
過度自信是指預測中物品出現的概率高于其先驗分布。下圖對比了幾種算法的過度自信程度：
通過觀察，可以發現 SASRec 算法有嚴重的過度自信問題。
因為高頻率的物品會導致 BCE 數值計算發生錯誤，因此作者定義了新的gBCE （generalized BCE）指標：
作者證明了一列 gBCE 防止過度自信的定理，此處因為篇幅原因，不再羅列相關的定理。感興趣的讀者可以自行查閱原始論文。作者基于新的損失函數設計了推薦系統，被命名為 gSASRec 算法。作者隨后進行了對照實驗，該算法取得了優異的效果：
這篇論文的核心在于證明了利用新的損失函數，可以得到緩解過度自信問題的若干定理，因此可以保證我們在使用新的損失函數設計算法之后，取得了遠遠優于先前推薦的效果。
這篇論文看似簡單，但是作者在數學理論基礎推導方面下足了功夫，是難得一見的好文章。值得讀者認真收藏，細細品味。
作者介紹
汪昊，前 Funplus 人工智能實驗室負責人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔任技術和技術高管職務。在互聯網公司和金融科技、游戲等公司任職 13 年，對于人工智能、計算機圖形學、區塊鏈和數字博物館等領域有著深刻的見解和豐富的經驗。在國際學術會議和期刊發表論文39 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。
