YouTube所使用的推薦系統是現在最大規模的、最先進的業界的推薦系統之一。在這篇論文中，我們在較高層面上描述這個系統，并重點關注了深度學習所帶來的巨大的性能提升。

本論文根據典型的兩階段信息檢索的二分法(two-stage information retrieval dichotomy)分為兩部分：首先，我們詳細描述了一種深度候選生成模型(deep candidate generation model)，接著描述了一種分離的深度排名模型(deep ranking model)。通過設計、迭代、維護一個帶有巨量面向用戶的影響的巨型推薦系統，我們還提供了實用的經驗教訓和見解。

系統概述

我們的推薦系統的整體結構如圖2所示。系統由兩個神經網絡組成：一個用于候選生成，一個用于排名。其中候選生成網絡從用戶的YouTube活動歷史中提取事件作為輸入，然后從一個大的視頻庫中檢索出一個小數據集(上百個視頻)。這些候選被認為通常與用戶有很精準的相關性。這個候選生成網絡僅通過協同過濾(collaborative filtering)提供廣泛的個性化。用戶之間的相似性可以通過粗粒度特征(例如視頻觀看的ID、搜索查詢單詞以及人口特征統計)表達。

一個推薦列表中出現的一些「最好」的推薦需要一種良好的表征，以在具有高召回率(recall)的候選集中區分相對的重要性。排名網絡通過使用一個描述視頻與用戶的特征集合的期望目標函數來給每個視頻打分，從而完成排名的任務。根據它們的得分，然后將最高分的視頻展現給用戶。

兩階段的推薦方法允許我們從一個很大(數百萬)的語料庫中進行推薦，與此同時還仍有在設備上出現的少量視頻是個性化的吸引用戶的內容。此外，這個設計能夠和其他源生成的候選進行混合，例如在這一項早期工作[3]中描述的。

在開發過程中，我們廣泛地使用了非網絡的指標(準確度、召回率、ranking loss)來引導我們的系統的迭代改進。然而，為了最終測定一個算法或模型的效果，我們依靠于通過實時實驗進行A/B測試。在一個實時實驗中，我們能度量在點擊率、觀看時間與許多度量用戶參與度的指標中不易察覺的變化。這是非常重要的，因為實時A/B測試結果不總是與離線實驗有相關性。

圖2：推薦系統架構：候選視頻通過「漏斗」狀的流程從大量視頻中被檢索出來并進行排名，然后再將其中一小部分展示給用戶。

圖3：深度候選生成模型架構：嵌入的稀疏特征是和稠密特征連結在一起的。在級聯(concatenation)將可變大小的稀疏ID轉換成適合隱藏層輸入的固定寬度的向量之前，嵌入被取了平均。所有隱藏層是全連接的。在訓練中，使用取樣的softmax的輸出之上的梯度下降對交叉熵損失進行最小化。在服務中，用一個近似最近鄰(approximate nearest neighbor)查詢生成數以百計的候選視頻推薦。

圖4：對于一個給定的視頻，模型用樣本年齡(example age)作為一個特征訓練，能夠精準表達出數據中的上傳時間和依賴時間的受歡迎程度。如果沒有這一特征，該模型會在訓練窗口近似地預測平均似然(average likelihood)。

圖5：給模型選擇標簽和輸入上下文對離線評估來說很有挑戰性，但是對實時性能有巨大的影響。如圖，實心圓點?是網絡的輸入特征，空心圓點?是被去除的。我們發現在A/B測試上預測未來觀看(5b)的表現更好。如5b所示，樣本年齡表示為tmax ? tN，其中tmax是訓練數據中的最大觀測時間。

圖6：描繪了嵌入的分類特征(包括一價特征和多價特征)的深度排名系統架構，這些特征帶有共享的嵌入和規范化的連續特征的乘冪。所有層都是全連接的。在實踐中，需要給網絡饋送數百個特征。

結論

我們描述了我們用于推薦YouTube視頻的深度神經網絡架構，劃分為兩個不同的問題：候選生成與排名。

我們的深度協同過濾模型能夠吸收很多信號并使用深度的層對它們的交互進行建模，其性能優于YouTube原來使用的矩陣分解方法。比起科學，選擇推薦的代理問題(surrogate problem)更像是一門藝術;而且我們發現通過獲取不對稱的聯合觀看行為(co-watch behavior)和預防未來信息的泄露，對未來觀看的分類可以在實時評估中表現良好。抑制來自分類器的判別信號也是獲得好的結果的關鍵，否則模型將會對代理問題過擬合，不能很好地轉換到主頁。

我們發現使用訓練樣本的年齡作為輸入特征，移除了相對于過去的固有偏差(bias)，并允許模型表達受歡迎視頻的時間依賴行為。這種改進的離線保持了精確率，同時在A/B測試中顯著地增加了最近上傳視頻的觀看時間。

排名是更經典的機器學習問題，但是我們深度學習方法在性能上超過了之前對觀看時間預測的線性與基于樹的方法。推薦系統尤其受益于用戶過去和事物之間的行為這樣專門的特征。深度神經網絡需要對類別和連續特征的特殊表征，我們對其分別使用嵌入與分位數標準化(quantile normalization)進行變換。我們發現深度的層可以有效地對數百個特征的非線性交互建模。

邏輯回歸(Logistic regression)根據給訓練樣本賦予權重進行修改，其中給觀看時間正樣本，沒有觀看的是負樣本，從而讓我們可以學習接近模型預期觀看時間的幾率。這種方式相比于直接預測點擊率，可以在觀看時間權重排名評估指標上表現得遠遠更好。