DeepRec（PAI-TF）是阿里巴巴集團統一的開源推薦引擎（https://github.com/alibaba/DeepRec），主要用于稀疏模型訓練和預測，可支撐千億特征、萬億樣本的超大規模稀疏訓練，在訓練性能和效果方面均有明顯優勢；目前DeepRec已支持淘寶搜索、推薦、廣告等場景，并廣泛應用于淘寶、天貓、阿里媽媽、高德等業務。

英特爾自2019年以來就與阿里巴巴 PAI團隊緊密合作，將英特爾人工智能（Artificial Intelligence，AI）技術應用到DeepRec中，針對算子、子圖、runtime、框架層和模型等多個層面進行優化，以充分發揮英特爾軟硬件優勢，助力阿里巴巴加速內外部AI業務性能。?

DeepRec主要優勢

當前主流的開源引擎對超大規模稀疏訓練場景的支持尚有一定局限，例如，不支持在線訓練、特征無法動態加載、線上部署迭代不方便等，特別是性能難以達到業務需求的問題尤為明顯。為解決上述問題，DeepRec基于TensorFlow1.15針對稀疏模型場景進行了深度定制優化，主要措施包含以下三類：

模型效果：主要通過增加EmbeddingVariable（EV）動態彈性特征功能以及改進Adagrad Optimizer來實現優化。EV功能解決了原生Variable size大小難以預估、特征沖突等問題，并提供了豐富的特征準入和淘汰策略等進階功能；同時，針對特征出現頻次進行冷熱自動配置特征維度問題，增加了高頻特征表達力，緩解了過擬合，能夠明顯提高稀疏模型效果；

訓練和推理性能：針對稀疏場景，DeepRec在分布式、子圖、算子、Runtime等方面進行了深度性能優化，包括分布式策略優化、自動流水線SmartStage、自動圖融合、Embedding和Attention等圖優化、常見稀疏算子優化、內存管理優化，大幅降低了內存使用量，顯著加速了端到端的訓練和推理性能；

部署及Serving ：DeepRec支持增量模型導出和加載，實現了10TB級別的超大模型分鐘級別的在線訓練和更新上線，滿足了業務對時效性的高要求；針對稀疏模型中特征存在冷熱傾斜的特性，DeepRec提供了多級混合存儲（可達四級混合存儲，即HBM+DRAM+PMem+SSD）的能力，可在提升大模型性能的同時降低成本。

 英特爾技術助力DeepRec實現高性能

英特爾與阿里巴巴 PAI團隊的緊密合作在實現以上三個獨特優勢中都發揮了重要作用，DeepRec三大優勢也充分體現了英特爾技術的巨大價值：

在性能優化方面，英特爾超大規模云軟件團隊與阿里巴巴緊密合作，針對CPU平臺，從算子、子圖、框架、runtime等多個級別進行優化，充分利用英特爾? 至強? 可擴展處理器的各種新特征，更大程度發揮硬件優勢；

為了提升DeepRec在CPU平臺的易用性，還搭建了modelzoo來支持絕大部分主流推薦模型，并將DeepRec的獨特EV功能應用到這些模型中，實現了開箱即用的用戶體驗。

同時，針對超大規模稀疏訓練模型EV對存儲和KV查找操作的特殊需求，英特爾傲騰創新中心團隊提供基于英特爾? 傲騰^TM 持久內存（簡稱“PMem”）的內存管理和存儲方案，支持和配合DeepRec多級混合存儲方案，滿足了大內存和低成本需求；可編程解決方案事業部團隊使用FPGA實現對Embedding的KV查找功能，大幅提升了Embedding查詢能力，同時可釋放更多的CPU資源。 結合CPU、PMem和FPGA的不同硬件特點，從系統角度出發，針對不同需求更加充分地發揮英特爾軟硬件優勢，可加速DeepRec在阿里巴巴 AI業務中的落地，并為整個稀疏場景的業務生態提供更優的解決方案。

 英特爾? DL Boost為DeepRec提供關鍵性能加速

英特爾? DL Boost（英特爾? 深度學習加速）對DeepRec的優化，主要體現在框架優化、算子優化、子圖優化和模型優化四個層面。

• 英特爾 x86 平臺 AI 能力演進- 英特爾? DL Boost

自英特爾? 至強? 可擴展處理器問世以來，通過從 AVX 256 升級到 AVX-512，英特爾將 AVX 的能力提高了一倍，極大地提升了深度學習訓練和推理能力；而第二代英特爾? 至強? 可擴展處理器中又引入 DL Boost_VNNI，大幅提升了 INT8 乘加計算性能；自第三代英特爾? 至強? 可擴展處理器之后，英特爾推出支持BFloat16（BF16）數據類型的指令集，來進一步提高深度學習訓練和推理性能。隨著硬件技術的不斷創新和發展，英特爾將在下一代至強? 可擴展處理器推出新的AI處理技術，進一步提高 VNNI 和 BF16 從 1 維-向量到 2 維-矩陣的能力。上述的硬件指令集技術在DeepRec的優化中均已有所應用，使得針對不同的計算需求可使用不同的硬件特征，也驗證了英特爾? AVX-512和BF16非常適合稀疏場景的訓練和推理加速。

圖一 英特爾 x86 平臺 AI 能力演進圖

•  框架優化

DeepRec集成了英特爾開源的跨平臺深度學習性能加速庫oneDNN（oneAPI Deep Neural Network Library），并且將oneDNN原有的線程池修改，統一成DeepRec的Eigen線程池，減少了線程池切換開銷，避免了不同線程池之間競爭而導致的性能下降問題。oneDNN已經針對大量主流算子實現了性能優化，包括MatMul、BiasAdd、LeakyReLU等在稀疏場景中的常見算子，能夠為搜廣推模型提供強有力的性能支撐，并且oneDNN中的算子也支持BF16數據類型，與搭載BF16指令集的第三代英特爾? 至強? 可擴展處理器同時使用，可顯著提升模型訓練和推理性能。

在DeepRec編譯選項中，只需加入 “--config=mkl_threadpool”，便可輕松開啟oneDNN優化。

• 算子優化

oneDNN雖可用來大幅提升計算密集型算子的性能，但搜索廣告推薦模型中存在著大量稀疏算子，如Select、DynamicStitch、Transpose、Tile、SparseSegmentMean等，這些算子的原生實現大部分存在一定的訪存優化空間，對此可采用針對性方案實現額外優化。該優化調用AVX-512指令，只需在編譯命令中加入 “--copt=-march=skylake-avx512”即可開啟。以下為其中兩個優化案例。

案例一：Select算子實現原理是依據條件來做元素的選擇，此時可采用英特爾? AVX-512的mask load方式，如圖二左圖所示，以減少原先由if條件帶來大量判斷所導致的時間開銷，然后再通過批量選擇提升數據讀寫效率，最終線上測試表明，性能提升顯著；

圖二 Select算子優化案例

案例二：同樣，可以使用英特爾? AVX-512的unpack和shuffle指令對transpose算子進行優化，即通過小Block的方式對矩陣進行轉置，如圖二右圖所示，最終經線上測試表明，性能提升同樣十分顯著。

•  子圖優化       

圖優化是當前AI性能優化的主要有效手段之一。同樣的，當DeepRec應用在大規模稀疏場景下時，通常存在著以embedding特征為主的大量特征信息處理，并且embedding中包含了大量小型算子；為了實現通用的性能提升，優化措施在DeepRec中加入了fused_embedding_lookup功能，對embedding子圖進行融合，減少了大量冗余操作，同時配合以英特爾? AVX-512指令加速計算，最終embedding子圖性能提升顯著。

通過在tf.feature_column.embedding_column(..., do_fusion=True) API將do_fusion設置為True，即可開啟embedding子圖優化功能。

• 模型優化

基于CPU平臺，英特爾在DeepRec構建了涵蓋WDL、DeepFM、DLRM、DIEN、DIN、DSSM、BST、MMoE、DBMTL、ESMM等多個主流模型的獨有推薦模型集合，涉及召回、排序、多目標等多種常見的場景；并針對硬件平臺進行性能優化，相較于其他框架，為這些模型基于Criteo等開源數據集在CPU平臺上帶來極大的性能提升。

其中表現最突出的當屬混合精度的BF16和Float32的優化實現。通過在DeepRec中增加自定義控制DNN層數據類型的功能，來滿足稀疏場景高性能和高精度的需求；開啟優化的方式如圖三所示，通過keep_weights保留當前variable的數據類型為Float32，用于防止梯度累加導致的精度下降，而后再采用兩個cast操作將DNN操作轉換成BF16進行運算，依托第三代英特爾? 至強? 可擴展處理器所具備的BF16硬件運算單元，極大地提升DNN運算性能，同時通過圖融合cast操作進一步提升性能。

圖三 混合精度優化開啟方式

為了能夠展示BF16對模型精度AUC（Area Under Curve）和性能Gsteps/s的影響，針對現有modelzoo的模型都應用以上混合精度優化方式。阿里巴巴PAI團隊使用DeepRec在阿里云平臺的評測表明??[1]??，基于Criteo數據集，使用BF16優化后，模型WDL精度或AUC可以逼近FP32，并且BF16模型的訓練性能提升達1.4倍，效果顯著。

未來，為了更大程度地發揮CPU平臺硬件優勢，尤其是將新硬件特征的效果最大化， DeepRec將從不同角度進一步實施優化，包括優化器算子、attention子圖、添加多目標模型等，以便為稀疏場景打造更高性能的CPU解決方案。

 使用PMem實現Embedding存儲

對于超大規模稀疏模型訓練和預測引擎（千億特征、萬億樣本、模型10TB級別），若全部采用動態隨機存取存儲器（Dynamic?Random?Access?Memory，DRAM）來存儲，會大幅提升總擁有成本?(Total?Cost?of?Ownership，TCO)，同時給企業的 IT 運維和管理帶來巨大壓力，讓 AI 解決方案的落地遭遇挑戰。

PMem具有更高存儲密度和數據持久化優勢，I/O?性能接近?DRAM?，成本更為經濟實惠，可充分滿足超大規模稀疏訓練和預測在高性能和大容量兩方面的需求。

PMem支持兩種操作模式，即內存模式（Memory Mode）和應用直接訪問模式（App Direct Mode）。在內存模式中，它與普通的易失性（非持久性）系統存儲器完全一樣，但成本更低，能在保持系統預算的同時實現更高容量，并在單臺服務器中提供 TB 級別的內存總容量；相比于內存模式，應用直接訪問模式則可以利用PMem的持久化特性。在應用直接訪問模式下，PMem和與其相鄰的DRAM內存都會被識別為可按字節尋址的內存，操作系統可以將PMem硬件作為兩種不同的設備來使用，一種是FSDAX模式，PMem被配置成塊設備，用戶可以將其格式化成一個文件系統來使用； 另一種是DEVDAX模式，PMem被驅動為單個字符設備，依賴內核（5.1以上）提供的KMEM DAX特性，把PMem作為易失性內存使用，接入內存管理系統，作為一個和DRAM類似的、較慢較大的內存NUMA節點，應用可透明訪問。

在超大規模特征訓練中， Embedding 變量存儲占用 90%以上的內存，內存容量會成為其瓶頸之一。將EV 存到PMem 可以打破這一瓶頸，創造多項價值，例如提高大規模分布式訓練的內存存儲能力、支持更大模型的訓練和預測、減少多臺機器之間的通信、提升模型訓練性能，同時降低 TCO。

在Embedding多級混合存儲中，PMem同樣是打破DRAM瓶頸的極佳選擇。目前將EV存到PMem已具備三種方式，且在如下這三種方式下運行micro-benchmark、WDL 模型和WDL-proxy模型，性能非常接近于將EV存到DRAM，這無疑使得其TCO獲得了很大優勢：

• 將PMem配置成內存模式來保存EV；
• 將PMem配置成應用直接訪問FSDAX模式，并采用基于Libpmem庫的分配器來保存EV；
• 將PMem配置成NUMA節點并采用基于Memkind庫的分配器來保存EV。

阿里巴巴PAI團隊在阿里云內存增強型實例ecs.re7p.16xlarge上采用3種保存EV的方式進行了Modelzoo中的WDL單機模型對比測試??[2]??，這3種方式分別是將EV存到DRAM，采用基于Libpmem庫的分配器來保存EV和采用基于Memkind庫的分配器來保存EV，測試結果表明將EV存到PMem與將EV存到DRAM的性能非常接近。

圖四 Embedding多級混合存儲

由此，下一步優化計劃將采用PMem保存模型，把稀疏模型checkpoint文件存到持久內存中，來實現多個數量級的性能提升，擺脫目前用SSD保存恢復超大模型需要較長時間，且期間訓練預測會中斷的窘境。

 FPGA加速Embedding Lookup

大規模稀疏訓練及預測涵蓋多種場景，例如分布式訓練、單機和分布式預測以及異構計算訓練等。它們與傳統卷積神經網絡（Convolutional Neural Network，CNN）或循環神經網絡（Recurrent Neural Networks，RNN）相比有一個關鍵的不同，那就是 embedding table的處理，而這些場景中的Embedding table處理需求面臨新的挑戰：

• 巨大的存儲容量要求（可達10TB或更多）；
• 相對低的計算密度；
• 不規則的memory訪問模式。

DeepRec通過PS-worker架構來支持超大規模任務場景。在PS-worker架構中，存儲與計算分離，Embedding table以Key-Value的形式被存儲在（幾十、上百個）Parameter Servers中，這些PS為（幾百、上千個）Worker提供存取、更新模型參數的服務，其關鍵的指標就是流通量和訪問時延。而面對大規模稀疏模型訓練和預測，現有框架中PS-worker的實現就顯露了其瓶頸：

• 用軟件通過多線程方式實現的KV engine成為了流通量的瓶頸；
• 基于TCP/RDMA實現的rpc帶來的開銷，使得Parameter Server在分布式擴展時成為明顯的時延和性能瓶頸。

為了解決流通量瓶頸和時延的問題，優化中引入了支持CXL （Compute Express Link）的英特爾? Agilex^TM I系列 FPGA，實施路徑如圖五所示：

圖五 引入英特爾?Agilex^TM I系列 FPGA實施優化

• 通過FPGA實現硬件的KV engine可以飽和內存或網絡帶寬，解決流通量瓶頸問題；
• 通過自定義支持可靠傳輸的transport layer協議，在同一個FPGA中處理KV engine和網絡協議，不經過主機CPU直接根據key處理value，以極低的時延和極小的抖動，消除Parameter Server在分布式擴展時的時延和性能瓶頸；
• 通過CXL提供的cache-coherent 連接支持HDM （ Host Managed Device Memory ）訪問，設備端（FPGA卡）上采用DDR4以支持熱數據訪問的高性能需求，主機端使用PMem支持冷數據的存儲，極大化降低TCO；
• 以FPGA可以進一步實現embedding table的in-line處理，例如tensor 操作，或者實現壓縮及解壓縮在網絡帶寬限制方面的突破。

基于英特爾? Agilex^TM I系列 FPGA的加速方案能在一個硬件平臺支持上述所有場景，流通量顯著提升，同時提供較低的訪問時延。

總結

 前文介紹了針對DeepRec在CPU、PMem和FPGA不同硬件的優化實現方案，并成功部署到阿里巴巴多個內部和外部業務場景，在實際業務中也獲得了明顯的端到端性能加速，從不同角度解決了超大規模稀疏場景面臨的問題和挑戰。眾所周知，英特爾為AI應用提供了多樣化的硬件選擇，為客戶選擇更優性價比的AI方案提供了可能；與此同時，英特爾與阿里巴巴及廣大客戶正一同基于多樣化硬件實施軟硬一體的創新協作和優化，從而更充分地發揮英特爾技術和平臺的價值。英特爾也期望繼續和業界伙伴合作展開更深入地合作，持續為AI技術的部署落地貢獻力量。

法律聲明

英特爾并不控制或審計第三方數據。請您審查該內容，咨詢其他來源，并確認提及數據是否準確。

性能測試結果基于2022年4月27日和2022年5月23日進行的測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產品或組件是絕對安全的。

描述的成本降低情景均旨在在特定情況和配置中舉例說明特定英特爾產品如何影響未來成本并提供成本節約。情況均不同。英特爾不保證任何成本或成本降低。

英特爾技術特性和優勢取決于系統配置，并可能需要支持的硬件、軟件或服務得以激活。產品性能會基于系統配置有所變化。沒有任何產品或組件是絕對安全的。更多信息請從原始設備制造商或零售商處獲得，或請見intel.com。

 英特爾、英特爾標識以及其他英特爾商標是英特爾公司或其子公司在美國和/或其他國家的商標。

?英特爾公司版權所有

??[1]?? 如欲了解更多性能測試詳情，請訪問https://github.com/alibaba/DeepRec/tree/main/modelzoo/WDL

??[2]?? 如欲了解更多性能測試詳情，請訪問https://help.aliyun.com/document_detail/25378.html?spm=5176.2020520101.0.0.787c4df5FgibRE#re7p