小紅書(shū)作為在國(guó)內(nèi)因種草而聲名大噪的社區(qū)，伴隨用戶規(guī)模的擴(kuò)大，已逐漸發(fā)展成為多元化的線上社區(qū)。眾多用戶通過(guò)筆記來(lái)記錄和分享自己的生活方式，當(dāng)前每日可分發(fā)的內(nèi)容多達(dá)數(shù)十億，每日新增發(fā)布的內(nèi)容有數(shù)百萬(wàn)之多，涵蓋圖文與視頻等形式，這些我們稱之為筆記。目前小紅書(shū)每日可產(chǎn)生數(shù)百億次的曝光量，每日超過(guò)一半的用戶在小紅書(shū)內(nèi)產(chǎn)生互動(dòng)行為，每日搜索查詢量達(dá)到億級(jí)。就產(chǎn)品形態(tài)而言，小紅書(shū)現(xiàn)分為雙列信息流和視頻沉浸流兩種。

一、業(yè)務(wù)背景介紹

1. UGC 社區(qū)

小紅書(shū) UGC 社區(qū)與其他社區(qū)類似，主要由三個(gè)重要組成部分構(gòu)成，分別是內(nèi)容、消費(fèi)用戶和創(chuàng)作者。這三者緊密相連，其中內(nèi)容是作者與用戶之間的橋梁，若具備足夠豐富多樣的內(nèi)容，我們就擁有廣闊的精細(xì)化分發(fā)空間。

中心化分發(fā)問(wèn)題的本質(zhì)在于曝光越多、活躍度越高的內(nèi)容，往往能獲得更多的分發(fā)，致使普通創(chuàng)作者的內(nèi)容分發(fā)效果相對(duì)較差。此外，用戶可能也會(huì)頻繁看到熱門(mén)興趣，導(dǎo)致自身中長(zhǎng)尾興趣的內(nèi)容所見(jiàn)相對(duì)較少。若要構(gòu)建生態(tài)良好的社區(qū)，去中心化分發(fā)問(wèn)題是需要解決的核心問(wèn)題。

結(jié)合上述兩點(diǎn)，去中心化分發(fā)應(yīng)從內(nèi)容側(cè)與用戶側(cè)分別解決。對(duì)于內(nèi)容側(cè)而言，應(yīng)設(shè)法通過(guò)多種方式識(shí)別和引入筆記本身的更多信號(hào)，而非僅依賴用戶對(duì)筆記的行為進(jìn)行分發(fā)。對(duì)于用戶側(cè)來(lái)說(shuō)，應(yīng)設(shè)法對(duì)用戶的興趣進(jìn)行更優(yōu)的挖掘，并在挖掘后予以一定的保護(hù)，鼓勵(lì)用戶中長(zhǎng)尾和小眾興趣的內(nèi)容分發(fā)，使用戶的興趣得到更全面的滿足。

2. 核心問(wèn)題

去中心化分發(fā)本質(zhì)上就是要解決兩個(gè)問(wèn)題，一方面是讓我們的系統(tǒng)學(xué)的更快，一方面是讓我們的系統(tǒng)學(xué)的更好。

• 學(xué)得快：整個(gè)系統(tǒng)鏈路學(xué)得更快，才能更快地捕捉到中長(zhǎng)尾內(nèi)容的信號(hào)和用戶中長(zhǎng)尾的興趣。這對(duì)于內(nèi)容冷啟動(dòng)和用戶冷啟動(dòng)也非常重要，如果一個(gè)新筆記在冷啟動(dòng)階段就沒(méi)有得到很好的分發(fā)，那它就很難走到下一個(gè)階段。同樣的，如果一個(gè)用戶剛剛表現(xiàn)出一個(gè)新的興趣或者小眾的興趣，沒(méi)有被立刻捕捉到，這個(gè)用戶可能就會(huì)因?yàn)闆](méi)有看到自己想看的東西而流失。中長(zhǎng)尾內(nèi)容同理，也會(huì)導(dǎo)致作者的發(fā)布欲望下降。
• 學(xué)得好：光是學(xué)的快其實(shí)還不夠，因?yàn)橹虚L(zhǎng)尾興趣和內(nèi)容的分發(fā)最終能不能滿足用戶和作者的要求，還要取決于系統(tǒng)學(xué)的好不好。想要做到這一點(diǎn)，必須要保證系統(tǒng)鏈路的每個(gè)環(huán)節(jié)對(duì)這些興趣和內(nèi)容都能做有效的透出。如下圖所示，整個(gè)推薦系統(tǒng)包括召回、初排、精排、后排這幾個(gè)階段，推薦系統(tǒng)的目標(biāo)是希望擬合用戶真實(shí)的興趣分布。在這方面，去中心化其實(shí)是個(gè)特殊的問(wèn)題。過(guò)去推薦系統(tǒng)的核心動(dòng)作是通過(guò)排序模型優(yōu)化來(lái)將用戶的消費(fèi)指標(biāo)不斷做高，但用戶消費(fèi)指標(biāo)提高不一定意味著整個(gè)系統(tǒng)的去中心化分發(fā)變得更好了。下游的供給是來(lái)自上游的，如果上游給的內(nèi)容就不好的話那下游怎么排也是排不好的，所以對(duì)去中心化分發(fā)這個(gè)問(wèn)題，反而越是上游鏈路越重要。

舉例來(lái)說(shuō)，曾經(jīng)我在搞圍棋 AI 的時(shí)候遇到過(guò)一個(gè)問(wèn)題，當(dāng)時(shí)我們學(xué)習(xí)了一個(gè) RL Policy，但這個(gè)模型經(jīng)常到了 200 步之后就下的非常差。我們對(duì)這個(gè)模型本身做了很多的調(diào)整，但最后都沒(méi)有什么用處。后來(lái)我們發(fā)現(xiàn)問(wèn)題出在 SL Policy 模型上，這個(gè)模型是通過(guò)人類棋手的監(jiān)督數(shù)據(jù)學(xué)習(xí)而來(lái)的，但是對(duì)于人類的九段棋手來(lái)說(shuō)，有很多高手在中盤(pán)就知道自己輸了，所以經(jīng)常不會(huì)下到 200 步以后，導(dǎo)致這樣的數(shù)據(jù)很少，且噪音比較大，那基座就學(xué)不好這個(gè)信息，基于這個(gè)基座學(xué)習(xí)的下游模型效果也不會(huì)好，所以這是一個(gè)蠻重要的問(wèn)題。

3. 高時(shí)效推薦系統(tǒng) for“學(xué)的快”

小紅書(shū)在 2020 年 Q2 之前，推薦系統(tǒng)的主要模塊都保持在天級(jí)更新的狀態(tài)。為此我們經(jīng)過(guò)兩年的持續(xù)迭代，通過(guò)數(shù)據(jù)流、訓(xùn)練框架、索引框架的改造以及實(shí)時(shí)計(jì)算技術(shù)，先后把精排、粗排、召回模塊都做到了分鐘級(jí)更新的狀態(tài)。后來(lái)我們還進(jìn)一步將初精排模型的訓(xùn)練也升級(jí)到了 gpu 異構(gòu)訓(xùn)練的狀態(tài)，就是 cpu worker 和 gpu worker 也是分開(kāi)的，這個(gè)可以進(jìn)一步提高模型的更新速度。

4. 鏈路分析 for“學(xué)的好”

經(jīng)過(guò)對(duì)整個(gè)系統(tǒng)鏈路的分析，我們發(fā)現(xiàn)在“學(xué)的好”這個(gè)方面，很多模塊都是有優(yōu)化空間的。

• 召回方面：我們對(duì)核心召回渠道做了一個(gè)曝光維度的分析，如下圖。橫軸是筆記按照曝光數(shù)的分桶，縱軸是不同召回渠道在不同曝光分桶上的分發(fā)占比。我們?cè)谡倩胤矫嫔暇€了多目標(biāo)、一致性、高精度等多路召回，時(shí)效性也都到了分鐘級(jí)，雖然整個(gè)大盤(pán)的消費(fèi)指標(biāo)是變好的，但數(shù)據(jù)分析顯示主要是在曝光比較高的區(qū)段變好的更多，在曝光比較低的區(qū)段表現(xiàn)仍是不好的，反而是其他的非頭部渠道在曝光比較低的分段區(qū)間表現(xiàn)的更好，而這些渠道多為純 CB 的召回渠道。
• 排序方面：我們發(fā)現(xiàn)如果我們不做任何干預(yù)，自然排名靠前的大多是比較熱門(mén)的或者是與用戶歷史興趣高度相似的內(nèi)容，且新筆記排名并不高。
• 后排方面：高活用戶的歷史興趣存在扎堆的現(xiàn)象，即使通過(guò)筆記類目進(jìn)行打散，也未獲得理想的效果，還會(huì)折損消費(fèi)指標(biāo)。

（1）原因分析

• 在當(dāng)前模型的特征體系中，對(duì)筆記 id 本身的依賴過(guò)強(qiáng)
• 過(guò)度依賴用戶行為信號(hào)，雖然也用了一些內(nèi)容信號(hào)，但對(duì)內(nèi)容信號(hào)的學(xué)習(xí)和利用并不充分，未能有效發(fā)揮內(nèi)容信號(hào)的作用
• 系統(tǒng)反復(fù)自我擬合，導(dǎo)致信息繭房問(wèn)題

（2）解決思路：從內(nèi)容側(cè)和用戶側(cè)分別來(lái)解決，雙向奔赴

• 特征側(cè)，除對(duì)筆記 id 特征的學(xué)習(xí)外，強(qiáng)化對(duì) sideinfo 的利用
• 內(nèi)容側(cè)，嘗試進(jìn)行全鏈路的多模內(nèi)容信號(hào)的引入
• 用戶側(cè)，系統(tǒng)性地加強(qiáng)用戶的興趣探索與保護(hù)

二、強(qiáng)化 Sideinfo 使用

1. Sideinfo 解耦

考慮到召回是最上游的鏈路，對(duì)去中心化問(wèn)題比較重要，我們首先從召回的角度嘗試優(yōu)化了 sideinfo 的建模方式。在召回模型中，對(duì) sideinfo 的使用通常比較簡(jiǎn)單，一方面是直接作為模型最底層的特征輸入，但這樣會(huì)導(dǎo)致信號(hào)學(xué)習(xí)比較弱，另一方面是 sideinfo 的 embedding 通常會(huì)和筆記 id 的 embedding 做 pooling 融合，這樣會(huì)導(dǎo)致 sideinfo 信號(hào)被淹沒(méi)，不同的 sideinfo 之間區(qū)分不清晰。

為解決這個(gè)問(wèn)題，最直接的方式就是將 sideinfo 進(jìn)行單獨(dú)的拆分建模。拆分之后，除原本對(duì)用戶 lastn 的序列建模外，還會(huì)對(duì) sideinfo 做單獨(dú)的序列建模。具體如下圖所示，我們先基于 Q 和 K 分別算出 id 和 sideinfo 維度的 attention score 后再與 V 相乘。此外，為進(jìn)一步強(qiáng)化 sideinfo 信號(hào)的學(xué)習(xí)，我們引入殘差的做法，將 sideinfo 與 attention 的輸出結(jié)果相加，進(jìn)一步提升 sideinfo 在整個(gè)模型中的影響力。此方法也推廣到了排序模塊。

2. 圖模型融合 sideinfo

提到用戶興趣泛化與長(zhǎng)尾內(nèi)容泛化，就不得不提到圖模型，圖模型相較傳統(tǒng)算法主要優(yōu)勢(shì)就在于其泛化能力和可擴(kuò)展性，故引入圖模型來(lái)強(qiáng)化 sideinfo 的使用是一個(gè)很自然的做法。不過(guò)如果直接將 sideinfo 作為圖中的節(jié)點(diǎn)加入學(xué)習(xí)，難以直接取得理想效果。首先，若為純 content-based 的做法，在推薦系統(tǒng)被行為信號(hào)主導(dǎo)的情況下，下游的透出率無(wú)法保證。雖然我們可采取一些手段進(jìn)行干預(yù)，例如通過(guò)中間鏈路進(jìn)行保量強(qiáng)制其透出，但做法較為生硬，效果也比較有限。其次，若對(duì)圖上的數(shù)據(jù)不做任何干預(yù)直接進(jìn)行學(xué)習(xí)，圖中會(huì)存在諸多的 bias，致使圖模型學(xué)習(xí)產(chǎn)生偏差。為此，我們從以下兩個(gè)方面進(jìn)行優(yōu)化。

首先，我們還是要想辦法將用戶的行為數(shù)據(jù)與純 CB 的數(shù)據(jù)進(jìn)行融合。比較直接的做法就是從圖中的邊入手，我們可以采取 CF 的方法來(lái)構(gòu)建圖中筆記到筆記的邊，同時(shí)根據(jù)筆記的 sideinfo 構(gòu)建筆記到 sideinfo 的邊，這樣圖中就同時(shí)兼具了 CB 與 CF 兩種信號(hào)。

然后，在引入了基于 CF 的邊之后，需要面對(duì)的一個(gè)問(wèn)題是 CF 本身存在 exposure bias 的問(wèn)題，即標(biāo)準(zhǔn) CF 通常比較偏向于出高熱的內(nèi)容，這對(duì)中長(zhǎng)尾內(nèi)容其實(shí)是不友好的。因此我們將標(biāo)準(zhǔn) CF 算法升級(jí)為 swing 算法。在 swing 算法中，如果一個(gè)中長(zhǎng)尾內(nèi)容被兩個(gè)用戶同時(shí)看過(guò)，而兩個(gè)用戶看過(guò)的筆記又比較少，即其興趣本身也較為長(zhǎng)尾，那么根據(jù) swing 公式的計(jì)算原理，不需要經(jīng)過(guò)太多次的曝光，這兩個(gè)筆記的相似分?jǐn)?shù)就會(huì)比較高，從而以更高的概率被召回。

此外，由于不同的 topic 關(guān)聯(lián)的筆記數(shù)量各異，就會(huì)導(dǎo)致少部分的 topic 連接著大部分的筆記，這又會(huì)引入 Popularity Bias。為此我們引入因果推斷中的后門(mén)準(zhǔn)則做法，將 topic 視為 treatment，通過(guò)后門(mén)準(zhǔn)則的消偏概率公式，對(duì) topic 到筆記的邊權(quán)進(jìn)行調(diào)整，緩解了所謂的 super node 的問(wèn)題。而圖中除了 super node，還存在 super path，即在圖游走的過(guò)程中部分 path 會(huì)更頻繁的出現(xiàn)，這些 path 都放在一起學(xué)習(xí)也會(huì)導(dǎo)致頻率出現(xiàn)較低 path 的信號(hào)被湮滅。為此我們又引入了 multiple meta path 的做法，針對(duì)不同的 meta path（如t-> t->t、t->n->t、t->n->n、t->t->n等）通過(guò)不同的 mlp 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)而非共享 mlp。不同的 meta path 對(duì)應(yīng)的 mlp 的輸出 concat 之后再作為后續(xù)網(wǎng)絡(luò)的輸入，從而緩解了這個(gè)問(wèn)題。

最后，我們發(fā)現(xiàn)圖的時(shí)效性也很重要，對(duì)算法效果能否有效地發(fā)揮也有很大的影響。而圖想要做到快速的更新是有挑戰(zhàn)的，業(yè)界很多公司也在做這方面的工作。就我們這個(gè)圖來(lái)說(shuō)，圖中包括 CB 和 CF 兩種邊，CB 邊可迅速更新，但 CF 邊是通過(guò) swing  計(jì)算得到的，而在小紅書(shū)的數(shù)據(jù)體量下，swing 全量計(jì)算是需要天級(jí)才能完成的。為解決這個(gè)問(wèn)題，我們將 swing 算法從 batch 計(jì)算升級(jí)為 flink 流式計(jì)算，從而解決了這個(gè)問(wèn)題。

3. sideinfo 在排序中的應(yīng)用

在排序中，sideinfo 主要是在各種 attention 中發(fā)揮作用，attention 分為 hard attention、target attention 和 self attention 幾種。

• hard attention 方面：通過(guò) target item 的類目或?qū)傩缘?sideinfo 作為 hit 條件，將命中的 lastn 的表征進(jìn)行融合，同時(shí)將 hit 作為統(tǒng)計(jì)值特征，與原始的 embedding layer 進(jìn)行 concat 作為模型特征輸入的一部分。
• target attention 方面：將 sideinfo 作為 target attention 模塊中的基礎(chǔ)信息來(lái)計(jì)算不同 lastn 的權(quán)重，然后根據(jù)該權(quán)重對(duì) lastn 的表征進(jìn)行加權(quán)融合，同時(shí)對(duì) sideinfo 做 early Fusion，即將 target item 的 sideinfo 在 attention 之前就與用戶 lastn 的 sideinfo 進(jìn)行融合，使其學(xué)習(xí)更加充分。
• self attention 方面：基于 sideinfo 在用戶側(cè)內(nèi)部做 self attention，同時(shí)以 sideinfo 構(gòu)建 gate 網(wǎng)絡(luò)，來(lái)學(xué)習(xí)各自 lastn 的興趣強(qiáng)度。
• 最后，以上方法相互之間做融合，可取得更好的效果。而對(duì) sideinfo 最極致的使用莫過(guò)于最近 meta 發(fā)表的 rankGPT 排序模型。在 rankGPT 中，user 側(cè)除 userid、基礎(chǔ)屬性特征以及 lastn 外，僅保留 sideinfo，其余的統(tǒng)計(jì)特征一概不用。在大數(shù)據(jù) + 大模型的方案下，模型的效果最終超越了 meta 的基線模型，并驗(yàn)證了 scaling law。其實(shí)關(guān)于這一點(diǎn)我本人也是比較看好的，在當(dāng)年圍棋AI 的調(diào)研過(guò)程中我們就發(fā)現(xiàn) 20+ 特征的版本效果甚至優(yōu)于 50+ 特征的版本。在那之后 AlphaZero 橫空出世，其特征僅寥寥數(shù)個(gè)，純靠自身進(jìn)行 selfplay 學(xué)習(xí)，不知rankgpt是否受此啟發(fā)。所以在 sideinfo 這個(gè)維度上，我相信類 rankGPT 的方案最終是可以走通的。業(yè)界常說(shuō)排序模型是特征的藝術(shù)，這個(gè)說(shuō)法在未來(lái)的某一天可能會(huì)被徹底顛覆。

三、多模信號(hào)全鏈路融合

前面討論了 sideinfo 如何建模的問(wèn)題，接下來(lái)我們從 sideinfo 本身的質(zhì)量出發(fā)來(lái)強(qiáng)化中長(zhǎng)尾內(nèi)容和興趣的分發(fā)。相比類目、keyword、topic 等 sideinfo，多模表征也是 sideinfo 很重要的一種，且蘊(yùn)含的內(nèi)容信號(hào)更為豐富。在這個(gè)章節(jié)中我們介紹如何通過(guò)多模信號(hào)來(lái)強(qiáng)化 sideinfo 的表達(dá)能力，以及如何通過(guò)多種方式將其應(yīng)用于我們的推薦系統(tǒng)。

首先提到一點(diǎn)，小紅書(shū)的多模態(tài)技術(shù)已經(jīng)經(jīng)過(guò)數(shù)輪迭代，從基于 CB2CF 的對(duì)比學(xué)習(xí)方案逐漸演變?yōu)榛诖竽Ｐ偷姆桨福?post-pretrain 階段，會(huì)引入下游的監(jiān)督信號(hào)進(jìn)行訓(xùn)練，使多模態(tài)表征融合了行為信號(hào)，而非純內(nèi)容信號(hào)本身。目前小紅書(shū)筆記的多模態(tài)表征已廣泛應(yīng)用于小紅書(shū)的多個(gè)場(chǎng)景。

1. 多模對(duì)比學(xué)習(xí)

首先，使用多模信號(hào)不一定非要通過(guò)加特征的方式，我們?cè)囘^(guò)直接在模型底層加特征，發(fā)現(xiàn)效果比較一般，這個(gè)和上面 sideinfo 解耦部分提到的問(wèn)題類似，因此我們嘗試了對(duì)比學(xué)習(xí)的方案來(lái)進(jìn)行多模信號(hào)融合。

常規(guī)的對(duì)比學(xué)習(xí)，通常是對(duì) item 的特征進(jìn)行劃分或 dropout，對(duì)同一個(gè) item 的兩個(gè)表征進(jìn)行對(duì)比學(xué)習(xí)，以強(qiáng)化中長(zhǎng)尾筆記的分發(fā)，但該方案并未引入額外的內(nèi)容信號(hào)，因此主要還是在依賴行為信號(hào)進(jìn)行學(xué)習(xí)。我們?cè)诖嘶A(chǔ)上引入多模信號(hào)，并將對(duì)比學(xué)習(xí)的方案進(jìn)行升級(jí)。我們直接將多模 embedding 與常規(guī)雙塔召回中的 item embedding 進(jìn)行 alignment。整個(gè)方案分為域內(nèi) alignment 和跨域 alignment 兩部分，域內(nèi)是指筆記的 text 和 image 的 embedding 進(jìn)行內(nèi)部 alignment，跨域是指將筆記 text 和 image 的 embedding 與 item 塔輸出的 item embedding 進(jìn)行 alignment。加上原本 u2i 模型中 user embedding 與 item embedding 的 alignment，三個(gè) loss 進(jìn)行聯(lián)合訓(xùn)練，取得了比單純?cè)谀Ｐ偷讓犹砑佣嗄１碚鞲玫男Ч４朔桨竻⒖剂?NIPS 2020 deepmind 的一篇工作。

2. AlignRec 框架

受此上面工作的啟發(fā)，我們進(jìn)一步提出 AlignRec 框架，此框架在上述方案基礎(chǔ)上更進(jìn)一步，提出一個(gè)更通用的多模態(tài)推薦框架。該方案在多個(gè)開(kāi)源數(shù)據(jù)集上達(dá)到了 SOTA 效果，目前已被 CIKM 2024 Full Research Paper Track 接收。整個(gè)框架分為以下幾個(gè)階段，具體見(jiàn)下圖：

（1）通過(guò) MMEnc 模塊將 text 和 image 的 embedding 內(nèi)部進(jìn)行對(duì)齊與融合，得到 item 在內(nèi)容側(cè)的表征。

（2）對(duì) user 和 item 的行為側(cè)原始表征基于 user 與 item 的行為圖做融合。

（3）內(nèi)容側(cè)的 item 表征會(huì)先和行為側(cè)的 item 表征做 Fusion，然后基于內(nèi)容側(cè) item 表征的相似度構(gòu)建圖來(lái)對(duì) fusion 后的 item embedding 做 aggregation 得到 item 的內(nèi)容聚合表征，然后 user 側(cè)會(huì)根據(jù) user 和 item 的行為圖做聚合，得到 user 在內(nèi)容維度的聚合表征。

（4）user 和 item 的行為聚合表征分別和內(nèi)容融合表征做 alignment 作為輔助 loss。

（5）user 和 item 的行為表征和內(nèi)容表征各自相加，得到 user 和 item 的跨域融合表征并做最終的 alignment。

3. 多模特征交叉

由于多模表征作為特征直接加在模型底層效果微弱，因此我們對(duì)多模在底層的使用方式進(jìn)行了探索，包括召回和排序模塊。

（1）召回方面

• 在過(guò)去我們上線了 pdn 召回，該路召回的亮點(diǎn)是做了 u2i 和 i2i 的聯(lián)合建模，但分析發(fā)現(xiàn)它的內(nèi)容分發(fā)仍然偏向于頭部?jī)?nèi)容。因此，我們對(duì) pdn 召回做了升級(jí)。我們將 trigger net 部分改成了 attention 結(jié)構(gòu)，同時(shí)在 simnet 部分引入了筆記的多模信息，即通過(guò)查表的方式得到用戶 lastn 和 target item 的多模表征，作為 simnet cross dnn 的輸入，通過(guò)特征交叉的方式在 simnet 的學(xué)習(xí)過(guò)程中引入多模信息。升級(jí)后的 pdn 對(duì)于中長(zhǎng)尾內(nèi)容和興趣的分發(fā)效果提升顯著，并帶動(dòng)了大盤(pán)的消費(fèi)指標(biāo)。
• 此外，我們還做了基于多模表征的長(zhǎng)序列 swing 算法。前面提到，我們把 swing 升級(jí)到流式計(jì)算后，由于不能全量計(jì)算，只能保留用戶近期的 lastn，導(dǎo)致算法對(duì)用戶長(zhǎng)期信號(hào)的捕捉變?nèi)酢榫徑膺@個(gè)問(wèn)題，同時(shí)考慮到性能，我們做了類似排序 sim 的做法，首先基于多模 embedding 從用戶長(zhǎng)期行為序列中檢索出跟 target item 比較相似的 lastn，然后將得到的結(jié)果和原始的 online swing 放在一起同時(shí)做訓(xùn)練，對(duì)用戶中長(zhǎng)尾興趣和長(zhǎng)期興趣的捕捉取得了不錯(cuò)的補(bǔ)充效果。

（2）排序方面

• 初排方面，考慮到初排的線上性能壓力，直接通過(guò)多模表征做相似檢索的性能是難以接受的，所以在初排我們是通過(guò)多模 embedding 聚類得到的聚類 id 對(duì) user lastn 做 hard search 來(lái)進(jìn)行多模特征交叉
• 精排方面，直接用多模 embedding 來(lái)做 soft search。我們?cè)O(shè)計(jì)了 GSU+ESU 的架構(gòu)，在離線訓(xùn)練時(shí)用戶 lastn 通過(guò)本地靜態(tài)表的方式接入筆記的多模 embedding 進(jìn)行訓(xùn)練，模型導(dǎo)出時(shí)會(huì)導(dǎo)出成 GSU 和 ESU 兩張子圖在線上分別做部署。GSU 子圖放到線上后，特征引擎通過(guò) RPC 的方式調(diào)用 GSU 服務(wù)，GSU 在圖內(nèi)基于 target item 的多模 embedding 對(duì)用戶 lastn 的多模 embeddings 做檢索，得到最相似的 topk lastn，然后再將 topk lastn 及其相關(guān)特征送入通過(guò) ESU 子圖做 attention 建模。

4. 基于多模的后排打散

在業(yè)界通常會(huì)有個(gè)認(rèn)知，后排打散通常會(huì)帶來(lái)消費(fèi)指標(biāo)的損失，但我們驗(yàn)證下來(lái)之后發(fā)現(xiàn)，多樣性的提高和消費(fèi)指標(biāo)的提升其實(shí)是不沖突的，如果出現(xiàn)蹺蹺板效應(yīng)，那還是因?yàn)榇蛏](méi)有做到個(gè)性化的多樣性。

我們?cè)?KDD 2021 上提出了一種解法。該做法包括兩方面，一是加入滑動(dòng)窗口的概念，二是引入融合行為信號(hào)的多模 embedding。滑動(dòng)窗口有效地結(jié)合了多個(gè)窗口，我們把窗口之外的筆記先通過(guò)逆 MGS 的方式做向量還原，然后對(duì)窗口內(nèi)部筆記的 embedding 重新做 MGS 分解，得到當(dāng)前位置的候選筆記的 embedding，再根據(jù)該 embedding 計(jì)算與前面內(nèi)容的相似度，并結(jié)合當(dāng)前內(nèi)容的相關(guān)性分?jǐn)?shù)最終確定當(dāng)前位置選擇哪個(gè)筆記。可以看出，筆記 embedding 的質(zhì)量對(duì)這個(gè)算法是非常重要的。如果我們基于純 CB 的 embedding，由于 embedding 中沒(méi)有行為的信號(hào)，直接做打散就會(huì)對(duì)消費(fèi)指標(biāo)帶來(lái)負(fù)向的影響。因此我們通過(guò)對(duì)比學(xué)習(xí)的方式，提前得到了融合行為信號(hào)的多模 embedding。后來(lái)我們對(duì)該算法使用的多模 embedding 再次做了升級(jí)，又帶來(lái)了多樣性和消費(fèi)指標(biāo)的雙提升。

四、興趣探索及鏈路保護(hù)

上面介紹了從內(nèi)容側(cè)來(lái)解決去中心化分發(fā)問(wèn)題的一些工作，接下來(lái)我們介紹下在用戶側(cè)解決該問(wèn)題的一些思路。從用戶角度來(lái)說(shuō)，看不到中長(zhǎng)尾興趣的內(nèi)容，有很大的原因是因?yàn)橄到y(tǒng)總是在擬合用戶的歷史興趣。想要打破這一點(diǎn)，就需要引入興趣探索和興趣保護(hù)的能力。

1. 顯式多興趣

首先還是從召回模塊入手，多興趣模型是召回階段做用戶興趣探索的常用手段之一。我們?cè)鴩L試了一些基于多向量的多興趣做法，包括 mind、comirec 等，但在多樣性和中長(zhǎng)尾內(nèi)容分發(fā)方面沒(méi)有得到理想的效果。經(jīng)過(guò)分析我們發(fā)現(xiàn)：其一，若直接基于用戶的 lastn 做聚類，本質(zhì)上還是在完全依賴用戶的歷史興趣做建模，而用戶的潛在興趣在用戶的歷史行為中還比較弱勢(shì)，不進(jìn)行顯式的挖掘很難直接獲取。其二，多興趣不等于多向量，多向量的效果也未必優(yōu)于單向量，還會(huì)引發(fā)一些其他問(wèn)題，例如會(huì)導(dǎo)致線上性能壓力升高，限制探索興趣的數(shù)量。其三，多向量的做法還是很難做到精準(zhǔn)的個(gè)性化，同一用戶的不同向量所代表的興趣難以顯式區(qū)分和解釋，不同用戶的多向量所代表的興趣也難以做到全局概念上的對(duì)齊。

為此，我們反其道行之，相較于隱式挖掘多興趣，我們改為顯式挖掘的方式。具體來(lái)說(shuō)，我們先構(gòu)建一個(gè)客觀存在的全局興趣集合，這樣興趣集合中的每一個(gè)向量都代表著一個(gè)相對(duì)明確的興趣。然后我們通過(guò)檢索的方式，基于用戶 lastn 從這個(gè)興趣超集中顯式選取 topk 的興趣。接下來(lái)我們預(yù)測(cè)用戶的下一個(gè)興趣與當(dāng)前所選擇的 topk 興趣向量的相關(guān)系數(shù)，然后聚合得到用戶的興趣向量，最終只將該單向量應(yīng)用于線上。這種做法從性能和效果來(lái)說(shuō)都取得了比較理想的效果，且具有更好的可解釋性。

2. EE 興趣探索

說(shuō)到興趣探索，就不得不提及 EE。目前工業(yè)界 EE 方面的工作大多都在更靠近用戶的后鏈路展開(kāi)，因 EE 如果做在前鏈路，受到下游鏈路的影響，最終對(duì)用戶的實(shí)際影響會(huì)受到較大的削弱。然而，對(duì)去中心化分發(fā)問(wèn)題來(lái)說(shuō)只在后鏈路做 EE 是不夠的，如果只是做在后鏈路，那一個(gè)很大的問(wèn)題是若前鏈路下發(fā)的用戶中長(zhǎng)尾興趣的內(nèi)容本身就很少，那么探索的天花板就比較低，因此我們需要在前鏈路就設(shè)法通過(guò) EE 將用戶中長(zhǎng)尾興趣的內(nèi)容挖掘出來(lái)。但僅在上游鏈路完成探索，下游鏈路若沒(méi)有有效承接，還是會(huì)導(dǎo)致整個(gè) EE 的效率比較低。

為兼顧以上兩個(gè)問(wèn)題，我們提出了一種新的 EE 做法。

• 首先，我們?cè)谡倩仉A段對(duì)用戶的召回向量表征加一些高斯噪音擾動(dòng)，獲取一個(gè)新的召回向量，得到相應(yīng)的召回結(jié)果。
• 然后，我們采用了基于 Evolution Strategy 的策略，將下發(fā)未曝光但在下發(fā)排名較高的當(dāng)次探索內(nèi)容進(jìn)行保存，參與后續(xù)的召回。在這個(gè)過(guò)程中，我們將召回模塊作為交叉再生算子，將初排和精排漏斗當(dāng)作遺傳選擇算子。在下一次召回時(shí)，會(huì)從前n 代最后下發(fā)的頭部筆記中選取未得到曝光的那些探索筆記，作為結(jié)果重新參與召回的再生。

我們發(fā)現(xiàn)這種系統(tǒng)性的 EE 做法，相較于單純?cè)谡倩仉A段對(duì)向量擾動(dòng)做 EE，對(duì)整個(gè)系統(tǒng)在中長(zhǎng)尾興趣的內(nèi)容分發(fā)方面產(chǎn)生了更顯著的影響。

3. 中間鏈路興趣保量

受到 EE 做法的啟發(fā)，我們發(fā)現(xiàn)除了興趣探索之外，中間鏈路的興趣保量也很重要，只探索不保護(hù)會(huì)導(dǎo)致興趣探索最終無(wú)疾而終。從召回階段的興趣挖掘，再到最終曝光給用戶，推薦系統(tǒng)中間會(huì)經(jīng)歷召回進(jìn)初排、初排進(jìn)精排等多個(gè)階段。在興趣保護(hù)方面，已有的做法大多是通過(guò)調(diào)整初精排的融合公式來(lái)對(duì)那些希望最終能展現(xiàn)給用戶的內(nèi)容做一些提權(quán)，但這種做法有兩個(gè)比較大的短板。首先這種做法比較黑盒，對(duì)系統(tǒng)全局的影響不得而知。其次，某些特殊需求無(wú)法通過(guò)融合公式的調(diào)整直接做到，比如關(guān)注渠道是對(duì)中長(zhǎng)尾內(nèi)容和興趣有效分發(fā)的渠道之一，如果我們想要單獨(dú)調(diào)整某次下發(fā)中關(guān)注鏈筆記集合的內(nèi)部序，通過(guò)全局的融合公式很難做到。

為此，我們構(gòu)建了白盒化的多隊(duì)列保量框架，來(lái)和黑盒化的融合公式做互補(bǔ)。以初排進(jìn)精排階段的多隊(duì)列為例（召回進(jìn)初排我們也加入了多隊(duì)列框架），我們從多個(gè)維度對(duì)初排進(jìn)精排的筆記進(jìn)行了隊(duì)列拆分，每個(gè)隊(duì)列內(nèi)部可以進(jìn)行定制化排序，這樣就能解決前面所說(shuō)的關(guān)注鏈筆記個(gè)性化排序無(wú)法實(shí)現(xiàn)的問(wèn)題。再者，每個(gè)隊(duì)列可進(jìn)行獨(dú)立的截?cái)啵壳拔覀円呀?jīng)實(shí)現(xiàn)了一套基于 Evolution Strategy 的自動(dòng)尋參工具，可通過(guò)該工具對(duì)每個(gè)隊(duì)列的截?cái)嘀颠M(jìn)行超參自動(dòng)尋優(yōu)。

4. 基于大模型的潛在興趣挖掘與強(qiáng)化

最近一年大模型技術(shù)正在引領(lǐng)一場(chǎng)新的技術(shù)革命，大模型對(duì)于大多數(shù)問(wèn)題的理解能力遠(yuǎn)遠(yuǎn)超過(guò)許多傳統(tǒng)的模型，因此展現(xiàn)出在興趣挖掘方面強(qiáng)大的潛力。鑒于大模型的性能要求很高，直接將其作為在線模塊用于用戶的興趣探索目前并不現(xiàn)實(shí)。為此小紅書(shū)采取了一種折中的辦法，首先基于 COT 原則設(shè)計(jì)了專門(mén)的 prompt 構(gòu)造用戶畫(huà)像，然后通過(guò)小紅書(shū)自研的大模型基座 tomato-7B 離線預(yù)估用戶的潛在興趣，將得到的結(jié)果通過(guò) SIMCSE 模型與已有的標(biāo)簽體系做映射，最終對(duì)命中標(biāo)簽的筆記在后排階段給予助推，從而和前鏈路的興趣探索和興趣保量一起，形成用戶興趣挖掘的閉環(huán)。

五、未來(lái)展望

未來(lái)在去中心化問(wèn)題上仍然存在許多工作可以開(kāi)展，主要分為以下幾個(gè)方面：

• 生成式推薦：相較于傳統(tǒng)的判別式推薦，生成式推薦具有更強(qiáng)的多樣性和泛化能力，目前生成式召回和排序的工作我們已在探索中，并取得了階段性的結(jié)果。
• 交互式搜索：基于大模型技術(shù)，以多輪對(duì)話的方式更全面細(xì)致地捕捉用戶意圖和挖掘用戶興趣，返回令用戶有驚喜感的內(nèi)容。
• 多模態(tài)畫(huà)像：將用戶的個(gè)人信息和歷史行為輸入預(yù)訓(xùn)練的多模態(tài)大模型得到用戶畫(huà)像，通過(guò) token 化技術(shù)提取圖片中的筆記畫(huà)像，將用戶畫(huà)像和筆記畫(huà)像作為推薦各模塊模型的輸入。
• 多模態(tài)聯(lián)合訓(xùn)練：傳統(tǒng)多模態(tài)推薦通常采取預(yù)訓(xùn)練+finetune 兩階段的做法，可嘗試直接做 end2end 的多模態(tài)和行為聯(lián)合訓(xùn)練，這也是個(gè)值得探索的方向。
• 全域信號(hào)聯(lián)合建模：通過(guò)搜廣推全域預(yù)訓(xùn)練大模型或全域圖模型，打通全域信號(hào)，捕捉用戶在整個(gè) app 上的行動(dòng)軌跡，更全面地挖掘和學(xué)習(xí)用戶全域興趣。

今天主要是圍繞去中心化分發(fā)這個(gè)話題分享了小紅書(shū)在這方面的部分工作，除此以外小紅書(shū)還有很多在推廣搜和大模型方面的工作，時(shí)間原因不做進(jìn)一步展開(kāi)。