多模態(tài)對(duì)齊在小紅書推薦的研究及應(yīng)用

2024-09-25 16:08:52

由于多模態(tài)模型與推薦模型在訓(xùn)練過程中存在步調(diào)不一致問題，導(dǎo)致聯(lián)合訓(xùn)練被推薦信號(hào)主導(dǎo)，從而丟失大量多模態(tài)信息。AlignRec 通過分階段對(duì)齊的方式，設(shè)計(jì)了三種針對(duì)性的優(yōu)化損失函數(shù)，使得聯(lián)合訓(xùn)練能夠同時(shí)兼顧多模態(tài)信息和推薦信息。

在 CIKM 2024 上，小紅書中臺(tái)算法團(tuán)隊(duì)提出了一種創(chuàng)新的聯(lián)合訓(xùn)練框架 AlignRec，用于對(duì)齊多模態(tài)表征學(xué)習(xí)模型和個(gè)性化推薦模型。本文指出，由于多模態(tài)模型與推薦模型在訓(xùn)練過程中存在步調(diào)不一致問題，導(dǎo)致聯(lián)合訓(xùn)練被推薦信號(hào)主導(dǎo)，從而丟失大量多模態(tài)信息。AlignRec 通過分階段對(duì)齊的方式，設(shè)計(jì)了三種針對(duì)性的優(yōu)化損失函數(shù)，使得聯(lián)合訓(xùn)練能夠同時(shí)兼顧多模態(tài)信息和推薦信息。實(shí)驗(yàn)結(jié)果表明，AlignRec 在多個(gè)數(shù)據(jù)集上的性能超過了現(xiàn)有的 SOTA（state-of-the-art）模型。此外，AlignRec 還提供了在當(dāng)前廣泛使用的公開數(shù)據(jù)集亞馬遜上的預(yù)處理特征，這些特征的效果顯著優(yōu)于現(xiàn)有的開源特征。

01背景

最近多模態(tài)是個(gè)非常熱門的話題，尤其是在大模型以及 AIGC 領(lǐng)域，多模態(tài)基建和技術(shù)是走向未來商業(yè)化的奠基石。在過去的多模態(tài)大模型研究方向上，模態(tài)的“對(duì)齊”已經(jīng)被驗(yàn)證非常重要，分布的不一致?lián)p害不同模態(tài)的理解，我們此次要討論的核心問題是多模態(tài)在推薦中的對(duì)齊問題；

在具體介紹論文工作之前，我們先來介紹下我們過去在推薦和電商中的實(shí)踐工作：

02相關(guān)工作

我們在這里通過 (a), (b), (c) 描述了在過往的學(xué)術(shù)界目前多模態(tài)推薦方向的相關(guān)工作，總結(jié)主要的發(fā)展路徑：

圖(a)，直接利用，比如把 embedding，多模態(tài)特征作為信號(hào)輸入網(wǎng)絡(luò)；
圖(b)，利用圖等方式聚合，希望能得到更豐富的多模態(tài)信息表達(dá)，這本質(zhì)上也是增加多模態(tài)側(cè)信息的召回率；
圖(c)，聯(lián)合優(yōu)化，把模態(tài)損失和行為損失共同優(yōu)化，但這忽略了本身筆記側(cè)的多模態(tài)學(xué)習(xí)。

在工業(yè)界，現(xiàn)階段推薦系統(tǒng)主要還是依賴于 ID 特征的學(xué)習(xí), 大多數(shù)多模態(tài)推薦把多模態(tài)信息作為 sideinfo 去輔助 ID 特征的學(xué)習(xí)。但是, 多模態(tài)之間以及 ID 模型與多模態(tài)之間都存在著語義鴻溝, 直接使用甚至可能適得其反。

核心挑戰(zhàn)

為了貼合業(yè)界實(shí)際，設(shè)計(jì)一款有效的多模態(tài)與推薦聯(lián)合訓(xùn)練模型會(huì)遇到如下的挑戰(zhàn)：

挑戰(zhàn)1: 如何對(duì)齊多模態(tài)表征。包括內(nèi)容模態(tài)之間（如圖文）的對(duì)齊，以及內(nèi)容模態(tài)與 ID 模態(tài)之間的對(duì)齊；
挑戰(zhàn)2: 如何平衡好內(nèi)容模態(tài)和 ID 模態(tài)之間的學(xué)習(xí)速度問題。內(nèi)容模態(tài)可能需要超大規(guī)模的數(shù)據(jù)和時(shí)間去訓(xùn)練, 而 ID 模態(tài)的學(xué)習(xí)更新可能只需要幾個(gè) epoch。
挑戰(zhàn)3: 如何評(píng)估多模態(tài)特征對(duì)推薦系統(tǒng)的影響。引入不合適的多模態(tài)信息可能需要更多的精力去做糾正, 甚至可能影響推薦系統(tǒng)的性能。

03設(shè)計(jì)方案

我們所提出的方法命名為 AlignRec，整體框架如下圖所示, 主要包含3個(gè)模塊: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分別進(jìn)行介紹。

Multimodal Encoder Module

??????????是一個(gè)預(yù)訓(xùn)練的模塊, 它以物品的多個(gè)內(nèi)容模態(tài)為輸入,實(shí)現(xiàn)物品側(cè)視覺模態(tài) 和文本模態(tài) 的對(duì)齊, 最后統(tǒng)一輸出多模態(tài)表征：

具體地, 我們使用 BEiT3 作為骨干網(wǎng)絡(luò), 通過 mask-then-predict 策略進(jìn)行訓(xùn)練, 包括 mask-image-modeling (MIM) 和 mask-language-modeling (MLM), 分別 mask 掉一定比例的圖/文 token, 再嘗試訓(xùn)練恢復(fù)還原出正確的 token, 這兩個(gè)任務(wù)分別對(duì)應(yīng)著不同的 Loss

再將兩者的 Loss 進(jìn)行相加得到預(yù)訓(xùn)練階段的 Loss

在應(yīng)用時(shí), 取 CLS token 作為物品側(cè)統(tǒng)一的多模態(tài)表征。

對(duì)于 Open DataSource 我們并不會(huì)加入顯式的行為信息，確保多模態(tài)模型的能力和合理性，但在業(yè)界實(shí)際使用時(shí)，我們通常會(huì)加入?yún)f(xié)同信號(hào)；

Aggregation Module

這個(gè)模塊以 ID 模態(tài)和前面統(tǒng)一的內(nèi)容模態(tài)為輸入，構(gòu)建異構(gòu)圖，基于 GCN（作者使用 LightGCN）做多層聚合，從而輸出 User 和 Item 的 ID 模態(tài)，User 的多模態(tài)表征，Item 的多模態(tài)表征。

流程上總計(jì)分為三個(gè)步驟：

User 側(cè)和 Item 側(cè)的 ID 模態(tài)，通過圖聚合的方式，得到 User 和 Item 的表征，分別表示為和；
物品側(cè)的多模態(tài)表征，內(nèi)容模態(tài)表征經(jīng)過一個(gè) MLP 進(jìn)行映射，再做 Element-wise 乘積與 ID Embed 進(jìn)行融合, 得到融合了內(nèi)容先驗(yàn)知識(shí)的內(nèi)容表征，之后基于統(tǒng)一的內(nèi)容模態(tài)表征, 構(gòu)造物品側(cè)的相似矩陣，每個(gè)物品取與它最相似的 10 個(gè) Item 做聚合, 得到物品側(cè)的多模態(tài)表征輸出，表示為；
用戶側(cè)的多模態(tài)表征，對(duì)于 User 側(cè)，通過聚合用戶歷史交互過的 Item 得到用戶側(cè)的多模態(tài)表征，表示為；

訓(xùn)練細(xì)節(jié)上，我們使用 InfoNCE 對(duì)齊內(nèi)容模態(tài)表征和 ID 模態(tài)表征，讓同 Item 的內(nèi)容模態(tài)表征與 ID 模態(tài)表征更接近，不同 Item 的內(nèi)容模態(tài)表征及 ID 模態(tài)表征的距離更疏遠(yuǎn)。但如果不加任何約束，可能會(huì)盲目地趨近于表征，引起模態(tài)表征坍塌。為了規(guī)避這個(gè)問題，我們增加了正則項(xiàng)約束：

Fusion Module

這個(gè)模塊的作用在于融合 ID 模態(tài)表征和多模態(tài)表征, 從而得到 User 側(cè)表征和 Item 側(cè)表征, 用于召回的 topK 向量檢索

將相應(yīng)的表征進(jìn)行相加：

在得到 User 側(cè)和 Item 側(cè)的表征之后，我們增加了個(gè) User 側(cè)和 Item 側(cè)的對(duì)齊，具體地，我們對(duì)用戶表征以及交互 Item 對(duì)應(yīng)的表征作了相似度約束。

統(tǒng)一訓(xùn)練

推薦任務(wù)會(huì)使用 BPR 計(jì)算損失:

前面挑戰(zhàn) 2 提到, 內(nèi)容模態(tài)和 ID 模態(tài)的學(xué)習(xí)速度有很大差異, 因此, 會(huì)先在預(yù)訓(xùn)練階段對(duì)齊不同內(nèi)容模態(tài), 得到統(tǒng)一的內(nèi)容模態(tài)表征輸出。而在后續(xù)的 End2End 訓(xùn)練階段, 則加權(quán)融合推薦任務(wù)的損失, 正則化損失, 以及前面多個(gè)對(duì)齊目標(biāo)損失, 得到最終的訓(xùn)練損失。

中間評(píng)估指標(biāo)

為了更準(zhǔn)確評(píng)估多模態(tài)特征在推薦系統(tǒng)中的適用性及應(yīng)用效果, 我們提出了 3 種中間評(píng)估方案:

Zero-Shot推薦

用于評(píng)估基于用戶歷史交互行為, 多模態(tài)特征能否反映出用戶興趣, 包括 3 個(gè)步驟:

按時(shí)間順序?qū)τ脩魵v史交互行為排序, 取最后一個(gè)行為作為Target Item，其余作為用戶歷史行為交互
基于用戶歷史行為交互，計(jì)算用戶的多模態(tài)表征：

計(jì)算與 Target Item 的相似度, 判斷是否在TopK中出現(xiàn)

Item-CF推薦

用于評(píng)估只使用多模態(tài)特征, 基于協(xié)同過濾的方法進(jìn)行物品推薦的能力

計(jì)算每對(duì) Item 的I tem-CF 分?jǐn)?shù)；
為每個(gè) Item j , 選擇最高 Item-CF 分?jǐn)?shù)所對(duì)應(yīng)的Item i 作為 Target Item；
使用多模態(tài)表征計(jì)算 Item j 與候選集里其它 Item 的相似度得分, 判斷 Item i 是否在 TopK 里。

Mask Modality推薦

按一定比例 mask 視覺模態(tài)或文本模態(tài), 衡量最終推薦效果差異, 從而評(píng)估不同內(nèi)容模態(tài)的重要度。

04實(shí)驗(yàn)結(jié)論

在不同數(shù)據(jù)集上與各 baseline 模型做對(duì)比，在目前的多模態(tài)公開數(shù)據(jù)集表現(xiàn)上達(dá)到 SOTA：

Pretraining 的模型在論文所提各中間評(píng)估指標(biāo)上均超越 CLIP 的表現(xiàn)：

在開源數(shù)據(jù)集上生產(chǎn)的多模態(tài)特征與開源多模態(tài)特征對(duì)比效果上，AlignRec 的性能明顯提升：

下面的表格也展示了不同模塊的消融效果：

我們也列出了各個(gè)超參數(shù)對(duì)效果影響：

最后，我們也對(duì)比了長尾的效果：

05總結(jié)

我們的貢獻(xiàn)可以被總結(jié)為三點(diǎn)：

我們一直在探索對(duì)齊問題，并且通過小紅書推薦實(shí)踐，設(shè)計(jì)了可復(fù)用的多模態(tài)召回范式，已經(jīng)拿到了線上AB收益；
提出AlignRec聯(lián)合訓(xùn)練方式，深入解決對(duì)齊問題，提出分階段對(duì)齊的模式和中間指標(biāo)評(píng)估方式；
最后，我們對(duì)Amazon的數(shù)據(jù)集整體的多模態(tài)數(shù)據(jù)源進(jìn)行升級(jí)，為后續(xù)研究打下基礎(chǔ)。

06作者簡介

幻翎
小紅書算法工程師，主要研究方向：通用推薦模型算法，多模態(tài)算法研究和應(yīng)用。
圖森
小紅書算法工程師，主要研究方向：通用多模態(tài)算法，大模型算法研究。
特圖
小紅書基礎(chǔ)模型團(tuán)隊(duì)負(fù)責(zé)人，主要研究方向：多模態(tài)大模型 x 內(nèi)容分發(fā)技術(shù)。
大輔
小紅書應(yīng)用模型團(tuán)隊(duì)負(fù)責(zé)人，主要研究方向：通用推廣搜模型算法，多模態(tài)和大模型技術(shù)的研究和應(yīng)用。

責(zé)任編輯：龐桂玉來源：小紅書技術(shù)REDtech

多模態(tài)