小紅書搜索：生成式檢索的探索與實踐

作者：馮少雄 2024-10-10 08:19:50

人工智能

本次分享主題為生成式檢索的探索和實踐，將介紹當前常見的檢索范式，以及發表于 EACL 的關于生成式檢索的一篇論文，重點剖析記憶機制相關問題。

一、研究團隊

目前團隊有四名成員，主要研究方向包括大模型評測推理及生成式檢索，目前在進行技術攻關以實現大模型在搜索系統各環節的落地應用。

二、檢索范式

目前常見的檢索范式包括：

稀疏檢索，如 TF-IDF、BM25，以及一些擴展的混合檢索；
密集檢索，常見模型有 DSSM，還有一些變體，如難負樣本挖掘、后交互、知識蒸餾，以及 loss 上的一些工作（對比學習）。
生成式檢索，常見的有三種，一種是對現有檢索系統各個模塊進行優化，比如在 QP 環節對查詢進行改寫，對最終結果進行摘要，這在商品搜索、小紅書、抖音、快手等平臺都能看到，即 one box 查完后上文的摘要；第二種是今天要介紹的主題 GDR，根據 query 直接生成筆記 ID 或文檔 ID，要求對檢索系統的召回環節進行較大改動；第三種是理想態，如 ChatGPT，直接生成結果的 context。從使用角度看，對于某一類問題，用戶可能希望有直接生成的結果，但對于像小紅書、抖音、快手等內容平臺，用戶不僅希望看到搜索結果的摘要，還希望看到其他用戶在平臺上關于查詢內容的分享，所以這幾種檢索類型都有必要。

三、GDR：記憶機制的雙刃劍效應

接下來介紹我們發表在 EACL 2024 Oral 的一個工作：

主要探索生成式檢索的關鍵問題——記憶機制。文章中分析了記憶機制的幾個問題，并與密集檢索進行了重要差異對比。針對生成式檢索的問題，提出了一些解決方案。

簡要回顧密集檢索，其本質是利用語義向量匹配機制，在各個業務場景廣泛應用。其優點是具有較低的時延、可接受的在線計算開銷，并且比較靈活，當文檔庫發生動態更新時，可以快速高效地更新索引。采用雙塔模型，無論是 query 側還是筆記側，都可以輸入豐富的信息，有助于模型捕捉細粒度特征。上圖中可以看到，雙塔一側是 query 的語義向量編碼，另一側是 doc 的語義向量編碼，在向量空間做距離計算，進行優化。

其不足之處是雙塔模型無法進行深度交互，都是得到向量后，語義向量在歐氏空間進行計算。我們知道深交互有助于特征交叉，提升模型性能。但在檢索環節，由于對計算時間和開銷的要求，一般不會進行深度交互。另外一個缺點是，查詢和文檔之間具有一對多的特性，候選文檔的語義關聯可能較遠，而查詢想召回的所有候選文檔則要求它們在語義空間接近，產生了矛盾。

再來看一下生成式檢索。給定一個 query，生成式檢索的編碼端首先得到一個向量，然后將這個向量給到文檔解碼器，用 Beam Search 解碼策略逐步得到每篇筆記的 ID。這意味著筆記需要通過 ID 進行表示，可以是單值或一串序列的值。預測過程是給 query 直接生成筆記 ID，而不是先得到 query 的向量，在歐氏空間和筆記向量進行計算找到最相似的向量。其本質是利用記憶機制，因為 query 進去后，筆記沒有拿出向量，所以要求模型根據 query 記住相關筆記的 ID 序列。

在較小規模的候選文檔場景下，生成式檢索展現出了優于密集檢索的召回性能。具體優點包括：模型以參數作為記憶載體，記住所有候選文檔，在解碼過程中隱式實現了候選文檔和查詢的深度交互，這是密集檢索的主要缺點；另外，文檔被賦予了獨立的 ID，避免了密集檢索存在的 one to many 情況；如果將 query 的編碼器換成大語言模型，能有效利用預訓練語言模型的語義理解能力。

但生成式檢索也存在不足，接下來從三個方面來詳細介紹。

首先，對候選文檔的細粒度特征有效記憶不足。生成式檢索的訓練流程是先對文檔進行表示，通過聚類得到層級樹狀圖，每篇筆記通過一條 path 表示。然后對 query 進行處理，為每篇筆記生成一堆 query 來表示筆記，將真實 query 和生成 query 集合作為輸入，生成對應的筆記 ID。但目前構建 query 的方式不能很好地充分拿到所有筆記信息和進行從細粒度到 high level的表示學習，導致候選文檔不能很好地記住細粒度特征。

我們做了一個實驗，對比基線是常見的密集檢索模型和生成式模型 NCI。對文檔獲取語義向量后聚類，得到層次化 ID，分別用 AR2 和 NCI 模型召回筆記，在測試集上統計錯誤率。發現生成式檢索模型在前面幾位錯誤率較低，但越往后錯誤率升得特別快，驗證了對細粒度特征有效記憶不足的問題。

其次，當候選文檔規模增大時，性能會顯著下降。原因是模型參數有限，記憶容量有限，當候選文檔容量超過模型記憶容量時，記憶出現瓶頸，性能下降明顯。我們做了一個實踐，構建不同規模的候選文檔集合訓練 NCI 模型，測試在不同候選文檔下的表現，發現候選文檔增多時，生成式模型的召回率下降明顯。

第三，候選文檔更新時可擴展性差。對于密集檢索，新文檔加入后可以快速更新向量加入索引。但對于生成式檢索，文檔變了需要生成新的 query 加入模型訓練，容易出現災難性遺忘問題。如果不訓練直接應用，可能會出現預測不準確的問題。我們做了一個驗證實驗，將數據集均分為兩份，先用一份子集訓練 NCI 模型，然后更新候選集不重新訓練模型，測試在不同查詢集上的表現，發現候選集擴充后召回率下降。

總結一下生成式檢索和密集檢索的優缺點。生成式檢索的本質是記憶機制，是序列化生成筆記 ID，自回歸解碼范式導致時間和計算開銷大，當候選文檔多時代碼層數變多，對細粒度特征記憶不足，候選文檔庫變化時需要重新訓練模型。但優點是在解碼過程中實現了查詢和候選文檔的深交互，文檔有獨立 ID 且能利用大模型的理解能力。密集檢索本質是向量匹配機制，優點是較低的時延、可接受的計算開銷，能捕捉細粒度特征，文檔庫動態變化時可高效更新索引。但缺乏深交互，存在一對多的問題。

經過分析得出結論，兩者可以很好地互相補充。

我們可以利用生成式檢索的記憶能力記住 high level 的語義類 ID，到細粒度的地方用密集檢索做匹配。具體而言，記憶機制主要用來記憶候選文檔簇，一旦選到簇這個粒度之后，就會使用匹配機制，在更少的候選文檔集合-簇里面做細粒度的匹配。

給定 query，編碼器先編碼出向量，進入解碼階段，首先對筆記進行向量表示和聚類，解碼層級樹的前面部分 high level 的 ID，得到候選文檔簇的概率。在粗粒度生成后，在相關的葉子節點內進行細粒度的匹配，使用損失函數得到綜合分數得到最終結果。

文檔簇 ID 層級結構的構建至關重要。傳統檢索表示到 doc ID 維度會有問題，一是文檔數量增加時模型參數量也要增加，否則召回性能下降；二是目前文檔表示不一定有助于構建層級文檔簇 ID。我們做了分析，如上圖中的公式，先用 Bert 對文檔進行向量表示得到一個樹，再以我們的方式，用雙塔模型進行密集檢索訓練，用文檔的 encoder 生成向量，構建一個樹，這樣得到兩個樹。在兩個樹里，分別對正確文檔的 ID 計算出最大公共子序列，最前面的最大公共子序列應盡量一致，越一致，模型記憶的負荷越小。因此我們希望構建易于記憶的文檔簇，減少模型記憶負荷。