PaRT：小紅書團隊讓AI平均對話時長顯著提升21.77%

發布于 2025-5-7 00:40

瀏覽

0收藏

1. 為什么要提出PaRT框架

大型語言模型（LLMs）的突破性進展，正推動社交聊天機器人向更智能、更擬人的方向飛速發展。然而現有系統大多聚焦于情感化應答，卻忽視了主動對話的藝術——那些僅采用被動應答策略的傳統機器人，往往讓用戶陷入單方面推動對話的困境，最終導致互動索然無味。

主動對話技術為此提供了破局之道。這類系統能像人類般主動開啟話題（如"您最向往哪個旅游勝地？"），或在察覺用戶興趣減退時巧妙轉場。但當前直接調用LLMs生成話題的方式存在明顯缺陷：既容易產出千篇一律的泛泛之談，又受限于模型的知識時效性，難以維持專業領域的深度交流。

PaRT：小紅書團隊讓AI平均對話時長顯著提升21.77%-AI.x社區

為此，創新性地提出PaRT(which enhances Proactive social chatbots with personalized real-time ReTrieval)框架，通過個性化實時檢索賦能主動對話。如圖1所示，該系統包含三大核心模塊：

首先，用戶畫像模塊通過智能提問構建精準的用戶畫像；
其次，意圖分析器能敏銳捕捉對話中的顯性需求與潛在興趣，將原始查詢轉化為個性化指令；
最后，檢索增強模塊從RedNote（小紅書）獲取最新資料，經去蕪存菁后指導LLMs生成精準回應。

實驗證明，該方案不僅能顯著提升對話質量，更將平均會話時長提升了21.77%。

2. PaRT方案詳解

PaRT：小紅書團隊讓AI平均對話時長顯著提升21.77%-AI.x社區

上圖展示了PaRT的整體架構。完整工作流包括三大核心模塊：用戶畫像分析、意圖驅動的查詢優化和檢索增強生成。

2.1 用戶畫像

為提升聊天機器人對用戶偏好的理解，引入用戶畫像模塊。

借助記憶機制，系統能提煉對話歷史中的關鍵信息并存入用戶畫像。

主動問候是構建畫像的有效方式——靜態問題庫支持隨機提問開啟對話。結合現有畫像與檢索增強生成技術的個性化問候，能進一步完善用戶畫像。

2.2 智能意圖驅動的查詢優化器

對話過程中，優秀的聊天機器人應當主動感知用戶需求，在互動降溫時巧妙切換話題。

傳統聊天機器人常因執著當前話題導致交互質量下滑，而真正提升對話質量的關鍵在于精準捕捉用戶潛在意圖。

將用戶意圖劃分為三類：

自然延續：自然延續場景下，聊天機器人需在陪伴中保持對話流暢；
主動求知：面對主動求知類提問（如"《沙丘2》新片評價如何？"），則需啟動實時檢索獲取最新資訊。
隱性探索：當對話中出現興趣衰減信號或話題轉移傾向時，則暗示著隱性探索需求——此時系統需結合對話歷史和用戶畫像，智能生成個性化話題來重燃互動熱情。

2.3 檢索增強生成

在開放域生活對話等主動式聊天場景中，實時信息的整合能帶來顯著增益。由于靜態知識庫存在天然局限且易過時，網絡搜索成為檢索增強生成（RAG）的核心支撐。

采用經典的三階段RAG框架：檢索→摘要→網絡資源生成。具體實現時，通過RedNote（小紅書）搜索引擎確保檢索質量。

PaRT系統為不同對話場景定制專屬提示：

問候場景：隨機選取用戶畫像特征，由LLM提煉核心興趣作為搜索詞；
對話場景：采用智能查詢優化器生成搜索詞。

兩種場景均觸發檢索后，LLM對Top k結果智能摘要過濾噪聲，最終融合上下文生成自然流暢的信息響應。

3 效果評估

3.1 評估方法

基于11,455個高質量樣本構建數據集，采用全參數監督微調（SFT）對Qwen2系列模型進行優化。為兼顧效率與成本，對話生成選用Qwen2-72B-Instruct，其余模塊則采用Qwen2-7B-Instruct。

訓練配置如下：上下文窗口2048，學習率5e-6；單卡批量大小為2，4步梯度累積確保穩定；

全程使用24張NVIDIA A100 80GB顯卡，3輪訓練耗時約4小時。推理時通過0.9溫度系數調節生成結果的創新性與穩定性。

3.2 評估指標

為全面檢驗PaRT的性能，分別從檢索和生成兩個維度進行評估。針對傳統機器學習方法在主觀任務評估上的局限性，采用基于大語言模型（LLM）的評估體系。

在每個任務中隨機選取50個樣本，通過kappa系數衡量LLM與人工評分的一致性。鑒于檢索數據庫規模龐大且動態更新，檢索性能僅采用Top-k精確率（P@k）指標。通過設計特定提示詞，由LLM判斷檢索結果是否同時滿足：內容相關性、實用價值和對話流暢性三項要求，并給出0/1二值判定。

在生成質量評估方面，借鑒的研究框架，針對問候和對話場景設置了三個評價維度：