OPEN-RAG：利用開源大模型增強檢索增強推理原創

發布于 2024-11-22 15:35

瀏覽

0收藏

檢索增強生成（RAG）已被證明可以提高大型語言模型（LLMs）的事實準確性，但現有方法在有效使用檢索到的證據方面往往存在有限的推理能力，特別是當使用開源LLMs時。

引入了一個新穎的框架OPEN-RAG，增強基于開源大型語言模型的檢索增強推理的能力，特別是處理復雜推理任務時的有限推理能力。

方法

模型轉換：OPEN-RAG將任意密集的LLM轉換為參數高效的稀疏專家混合（MoE）模型。該模型不僅能夠自我反思，還能處理復雜的推理任務，包括單跳和多跳查詢。

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區

路由器R從頭開始訓練。FFN層保持凍結狀態，并由基于并行適配器的專家E進行調整。其他層被復制。

路由模塊：路由模塊負責根據輸入的歸一化輸出選擇Top-k專家。使用Softmax函數來計算每個專家的激活概率。

適配器模塊：每個專家的適配器模塊負責調整專家的輸出，以更好地適應當前的查詢。適配器模塊的參數是在訓練過程中更新的，而原始的FFN層參數保持不變。

輸出：MoE模型的輸出是激活的專家輸出的加權和。

訓練策略：在微調過程中使用QLora適配器，它具有負載平衡目標和標準條件語言建模目標。在訓練和推理期間，只有部分專家（例如2個專家）是活躍的。

通過上述步驟，OPEN-RAG成功地將一個密集型的大型語言模型轉換為一個參數高效的稀疏混合專家模型，使其能夠更有效地處理復雜的推理任務。這種轉換不僅提高了模型的性能，還保持了模型的規模和參數效率。

大型語言模型（LLMs）在處理復雜問題時，需要從外部知識源檢索信息以提高回答的準確性。然而，頻繁的檢索會降低模型的推理速度，因此需要一種方法來動態決定是否需要進行檢索。

提出了一種混合自適應檢索方法，根據模型置信度確定檢索的必要性，并在性能和速度之間取得平衡。該方法通過生成檢索/無檢索反射令牌來測量在強制無檢索設置下輸出的置信度，并根據這些置信度決定是否進行檢索。

OPEN-RAG模型在訓練時學習生成檢索（RT）和不檢索（NoRT）反射令牌。在推理時評估模型生成的輸出序列的置信度。

設計了兩種不同的置信度評分函數：

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區

并且，使用一個可調的閾值γ來控制檢索頻率。如果置信度評分低于閾值γ，則觸發檢索。

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區

open-rag推理流程：首先，學習生成檢索/不檢索標記，對比相關和不相關上下文，并將答案歸類為部分支持、完全支持或不支持。然后在推理時，給定一個（多跳）用戶查詢，首先強制模型在輸入條件為不檢索的情況下生成答案，并根據模型的置信度動態決定是否需要檢索。

接收輸入查詢：模型接收一個用戶輸入的查詢(q)。
生成檢索令牌：模型首先判斷是否需要進行檢索來更好地回答這個查詢，并生成相應的檢索令牌([RT]/[NoRT])。
無檢索生成答案：如果模型決定不需要檢索（[NoRT]），它將使用其內部知識（參數知識）來生成答案。
執行自適應檢索：如果模型決定需要檢索（[RT]），則執行以下步驟：使用一個預定義的檢索器從外部知識源檢索最相關的文檔。根據需要，可以執行單次檢索或多跳檢索。
處理檢索到的文檔：對于每個檢索到的文檔(s_t)，模型執行以下操作：