“ 小塊召回，大塊生成的策略的作用是提升文檔的召回率，并保證文檔上下文的連貫性?！?/strong>

在RAG技術的真實實踐過程中，我們經常會遇到的一個問題就是——模型回答的質量不好；當然導致回答質量不好的原因有很多，而我們今天就來討論一種RAG問答的優化策略——小塊召回，大塊生成。

從本質上來說其實就是解決了兩個問題，小塊解決召回問題，大塊解決生成問題。

小塊召回，大塊生成

可能很多人都不明白什么叫做小塊召回，大塊生成？

小塊召回，大塊生成的原理很簡單；用更小的文檔塊做召回，解決召回率和準確率問題；用更大的塊做生成，解決上下文連貫性問題，提升生成質量。

當然這樣說可能很多人都不太理解，其實這個是與具體的技術細節有關。

首先我們要明白一個問題，向量數據庫存儲數據的原理和傳統數據庫并沒有本質上的區別；都是用一個一個的字段來存儲數據，只不過向量數據庫有一個比較特殊的點是支持向量計算，而不是基于傳統的字符匹配。

其次，可能有人會認為，相似度查詢是把文檔向量化之后，通過相似度計算的方式檢索出相關數據，然后再問答時再把這段數據轉換成文本文檔。

但在RAG的流程中，在把文檔切片之后，雖然會把切片后的文檔進行向量化，但同時會保存原文檔；我們只是用向量化的數據做相似度計算，而不是用來做生成。

舉例來說，向量字段就類似于傳統數據庫中的ID或某個字段，然后還會有一個原始文檔的字段；當根據相似度計算檢索到某條記錄之后，會把原始文檔里的內容傳給模型做生成。

所以，向量數據庫也是一條記錄一條記錄的保存數據，而向量是其中的一個字段類型，專門用來做向量檢索使用。

而什么是小塊檢索，大塊生成呢？

在文檔切片之后，特別是在低質量的切片之后，很多人為了簡單方便會直接把切片后的數據進行向量化，這種文檔可能存在大量的無關內容或噪音。

比如說word/pdf等類型的文檔會存在頁眉，頁腳，分割符等等；但這些內容對我們來說是沒有意義的，只會降低文檔的質量。

所以，我們可以選擇一種方式，就是對這段文檔進行總結或關鍵字提??；之后再進行向量化，這樣就可以大大降低文檔的噪音，提升相似度計算的質量；同時，我們繼續保存文檔原始內容，當召回之后我們并不是把總結之后的文檔丟給模型，而是把原始文檔丟給模型，這樣既能提升文檔召回率，也不會影響到參考文檔質量。

而以上這個過程就叫做小塊召回，大塊生成；用更小更準確的文檔塊做數據召回，用更大更全的文檔做增強生成；這樣既能保證文檔的召回效果，又能保證上下文的連貫性。

總之，RAG系統的優化過程是一個非常復雜且繁瑣的過程，我們需要在各個環節對系統做優化和測試，才能真正達到生產級別的需要。

本文轉載自???AI探索時代?? 作者：DFires