“ 面臨日益增長(zhǎng)的海量數(shù)據(jù)，怎么高效和準(zhǔn)確的檢索數(shù)據(jù)一直是一個(gè)值得思考的問(wèn)題 ”

對(duì)大模型應(yīng)用有所了解的人應(yīng)該都知道RAG技術(shù)——檢索增強(qiáng)，本公眾號(hào)前前后后也寫(xiě)過(guò)好幾次關(guān)于RAG的文章；但在實(shí)際的企業(yè)應(yīng)用中，RAG還是面臨著各種各樣的問(wèn)題，比如效率問(wèn)題，準(zhǔn)確度問(wèn)題等等。

這些問(wèn)題雖然在一些應(yīng)用場(chǎng)景中并沒(méi)有什么影響，但在某些場(chǎng)景中卻是不可接受的；因此就有很多人想方設(shè)法的優(yōu)化RAG技術(shù)，比如使用更加高效和準(zhǔn)確的檢索算法，更加合理的數(shù)據(jù)結(jié)構(gòu)，優(yōu)化提示詞，關(guān)鍵詞等。

但總的來(lái)說(shuō)有些時(shí)候還是差強(qiáng)人意，而隨著RAG技術(shù)的發(fā)展，ReRank技術(shù)被提了出來(lái)。ReRank技術(shù)可以說(shuō)是對(duì)RAG技術(shù)的增強(qiáng)，雖然它還無(wú)法完全解決RAG存在的問(wèn)題，但優(yōu)中選優(yōu)ReRank是比RAG更好的一種檢索方式。

ReRank——重新排序

什么是ReRank技術(shù)？

ReRank 中文翻譯過(guò)來(lái)就是重新排序技術(shù)，那么什么是重新排序技術(shù)，以及為什么需要重新排序技術(shù)？ 

在之前的檢索系統(tǒng)中，通常是通過(guò)字符匹配的方式進(jìn)行數(shù)據(jù)檢索；雖然后來(lái)有了ES這種檢索中間件，采用了分詞以及相似度搜索的方式實(shí)現(xiàn)了更加高效的數(shù)據(jù)檢索；但總體來(lái)說(shuō)其效果也不是太好，特別是在語(yǔ)言分析方面。

雖然隨著大模型技術(shù)的出現(xiàn)，基于語(yǔ)義的向量檢索方式大行其道；但怎么從大量數(shù)據(jù)中高效與準(zhǔn)確的檢索出所需的數(shù)據(jù)，依然是一個(gè)亟待解決的問(wèn)題。

同樣，外部知識(shí)檢索作為對(duì)大模型能力缺陷的補(bǔ)充，是目前企業(yè)應(yīng)用中最常見(jiàn)的解決方案；但面臨著日益復(fù)雜的應(yīng)用環(huán)境，以及用戶端的快速響應(yīng)，RAG技術(shù)目前仍然飽受詬病，特別是RAG技術(shù)看起來(lái)入門(mén)很容易，但想深入確實(shí)很難。

RAG技術(shù)所面臨的問(wèn)題是什么？

RAG技術(shù)所面臨的兩個(gè)主要問(wèn)題就是檢索的效率和準(zhǔn)確性；為什么會(huì)出現(xiàn)這種問(wèn)題？

不論是使用傳統(tǒng)的檢索方式，還是使用embedding向量檢索的方式，面臨大量數(shù)據(jù)RAG技術(shù)依然力不從心。

一旦數(shù)據(jù)達(dá)到一定規(guī)模或者用戶對(duì)數(shù)據(jù)準(zhǔn)確性要求較高，RAG技術(shù)就很難滿足用戶的需求。當(dāng)然，這是從應(yīng)用的角度得出的結(jié)論，那么從技術(shù)角度呢？

比如說(shuō)，面臨一個(gè)數(shù)十億甚至上百億數(shù)據(jù)量的知識(shí)庫(kù)，基于RAG技術(shù)的檢索方式是怎么實(shí)現(xiàn)的？

在檢索方面剛開(kāi)始使用的就是最傳統(tǒng)的暴力搜索算法，什么是暴力搜索算法？

所謂的暴力搜索就是，遍歷全部數(shù)據(jù)，然后通過(guò)字符匹配或相似度搜索以及向量搜索等方式查詢出所需要的數(shù)據(jù)。

但有一點(diǎn)算法基礎(chǔ)的人應(yīng)該都知道，雖然八大排序算法在小規(guī)模數(shù)據(jù)中具有很大的優(yōu)勢(shì)；但在大量數(shù)據(jù)中八大排序完全沒(méi)什么用。

原因是什么？

原因就是效率太低。

雖然后期通過(guò)優(yōu)化，比如說(shuō)通過(guò)數(shù)據(jù)治理的方式，把不同的數(shù)據(jù)根據(jù)某種規(guī)則進(jìn)行分倉(cāng)，或者構(gòu)建索引加快檢索速度；但等到索引大量增長(zhǎng)的時(shí)候，依然會(huì)出現(xiàn)很多問(wèn)題。

所以，現(xiàn)在更加高級(jí)的檢索方式，ReRank就出現(xiàn)了。

ReRank的技術(shù)實(shí)現(xiàn)原理是什么？

ReRank技術(shù)就像一個(gè)篩子，通過(guò)多篩幾次的方式檢索到所需要的數(shù)據(jù)；第一遍通過(guò)快速檢索等方式，從海量的數(shù)據(jù)中快速檢索出所需要的數(shù)據(jù)；比如說(shuō)全世界的知識(shí)作為一個(gè)數(shù)據(jù)庫(kù)，這時(shí)你需要查詢與孫悟空相關(guān)的數(shù)據(jù)。

這時(shí)ReRank技術(shù)就用最快的方式，從這個(gè)數(shù)據(jù)庫(kù)中檢索到所有與孫悟空有關(guān)的內(nèi)容，不論是齊天大圣，還是孫猴子等等，甚至與其無(wú)關(guān)的其它三大名著的內(nèi)容。

為什么要這樣做？

這樣做的原因就是，面對(duì)如此龐大的數(shù)據(jù)庫(kù)，遍歷所有數(shù)據(jù)顯然是不可能的，即使技術(shù)上能實(shí)現(xiàn)，時(shí)間上也不允許。

所以，第一遍就通過(guò)最快速的方式從中檢索到與任何與孫悟空有關(guān)的數(shù)據(jù)；比如說(shuō)檢索到了一百萬(wàn)條數(shù)據(jù)。

然后再?gòu)倪@一百萬(wàn)條數(shù)據(jù)中再次檢索，也就是再過(guò)一遍篩子；比如使用語(yǔ)義檢索，從中匹配出相關(guān)度更高的數(shù)據(jù)。

最后通過(guò)多次篩選，通過(guò)精確匹配等方式，拿到最終的數(shù)據(jù)。

這樣做有一個(gè)很明顯的好處就是，雖然遍歷一百萬(wàn)數(shù)據(jù)也很難；但至少比遍歷全部數(shù)據(jù)要簡(jiǎn)單的多。

這也是分治思想在數(shù)據(jù)檢索中的一種應(yīng)用；這就像我們選兵員一樣；先把全國(guó)的青壯年選出來(lái)，然后再在里面優(yōu)中選優(yōu)，這樣選出來(lái)的士兵素質(zhì)肯定會(huì)更好，也會(huì)更快。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/tZVBV78zdC99VTDknUfrhw??