當(dāng)將大型語(yǔ)言模型（LLMs）集成到各種應(yīng)用程序中時(shí)，通常需要通過檢索增強(qiáng)生成（RAG）為基礎(chǔ)的提示或微調(diào)等技術(shù)，引入新的信息，如領(lǐng)域特定知識(shí)或?qū)Ｓ袛?shù)據(jù)。然而，挑戰(zhàn)在于確定將這些新知識(shí)灌輸?shù)侥Ｐ椭械淖钣行Х椒ā?strong>檢索增強(qiáng)微調(diào)（RAFT）是一種簡(jiǎn)單而強(qiáng)大的微調(diào)方法，可增強(qiáng)模型在特定領(lǐng)域內(nèi)以“開放書本”設(shè)置回答問題的性能。開放書本是指模型可以參考文檔來(lái)回答問題的范式。RAFT的操作方式是通過訓(xùn)練模型忽略不對(duì)回答給定問題有貢獻(xiàn)的檢索到的文檔，從而消除干擾。這是通過準(zhǔn)確識(shí)別和引用有助于回答手頭問題的相關(guān)文檔部分來(lái)實(shí)現(xiàn)的。此外，RAFT使用思維鏈?zhǔn)巾憫?yīng)進(jìn)一步完善了模型的推理能力。當(dāng)應(yīng)用于領(lǐng)域特定的RAG時(shí)，RAFT在各種數(shù)據(jù)集上始終提高了性能，包括PubMed、HotpotQA和Gorilla，為具有領(lǐng)域特定RAG能力的預(yù)訓(xùn)練LLMs提供了有價(jià)值的后期訓(xùn)練增強(qiáng)。

RAFT建立在Retriever Aware Training (RAT)的基礎(chǔ)上，并在RAG應(yīng)用程序中推廣超出API的范圍。

類比：如何為L(zhǎng)LM準(zhǔn)備考試？??

RAFT是一種通用的微調(diào)方法，用于將預(yù)訓(xùn)練的LLM調(diào)整到特定領(lǐng)域的RAG設(shè)置。這是一個(gè)常見的場(chǎng)景，您希望您的LLM回答基于一組文檔的問題，例如企業(yè)中的私有文件。這種情況與一般的RAG不同，其中LLM不知道它將在哪個(gè)領(lǐng)域（文檔）上進(jìn)行測(cè)試。為了更好地說(shuō)明這種情況，讓部署和使用LLM的真實(shí)世界設(shè)置之間進(jìn)行類比，準(zhǔn)備考試。

封閉書本考試 封閉書本考試通常指的是LLMs在考試期間沒有訪問任何額外文檔或參考資料的情況。對(duì)于LLMs，這相當(dāng)于一種情況，例如LLMs被用作聊天機(jī)器人。在這種情況下，LLMs依靠預(yù)訓(xùn)練和監(jiān)督微調(diào)中嵌入的知識(shí)來(lái)回應(yīng)用戶的提示。

開放書本考試 相反，將開放書本考試設(shè)置比作LLM可以參考外部信息來(lái)源（例如網(wǎng)站或書的章節(jié)）。在這種情況下，通常LLM與檢索器配對(duì)，檢索器檢索到k個(gè)文檔（或文檔的特定部分），并將其附加到用戶的提示中。只有通過檢索到的這些文檔，LLM才能獲得新知識(shí)。因此，LLM在這些設(shè)置中的性能，其中它被訓(xùn)練為通用LLM，很大程度上取決于檢索器的質(zhì)量以及檢索器如何準(zhǔn)確識(shí)別最相關(guān)的信息片段。

RAFT RAFT專注于一個(gè)比一般開放書本考試更狹窄但越來(lái)越受歡迎的領(lǐng)域，稱為特定領(lǐng)域的開放書本考試。在特定領(lǐng)域的開放書本考試中，預(yù)先知道LLM將在其中進(jìn)行測(cè)試的領(lǐng)域---用于推理。LLM可以使用來(lái)自特定領(lǐng)域的任何和所有信息來(lái)回應(yīng)用戶的提示，它已經(jīng)進(jìn)行了微調(diào)。特定領(lǐng)域的示例包括企業(yè)文件、最新新聞、屬于組織的代碼存儲(chǔ)庫(kù)等。在所有這些場(chǎng)景中，LLM將用于回答問題，其答案可以在一組文檔（一個(gè)小型實(shí)際領(lǐng)域）中找到。檢索技術(shù)本身對(duì)機(jī)制幾乎沒有影響（盡管它可能會(huì)影響準(zhǔn)確性）。本文主要研究這種特定領(lǐng)域的開放書本設(shè)置，以及如何使預(yù)訓(xùn)練LLM適應(yīng)這個(gè)特定領(lǐng)域，包括如何使其對(duì)檢索到的文檔和干擾因素的數(shù)量變化更加健壯。

RAFT類比于開放書本 如何為L(zhǎng)LM準(zhǔn)備考試？封閉書本 vs. 開放書本 vs. RAFT

RAFT：將語(yǔ)言模型調(diào)整為特定領(lǐng)域的RAG ??

檢索感知微調(diào)（RAFT）提出了一種新穎的配方，用于準(zhǔn)備微調(diào)數(shù)據(jù)，以定制模型適用于特定領(lǐng)域的開放書本設(shè)置，相當(dāng)于領(lǐng)域內(nèi)的RAG。在RAFT中，準(zhǔn)備訓(xùn)練數(shù)據(jù)，使每個(gè)數(shù)據(jù)點(diǎn)包含一個(gè)問題（Q）、一組文檔（Dk）和從其中一個(gè)文檔（D）生成的相應(yīng)的思維鏈?zhǔn)綐邮酱鸢福ˋ）。區(qū)分兩種類型的文檔：Oracle文檔（D），即可以從中推導(dǎo)出問題答案的文檔，以及“干擾因素”文檔（Di），其中不包含與答案相關(guān)的信息。作為一個(gè)實(shí)現(xiàn)細(xì)節(jié)，Oracle文檔不需要是單個(gè)文檔，而可以是多個(gè)文檔，就像在HotpotQA中的情況一樣。然后，對(duì)于數(shù)據(jù)集中的P%的問題（qi），保留Oracle文檔（di）以及干擾因素文檔（dk-1）。對(duì)于數(shù)據(jù)集中的（1-P）%的問題（qi），不包含Oracle文檔，只包含干擾因素文檔（dk）。然后，使用標(biāo)準(zhǔn)的監(jiān)督訓(xùn)練（SFT）技術(shù)微調(diào)語(yǔ)言模型，訓(xùn)練它從提供的文檔和問題生成答案。下圖說(shuō)明了RAFT的高級(jí)設(shè)計(jì)原則。

展示了RAG方法訓(xùn)練模型在其訓(xùn)練的文檔集上更好地進(jìn)行RAG。通過在訓(xùn)練數(shù)據(jù)的某些實(shí)例中刪除Oracle文檔，迫使模型記憶領(lǐng)域知識(shí)。RAFT的訓(xùn)練數(shù)據(jù)如下，并且可以在下圖中看到一個(gè)示例訓(xùn)練數(shù)據(jù)：

P%的數(shù)據(jù)：Q + D* + D1 + D2 + ... + Dk => A* 

1-P%的數(shù)據(jù)：Q + D1 + D2 + ... + Dk => A*

RAFT的數(shù)據(jù)訓(xùn)練和測(cè)試配置

還提供了數(shù)據(jù)集的一個(gè)訓(xùn)練數(shù)據(jù)示例。這涉及問題、上下文、指令和最終的CoT答案。在答案中，使用##begin_quote##和##end_quote##來(lái)表示直接從上下文復(fù)制粘貼的引用的開始和結(jié)束。發(fā)現(xiàn)這是一種有效的方法，可以防止模型產(chǎn)生幻覺，并專注于提供的上下文。

RAFT評(píng)估 ??

在實(shí)驗(yàn)中，使用以下數(shù)據(jù)集來(lái)評(píng)估模型和所有基線。從流行和多樣化的領(lǐng)域中選擇這些數(shù)據(jù)集，包括維基百科、編碼/API文檔和醫(yī)學(xué)問答。

• 自然問答（NQ）、Trivia QA和Hotpot QA是基于維基百科的開放領(lǐng)域問題，主要關(guān)注常識(shí)（例如電影、體育等）。
• HuggingFace、Torch Hub和TensorFlow Hub來(lái)自Gorilla論文提出的APIBench。這些基準(zhǔn)主要關(guān)注如何根據(jù)文檔生成正確的功能性API調(diào)用。
• PubMed QA是專門針對(duì)生物醫(yī)學(xué)研究問題回答的問答數(shù)據(jù)集。它主要關(guān)注根據(jù)給定文檔集回答醫(yī)學(xué)和生物學(xué)問題。

考慮以下基線進(jìn)行實(shí)驗(yàn)：

• 具有0-shot提示的LlaMA2-7B-chat模型：這是用于QA任務(wù)的常用調(diào)整指令的模型，具有清晰的說(shuō)明但沒有參考文檔。
• 具有RAG的LlaMA2-7B-chat模型（Llama2 + RAG）：與前一設(shè)置類似，但不同之處在于添加了參考上下文。這是處理特定領(lǐng)域QA任務(wù)時(shí)最常用的組合。
• 具有0-shot提示的領(lǐng)域特定微調(diào)（DSF）：在上下文中執(zhí)行標(biāo)準(zhǔn)的指令微調(diào)而不使用文檔。
• 具有RAG的領(lǐng)域特定微調(diào)（DSF + RAG）：使用RAG為領(lǐng)域特定微調(diào)模型配備外部知識(shí)。因此，對(duì)于模型不知道的“知識(shí)”，它仍然可以參考上下文。

RAFT在醫(yī)學(xué)（PubMed）、通用知識(shí)（HotPotQA）和API（Gorilla）基準(zhǔn)上的結(jié)果。

訓(xùn)練您自己的RAFT ??

以下是關(guān)于如何為RAG應(yīng)用程序訓(xùn)練您自己的RAFT模型的簡(jiǎn)短教程，從數(shù)據(jù)集準(zhǔn)備到模型微調(diào)，最后到模型部署。

數(shù)據(jù)集準(zhǔn)備：提供一個(gè)示例來(lái)準(zhǔn)備RAFT的數(shù)據(jù)集。數(shù)據(jù)集包含問題、上下文和答案。上下文是一組文檔，答案是使用GPT-4從其中一個(gè)文檔生成的思維鏈?zhǔn)綐邮酱鸢?。?qǐng)參閱下面的一個(gè)示例。

模型微調(diào)：將訓(xùn)練模型根據(jù)問題和提供的上下文輸出CoT答案。基礎(chǔ)模型Llama2-7B適用于RAG任務(wù)，其中任務(wù)需要模型的推理能力、理解語(yǔ)言能力、低延遲推理能力，并且可以輕松適應(yīng)各種設(shè)置。Llama2-7B非常適合許多通用知識(shí)問答任務(wù)，具有鼓勵(lì)數(shù)學(xué)技能，并且由于其4k的預(yù)訓(xùn)練，可以合理解析相當(dāng)長(zhǎng)的文檔。Llama2-7B還是一個(gè)完美的模型，可以在4個(gè)A100-40G GPU上進(jìn)行訓(xùn)練，并在一個(gè)GPU上提供服務(wù)。因此，在性能、部署便利性和具有正確許可證的pareto曲線中，LLaMA2模型非常適合RAFT任務(wù)。借助Microsoft AI Studio的幫助，用戶也可以探索Llama-13b或70b等其他模型。下面是在Azure AI Studio上顯示的模型微調(diào)過程的截圖。

模型部署：一旦模型訓(xùn)練完成，您可以自由地將其部署在您自己的GPU上（或通過llama.cpp在CPU上）；另一種選擇是將其部署在Microsoft AI Studio上。以下圖片展示了在Azure AI Studio上進(jìn)行模型部署的過程。感謝Meta Llama-2和Microsoft AI Studio的幫助，為企業(yè)微調(diào)和部署LLMs變得容易，極大地促進(jìn)了為不同企業(yè)部署定制模型。

結(jié)論

RAFT是一種旨在增強(qiáng)模型在特定領(lǐng)域內(nèi)以“開卷”方式回答問題的訓(xùn)練策略。這種技術(shù)展示了一種基于選定文檔集合的問題回答任務(wù)的LLMs的微調(diào)配方。已經(jīng)確定了幾個(gè)關(guān)鍵的設(shè)計(jì)決策，例如訓(xùn)練模型與干擾文檔一起，組織數(shù)據(jù)集以使部分?jǐn)?shù)據(jù)缺乏上下文中的oracle文檔，并以鏈?zhǔn)剿季S的方式從相關(guān)文本中直接引用來(lái)制定答案。對(duì)PubMed、Hotpot QA和Gorilla API Bench的評(píng)估凸顯了RAFT的巨大潛力。展望未來(lái)，預(yù)計(jì)領(lǐng)域內(nèi)檢索增強(qiáng)生成（RAG）將繼續(xù)在工業(yè)和學(xué)術(shù)領(lǐng)域引起興趣。與一般的RAG不同，該工作解決了LLMs在使用特定領(lǐng)域知識(shí)回答問題的實(shí)際場(chǎng)景。與當(dāng)前趨勢(shì)一致，研究結(jié)果表明，相比于通用LLM模型，更小、經(jīng)過微調(diào)的模型在特定領(lǐng)域的問題回答任務(wù)中表現(xiàn)得同樣出色。

譯自（有刪改）：https://gorilla.cs.berkeley.edu/blogs/9_raft.html

本文轉(zhuǎn)載自公眾號(hào)AIGC最前線 

原文鏈接：??https://mp.weixin.qq.com/s/NyZnAK7Sh5-pUB5ATC-Lvw??