重要的事情說兩遍！Prompt「復(fù)讀機(jī)」，顯著提高LLM推理能力

作者：新智元 2024-10-08 13:19:56

人工智能

盡管大模型能力非凡，但干細(xì)活的時(shí)候還是比不上人類。為了提高LLM的理解和推理能力，Prompt「復(fù)讀機(jī)」誕生了。

眾所周知，人類的本質(zhì)是復(fù)讀機(jī)。

我們遵循復(fù)讀機(jī)的自我修養(yǎng)：敲黑板，劃重點(diǎn)，重要的事情說三遍。

but，事實(shí)上同樣的方法對(duì)付AI也有奇效！

有研究證明，在提問的時(shí)候故意重復(fù)一遍——也就是復(fù)制粘貼，即可顯著提高LLM的推理能力。

圖片

論文地址：https://arxiv.org/pdf/2309.06275

看下面的例子：

圖片

作者認(rèn)為，通常情況下，問題中的重點(diǎn)token（比如這里的tennis balls）無法看到位于它后面的token（上圖）。

相比之下，使用重讀（re-reading，RE2）的方法，允許「tennis balls」在第二遍中看到自己對(duì)應(yīng)的整個(gè)問題（How many tennis balls does he have now?），從而達(dá)到雙向理解的效果（下圖）。

圖片

實(shí)驗(yàn)表明，在14個(gè)數(shù)據(jù)集上的112個(gè)實(shí)驗(yàn)中，RE2技術(shù)都能帶來一致的性能提升，無論是經(jīng)過指令調(diào)整的模型（如ChatGPT），還是未經(jīng)調(diào)整的模型（如Llama）。

實(shí)踐中，RE2作為獨(dú)立的技巧，可以與CoT（Let’s think step by step）以及自我一致性方法（self-consistency，SC）一起使用。

下表展示了混合應(yīng)用多種方法對(duì)模型效果的影響。盡管自我一致性聚合了多個(gè)答案，但重讀機(jī)制仍然有助于大多數(shù)場(chǎng)景的改進(jìn)。

圖片

接下來，在GSM8K數(shù)據(jù)集上（使用ChatGPT）進(jìn)一步研究輸入問題復(fù)雜性對(duì)CoT和RE2提示的推理性能的影響。

這里通過計(jì)算真實(shí)解釋中存在的推理步驟來衡量問題的復(fù)雜性，結(jié)果如下圖所示。

圖片

隨著問題復(fù)雜性的增加，所有提示的表現(xiàn)通常都會(huì)下降，但重讀的引入提高了LLM應(yīng)對(duì)各種復(fù)雜問題的表現(xiàn)。

此外，作者還計(jì)算了各代和輸入問題之間的覆蓋度，證明RE2增加了輸出解釋中的n-gram (n=1,2,3,4) 召回率。

重要的事情說2遍

現(xiàn)有的推理研究主要集中在設(shè)計(jì)多樣化引導(dǎo)提示，而對(duì)輸入階段的理解卻很少受到關(guān)注。

事實(shí)上，理解是解決問題的第一步，至關(guān)重要。

當(dāng)今大多數(shù)LLM都采用單向注意力的decoder-only架構(gòu) ，在對(duì)問題進(jìn)行編碼時(shí)，單向注意力限制了token的可見性，這可能會(huì)損害對(duì)問題的全局理解。

怎么解決這個(gè)問題？作者受到人類習(xí)慣的啟發(fā)，嘗試讓LLM把輸入再讀一遍。

與引導(dǎo)模型在輸出中推理的CoT不同，RE2通過兩次處理問題將焦點(diǎn)轉(zhuǎn)移到輸入，促進(jìn)了單向解碼器的雙向編碼，從而增強(qiáng)LLM理解過程。

圖片

上圖為GSM8K數(shù)據(jù)集上測(cè)試的注意力分布圖，較暗的單元格表示較高的注意力。

上虛線三角形內(nèi)的區(qū)域表明，第二遍輸入中的每個(gè)token都明顯關(guān)注第一遍中的后續(xù)token，證明LLM的重讀有望實(shí)現(xiàn)對(duì)問題的雙向理解。

從另一個(gè)角度考慮，重讀使LLM能夠?yàn)檩斎刖幋a分配更多的計(jì)算資源，類似于水平增加神經(jīng)網(wǎng)絡(luò)的深度。因此，擁有RE2的LLM對(duì)問題有更深入的理解。

普通推理

利用帶有CoT提示的LLM來解決推理任務(wù)，可以用公式表述為：

圖片

其中，Cx表示提示輸入，來自帶有CoT提示指令的模板，z表示自然語(yǔ)言中的采樣基本原理。

因此， LLM可以將復(fù)雜的任務(wù)分解為更易于管理的推理步驟，將每個(gè)步驟視為整個(gè)解決方案鏈的組成部分。

RE2 推理

受到人類重讀策略的啟發(fā)，將上面的方程改寫為：

圖片

所以RE2在實(shí)際應(yīng)用中就是下面這種格式：

圖片

其中{Input Query}是輸入查詢的占位符，左側(cè)部分可以包含其他引發(fā)思考的提示。

實(shí)驗(yàn)

由于RE2的簡(jiǎn)單性和對(duì)輸入階段的重視，它可以與各種LLM和算法無縫集成，包括few-shot、自我一致性、各種引發(fā)思考的提示策略等。

為了驗(yàn)證RE2的有效性和通用性，研究人員在14個(gè)數(shù)據(jù)集上進(jìn)行了112個(gè)實(shí)驗(yàn)，涵蓋算術(shù)、常識(shí)和符號(hào)推理任務(wù)。

算術(shù)推理

實(shí)驗(yàn)考慮以下七個(gè)算術(shù)推理基準(zhǔn)：

數(shù)學(xué)應(yīng)用題的GSM8K基準(zhǔn)、具有不同結(jié)構(gòu)的數(shù)學(xué)應(yīng)用問題的SVAMP數(shù)據(jù)集、不同數(shù)學(xué)應(yīng)用題的ASDiv數(shù)據(jù)集、代數(shù)應(yīng)用題的AQuA數(shù)據(jù)集、三到五年級(jí)學(xué)生的加法和減法數(shù)學(xué)應(yīng)用題、多步驟數(shù)學(xué)問題數(shù)據(jù)集，以及單次運(yùn)算的初等數(shù)學(xué)應(yīng)用題數(shù)據(jù)集。

圖片

上表為算術(shù)推理基準(zhǔn)測(cè)試結(jié)果。*處表示不使用任何技巧，但效果優(yōu)于CoT提示的情況。

常識(shí)和符號(hào)推理

對(duì)于常識(shí)推理，實(shí)驗(yàn)采用StrategyQA、ARC和CSQA數(shù)據(jù)集。

StrategyQA數(shù)據(jù)集包含需要多步驟推理的問題；

ARC數(shù)據(jù)集（ARC-t）分為兩個(gè)集合：挑戰(zhàn)集（ARC-c）和簡(jiǎn)單集（ARC-e），前者包含基于檢索和單詞共現(xiàn)算法都錯(cuò)誤回答的問題；

CSQA數(shù)據(jù)集由需要各種常識(shí)知識(shí)的問題組成。

實(shí)驗(yàn)評(píng)估兩個(gè)符號(hào)推理任務(wù)：日期理解和Coinflip。日期理解是 BigBench數(shù)據(jù)集的子集，Coinflip是一個(gè)問題數(shù)據(jù)集，根據(jù)問題中給出的步驟，判斷硬幣翻轉(zhuǎn)后是否仍然正面朝上。

圖片