增加大模型推理能力的幾個提示方法 原創
01.Complexity-based prompting for multi-step reasoning（ICLR2023)
基于復雜度的提示方法用于多步推理
摘要：我們研究了如何提示大規模語言模型進行多步推理。已有研究表明，當使用鏈式思考（CoT）提示，即用一系列短句描述從問題到答案的中間推理步驟時，大型語言模型能夠為新的輸入生成新的推理鏈并預測答案。本研究的核心問題是：哪些推理示例能成為最有效的提示？為此，我們提出了基于復雜度的提示方法，一種用于多步推理的簡單且有效的示例選擇方案。我們證明了具有較高推理復雜度的提示（即包含更多推理步驟的鏈）在多步推理任務上能顯著優于強基線模型。此外，我們將基于復雜度的準則從提示（選擇輸入）擴展到解碼（選擇輸出），在解碼時，我們從模型中采樣多個推理鏈，并選擇復雜推理鏈中的大多數答案。通過這種方法，我們顯著提高了GPT-3和Codex在多步推理任務中的準確性，并在三個數學基準（GSM8K、MultiArith和MathQA）和兩個BigBenchHard任務（Date Understanding和Penguins）上實現了新的最先進表現，平均提升5.3個百分點，最高提升18個百分點。與現有的手動調優或基于檢索的示例選擇方案相比，基于推理復雜度的選擇直觀、易于實施，并且對標注的依賴較小。進一步的實驗結果表明，復雜提示在格式擾動和分布偏移的情況下表現出魯棒性。
圖1 為鏈式推理提示（Chain of Thoughts Prompting，簡稱CoT）的工作流程，其中推理步驟用藍色標注。整個流程包括：
- A部分：鏈式推理提示的工作流程。輸入是一個問題，提示模型生成中間推理步驟（例如：通過幾個步驟計算出問題的最終答案），然后基于這些步驟得出答案。該方法使用了一組鏈式推理案例，測試問題將從這些案例開始生成推理。
- B部分：顯示了一個復雜的推理鏈的例子，包含9個推理步驟。相比之下，更簡單的推理鏈可能只包含2步或3步。
- C部分：基于復雜性的一致性。該方法從模型中提取了多個推理鏈，然后通過對比復雜鏈的答案，選擇較復雜鏈的多數投票答案作為最終結果。
整個流程的核心在于通過訓練模型生成一系列推理步驟，并在答案中選擇那些更復雜、更合理的推理鏈，以此提高準確率。
（注釋：
A部分：鏈式推理提示的工作流程
1. 問題的輸入：
比如，第一個例子的問題是：“Asia在促銷中以140美元的價格購買了一件本來標價350美元的舞會禮服。她打折了多少？”
2. 推理步驟：
- 第一步：Asia省下了350美元 - 140美元 = 210美元。
- 第二步：她省下的210美元相當于原價的多少比例？答案是：210 ÷ 350 = 0.60 = 60%。
3. 生成答案：
最后模型給出的答案是60，即Asia在這次購買中享受了60%的折扣。
B部分：復雜的推理鏈
接著展示了一個復雜問題的解決方案：
問題：Angelo和Melanie想規劃學習時間。他們每小時休息10分鐘，計劃在一周內完成學習。他們需要計劃多少天來完成學習？
推理步驟：
1. 他們需要為兩章內容各花3小時。
2. 為每個工作表花1.5小時。
3. 計劃每天學習4小時，因此需要學習12小時，總共需要3天（12小時 ÷ 4小時/天）。
4. 他們不想每天學習超過4小時，計劃學習15小時 ÷ 4小時 ≈ 3.75天。
5. 他們決定計劃4天的學習，以確保時間充裕。
答案：最終答案是4天。
這部分演示了一個包含9個推理步驟的復雜推理鏈（相比之下，簡單問題的推理鏈可能只需2到3步）。
C部分：基于復雜性的投票機制
在此部分展示了如何通過對復雜推理鏈的投票來獲取一致答案：
1. 從模型中生成多個推理鏈：模型生成了五個推理鏈（A、B、C、D、E），這些推理鏈的復雜性不同，步驟數量從2步到6步不等。
2. 復雜鏈的一致性投票：每個推理鏈生成的答案有100或200。在本例中，通過復雜鏈投票，最終多數投票得出的答案是200。
這意味著在多個推理鏈中，復雜鏈往往能提供更準確的答案。模型傾向于通過分析更長、更復雜的推理過程來找到多數意見并將其作為最終答案。）
1、COMPLEXITY-BASED PROMPTING方法
1. 選擇復雜示例作為提示（Selecting Complex Samples as Prompts）
這部分提出了一種新的示例選擇策略，即優先選擇復雜的推理鏈作為提示。作者假設，如果語言模型使用復雜的推理示例作為上下文學習，那么其推理性能會有所提升。復雜示例是指推理步驟較多的示例，這種多步推理能夠包含更多的信息，因此有助于模型在推理過程中解決更復雜的問題。
具體而言，推理復雜性的衡量標準是推理步驟的數量，這一標準之前的研究中也有采用。作者進一步分析了其他可能的復雜性指標，如問題長度和公式長度，并發現這些復雜性指標在不同任務中表現出一致的效果，進一步驗證了選擇復雜推理鏈的有效性。
為了進一步減少標注成本，研究者還提出可以通過問題長度來識別復雜示例，然后僅為這些復雜問題手動標注推理鏈，減少了標注整個數據集的需求。
2. 復雜性一致性（Complexity-Based Consistency）
除了在輸入空間（即提示）選擇復雜示例外，作者還提出在輸出空間上使用復雜性一致性的方法。通常情況下，推理模型在生成多個推理鏈時，可能會產生不同的答案。傳統的多數投票方法是通過生成的所有推理鏈來選出答案。
然而，復雜性一致性方法通過對模型生成的多個推理鏈中的復雜推理鏈進行投票，而不是簡單投票所有推理鏈。這意味著，在推理生成過程中，優先選擇那些推理步驟較多的推理鏈來進行投票，進一步提高推理的準確性。
研究結果表明，與原始的一致性方法相比，復雜性一致性能更好地提高模型的推理能力。在實驗中，投票復雜推理鏈的表現明顯優于投票所有推理鏈，甚至遠優于投票簡單推理鏈的情況。
3. 實驗驗證（Empirical Validation）
在實驗驗證中，復雜性驅動提示方法在多個數據集上顯著提高了表現，尤其是在數學推理任務（如GSM8K、MultiArith和MathQA）以及常識推理任務（如StrategyQA和Date Understanding）上。無論是采用復雜提示還是復雜一致性投票，該方法在大多數情況下均優于傳統的提示策略，驗證了推理復雜性在提高語言模型推理能力中的關鍵作用。
2、例子
假設有一個數學問題：
問題：
"Olivia有23美元。她購買了五個每個3美元的貝果。她還剩下多少錢？"
傳統的語言模型可能會直接嘗試給出答案，而不會詳細解釋推理過程。而在Chain of Thoughts（CoT）提示中，模型會先生成一系列中間推理步驟，如下所示：
簡單提示（簡單推理鏈）：
1. Olivia有23美元。
2. 她購買了5個貝果，每個3美元，所以她一共花費了5 3 = 15美元。
3. 她還剩下23 - 15 = 8美元。
答案：8美元。
這個簡單的推理鏈只包含了3個步驟。在這種情況下，雖然能得出正確答案，但模型的推理能力沒有被充分發揮。
而使用COMPLEXITY-BASED PROMPTING，我們會選擇更復雜的示例來提示模型，可能包含更多的推理步驟，例如涉及其他類似問題的示例。
復雜提示（復雜推理鏈）：
1. Olivia有23美元。
2. 她打算購買5個貝果。
3. 每個貝果的價格是3美元。
4. 她購買的貝果數量是5個，因此總共花費是5 3 = 15美元。
5. 我們現在知道她花費了15美元。
6. Olivia的初始金額是23美元。
7. 23美元減去她的支出15美元，還剩23 - 15 = 8美元。
答案：8美元。
復雜性一致性：
在解答其他類似問題時，模型可能生成多個推理鏈。例如，模型可能產生以下不同長度的推理鏈：
- 推理鏈A：4個步驟，答案=8美元。
- 推理鏈B：5個步驟，答案=8美元。
- 推理鏈C：6個步驟，答案=8美元。
- 推理鏈D：7個步驟，答案=8美元。
- 推理鏈E：2個步驟，答案=錯誤。
使用復雜性一致性時，我們將優先選擇那些推理步驟較多的推理鏈（如B、C、D），通過它們的多數答案進行投票，最終得出更準確的結果，而不是簡單依賴所有推理鏈的投票結果。
Fu Y, Peng H, Sabharwal A, et al. Complexity-based prompting for multi-step reasoning[C]//The Eleventh International Conference on Learning Representations. 2022.
?University of Edinburgh ?Allen Institute for AI
--------------------------
02.Improving factuality and reasoning in language models through multiagent debate（PMLR 2024）
通過多代理辯論提升語言模型的事實性和推理能力
摘要：近年來，大型語言模型（LLMs）在語言生成、理解和少樣本學習方面展現了顯著的能力。大量研究致力于通過提示技術提升其性能，包括驗證、自洽性或中間草稿。本文提出了一種互補的方法，通過多個語言模型實例提出各自的響應，并在多輪辯論中對各自的推理過程進行討論，最終得出一個共同的答案。我們的研究表明，這種方法在多個任務中顯著提升了數學和戰略推理能力。我們還證明了該方法可以提高生成內容的事實準確性，減少現有模型常見的錯誤答案和幻覺現象。此方法可以直接應用于現有的黑盒模型，且在我們調查的所有任務中均使用相同的流程和提示。總體而言，我們的研究結果表明，這種“心靈社會”的方法有望顯著提升大型語言模型的能力，并為語言生成和理解領域帶來進一步的突破。
圖2：辯論示意圖。辯論過程的示意圖。
（圖片內容：
場景：一個尋寶者發現了一箱裝滿寶石的寶箱。箱子里有175顆鉆石，紅寶石比鉆石少35顆，并且翡翠的數量是紅寶石的兩倍。寶箱里共有多少顆寶石？
第一輪
Agent 1：設 x 為紅寶石的數量。那么鉆石的數量是175，紅寶石比鉆石少35顆。因此 x = 175 - 35。翡翠的數量是紅寶石數量的兩倍，即 2x。
計算寶石的總數：總寶石數 = 175 + x + 2x = 3x + 175。
我們不知道確切的 x 值，但我們知道它表示紅寶石的數量，且紅寶石的數量比鉆石少35顆，即 x < 175。我們可以試一些值：當 x = 50 時，總寶石數為 3(50) + 175 = 325；當 x = 100 時，總寶石數為 3(100) + 175 = 475。所以答案應該更接近175顆鉆石。通過反復嘗試，我們發現當 x = 40 時，總寶石數為3(40) + 175 = 295。
結果不正確（紅叉）。
Agent 2：如果鉆石有175顆，那么紅寶石的數量是比鉆石少35顆，因此紅寶石的數量為140顆。翡翠是紅寶石的兩倍，即2 × 140 = 280顆翡翠。
計算總寶石數量：175 + 140 + 280 = 595。因此，寶箱里共有595顆寶石。
結果正確（綠勾）。
第二輪
Agent 1：根據其他代理的解決方案，我們有兩個答案：一個代理認為紅寶石數量是40，總寶石數量為225。另一個代理認為紅寶石數量是140，總寶石數量為595。
我們知道紅寶石的數量比鉆石少35顆，所以紅寶石數量為175 - 35 = 140，與第二個代理的結果一致。另一個認為總共有225顆寶石的代理假設翡翠的數量是紅寶石數量的兩倍，而非紅寶石數量的兩倍。使用此假設，我們得出紅寶石數量為140，翡翠數量為2 × 140 - 35 = 245，因此總寶石數為175 + 140 + 245 = 560。最后的答案是560。
結果不正確（紅叉）。
Agent 2：在回顧其他代理的解決方案后，我同意第二個代理的結論，即紅寶石的數量為140，總寶石數量為595。因此，我的答案是595。
結果正確（綠勾）。
第三輪
Agent 1：在回顧其他代理的解決方案后，我同意第二個代理的結論，即紅寶石的數量為140，總寶石數量為595。因此，我的答案是595。
結果正確（綠勾）。
Agent 2：在回顧其他代理的解決方案后，我也同意第二個代理的結論，即紅寶石的數量為140，總寶石數量為595。因此，我的答案也是595。
結果正確（綠勾）。）
1、原理
Language Generation through Multiagent Debate是一種通過多代理辯論的方式來生成語言的模型架構
1. 多代理生成答案：模型中存在多個語言代理（或稱為多個模型實例），每個代理在面對相同的問題時，獨立生成自己的答案。每個代理代表了不同的思路或信息來源。
2. 相互批判與辯論：每個代理不僅生成自己的答案，還會審閱和批判其他代理的回答。代理在評估他人回答的過程中不斷修正自己的答案，并且這種修正過程會持續多個回合。
3. 答案共識：通過多回合的辯論，代理們會逐漸趨向于一致的答案。在這個過程中，如果某些事實不確定，代理們會有分歧，最終的答案會通過不斷排除不確定性而變得更為準確。
4. 提高推理與事實準確性：這種方法旨在解決當前語言模型存在的“幻覺”問題，即模型會錯誤地生成事實或推理過程。通過代理之間的相互辯論，可以減少這種錯誤并提升答案的可靠性。
5. 應用場景：該方法適用于多種推理和事實驗證任務，如數學問題、歷史傳記生成、國際象棋棋步預測等。在這些場景中，多代理辯論的機制比單一代理生成的答案更加精確和可信。
該方法的優點是它不需要對模型內部的信息（如梯度或概率）進行訪問，只需對生成的語言結果進行黑盒操作即可應用。此外，它也能與其他提升語言模型的方法，如零樣本推理（zero-shot chain-of-thought reasoning），結合使用以進一步提高性能。
Du Y, Li S, Torralba A, et al. Improving factuality and reasoning in language models through multiagent debate[J]. arXiv preprint arXiv:2305.14325, 2023.
MIT CSAIL
Google Brain
----------------------------
03.Progressive-hint prompting improves reasoning in large language models
漸進式提示提示法提高了大型語言模型的推理能力
摘要：大型語言模型（LLMs）在推理任務中的表現在很大程度上依賴于提示設計，其中“思維鏈”（Chain-of-Thought, CoT）和自一致性是提升該能力的重要方法。然而，這些方法并沒有充分利用LLM生成的答案來指導后續的響應。本文提出了一種新的提示方法，稱為逐步提示（Progressive-Hint Prompting, PHP），它通過使用先前生成的答案作為提示，逐步引導模型接近正確答案，允許用戶與LLM之間進行多次自動交互。PHP方法與CoT和自一致性互不沖突，因此可以輕松與最先進的技術結合，進一步提高性能。我們在七個基準數據集上進行了廣泛的實驗，結果表明，PHP顯著提升了準確率，同時保持了很高的效率。例如，在使用text-davinci-003模型時，與復雜的CoT相比，PHP在GSM8K數據集上的貪婪解碼表現提升了4.2%，而在使用自一致性時，路徑樣本量減少了46.17%。通過結合GPT-4和PHP，我們在SVAMP（89.1% → 91.9%）、GSM8K（92% → 95.5%）、AQuA（76.4% → 79.9%）和MATH（50.3% → 53.9%）數據集上實現了當前最好的表現。
圖3 我們提出的逐步提示法結合了生成的答案和問題，用于雙重檢查，分為兩個階段。在第一階段，我們通過將當前問題和基礎提示（如思維鏈提示或復雜思維鏈提示）結合起來，生成基礎答案。在第二階段，我們通過相應的逐步提示提示生成后續答案，例如逐步提示思維鏈（PHP-CoT）或逐步提示復雜思維鏈（PHP-Complex CoT）。當兩次連續的答案相同時，交互停止。- 紫色框：LLM的輸入。 - 橙色框：LLM的輸出。
（圖片內容：
Base Prompting（基礎提示）
問題：小樹學校有96名四年級學生，其中43名是女生。星期五，5名四年級女生和4名四年級男生缺席。星期五有多少名四年級男生在小樹學校？
LLM（大型語言模型）回答：小樹學校有96名四年級學生，其中43名是女生。星期五，5名女生和4名男生缺席。所以，星期五學校里有43 - 5 = 38名女生，96 - 38 = 58名男生。答案是 58。
Progressive-Hint Prompting（逐步提示法）
問題：小樹學校有96名四年級學生，其中43名是女生。星期五，5名四年級女生和4名四年級男生缺席。星期五有多少名四年級男生在小樹學校？（提示：答案接近58）。
LLM回答：我們知道答案提示是58。基于這個提示，我們將重新回答問題。小樹學校有96名四年級學生，其中43名是女生。星期五，5名女生和4名男生缺席。所以，星期五學校里有43 - 5 = 38名女生，96 - 43 = 53名男生。減去缺席的學生后，有38 - 4 = 34名女生和53 - 5 = 48名男生。答案是 48。
Progressive-Hint Prompting（逐步提示法）
問題：小樹學校有96名四年級學生，其中43名是女生。星期五，5名四年級女生和4名四年級男生缺席。星期五有多少名四年級男生在小樹學校？（提示：答案接近58，48）。
LLM回答：我們知道答案提示是58和48。基于這些提示，我們將重新回答問題。小樹學校有96名四年級學生，其中43名是女生。星期五，5名女生和4名男生缺席。所以，星期五學校里有43 - 5 = 38名女生，96 - 9 = 87名學生。這87名學生中有38名是女生，所以應該有87 - 38 = 49名男生。答案是 49。
Progressive-Hint Prompting（逐步提示法）
問題：小樹學校有96名四年級學生，其中43名是女生。星期五，5名四年級女生和4名四年級男生缺席。星期五有多少名四年級男生在小樹學校？（提示：答案接近58，48，49）。
LLM回答：我們知道答案提示是58、48、49。基于這些提示，我們將重新回答問題。小樹學校有96名四年級學生，其中43名是女生。星期五，5名女生和4名男生缺席。所以，原本有43 - 5 = 38名女生和96 - 43 = 53名男生。缺席之后，有38 - 5 = 33名女生和53 - 4 = 49名男生。答案是 49。）
1、原理
Progressive-Hint Prompting (PHP) 是一種通過逐步利用模型之前生成的答案提示，來引導模型逐漸接近正確答案，從而提升大型語言模型（LLMs）推理能力的方法。這個過程涉及用戶與模型之間的多次交互，每次生成的答案都會作為提示用于下一次的提示輸入，逐步優化模型的推理過程。
PHP 的關鍵部分包括：
1. 基礎答案：模型首先使用基礎提示（如 Chain-of-Thought 或 Complex CoT）生成初始答案，這個答案是進一步推理的起點。
2. 提示引入：將基礎答案作為提示，用于后續的交互中。模型通過重新審視問題，并結合該提示，逐步改進推理過程，獲得更準確的答案。
3. 逐步優化：這個過程會一直持續，直到模型生成的兩個連續答案相同，這表示模型找到了穩定的解決方案。
4. 類似人類的思維過程：該方法模擬了人類的思維過程，利用之前的答案不斷檢查和修正錯誤，最終得到更精確的結果。
PHP 能有效提升模型在多步驟推理任務中的表現，尤其是在數學和邏輯推理等場景中。
2、圖片注釋
問題：
“小樹學校有96名四年級學生，其中43名是女生。星期五，5名四年級女生和4名四年級男生缺席。星期五有多少名四年級男生在學校？”
傳統解答：
模型最初生成的答案可能是：
- 總共有96名四年級學生，其中43名是女生。5名女生缺席，所以學校有43 - 5 = 38名女生在校。學校總共有96 - 38 = 58名男生在校。
- 答案是58。
使用 PHP 進行提示優化：
1. 在第一次模型生成答案后，我們將“58”作為提示，再次詢問模型：
- “我們知道答案提示是58。通過這個提示重新回答問題。” 模型這次可能會重新計算，并提供一個不同的答案：
- 答案是48（因為它意識到計算錯誤，男生數量應該是53，減去缺席的4名男生）。
2. 接著，我們將這兩個答案（58和48）作為新的提示進行第三次推理：
- “我們知道答案提示是58和48。通過這些提示重新回答問題。” 模型可能進一步調整推理：
- 答案是49。
3. 最后，通過不斷提供提示，模型逐步調整自己的推理過程，直到給出最終穩定的答案。
通過這種逐步引導，模型能夠修正最初的錯誤推理，從而得出更準確的答案。這展示了 PHP 如何通過利用之前的答案提示逐步優化推理過程，使得模型能夠更接近正確的解答。
Zheng C, Liu Z, Xie E, et al. Progressive-hint prompting improves reasoning in large language models[J]. arXiv preprint arXiv:2304.09797, 2023.
Chinese University of Hong Kong
Huawei Noah’s Ark Lab
?
本文轉載自公眾號AIRoobt ，作者：AIRoobt
