1. 為什么要提出 RePrompt？

大語言模型問世后，在多項任務上取得成功，并且通過LLM智能體的研發，拓展了大語言模型在自動駕駛、機器人控制等更廣泛領域的應用。

但是這些應用的成功，都得益于提示工程的作用。不同的提示詞可以顯著影響任務的成功率，所以有人提出了APE（自動提示工程），可以使得大語言模型自動撰寫提示詞，相比簡單提示詞，找到更快找到更好的提示詞。

但是APE在收斂到高質量提示詞需要時間和計算資源，且當前應用框架存在局限，難以超越精心編寫的提示。LLMs在理解不同提示對自身的影響上，并不比人類更勝一籌。無法學習新發現的范式，而人類在嘗試如GPT-4或LLAMA-2等流行模型時，能不斷獲得編寫優質提示的新思路。LLMs在面對潛在失敗時，往往無法識別正確解決方案，僅對提示進行微小調整，而未能實現真正的改進。

所以作者提出了一種新的自動提示詞優化方法：RePrompt，結合了CoT（思維鏈）和 ReAct的實踐，并利用這些結果的對話歷史更新提示詞，通過總結并逐句優化對話歷史。RePrompt聚焦于使用LLM進行特定推理任務的場景，比如旅行規劃、輔助編程等。

2. RePrompt的工作原理

RePrompt是一種基于交互式動作生成的提示優化工具，與傳統的機器學習訓練過程相似，但訓練對象是輸入模型的提示詞，而非模型參數本身。

本文致力于通過優化提示來完善LLM代理的規劃能力。我們著眼于任務已知的LLM代理問題，以OpenAI的多樣GPT模型為例。我們提出的RePrompt方法，是一種基于交互式動作生成的提示優化工具，

RePrompt訓練需要一個小規模的推理任務數據集，首先讓LLM使用當前的提示生成回答。這個過程可能包括與反饋提供者如ReAct或Reflexion的交互，但不對交互方式或反饋的準確性設限，也稱之為行為循環。

收集到一批聊天歷史后，將這些歷史數據輸入LLM模型中，以提煉出最關鍵的焦點。這些焦點可能是頻繁出現并導致長迭代的問題，或者是有助于生成更好回答的特定建議（比如ReAct里的thought）。

要求總結團隊對不同情景進行提煉，去除特定情景信息和建議，同時避免過度總結，以免需要額外推理能力或在LLM對任務不夠擅長時引入錯誤。

與先前的自動提示工程工作相比，如APE和ProTeGi，通過批量總結來防止提示優化過程過度擬合到單一異常數據點上。

利用總結的典型錯誤，使用另一個LLM來更新實際提示，并要求優化器LLM在提出潛在解決方案時遵循以下規則：

? 改進應集中于通用提示部分，而非隨著數據變化的情景特定提示。

? 改進應優先識別特定問題是否出現在給定情景中。例如，如果存在預算限制，而歷史記錄顯示這可能是導致解決方案失敗的主要問題，那么在提供解決方案時，應嘗試使用工具計算典型計劃的成本。如果違反了預算約束，應優先考慮預算約束；否則，應忽略這個問題。

根據上面提到的原則，RePrompt的具體實現步驟如下：

? 1.針對問題提出幾種可能的解決方案。

? 2.逐一分析這些方案，找出最符合規則的那一個。

? 3.挑選出最佳方案。與APE及后續一些研究不同，不要求LLM給出句子的具體數值評估。

? 4.剖析原提示中的原始步驟，判斷所選方案是否應前置于當前步驟，或該方案是否為步驟的具體細節，需要用方案替換當前步驟的提示。如果屬于步驟，在此添加提示。

? 5.輸出融合了原始提示和更新提示的最終版本。

圖片

上圖是RePrompt算法的偽代碼實現。

完成這些步驟后，將獲得一個經過更新的提示，并可以繼續迭代，類似于機器學習模型訓練的更多輪次，直至提示收斂。這個收斂后的提示詞有助于提升首輪生成結果的質量。

在測試階段，只需應用這個經過收斂的更新提示，并在新的測試集上進行測試。測試時，不必要求與生成響應完全相同的流程，例如，如果反饋生成成本高昂，可以完全從行為環節中移除。

請注意，在優化過程中，RePrompt僅調整分步指導環節，而非問題描述或格式要求的其他部分。這將導致算法最終可能形成兩種提示格式：

? 如果當前提示類似ReAct風格，已包含分步指導，例如ReAct中的思考步驟，用以囊括所有潛在分析，我們的提示將通過不斷添加提示來更新這一思考步驟。與動態引入提示的其他提示工程相比，RePrompt 成為一個提供更具體分析焦點的算法。

? 如果提示是分步的，如解決數學或邏輯問題，RePrompt 很可能向計劃生成的程序中增加更多步驟。這將為規劃過程提供更明確的嘗試和關注方向，引導LLM得出正確答案，并充當將高級任務細化的規劃者。

盡管ICL（語境學習）對推理效果影響很大，但是如果每一步都更新示例會存在一些困難，所以RePrompt沒有對提示詞中的示例進行修改。而且示例一般是對LLM的輸出格式、相關能力的指導，而不是如何給出具體的分步提示，所以作者也沒有發現不更新這些示例帶來的任何實際問題。

圖片

上圖提示詞提取優化提示的損失值。

圖片

上圖提示詞用于在優化后的提示中定位并修正占位符。

圖片

3. 局限性

RePrompt 并不一定每次都能成功創建更優質的提示。作者列舉了常見的幾類錯誤：

3.1 不完整的提示詞

圖片

RePrompt 有時會生成不完整的提示詞。如上圖所示，LLMs可能僅輸出一個需要用戶自行復制粘貼補全的提示模板。這種情況通常發生在初始提示較長時，推測LLMs傾向于盡可能簡短地響應，卻未能遵循生成完整提示的指令。為解決這一問題，引入了一個額外的LLM來協助填充模板，并在附錄中提供了該LLM的提示。這一額外步驟幫助我們在旅行規劃領域成功生成了完整的提示。我們沒有采用基于規則的自動修復工具，因為生成的提示模板可能包含多種符號，如 <> 或 {}。為了簡化工作流程，我們讓LLM自動識別并替換這些符號。

3.2 偶然的錯誤更改

在某些情況下，特定領域的輸出格式可能與常用格式相似，導致LLMs錯誤地更改提示的某些部分。例如，在PDDL領域，要求LLMs生成動作的前提條件，而非完整的PDDL文件。實驗中，即便提示明確指示LLMs不得更改任何內容，尤其是輸出格式，但更新后的提示有時會錯誤地改變輸出格式，如將"Preconditions"的大寫錯誤地更改為小寫的"precondition"。為糾正這一問題，依賴語法檢查器的反饋。盡管生成的結果可能存在錯誤，但它們應當在語法上正確且完整。如果語法分析器無法從LLMs的輸出中找到"Precondition"一詞，即表明使用的提示有誤，會重新運行REPROMPT來生成正確的提示。鑒于當前代碼的失敗率不到10%，這一臨時方案已足夠應對。

3.3 其他局限性

? 首先，優化提示的過程與微調類似，意味著提示詞的質量受限于訓練數據，可能會影響LLMs的泛化能力。換言之，如果訓練數據中出現的特異性僅存在于特定場景而不具備普遍性，優化后的提示可能反而不如原始版本高效。

? 其次，提示有效性依賴于LLM代理能夠使用的全面工具集。由于優化策略直接源自LLMs，而非通過搜索算法得出，REPROMPT可能會提議使用一些在實際環境中并不可用的統計工具?？紤]將LLM自行編碼那些額外的、常用但當前不可用的工具，作為未來研究的方向。

? 再者，無法控制的反饋生成器有時可能產生無效甚至錯誤和誤導的反饋。鑒于REPROMPT基于反饋進行總結，如果反饋經常出現錯誤，REPROMPT會將這些錯誤納入提示中。由于本文未考慮從提示中移除無效步驟，這樣的錯誤將徒增使用的標記數量，卻無助于提升結果質量。未來的研究可以考慮引入基于搜索的機制來識別并修復這類錯誤，但這可能需要更多來自環境的真實反饋，并可能限制其在特定領域的應用。

? 最后，RePrompt 在提示階段就進行規劃，這可能不適用于需要完全不同處理流程的廣泛領域，例如解決數學問題的LLM代理。然而，對于特定任務，如利用LLM代理解決高中幾何問題，我們的方法能夠高效地學習規劃，實驗結果已經證明了這一點。

? 論文原文: https://arxiv.org/abs/2406.11132

本文轉載自??大語言模型論文跟蹤??，作者：HuggingAGI