盡管大模型非常強(qiáng)大，但仍然有著自身的局限。大模型可以生成看起來非常值得信賴的內(nèi)容并引用外部資源，但是，大模型本身并不能直接訪問互聯(lián)網(wǎng)也不能訪問互聯(lián)網(wǎng)的資源。偏見往往會(huì)使大模型產(chǎn)生某些定型的內(nèi)容。當(dāng)被問到一個(gè)不知道答案的問題時(shí)，大模型有時(shí)會(huì)產(chǎn)生“幻覺”或者產(chǎn)生錯(cuò)誤的信息, 很多時(shí)候，即使是最簡單的數(shù)學(xué)或常識(shí)的問題, 大模型仍然要掙扎一番。另外，通過操縱提示詞，以忽略開發(fā)人員的指令并生成特定的內(nèi)容。

大多數(shù)提示技術(shù)主要解決幻覺和解決數(shù)學(xué)/常識(shí)問題，而偏見和提示詞攻擊是需要單獨(dú)討論的話題。提示技術(shù)離不開提示詞的編寫，一些常見的規(guī)則可以幫助我們寫出清晰而具體的提示詞，例如：

• 準(zhǔn)確地說出要做什么(寫、總結(jié)、提取信息) ；
• 避免說什么不該做，而是說什么該做；
• 具體描述，不要說“幾句話”，要說“兩三句話”；
• 添加標(biāo)記或分隔符以結(jié)構(gòu)化提示符；
• 如果需要，請(qǐng)求結(jié)構(gòu)化輸出(JSON，HTML) ；
• 要求模型驗(yàn)證是否滿足條件(例如: 如果你不知道答案，請(qǐng)說”沒有相關(guān)資料“) ；
• 要求模型首先解釋，然后提供答案(否則模型可能會(huì)試圖證明一個(gè)不正確的答案)。

通過提示工程技術(shù)，我們可以引入更多的時(shí)間和空間以及內(nèi)容的屬性，有助于更好地生成提示詞。那么，提示工程技術(shù)有哪些呢？我們?nèi)绾胃玫厥褂盟鼈兡兀?/p>

分類是認(rèn)知的開始。現(xiàn)有的大多數(shù)提示技術(shù)可以分為三類:

• 單一提示技術(shù)：旨在優(yōu)化一個(gè)提示的響應(yīng)
• 多重提示技術(shù)：為了解決任務(wù)而多次查詢模型(或模型) 
• 大模型與外部工具結(jié)合的技術(shù)

1 單一提示技術(shù)

圖片

LLM 非常擅長一次性學(xué)習(xí)，但是他們?nèi)匀豢赡茉趶?fù)雜的任務(wù)中失敗。單一提示技術(shù)是提示工程的基礎(chǔ)，常見的技術(shù)手段有：

• Zero-Shot：使用自然語言指令的最簡單的技術(shù)。
• One-shot：一次性學(xué)習(xí)
• Few-Shot：用正確的答案向模型演示類似的任務(wù)，提供一些關(guān)于標(biāo)簽空間、輸入測(cè)試的分布和序列的整體格式的示例
• Chain of Thought（CoT）：思想鏈的提示通過中間的推理步驟使復(fù)雜的推理能力成為可能。這種技術(shù)旨在使模型對(duì)每個(gè)步驟進(jìn)行迭代和推理。
• Program-Aided Language Models (PAL)：一種通過使用代碼將解釋擴(kuò)展為自然語言來擴(kuò)展思維鏈提示的方法，可以將LangChain中的 PALChain 作為參考實(shí)現(xiàn)。

2. 多重提示技術(shù)

基于不同的策略，將一個(gè)或幾個(gè)提示技術(shù)組合在一起的，主要包括：

• 投票排名：應(yīng)用投票來得到正確的答案，例如， 自我一致性的方法（Self-Consistency）。
• 分而治之：一組提示基于將復(fù)雜任務(wù)劃分為幾個(gè)提示，例如: 定向激勵(lì)提示，知識(shí)生成，提示鏈，表鏈提示以及 Least-to-Most 的提示。
• 自我評(píng)估：將檢查輸出是否符合指令的步驟納入框架，例如，思維樹等。

2.1 投票排名

投票排名策略中的自我一致性方法基于這樣的直覺: “一個(gè)復(fù)雜的推理問題通常需要多種不同的思維方式才能得到獨(dú)一無二的正確答案”。它要求相同的思維鏈提示幾次，從而產(chǎn)生一組不同的推理路徑，然后通過應(yīng)用投票選擇最一致的答案.

圖片

一般地，對(duì)算術(shù)和常識(shí)任務(wù)而言，應(yīng)用自我一致性的效果在常規(guī)基準(zhǔn)測(cè)試中為4% -18% 。

2.2 分而治之

分治是算法設(shè)計(jì)中使用最為頻繁的技術(shù)之一，在許多經(jīng)典算法中都可以發(fā)現(xiàn)分治策略的影子。排序中的歸并排序、快速排序，查找中的二分查找都是用分治策略來實(shí)現(xiàn)的。分治策略的思想是將一個(gè)復(fù)雜的問題分解為兩個(gè)或更多的相同或相似的子問題，再把子問題分成更小的子問題，直到最后子問題可以簡單的直接求解，原問題的解即子問題的解的合并。

定向激勵(lì)提示

在定向激勵(lì)提示中有兩個(gè)步驟: 產(chǎn)生提示(例如，關(guān)鍵字)和使用它們來提高響應(yīng)的質(zhì)量。定向提示用于總結(jié)、對(duì)話響應(yīng)應(yīng)生成和思維鏈推理任務(wù)，包括兩種模式:

• 一個(gè)小型可調(diào)整的策略模型被訓(xùn)練成產(chǎn)生提示(例如，一個(gè)暗示) ；
• 基于前一步的問題和提示，利用一個(gè)黑盒大模型來生成一個(gè)摘要。

圖片

其中，策略模型可以通過監(jiān)督下的微調(diào)來優(yōu)化，使用標(biāo)注數(shù)據(jù)和線下或基于 LLM 輸出的在線獎(jiǎng)勵(lì)來強(qiáng)化學(xué)習(xí)，為 LLM 提供針對(duì)特定輸入的指導(dǎo)，以達(dá)到期望的目標(biāo)。

知識(shí)生成

知識(shí)生成的提示技術(shù)使用一個(gè)單獨(dú)的提示來首先生成知識(shí)，然后使用它來獲得更好的響應(yīng)。

圖片

一般包括兩個(gè)階段:

• 生成知識(shí): 使用few-shot從大模型生成與問題相關(guān)的知識(shí)陳述。
• 知識(shí)整合: 使用另一個(gè)打磨下對(duì)每個(gè)知識(shí)語句進(jìn)行預(yù)測(cè)，然后選擇最高置信度的預(yù)測(cè)。

該方法不需要對(duì)知識(shí)集成進(jìn)行特定任務(wù)的監(jiān)督，也不需要訪問結(jié)構(gòu)化的知識(shí)庫，但它提高了大模型在常識(shí)推理任務(wù)上的性能。

提示鏈

提示鏈?zhǔn)且环N簡單但功能強(qiáng)大的技術(shù)，這種技術(shù)將任務(wù)劃分為子問題，并逐個(gè)提示模型。提示鏈對(duì)于完成復(fù)雜的任務(wù)非常有用，有助于提高 LLM 應(yīng)用程序的透明度，增加可控性和可靠性。

圖片

Least to Most提示方法進(jìn)一步添加了一個(gè)步驟，在這個(gè)步驟中，模型應(yīng)該決定如何將任務(wù)分解為子問題，在與符號(hào)操作、組合概括和數(shù)學(xué)推理相關(guān)的任務(wù)中，Least to Most提示表現(xiàn)良好。
[最小到最大提示.png]()

表鏈

表鏈提示技術(shù)，將表格數(shù)據(jù)被明確地用在推理鏈中作為中間思維結(jié)果的代理，該算法包括兩個(gè)步驟：首先是動(dòng)態(tài)規(guī)劃，大模型根據(jù)輸入查詢和以前操作的歷史記錄從操作池中抽樣下一個(gè)操作(操作鏈) ,參數(shù)生成涉及使用 LLM 和編程語言的應(yīng)用程序?yàn)榍耙徊讲僮髦羞x定的參數(shù)(例如新的列名)生成參數(shù)，以執(zhí)行操作并創(chuàng)建相應(yīng)的中間表。

圖片

2.3 自我評(píng)估

思維樹（ToT）技術(shù)概括了思想鏈的方法，允許模型探索多個(gè)推理步驟和自我評(píng)估的選擇。要實(shí)施 ToT 技術(shù)，必須決定四個(gè)問題:：

1. 如何將中間過程分解為思維步驟？
2. 如何從每個(gè)狀態(tài)產(chǎn)生潛在的想法？
3. 如何啟發(fā)式地計(jì)算狀態(tài)(使用狀態(tài)評(píng)估提示) ？
4. 使用什么樣的搜索算法？

圖片

輸入的提示必須包括解決問題的中間步驟的描述，以及抽樣的想法或生成這些想法的說明。狀態(tài)評(píng)估提示必須提供指令，說明要在哪些提示上選擇下一步。對(duì)于需要進(jìn)行復(fù)雜計(jì)劃或搜索的任務(wù)， ToT 相對(duì)成功。另外，LangChain 在experimental.tot.base.ToTChain 類中實(shí)現(xiàn)了思維樹技術(shù)。

3. 使用外部工具的大模型

實(shí)際上，使用外部工具的大模型提示技術(shù)就是基于大模型的應(yīng)用，主要包括RAG 和Agent。

3.1 RAG

RAG 結(jié)合了信息檢索組件和文本生成模型，在檢索步驟中，系統(tǒng)通常使用向量搜索來搜索可能回答問題的相關(guān)文檔。接下來，將相關(guān)文檔作為上下文與初始問題一起傳遞給大模型. 在大多數(shù)情況下，使用 RAG 方法意味著我們檢索 k 文檔，并使用它們生成回答用戶查詢的所有輸出令牌。

圖片

RAG 中的大模型可以進(jìn)行微調(diào)，但實(shí)際上很少這樣做，因?yàn)榻?jīng)過預(yù)訓(xùn)練的 LLM 足夠好，可以按原樣使用，而且微調(diào)成本太高。此外，RAG 中的內(nèi)部知識(shí)可以以一種有效的方式進(jìn)行修改，而不需要對(duì)整個(gè)模型進(jìn)行再訓(xùn)練。

RAG 產(chǎn)生的響應(yīng)更加真實(shí)、具體和多樣化，改善了事實(shí)驗(yàn)證的結(jié)果。

3.2 Agent

當(dāng)前，已經(jīng)有多種agent 技術(shù)框架，這里簡要介紹Reflexion 和ReAct。

反思（Reflexion）是一個(gè)通過語言反饋來強(qiáng)化語言主體的框架。反射代理通過語言反映任務(wù)反饋信號(hào)，然后在記憶緩存中維持自己的反思文本，以誘導(dǎo)更好的決策在隨后的試驗(yàn)。

圖片

一般地，反思框架由三種不同的模型組成:
* Actor: 一個(gè) LLM 模型，它基于狀態(tài)觀察生成文本和操作(使用 CoT 和 ReAct) 
* Evaluator: 一個(gè) LLM 模型，它對(duì)Actor產(chǎn)生的輸出進(jìn)行評(píng)分
* Self-Reflection: 一個(gè) LLM 模型，產(chǎn)生語言強(qiáng)化線索，以協(xié)助Actor自我完善

反思在需要順序決策、編碼和語言推理的任務(wù)中表現(xiàn)良好。

ReAct 的框架使用大模型以交錯(cuò)的方式生成推理軌跡和特定任務(wù)的行為: 推理軌跡幫助模型產(chǎn)生、跟蹤和更新行動(dòng)計(jì)劃以及處理異常，而行為允許它與外部來源(如知識(shí)庫或環(huán)境)接口交互并收集額外的信息。

圖片

ReAct 框架可以選擇一個(gè)可用的工具(如搜索引擎、計(jì)算器、 SQL 代理) ，應(yīng)用它并分析結(jié)果以決定下一個(gè)操作。ReAct 通過與簡單的 Wikipedia API 交互，克服了思維鏈推理中的幻覺和錯(cuò)誤傳播的普遍問題，并產(chǎn)生比沒有推理痕跡的基線更可解釋的類人任務(wù)解決軌跡。具體地，可以參考使用 Langchain 工具實(shí)現(xiàn) ReAct 的示例。

4. 提示評(píng)估技術(shù)

提示技術(shù)的測(cè)試指標(biāo)在很大程度上取決于應(yīng)用程序和可用資源，大模型提示詞中的最小變化非常敏感，這些變化不是最優(yōu)的，而且往往是主觀的。無論選擇哪種提示技術(shù)，將提示工程視為數(shù)據(jù)科學(xué)的過程都非常重要。這意味著創(chuàng)建一個(gè)測(cè)試集并選擇指標(biāo)，調(diào)優(yōu)提示并評(píng)估它對(duì)測(cè)試集的影響。

圖片

盡管如此，提示的評(píng)估技術(shù)有一些基本的原則:

• 事實(shí)性和相關(guān)性: 生成的答案有多真實(shí), 生成的答案與問題的相關(guān)程度。
• 檢索：主要針對(duì) RAG 和 Agent 管道，但可應(yīng)用于生成的知識(shí)和定向提示，主要指標(biāo)還是準(zhǔn)召；
• 內(nèi)部思維方式: Agent 和工具選擇的準(zhǔn)確性，為 Agent 提取工具參數(shù), 從上下文中檢索到正確的參數(shù)并進(jìn)行了適當(dāng)?shù)霓D(zhuǎn)換, 在多輪對(duì)話中記住事實(shí)，正確的邏輯步驟，例如反思和思維鏈提示
• 非功能性：答案的風(fēng)格和語氣,沒有偏見, 合規(guī)和安全檢查, 提示注入實(shí)驗(yàn)。

5. 提示工程的方法小結(jié)

在應(yīng)用提示工程的時(shí)候，提示語要清晰而準(zhǔn)確，這樣模型就不必猜測(cè)我們的意圖。我們可以使用分隔符或標(biāo)記添加結(jié)構(gòu), 通過展示示例和添加解釋來幫助模型, 要求模型反復(fù)思考，解釋它的解決方案。

對(duì)于復(fù)雜的提示詞，請(qǐng)考慮將其拆分為子任務(wù), 多問幾次同樣的問題, 并考慮添加一個(gè)模型自檢的步驟。如果需要，將 LLM 與外部工具結(jié)合起來,并將提示調(diào)優(yōu)視為一個(gè)數(shù)據(jù)科學(xué)過程，它是迭代的，需要評(píng)估。

【參考資料與關(guān)聯(lián)閱讀】

• promptingguide.ai
• “Large Language Models are Zero-Shot Reasoners”，https://arxiv.org/abs/2205.11916
• “PAL: Program-aided Language Models”，https://arxiv.org/abs/2211.10435
• “Self-Consistency Improves Chain of Thought Reasoning in Language Models”，https://arxiv.org/abs/2203.11171
• “Least-to-Most Prompting Enables Complex Reasoning in Large Language Models”，https://arxiv.org/pdf/2205.10625.pdf
• “Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding”，https://arxiv.org/pdf/2401.04398.pdf