最近我有幸參與了一個與自然語言處理相關的項目，團隊選擇了大語言模型作為核心技術之一。在一個分類任務中，我們通過精心設計提示詞，顯著提升了模型的準確率。這個過程讓我們積累了一些有用的 “提示詞” 經驗。接下來，我將分享一些關于 “提示詞” 優化的經驗和技巧，希望能夠幫助大家更好地利用大語言模型。

一、對大語言模型的重新認識

在項目中，我們逐漸意識到，要真正發揮大語言模型的潛力，僅靠工具層面的了解是不夠的，還需要對其內部運作機制有所了解。

簡單來說，大語言模型通過對海量文本數據進行學習，捕捉文本間的模式和關聯，從而實現理解和生成文本的能力。本質上講，大語言模型是一種統計模型，它對互聯網上的公開文本（如新聞、博客、社交媒體、書籍等）進行統計，識別詞語間的深層次關系。從這點可以知道，大語言模型所掌握的知識和所具備的能力也是與互聯網文本數據中的基本統計特征相對應的。

這讓大語言模型具備這樣幾個值得注意的特點：

• 語義相似性: 它能很好地識別不同詞匯之間的關聯。
• 常見語法結構和語序: 對日常使用的句式結構了然于胸。
• 部分領域專業術語: 雖然擅長某些領域的專業詞匯，但可能在深層次的行業知識上略有不足。
• 模式與關聯學習: 通過海量數據，習得了許多模式和關聯，但對其背后的邏輯或原理，不一定有更深入的理解。

大語言模型的推理是怎么回事呢？

大語言模型的輸出過程可以理解為一系列的條件概率計算。在生成文本時，模型會根據已有的上下文信息，預測下一個詞的概率分布，并選擇概率最高的詞作為輸出。這個過程不斷重復，直到生成完整的文本。

盡管乍一看似乎缺乏邏輯推理，但實際上，邏輯推理始終潛藏于整個過程。這是因為，詞語之間本身就存在著內在的邏輯關聯，每個詞可以被視為是基于前置詞匯進行邏輯推導而得出的結果。因此，每一次新詞的生成都是一次微妙的推理過程。互聯網文本如此，大語言生成的文本亦是如此。

基于此，我們也可以了解為什么加上 COT 之后模型能輸出更準確的結果。因為 COT 為模型注入了更多的推理邏輯過程，有了這些之后，生成的文本在邏輯上就更能成立了，輸出正確答案的概率自然也變高了。（COT 是 Chain of Thought 的縮寫，即思維鏈，是一種讓模型逐步推理出答案的方法。）

二、提示詞優化

了解這些如何能指導我們更好的應用大語言模型呢？那就是提示詞優化了。

提示詞是與大語言模型交互的途徑和關鍵，它決定了模型如何理解和生成文本。優化提示詞被認為是一件非常 tricky 的事情，并不容易。根據我們的經驗，在優化提示詞時，把上面的對大語言模型特點的理解謹記于心，常常能找到優化的方向。

三、一些提示詞優化經驗

提示詞優化的目的是讓大語言模型更好地理解我們的意圖，從而生成更準確、更符合預期的輸出。

那么大語言模型常常在什么地方出問題呢？我們觀察到：

• 理解偏差：大語言模型可能誤解了我們的意圖，導致輸出不符合預期。
• 信息不足：大語言模型可能缺乏足夠的信息來生成準確的輸出。
• 邏輯錯誤：大語言模型可能在推理過程中出現邏輯錯誤，導致輸出不準確。
• 推理不足：大語言模型可能輸出內容很少，推理不足，導致輸出不準確。
• 關注的重點不一致：大語言模型可能關注的重點與我們預期的不一致，導致輸出錯誤。

了解這些可以讓我們更好地理解大語言模型的行為，從而更有針對性地優化提示詞。

四、下面分享一些具體的優化經驗

為了更快的響應速度，一般的提示詞會直接讓大語言模型輸出結果，不要附帶其他信息。但是這樣一來，出錯了就沒法知道原因。

1. 為了解決這個問題，我們可以讓大語言模型先輸出結果，再解釋原因

這樣一來，如果出錯了，就可以根據解釋進行分析。例如，我們可以這樣提示大語言模型：“請先在第一行直接輸出結果，然后換一行開始逐步解釋原因”當大語言模型輸出錯誤的結果時，我們可以根據解釋的原因來判斷錯誤的原因，從而更有針對性地優化提示詞。在上線應用時，只需要設置stop_words為換行符，就可以快速地只獲取結果，而不需要解釋的原因。

2. 基于大語言模型的解釋去分析在哪里表現不好，或者理解有差異，針對性的添加提示詞

大模型的解釋常常可以幫助我們分析其在哪里表現不好，或者理解有差異。這一方法，通?？梢越鉀Q由于理解偏差和信息不足帶來的問題。我們可以根據這些信息，針對性地添加提示詞，來引導大語言模型更準確地理解我們的意圖。例如，如果大語言模型在關于分類的定義理解有差異，我們可以在提示詞中添加相關的背景知識，來幫助大語言模型更準確地理解。

我在實驗過程中，就碰到這樣一個例子。我發現大語言模型不能將“錢包”對應到“數字人民幣錢包”，而是將其理解為“實體錢包”。我在提示詞中添加了“數字人民幣錢包”的定義，并說明其簡稱為“錢包”，就解決了這個問題。再比如，大語言模型可能不能很好的區分兩個分類，我們可以在提示詞中添加關鍵的差異點，來幫助大語言模型更準確地理解。當然，這個差異點我們也不用自己想，可以通過詢問大語言模型來找到。

我們在實驗中的例子是，大語言模型對于用戶意圖是“完成任務”或者“咨詢問題”兩個類別識別不夠準確。通過分析大語言模型的解釋，發現關鍵的差異在于是否在完成任務的過程中遇到問題。我們在提示詞中添加了這一點，模型表現就更好了。

我們都知道COT可以提高大語言模型的正確率，但是COT比較慢，難以應對實時的應用場景。是不是可以把COT編碼到提示詞中？這樣就可以提高正確率，又不會影響響應速度。我們實驗發現，這樣做是可行的，只需要進行一點抽象即可。

首先，我們可以讓大語言模型對錯誤的用例，使用COT重新解釋一遍，如果這次能解釋正確，就說明這個邏輯可以參考。但這樣的解釋可能跟具體的用例強相關，難以直接放到提示詞中。這個問題不難解決，我們可以讓大語言模型對其他錯誤的用例也應用COT進行解釋，然后找到解釋中的共性，將這些共性抽象出來，放到提示詞中就可以了。比如，大語言模型有時會把“完成某個特定任務”和“閑聊”混淆，觀察大語言模型對錯誤用例的COT解釋，發現大語言模型提到了“是否有目的性”。這是一個很好的共性，我們可以將其提取出來，放到提示詞中。把COT編碼到提示詞中常常能解決邏輯錯誤和推理不足的問題。

3. 分析性的提示詞放在后面，在提示詞中編碼分析過程，可以提高正確率

這是一個很有意思的發現。一般而言， 我們會把描述任務的提示詞放在前面，然后再放需要分析的內容。但事實上這會降低正確率。我們發現，如果把描述任務的提示詞放在后面，就可以提高5％左右的正確率。仔細一想，這其實比較符合COT的思路。在COT中，我們也是基于問題進行分析之后得出結果。描述任務的提示詞其實蘊含了分析過程，放在后面，一定程度上有COT分析過程的意義，所以可能是更有效的。

4. 保持英文和中文的一致性，不要引入一些隱性的差異

另一個有意思的發現是，大語言模型對于英文和中文的敏感度是不一樣的。一些開源的模型，如Llama系列的，其訓練數據以英文為主，那么英文的敏感度就可能更高。這給我們的啟示是，用英文比用中文可能能取得更好的效果。實際上，在我們項目里面，是中英混合的。我們一開始嘗試了多次在提示詞中用中文進行解釋，但效果一直不夠理想。后來我們發現英文名與中文的描述并不是特別一致，我們把一個隱含的結構放在了英文名中。在修改英文名之后，效果就好了很多。

保持中英文一致，常常是解決大語言關注的重點不一致問題的一個不錯的方法。

5. 保持提示詞使用簡潔而嚴謹的語言風格

簡潔而嚴謹的語言風格，就像是在書寫嚴謹的推理類的文檔內容（比如論文），可以讓大語言模型更加專注于任務，而不會被其他的信息干擾。在實際應用中，這常常也是有效的，而且，這樣的提示詞還能節省token，讓模型響應更快。

五、總結

大語言模型的能力越來越強大，應用也越來越廣泛，但是，實際應用中，我們仍然需要對其進行一些調教，才能更好地發揮其潛力。

本文分享了一些我們對大語言模型的理解，并基于一些實際操作經驗分享了我們在提示詞設計上的一些發現。希望這些發現能夠對大家有所幫助。