1. 思考的快與慢

圖片

諾貝爾經濟學獎得主卡尼曼在《Thinking, Fast and Slow》這本書中根據前人多種雙過程理論（Dual Process Theory）進行了總結和進一步解釋：將人類的思考過程分為“直覺”和“推理”，這兩個過程分別被稱為“系統1（System 1）”和“系統2（System 2）”。

系統一的特點是快速，不加思考、不做計算、僅憑直覺就做出判斷。比如，當我們回答1+1這個問題的時候，我們的大腦可以不加思考的回答出等于2。所以系統一的特點是：快思考、熱啟動、直覺判斷。

系統二的特點是速度，需要做復雜的計算、推理，但回答準確度高。比如，當我們回答123乘以879的時候，我們無法通過我們的快思考來回答，我們需要調用大腦的計算模塊，對這個問題進行復雜的計算后才能回答。所以系統二的特點是：慢思考、啟動慢、耗費能量高、判斷準確。

為什么今天要討論大腦的思考過程？

是因為大語言模型在AGI的技術路線上，相當于我們人類的大腦。大多數人在第一次使用大語言模型的時候，經常會感受到大語言模型的愚蠢，比如，讓他計算1+1等于幾是可以計算的，但是讓他計算123乘以879時，往往會計算不對（現在的網頁版AI模型往往會在背后調用計算工具）。

圖片

當大模型計算1+1的時候，其實我們可以認為大模型其實是在做一個最簡單的快思考，回答的很快，直接通過大語言模型存儲的知識，憑大模型的“直覺”來推斷答案；當回答復雜的計算題時，大模型需要使用一些計算工具，這些工具可以是大模型內置的，可也是大模型外掛的，這可以理解為是大模型的慢思考。這兩個過程實際上跟我們前面介紹的系統1和系統2的特點是非常吻合的。

講了這么多，今天要介紹的這篇論文其實就是利用了【系統二】這樣的一些理論來優化我們的提示工程策略，提高大語言模型回答的準確性和效果，在這篇論文里是降低了大模型的有害偏見，有效性高達13%。

2. 大模型的語言偏見

圖片

介紹如何利用【系統二】來提升大模型效果之前，我們先來簡單介紹下大模型語言偏見的一些背景。

大語言模型進展非常迅速，也取得了非常好的效果，但是大語言模型在表達的時候仍然可能會出現一些偏見性得表達。這些偏見以多種形態出現，如刻板印象和有偏見的答案，引發了關于LLM在現實應用中的倫理問題。

由于大語言模型的黑盒特性，其內部參數構成非常復雜和不透明，以及人類語言的靈活性和文化依賴性，識別和消除這些偏見變得異常困難。減輕LLM中的社會偏見對于確保AI在通信和決策中的公平性和包容性至關重要。

本文作者主要研究了這些偏見中的9大類：年齡歧視、外貌、職業與外貌、性別、制度、國籍、職業、種族、宗教。

3. 【系統二】原理是如何指導提示工程優化大語言模型效果？

在本篇論文里，作者對比了12中不同的提示詞策略，12種提示詞策略包括：COT、系統一、系統二、人類角色和機器角色，以及這些的組合。

圖片

上圖中的HP表示人類角色（Human Persona），MP表示機器角色（Machine Persona）。

圖片

從上圖可以看出來：

• ? 使用【系統二】+人類角色 提示詞策略的時候，減少的模型有害偏見輸出是效果最好的。系統一的各種組合所帶來的減少效果都不如系統二，這與我們的雙系統理論是一致的。
• ? 另外，COT的提示策略，并沒有有效減少偏見的產生。

圖片

上圖展示了不同模型、不同提示詞策略、不同的偏見類型上，哪種提示工程策略表現最好。可以看出，當人類角色和系統二結合的時候，往往可以最大程度減少有害偏見的輸出。

4. 思考

快思考慢思考的思維方式，可以僅僅使用提示工程就可以提高模型的表達效果，這與我們人類的思維方式極為相似。這是否正好暗示了，大語言模型這種方式，可能就是未來人類通向AGI的必經之路呢？大語言模型是否會在未來的AGI道路上替代人類大腦呢？

本文轉載自大語言模型論文跟蹤，作者： HuggingAGI ????