人類(lèi)直覺(jué)是一種常被 AI 研究者忽視的能力，但其精妙程度連我們自身也沒(méi)有徹底理解。弗吉尼亞理工大學(xué)和微軟的一個(gè)研究團(tuán)隊(duì)在近日的一篇論文中提出了思維算法（AoT），其組合了直覺(jué)能力與算法方法的條理性，從而能在保證 LLM 性能的同時(shí)極大節(jié)省成本。

大型語(yǔ)言模型近來(lái)發(fā)展速度很快，其在解決一般問(wèn)題、生成代碼和跟隨指令方面表現(xiàn)出了顯著的非凡能力。

盡管早期的模型依賴(lài)于直接回答策略，但當(dāng)前的研究則轉(zhuǎn)向了線性推理路徑，其做法是將問(wèn)題分解成子任務(wù)來(lái)發(fā)現(xiàn)解決方案，或通過(guò)修改上下文來(lái)利用外部機(jī)制來(lái)改變 token 的生成。

與人類(lèi)認(rèn)知類(lèi)似，早期的 LLM 策略似乎模仿的是即時(shí)的 System 1（快速反應(yīng)），其特征是通過(guò)脈沖決策實(shí)現(xiàn)。相較之下，思維鏈（CoT）和 least-to-most prompting（L2M）等更新的一些方法則反映了 System 2（慢速思考）的內(nèi)省式本質(zhì)。值得注意的是，通過(guò)整合中間推理步驟，可讓 LLM 的算術(shù)推理能力獲得提升。

但是，如果任務(wù)需要更深度的規(guī)劃和更廣度的思維探索，那么這些的方法的局限性就顯現(xiàn)出來(lái)了。盡管整合了自我一致性的 CoT（CoT-SC）可使用多個(gè) LLM 輸出來(lái)達(dá)成共識(shí)性結(jié)果，但由于缺少細(xì)致的評(píng)估，可能會(huì)導(dǎo)致模型走向錯(cuò)誤方向。2023 年出現(xiàn)的思維樹(shù)（ToT）是一種值得注意的解決方案。其中使用一個(gè) LLM 來(lái)生成想法，再使用另一個(gè) LLM 來(lái)評(píng)估這些想法的優(yōu)點(diǎn)，之后續(xù)以「暫停 - 評(píng)估 - 繼續(xù)」的循環(huán)。這種基于樹(shù)搜索的迭代過(guò)程明顯是有效的，尤其是對(duì)于具有較長(zhǎng)延續(xù)性的任務(wù)。研究者認(rèn)為，這種進(jìn)展是使用外部工具來(lái)增強(qiáng) LLM，類(lèi)似于人類(lèi)使用工具來(lái)規(guī)避自身工作記憶的限制。

另一方面，這種增強(qiáng)過(guò)的 LLM 方法也不是沒(méi)有缺點(diǎn)。一個(gè)明顯的缺點(diǎn)是查詢(xún)數(shù)量和計(jì)算需求會(huì)大幅飆升。對(duì) GPT-4 等在線 LLM API 的每一次查詢(xún)都會(huì)產(chǎn)生可觀的金錢(qián)開(kāi)支，同時(shí)還會(huì)拉長(zhǎng)延遲，這一局限對(duì)實(shí)時(shí)應(yīng)用而言尤為關(guān)鍵。這些查詢(xún)累積的延遲可能有損方案的整體效率。基礎(chǔ)設(shè)施方面，持續(xù)的交互會(huì)給系統(tǒng)帶來(lái)壓力，這可能限制帶寬和降低模型可用性。此外，還不能忽視對(duì)環(huán)境的影響，不斷的查詢(xún)會(huì)加大已經(jīng)能耗很大的數(shù)據(jù)中心的能耗，使碳足跡進(jìn)一步增大。 

基于這些考量，研究者的優(yōu)化目標(biāo)是大幅減少當(dāng)前多查詢(xún)推理方法所使用的查詢(xún)數(shù)量，同時(shí)維持足夠的性能，使模型能應(yīng)對(duì)需要熟練使用世界知識(shí)的任務(wù)，從而引導(dǎo)人們更負(fù)責(zé)任和更熟練地使用 AI 資源。

通過(guò)思考 LLM 從 System 1 到 System 2 的演變，可以看到一個(gè)關(guān)鍵因素浮出了水面：算法。算法是富有條理的，其能提供一條幫助人們探索問(wèn)題空間、制定策略和構(gòu)建解決方案的途徑。盡管許多主流文獻(xiàn)都將算法看作是 LLM 的外部工具，但考慮到 LLM 固有的生成式復(fù)現(xiàn)能力，我們能否引導(dǎo)這種迭代式邏輯來(lái)將一個(gè)算法內(nèi)化到 LLM 內(nèi)部？

弗吉尼亞理工大學(xué)和微軟的一個(gè)研究團(tuán)隊(duì)將人類(lèi)推理的復(fù)雜精妙和算法方法的富有條理的精確性聚合到了一起，試圖通過(guò)融合這兩方面來(lái)增強(qiáng) LLM 內(nèi)部的推理能力。

已有的研究強(qiáng)調(diào)，人類(lèi)在解決復(fù)雜問(wèn)題時(shí)會(huì)本能地借鑒過(guò)去的經(jīng)歷，確保自己進(jìn)行全面思考而不是狹隘地關(guān)注某一細(xì)節(jié)。LLM 生成范圍僅受其 token 限制限定，似乎是注定要突破人類(lèi)工作記憶的阻礙。

受這一觀察啟發(fā)，研究者探究了 LLM 能否實(shí)現(xiàn)類(lèi)似的對(duì)想法的分層探索，通過(guò)參考之前的中間步驟來(lái)篩除不可行的選項(xiàng) —— 所有這些都在 LLM 的生成周期內(nèi)完成。而人類(lèi)長(zhǎng)于直覺(jué)敏銳，算法善于組織化和系統(tǒng)性的探索。CoT 等當(dāng)前技術(shù)往往回避了這種協(xié)同性潛力，而過(guò)于關(guān)注 LLM 的現(xiàn)場(chǎng)精度。通過(guò)利用 LLM 的遞歸能力，研究者構(gòu)建了一種人類(lèi) - 算法混合方法。其實(shí)現(xiàn)方式是通過(guò)使用算法示例，這些示例能體現(xiàn)探索的本質(zhì) —— 從最初的候選項(xiàng)到經(jīng)過(guò)驗(yàn)證的解決方案。

基于這些觀察，研究者提出了思維算法（Algorithm of Thoughts /AoT）。

論文：https://arxiv.org/pdf/2308.10379.pdf

從更廣義的范圍看，這種新方法有望催生出一種上下文學(xué)習(xí)新范式。這種新方法沒(méi)有使用傳統(tǒng)的監(jiān)督學(xué)習(xí)模式，即 [問(wèn)題，解答] 或 [問(wèn)題，用于獲得解答的后續(xù)步驟]，而是采用了一種新模式 [問(wèn)題，搜索過(guò)程，解答]。很自然，當(dāng)通過(guò)指令讓 LLM 使用某算法時(shí)，我們通常預(yù)計(jì) LLM 只會(huì)簡(jiǎn)單模仿該算法的迭代式思維。但是，有趣的是 LLM 有能力注入其自身的「直覺(jué)」，甚至能使其搜索效率超過(guò)該算法本身。

思維算法

研究者表示，其研究策略的核心是認(rèn)識(shí)到當(dāng)前上下文學(xué)習(xí)范式的核心短板。CoT 盡管能提升思維聯(lián)系的一致性，但偶爾也會(huì)出問(wèn)題，給出錯(cuò)誤的中間步驟。

為了說(shuō)明這一現(xiàn)象，研究者設(shè)計(jì)了一個(gè)實(shí)驗(yàn)。用算術(shù)任務(wù)（如 11 ? 2 =）查詢(xún) text-davinci-003 時(shí)，研究者會(huì)在前面添加多個(gè)會(huì)得到同等輸出結(jié)果的上下文等式（如 15 ? 5 = 10, 8 + 2 = 10）。

結(jié)果發(fā)現(xiàn)，準(zhǔn)確度陡然下降，這說(shuō)明只是在上下文中給出正確的推理可能會(huì)在無(wú)意中損害 LLM 的基礎(chǔ)算術(shù)能力。

為了減少這種偏差，讓示例更加多樣化也許是可行的解決方案，但這可能會(huì)稍微改變輸出的分布。只是添加一些不成功的嘗試（就像是隨機(jī)搜索），可能會(huì)無(wú)意地鼓勵(lì)模型重新嘗試，而不是真正解決問(wèn)題。了解了算法行為的真正本質(zhì)（其中失敗的搜索和后續(xù)的恢復(fù)以及對(duì)這些嘗試的學(xué)習(xí)都很重要），研究者整合上下文示例的方式是按照搜索算法的模式，尤其是深度優(yōu)先搜索（DFS）和廣度優(yōu)先搜索（BFS）。圖 1 給出了一個(gè)示例。

這篇論文關(guān)注的重點(diǎn)是與樹(shù)搜索問(wèn)題類(lèi)似的一大類(lèi)任務(wù)。

這類(lèi)任務(wù)必需對(duì)主要問(wèn)題進(jìn)行分解，為每一部分構(gòu)建可行的解決方案，并決定采納或放棄某些路徑，并可以選擇重新評(píng)估更有潛力的部分。

研究者的做法不是為每個(gè)子集都給出單獨(dú)的查詢(xún)，而是利用了 LLM 的迭代能力，在一次統(tǒng)一的生成式掃描中解決它們。通過(guò)限定自己僅能進(jìn)行一兩次 LLM 交互，該方法可以自然地整合來(lái)自之前的上下文候選項(xiàng)的洞見(jiàn)，并解決需要對(duì)解答域進(jìn)行深度探索的復(fù)雜問(wèn)題。對(duì)于這些思維的大小應(yīng)當(dāng)如何以及應(yīng)該為 LLM 提供何種類(lèi)型的上下文示例，從而提升 token 效率，研究者也給出了自己的見(jiàn)解。下面將給出樹(shù)搜索算法的關(guān)鍵組件以及它們?cè)谛驴蚣苤械谋憩F(xiàn)形式。

1. 分解成子問(wèn)題。給定一個(gè)問(wèn)題，就算不看實(shí)際解決問(wèn)題方面，構(gòu)建一個(gè)描述可行推理路徑的搜索樹(shù)已經(jīng)是一項(xiàng)艱巨的任務(wù)。任何分解都不僅要考慮子任務(wù)之間的相互關(guān)系，還要考慮解決各個(gè)問(wèn)題的難易程度。

以簡(jiǎn)單的多位數(shù)加法為例：盡管對(duì)計(jì)算機(jī)而言，將數(shù)值轉(zhuǎn)換成二進(jìn)制數(shù)后效率很高，但人類(lèi)通常認(rèn)為十進(jìn)制數(shù)更加直觀。此外，即便子問(wèn)題是一樣的，執(zhí)行方法也可能不同。直覺(jué)能找到解答步驟之間的捷徑，而如果沒(méi)有直覺(jué)，可能就必需更為詳細(xì)的步驟。

為了創(chuàng)建出正確的 prompt（即上下文算法示例），這些細(xì)微之處非常重要，它們決定了 LLM 為了取得可靠表現(xiàn)所需的最少 token 數(shù)量。這不僅能滿(mǎn)足 LLM 對(duì)上下文的限制，而也對(duì) LLM 的能力很重要，因?yàn)槲覀兿Ｍ?LLM 能使用相似的 token 量解決與其上下文有共鳴的問(wèn)題。

2. 為子問(wèn)題提議解答。現(xiàn)目前的一種主流方法涉及到直接采樣 LLM token 輸出概率。盡管這種方法對(duì)一次性答案有效（有一定的限制），但也無(wú)力應(yīng)對(duì)一些場(chǎng)景，比如當(dāng)需要將樣本序列整合進(jìn)后續(xù) prompt 中或在后續(xù) prompt 中評(píng)估時(shí)。為了盡可能減少模型查詢(xún)，研究者采用了一種不間斷的解答創(chuàng)建過(guò)程。即不帶任何生成停頓，為主要子問(wèn)題直接和連續(xù)地生成解答。

這個(gè)方法存在諸多好處。第一，所有生成的解答都在同一個(gè)共享的上下文中，無(wú)需為評(píng)估每個(gè)解答生成單獨(dú)的模型查詢(xún)。第二，盡管一開(kāi)始看起來(lái)挺反直覺(jué)，但孤立的 token 或 token 分組概率可能并不總能得到有意義的選擇。圖 4 給出了一個(gè)簡(jiǎn)單的示意圖。

3. 衡量子問(wèn)題的前景。如上所述，現(xiàn)有技術(shù)依靠額外的提示來(lái)識(shí)別樹(shù)節(jié)點(diǎn)的潛力，幫助做出有關(guān)探索方向的決策。而研究者的觀察表明，如果能將最有前途的路徑封裝在上下文示例中，LLM 會(huì)固有地傾向于優(yōu)先考慮那些有前途的候選項(xiàng)。這能降低對(duì)復(fù)雜 prompt 工程設(shè)計(jì)的需求并允許整合復(fù)雜精細(xì)的啟發(fā)式方法，不管這些方法是直覺(jué)式的或知識(shí)驅(qū)動(dòng)的。同樣，新方法中不含脫節(jié)的 prompt，這使得能在同一個(gè)生成結(jié)果中即時(shí)評(píng)估候選項(xiàng)的可行性。

4. 回溯到更好的節(jié)點(diǎn)。決定接下來(lái)要探索的節(jié)點(diǎn)（包括回溯到之前的節(jié)點(diǎn)）本質(zhì)上取決于所選的樹(shù)搜索算法。盡管之前已有研究為搜索過(guò)程采用了編碼機(jī)制等外部方法，但這會(huì)限制其更廣泛的吸引力并需要額外的定制。這篇論文提出的新設(shè)計(jì)主要采用 DFS 方法并輔以剪枝。目標(biāo)是維持有同一父節(jié)點(diǎn)的子節(jié)點(diǎn)之間的近鄰度，以此鼓勵(lì) LLM 優(yōu)先考慮本地特征而不是遠(yuǎn)程特征。此外，研究者還提出了基于 BFS 的 AoT 方法的性能指標(biāo)。研究者表示，借助于模型從上下文示例中收集見(jiàn)解的固有能力，可以消除額外的定制機(jī)制的必要性。

實(shí)驗(yàn)

研究者在 24 點(diǎn)和 5x5 迷你填詞游戲上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明了 AoT 方法的優(yōu)越性 —— 其性能表現(xiàn)由于單 prompt 方法（如標(biāo)準(zhǔn)方法、CoT、CoT-SC），同時(shí)也能媲美利用外部機(jī)制的方法（如 ToT）。

從表 1 可以明顯看出，結(jié)合了 CoT/CoT-SC 的標(biāo)準(zhǔn) prompt 設(shè)計(jì)方法明顯落后于通過(guò) LLM 使用的樹(shù)搜索方法。

表 3 凸顯了 AoT 在迷你填詞任務(wù)上的有效性，其填詞成功率超過(guò)之前使用各種 prompt 技術(shù)的方法。

但是，它比 ToT 差。一個(gè)重要的觀察是 ToT 使用的查詢(xún)量巨大，超過(guò)了 AoT 百倍以上。另一個(gè)讓 AoT 遜于 ToT 的因素是算法示例中固有的回溯能力沒(méi)有充分得到激活。如果能完全解鎖該能力，會(huì)導(dǎo)致生成階段顯著延長(zhǎng)。相比之下，ToT 的優(yōu)勢(shì)在于可以利用外部記憶來(lái)進(jìn)行回溯。

討論

AoT 能否超越它模仿的 DFS？

如圖 5 所示，AoT 所使用的節(jié)點(diǎn)整體上比 DFS 版本更少。DFS 在選擇后續(xù)要探究的子樹(shù)時(shí)采用了一種統(tǒng)一的策略，而 AoT 的 LLM 則集成了其固有的啟發(fā)式方法。這種對(duì)基本算法的放大體現(xiàn)了 LLM 遞歸推理能力的優(yōu)勢(shì)。

算法的選擇會(huì)如何影響 AoT 的效能？

表 5 給出了實(shí)驗(yàn)發(fā)現(xiàn)，可以看到這三種 AoT 變體都優(yōu)于單查詢(xún)的 CoT。

這一結(jié)果符合預(yù)期，因?yàn)闊o(wú)論算法是什么，它都會(huì)進(jìn)行搜索并重新審視潛在的錯(cuò)誤 —— 要么是通過(guò)隨機(jī)搜索變體中的隨機(jī)嘗試，要么是通過(guò) DFS 或 BFS 配置中的回溯。值得注意的是，AoT (DFS) 和 AoT (BFS) 這兩個(gè)結(jié)構(gòu)化搜索的版本的效率都優(yōu)于 AoT (Random)，這突顯了算法洞察在解答發(fā)現(xiàn)中的優(yōu)勢(shì)。但是，AoT (BFS) 落后于 AoT (DFS)。通過(guò)更進(jìn)一步分析 AoT (BFS) 的錯(cuò)誤，研究者發(fā)現(xiàn)，相比于 AoT (DFS)，AoT (BFS) 更難識(shí)別最佳操作。

那么，算法示例中的搜索步數(shù)怎么調(diào)節(jié) AoT 的行為？

圖 6 給出了總搜索步數(shù)的影響。其中 AoT (Long) 和 AoT (Short) 分別是相對(duì)于原始 AoT 的生成結(jié)果更長(zhǎng)和更短的版本。

結(jié)果表明，搜索步數(shù)會(huì)為 LLM 的搜索速度引入隱含的偏差。值得注意的是，即使在采取錯(cuò)誤的步驟時(shí)，強(qiáng)調(diào)探索有潛力的方向是很重要的。