進化搜索策略，提高LLM推理深度；學術(shù)搜索智能體，RL+PPO；LLM回答置信度
研究背景與意義
在當前的人工智能研究中，如何提升大型語言模型（LLM）的推理能力是一個重要的課題。傳統(tǒng)的推理方法往往依賴于明確的推理步驟和形式化的問題定義，但這在處理復(fù)雜的自然語言任務(wù)時顯得力不從心。本文提出了一種名為“Mind Evolution”的進化搜索策略，旨在通過利用語言模型生成、重組和優(yōu)化候選答案，以應(yīng)對自然語言規(guī)劃任務(wù)中的推理挑戰(zhàn)。研究的意義在于，它不僅提供了一種新的思路來提升LLM的推理深度，還展示了如何在不依賴于形式化求解器的情況下，利用評估器進行高效的解決方案生成。
研究方法與創(chuàng)新
“Mind Evolution”方法的核心在于結(jié)合自由流動的隨機探索與大規(guī)模的迭代優(yōu)化。具體而言，研究者們采用了基因算法的思想，通過語言模型生成多樣化的候選解決方案，并利用反饋機制進行逐步優(yōu)化。與現(xiàn)有的推理策略相比，該方法的創(chuàng)新點在于：
- 進化搜索策略：通過生成多樣化的候選解并進行迭代優(yōu)化，Mind Evolution能夠在更廣泛的解空間中尋找解決方案。
- 全局評估機制：與傳統(tǒng)的逐步推理不同，該方法僅依賴于全局解決方案評估器，從而簡化了推理過程。
- 適應(yīng)性強：該方法能夠處理未形式化的問題，尤其適合自然語言規(guī)劃任務(wù)。
通過對比實驗，Mind Evolution在多個基準測試中表現(xiàn)出色，成功率顯著高于傳統(tǒng)方法，如Best-of-N和Sequential Revision等。
實驗設(shè)計與結(jié)果分析
在實驗設(shè)計上，研究者們選擇了多個自然語言規(guī)劃任務(wù)，包括“Travel Planner”和“Natural Plan”。通過對比Mind Evolution與其他基線方法的表現(xiàn)，結(jié)果顯示：
- 成功率：Mind Evolution在“Travel Planner”任務(wù)中達到了95.6%的成功率，而其他方法的成功率普遍較低。
- 效率：Mind Evolution在計算成本方面也表現(xiàn)優(yōu)異，生成的候選解數(shù)量和API調(diào)用次數(shù)相對較少，表明其在資源利用上的高效性。
- 多場景表現(xiàn)：無論是在簡單還是復(fù)雜的任務(wù)背景下，Mind Evolution均展現(xiàn)了良好的適應(yīng)性和穩(wěn)定性。
結(jié)論與展望
本文的研究表明，Mind Evolution為提升LLM的推理能力提供了一種有效的策略。盡管該方法在多個任務(wù)中表現(xiàn)優(yōu)異，但仍存在一些局限，例如在處理極其復(fù)雜的任務(wù)時可能需要更多的計算資源。未來的研究可以進一步探索如何優(yōu)化進化策略的參數(shù)設(shè)置，以及如何將該方法應(yīng)用于更廣泛的自然語言處理任務(wù)中。總之，Mind Evolution不僅為LLM的推理深度提供了新的視角，也為相關(guān)領(lǐng)域的研究提供了寶貴的借鑒。
PaSa: An LLM Agent for Comprehensive Academic Paper Search
2025-01-17｜ByteDance, PKU|??18
???http://arxiv.org/abs/2501.10120v1????
????https://huggingface.co/papers/2501.10120????
????https://pasa-agent.ai???
研究背景與意義
在現(xiàn)代學術(shù)研究中，信息檢索的效率直接影響到研究的進展和成果的質(zhì)量。然而，現(xiàn)有的學術(shù)搜索系統(tǒng)（如Google Scholar）在處理復(fù)雜的學術(shù)查詢時，往往無法滿足研究者的需求。這種局限性促使研究者花費大量時間進行文獻綜述，降低了研究效率。因此，開發(fā)一種能夠自動化、全面且準確地進行學術(shù)文獻搜索的工具顯得尤為重要。本文提出的PaSa（Paper Search Agent）正是為了解決這一問題而設(shè)計。
PaSa的設(shè)計目標是通過模擬人類研究者的行為，提升學術(shù)搜索的準確性和全面性。通過對現(xiàn)有文獻檢索工具的分析，本文指出了當前系統(tǒng)在處理長尾特定知識、細粒度查詢等方面的不足，并闡明了PaSa在優(yōu)化學術(shù)搜索中的潛在價值。
研究方法與創(chuàng)新
PaSa的核心創(chuàng)新在于其采用了兩種LLM（大型語言模型）代理：Crawler和Selector。Crawler負責根據(jù)用戶查詢自動收集相關(guān)文獻，而Selector則對收集到的文獻進行篩選，以確保其符合用戶的需求。這一設(shè)計不僅提高了文獻檢索的效率，還增強了結(jié)果的相關(guān)性。
在技術(shù)實現(xiàn)上，PaSa結(jié)合了強化學習（RL）與Proximal Policy Optimization（PPO）算法，針對文獻搜索任務(wù)的獨特挑戰(zhàn)進行了優(yōu)化。具體而言，PaSa通過設(shè)計新的獎勵機制來應(yīng)對稀疏獎勵和長軌跡問題，從而提升了模型的學習效率。此外，PaSa還開發(fā)了兩個高質(zhì)量的數(shù)據(jù)集（AutoScholarQuery和RealScholarQuery），用于訓練和評估其性能。
實驗設(shè)計與結(jié)果分析
為評估PaSa的性能，研究者在合成數(shù)據(jù)集AutoScholarQuery和真實數(shù)據(jù)集RealScholarQuery上進行了實驗。實驗結(jié)果表明，PaSa在多個指標上顯著優(yōu)于現(xiàn)有的基線模型，如Google Scholar和ChatGPT等。具體而言，PaSa在Recall@20和Recall@50的表現(xiàn)上分別提高了37.78%和39.90%。這些結(jié)果不僅驗證了PaSa在學術(shù)搜索中的有效性，也表明其在真實場景中的應(yīng)用潛力。
實驗過程中還對Crawler和Selector的性能進行了詳細分析，結(jié)果顯示，Crawler的回調(diào)率在PaSa-7b模型中達到了79.31%，而Selector的F1得分也達到了85%。這表明，PaSa的設(shè)計有效地提升了文獻檢索的準確性和可靠性。
結(jié)論與展望
本文介紹了PaSa，一個旨在提高學術(shù)文獻搜索效率和準確性的先進工具。通過結(jié)合強化學習和多種創(chuàng)新技術(shù)，PaSa在復(fù)雜學術(shù)查詢的處理上展現(xiàn)了優(yōu)越的性能。未來，研究者計劃進一步優(yōu)化PaSa的算法，并擴展其應(yīng)用范圍，以滿足更廣泛的學術(shù)需求。此外，隨著數(shù)據(jù)集的不斷豐富和算法的迭代，PaSa有望在學術(shù)研究中發(fā)揮更大的作用，幫助研究者更高效地獲取和利用知識。
Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong
2025-01-16｜NUAA, UPM, UC3M, Somos NLP|??12
???http://arxiv.org/abs/2501.09775v1????
????https://huggingface.co/papers/2501.09775???
研究背景與意義
在當今的人工智能領(lǐng)域，評估大型語言模型（LLMs）的能力成為了一個重要的研究方向。傳統(tǒng)的評估方法往往依賴于多項選擇題（MCQ）測試，這種方法雖然可以在大規(guī)模上進行知識測試，但卻無法有效反映模型在回答問題時的自信程度。本文的研究旨在探討當LLM在回答問題時，是否會因為先提供推理過程而增強其自信心。通過對比直接回答與提供推理的兩種方式，研究發(fā)現(xiàn)LLM在提供推理時更具自信，無論其最終選擇的答案是否正確。這一發(fā)現(xiàn)不僅對理解LLM的工作機制有重要意義，也為后續(xù)的評估方法提供了新的視角。
研究方法與創(chuàng)新
本文采用了兩種不同的提示方式來測試LLM的自信心：一種是直接回答問題，另一種是先提供推理過程再給出答案。通過對比這兩種方法在多個模型上的表現(xiàn)，研究發(fā)現(xiàn)，LLM在進行推理后，其對選擇答案的自信度顯著提高。這種現(xiàn)象在所有測試的模型中均有體現(xiàn)，且推理過程的影響在需要更多邏輯推理的問題上更加明顯。此外，研究還探討了這種自信心的變化是否與答案的正確性相關(guān)，結(jié)果顯示，即使在錯誤答案的情況下，推理過程也能提高模型的自信度，這與人類在回答時的行為模式相似。
實驗設(shè)計與結(jié)果分析
在實驗設(shè)計中，研究者使用了Massive Multitask Language Understanding（MMLU）基準，涵蓋了57個類別和超過15,000個問題。通過對比不同提示下的模型表現(xiàn)，研究者發(fā)現(xiàn)，當LLM在推理后選擇答案時，其對所選答案的自信度普遍提高。具體而言，錯誤答案的自信度提升幅度甚至超過了正確答案的自信度。這一結(jié)果表明，推理過程不僅影響了模型的選擇，還可能導(dǎo)致模型在某些情況下產(chǎn)生更高的錯誤自信。這與人類在面對復(fù)雜問題時的反應(yīng)模式具有一定的相似性，提示我們在設(shè)計評估工具時需要考慮這一點。
結(jié)論與展望
本文的研究表明，LLM在回答多項選擇題時，其自信心受到推理過程的顯著影響。無論答案的正確性如何，推理過程都能提高模型的自信度。這一發(fā)現(xiàn)為評估LLM的能力提供了新的思路，尤其是在考慮自信度作為評估指標時。未來的研究可以進一步探討不同類型問題對自信心的影響，以及如何優(yōu)化LLM的推理過程以提高其在復(fù)雜任務(wù)中的表現(xiàn)。此外，理解LLM的自信機制也可能為人類認知科學提供新的啟示，值得深入研究。
本文轉(zhuǎn)載自 ??AI研究前瞻??，作者： 胡耀淇
