圖片

摘要

本文提出了PICOs-RAG方法，通過(guò)查詢擴(kuò)展和PICO格式提取關(guān)鍵信息，顯著提升循證醫(yī)學(xué)中檢索增強(qiáng)生成系統(tǒng)的準(zhǔn)確性和相關(guān)性，相比基線方法提升高達(dá)8.8%，為醫(yī)學(xué)AI助手提供了新的技術(shù)突破。

PDF原文 - https://t.zsxq.com/kX8ft

引言：循證醫(yī)學(xué)面臨的AI挑戰(zhàn)

在現(xiàn)代醫(yī)學(xué)實(shí)踐中，循證醫(yī)學(xué)（Evidence-Based Medicine，EBM）已成為提高診斷準(zhǔn)確性、降低醫(yī)療事故發(fā)生率的重要方法。隨著醫(yī)學(xué)文獻(xiàn)數(shù)量的爆炸式增長(zhǎng)，醫(yī)療專業(yè)人員迫切需要AI工具來(lái)輔助實(shí)施循證醫(yī)學(xué)。

然而，當(dāng)前的大語(yǔ)言模型（LLMs）在醫(yī)學(xué)領(lǐng)域的應(yīng)用仍面臨諸多挑戰(zhàn)。尤其是在處理復(fù)雜臨床查詢時(shí)，傳統(tǒng)的檢索增強(qiáng)生成（RAG）方法往往難以應(yīng)對(duì)現(xiàn)實(shí)世界中的復(fù)雜情況。

現(xiàn)有RAG系統(tǒng)的三大痛點(diǎn)

1. 查詢表達(dá)不專業(yè)來(lái)自真實(shí)醫(yī)療問(wèn)答平臺(tái)的數(shù)據(jù)顯示，患者等用戶由于缺乏專業(yè)醫(yī)學(xué)知識(shí)，往往使用非專業(yè)詞匯并遺漏關(guān)鍵信息。這導(dǎo)致RAG系統(tǒng)頻繁檢索到錯(cuò)誤的關(guān)鍵詞，如"水蛭素"、"出院"等噪聲信息，難以檢索到關(guān)鍵證據(jù)。

2. 檢索結(jié)果不相關(guān)當(dāng)查詢?nèi)狈μ囟ㄐ畔⒒蚴褂貌痪_語(yǔ)言時(shí)，模型可能檢索到無(wú)關(guān)證據(jù)并生成無(wú)用答案，嚴(yán)重影響用戶體驗(yàn)并降低對(duì)LLMs的信任度。

3. 證據(jù)整合困難檢索到的大量證據(jù)往往存在矛盾，需要進(jìn)行元分析，這個(gè)過(guò)程耗時(shí)費(fèi)力且主觀性強(qiáng)。

PICOs-RAG：創(chuàng)新解決方案

為解決上述問(wèn)題，研究團(tuán)隊(duì)提出了PICOs-RAG方法，這是一個(gè)基于LLMs的查詢擴(kuò)展和關(guān)鍵信息提取系統(tǒng)。

核心設(shè)計(jì)理念

PICOs-RAG的設(shè)計(jì)基于循證醫(yī)學(xué)中廣泛使用的PICO框架：

• P (Population): 人群/患者特征
• I (Intervention): 干預(yù)措施
• C (Comparison): 對(duì)照組
• O (Outcome): 結(jié)果指標(biāo)

這種結(jié)構(gòu)化方法能夠高效篩選和評(píng)估大量文獻(xiàn)，確保所選研究的相關(guān)性和質(zhì)量。

三步走技術(shù)路線

第一步：查詢擴(kuò)展與標(biāo)準(zhǔn)化系統(tǒng)首先對(duì)原始查詢進(jìn)行擴(kuò)展和標(biāo)準(zhǔn)化，將患者的口語(yǔ)化表達(dá)轉(zhuǎn)換為專業(yè)醫(yī)學(xué)術(shù)語(yǔ)。

第二步：PICO要素提取利用PICO格式提取查詢的核心要素，將問(wèn)題分解為四個(gè)主要組成部分，包含查詢的核心信息。

第三步：精準(zhǔn)證據(jù)檢索基于提取的PICO要素進(jìn)行針對(duì)性的證據(jù)檢索，顯著提高檢索效率和相關(guān)性。

[圖1：展示當(dāng)前RAG方法與PICOs方法的架構(gòu)對(duì)比]

技術(shù)創(chuàng)新點(diǎn)

1. 混合模型策略針對(duì)醫(yī)學(xué)領(lǐng)域的特殊性，PICOs-RAG采用了結(jié)合大模型和小模型的查詢重寫(xiě)方法。純粹依賴小模型無(wú)法彌合醫(yī)學(xué)領(lǐng)域的知識(shí)鴻溝，而僅使用LLMs擴(kuò)展會(huì)導(dǎo)致檢索內(nèi)容過(guò)長(zhǎng)，產(chǎn)生大量無(wú)關(guān)信息。

2. 專業(yè)化查詢處理系統(tǒng)能夠有效處理醫(yī)學(xué)專業(yè)詞匯的翻譯和轉(zhuǎn)換，確保檢索結(jié)果的準(zhǔn)確性和相關(guān)性。

3. 多級(jí)質(zhì)量控制通過(guò)多層次的質(zhì)量控制機(jī)制，確保生成的響應(yīng)既準(zhǔn)確又專業(yè)。

[圖2：展示EBM的步驟流程圖]

實(shí)驗(yàn)驗(yàn)證與性能表現(xiàn)

研究團(tuán)隊(duì)采用兩種不同的評(píng)估方法來(lái)評(píng)估模型生成響應(yīng)的準(zhǔn)確性和相關(guān)性。

核心性能指標(biāo)

準(zhǔn)確性提升：在準(zhǔn)確性評(píng)估方法下，PICOs-RAG相比基線方法提升了6.2%。

相關(guān)性提升：在相關(guān)性評(píng)估方法下，系統(tǒng)性能提升了8.6%。

整體改進(jìn)：研究顯示PICOs-RAG在整個(gè)EBM RAG系統(tǒng)中提供了穩(wěn)定且顯著的改進(jìn)，最高提升幅度達(dá)到8.8%。

消融實(shí)驗(yàn)分析

研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，驗(yàn)證了各個(gè)組件的有效性：

無(wú)查詢擴(kuò)展實(shí)驗(yàn)：直接應(yīng)用PICOs提取方法到原始查詢，結(jié)果顯示沒(méi)有LLM擴(kuò)展查詢的PICOs提取針對(duì)性不足，模型輸出在兩種評(píng)估方法下都出現(xiàn)了巨大下降。

無(wú)PICOs實(shí)驗(yàn)：直接將擴(kuò)展信息提交給檢索組件，由于引入噪聲導(dǎo)致檢索準(zhǔn)確性下降，對(duì)最終問(wèn)答性能產(chǎn)生顯著負(fù)面影響。

PICO vs PIO對(duì)比：研究還測(cè)試了是否需要包含Comparison（C）組件，結(jié)果顯示PICO和PIO方法效果相近，最終選擇了更有效的PICO方法。

[圖3：展示PICOs方法幫助EBM RAG的完整流程圖]

技術(shù)背景與相關(guān)工作

循證醫(yī)學(xué)的發(fā)展需求

循證醫(yī)學(xué)作為現(xiàn)代醫(yī)學(xué)的重要實(shí)踐方法，旨在通過(guò)整合最佳研究證據(jù)、臨床專業(yè)知識(shí)和患者偏好來(lái)做出最優(yōu)的臨床決策。 近年來(lái)，自然語(yǔ)言處理的發(fā)展和數(shù)據(jù)處理技術(shù)的進(jìn)步極大地促進(jìn)了EBM的發(fā)展和應(yīng)用。

EBM的核心原則是強(qiáng)調(diào)高質(zhì)量研究證據(jù)指導(dǎo)臨床實(shí)踐，這對(duì)提高醫(yī)療決策的科學(xué)性和有效性至關(guān)重要。通過(guò)系統(tǒng)性綜述和元分析，醫(yī)生能夠獲得最新、最可靠的醫(yī)學(xué)研究結(jié)果，從而做出更科學(xué)的治療決策。

RAG技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用

大語(yǔ)言模型如GPT-4o和Claude在自然語(yǔ)言處理方面取得了顯著進(jìn)展，在醫(yī)學(xué)、軍事和法律等領(lǐng)域?qū)崿F(xiàn)了重大突破。目前的LLMs能夠適應(yīng)最新的醫(yī)學(xué)研究和臨床實(shí)踐，提高決策質(zhì)量和準(zhǔn)確性。

RAG方法結(jié)合了檢索和生成技術(shù)，有效減少了幻覺(jué)問(wèn)題。在快速發(fā)展的醫(yī)學(xué)等領(lǐng)域，研究人員經(jīng)常擔(dān)心LLMs可能因其靜態(tài)的內(nèi)部知識(shí)庫(kù)而提供過(guò)時(shí)的響應(yīng)。RAG通過(guò)整合最新信息有效緩解了這一問(wèn)題。

循證醫(yī)學(xué)的理念與RAG方法完美契合，因?yàn)镋BM依賴大量醫(yī)學(xué)證據(jù)作為判斷基礎(chǔ)。因此，RAG方法非常適合當(dāng)前的EBM實(shí)踐，也代表了LLMs輔助臨床醫(yī)生解決臨床問(wèn)題的有效應(yīng)用。

查詢擴(kuò)展技術(shù)的發(fā)展

在將NLP模型應(yīng)用于專業(yè)領(lǐng)域數(shù)據(jù)時(shí)，許多研究人員注意到并非所有用戶輸入都是完整和清晰的。例如，在在線醫(yī)療問(wèn)答數(shù)據(jù)中，用戶往往缺乏相關(guān)醫(yī)學(xué)知識(shí)，導(dǎo)致問(wèn)題不夠聚焦和專業(yè)化。

為應(yīng)對(duì)這一挑戰(zhàn)，已有大量工作致力于重寫(xiě)LLMs的輸入查詢，使其更有針對(duì)性和專業(yè)性，從而提高響應(yīng)的準(zhǔn)確性。 當(dāng)前研究方法主要分為兩類：使用LLMs和小模型來(lái)擴(kuò)展輸入。

然而，研究團(tuán)隊(duì)發(fā)現(xiàn)直接應(yīng)用這些方法無(wú)法有效處理醫(yī)學(xué)領(lǐng)域的查詢擴(kuò)展，主要原因包括：

1. 醫(yī)學(xué)領(lǐng)域數(shù)據(jù)過(guò)于專業(yè)，小模型無(wú)法彌合知識(shí)鴻溝
2. 僅依賴LLMs擴(kuò)展會(huì)導(dǎo)致檢索內(nèi)容過(guò)長(zhǎng)，產(chǎn)生大量無(wú)關(guān)信息

為克服這些不足，研究團(tuán)隊(duì)提出了基于PICOs標(biāo)準(zhǔn)結(jié)合大小模型的查詢重寫(xiě)新方法。

方法論詳解

任務(wù)定義與系統(tǒng)架構(gòu)

PICOs-RAG系統(tǒng)的任務(wù)是接受用戶的醫(yī)學(xué)查詢作為輸入并提供準(zhǔn)確答案。系統(tǒng)采用三階段處理流程：

1. 客觀特征捕獲：首先捕獲查詢的客觀方面
2. 查詢擴(kuò)展與精煉：分類結(jié)果提示LLM擴(kuò)展和精煉查詢
3. PICO要素提取：從完善的問(wèn)題中提取PICO要素，傳遞給檢索模塊進(jìn)行更精確的提取

檢索結(jié)果與精煉后的問(wèn)題一起輸入響應(yīng)模型，生成最終響應(yīng)。

[表格：展示消融實(shí)驗(yàn)的詳細(xì)結(jié)果對(duì)比]

評(píng)估方法創(chuàng)新

研究團(tuán)隊(duì)提出了兩種不同的評(píng)估方法來(lái)全面評(píng)估醫(yī)學(xué)響應(yīng)：

準(zhǔn)確性評(píng)估：重點(diǎn)評(píng)估生成答案的醫(yī)學(xué)準(zhǔn)確性和事實(shí)正確性相關(guān)性評(píng)估：重點(diǎn)評(píng)估答案與查詢的匹配度和實(shí)用性

這種雙重評(píng)估機(jī)制能夠更全面、穩(wěn)健地評(píng)估LLM輸出結(jié)果。

實(shí)際應(yīng)用價(jià)值與未來(lái)展望

臨床應(yīng)用場(chǎng)景

PICOs-RAG系統(tǒng)在以下臨床場(chǎng)景中展現(xiàn)出巨大應(yīng)用潛力：

1. 患者咨詢處理：幫助醫(yī)生快速理解患者的非專業(yè)表達(dá)并找到相關(guān)證據(jù)
2. 臨床決策支持：為復(fù)雜病例提供基于證據(jù)的治療建議
3. 醫(yī)學(xué)文獻(xiàn)檢索：提高醫(yī)生查找相關(guān)研究文獻(xiàn)的效率
4. 醫(yī)學(xué)教育輔助：為醫(yī)學(xué)生和實(shí)習(xí)醫(yī)生提供學(xué)習(xí)支持

技術(shù)優(yōu)勢(shì)總結(jié)

1. 專業(yè)化處理能力

• 能夠有效處理非專業(yè)用戶的查詢
• 自動(dòng)標(biāo)準(zhǔn)化醫(yī)學(xué)術(shù)語(yǔ)
• 提取關(guān)鍵臨床要素

2. 檢索效率提升

• 顯著減少無(wú)關(guān)結(jié)果
• 提高證據(jù)檢索的針對(duì)性
• 優(yōu)化響應(yīng)生成質(zhì)量

3. 系統(tǒng)穩(wěn)定性

• 提供一致的性能改進(jìn)
• 減少模型幻覺(jué)問(wèn)題
• 增強(qiáng)用戶信任度

研究貢獻(xiàn)與影響

本研究的主要貢獻(xiàn)包括：

1. 方法論創(chuàng)新：基于醫(yī)學(xué)專業(yè)知識(shí)擴(kuò)展和標(biāo)準(zhǔn)化查詢，提高用戶輸入的可行性和有效性?
2. 技術(shù)框架優(yōu)化：提出基于PICO的方法提取問(wèn)題核心要素，幫助后續(xù)RAG過(guò)程進(jìn)行更有針對(duì)性的證據(jù)檢索和響應(yīng)生成?
3. 評(píng)估體系完善：提出兩種不同的醫(yī)學(xué)響應(yīng)評(píng)估方法，更全面、穩(wěn)健地評(píng)估LLM輸出?

結(jié)論與展望

在循證醫(yī)學(xué)領(lǐng)域，對(duì)穩(wěn)健自動(dòng)化工具的需求日益增長(zhǎng)，以協(xié)助醫(yī)生完成醫(yī)療任務(wù)。然而，實(shí)際醫(yī)療場(chǎng)景為L(zhǎng)LMs應(yīng)用帶來(lái)了諸多挑戰(zhàn)和限制。為應(yīng)對(duì)這一挑戰(zhàn)，研究團(tuán)隊(duì)提出了查詢重寫(xiě)和PICO提取策略，旨在提高RAG在醫(yī)學(xué)自然問(wèn)答環(huán)境中的性能。

通過(guò)實(shí)際測(cè)試驗(yàn)證了該方法的有效性，研究團(tuán)隊(duì)希望這項(xiàng)工作能夠幫助醫(yī)學(xué)領(lǐng)域的研究人員，促進(jìn)LLMs在醫(yī)學(xué)應(yīng)用中更安全、更有效的部署。

未來(lái)研究方向

基于當(dāng)前研究成果，未來(lái)可以在以下幾個(gè)方向繼續(xù)深入：

1. 多模態(tài)信息整合：結(jié)合圖像、聲音等多模態(tài)醫(yī)學(xué)數(shù)據(jù)?
2. 個(gè)性化醫(yī)療應(yīng)用：根據(jù)患者特征提供個(gè)性化的證據(jù)檢索?
3. 跨語(yǔ)言醫(yī)學(xué)查詢處理：支持多語(yǔ)言醫(yī)學(xué)查詢的處理和轉(zhuǎn)換?
4. 實(shí)時(shí)臨床決策支持：開(kāi)發(fā)實(shí)時(shí)的臨床決策支持系統(tǒng)?

PICOs-RAG的成功為醫(yī)學(xué)AI領(lǐng)域開(kāi)辟了新的技術(shù)路徑，為構(gòu)建更智能、更可靠的醫(yī)學(xué)AI助手奠定了堅(jiān)實(shí)基礎(chǔ)。隨著技術(shù)的不斷完善和應(yīng)用場(chǎng)景的拓展，這一方法有望在循證醫(yī)學(xué)實(shí)踐中發(fā)揮越來(lái)越重要的作用。

本文轉(zhuǎn)載自??????????知識(shí)圖譜科技??????????，作者：KGGPT