摘要

檢索增強生成（RAG）是一種適用于檢索敏感電子健康記錄（EHR）的合適技術。它可以作為醫療副駕駛員Copilot的關鍵模塊，幫助減少醫療從業者和患者的誤診。然而，現有基于啟發式的醫療領域RAG模型的診斷準確性和特異性不足，特別是對于癥狀相似的疾病。本文提出MedRAG，一種通過知識圖譜（KG）引導推理提升的醫療領域RAG模型，根據癥狀檢索診斷和治療建議。MedRAG系統地構建了一個全面的四層分級診斷知識圖譜，涵蓋各種疾病的關鍵診斷差異。這些差異與從EHR數據庫檢索到的相似EHR動態整合，并在大型語言模型中進行推理。這一過程使決策支持更加準確和具體，同時也主動提供后續問題以增強個性化醫療決策。MedRAG在公共數據集DDXPlus和從新加坡陳篤生醫院收集的私人慢性疼痛診斷數據集（CPDD）上進行了評估，其性能與各種現有的RAG方法進行了比較。實驗結果顯示，利用知識圖譜的信息整合和關系能力，我們的MedRAG提供了更具體的診斷洞察力，并在降低誤診率方面優于最先進的模型。我們的代碼將在??https://github.com/SNOWTEAM2023/MedRAG??上可用。

[2502.04413] MedRAG: Enhancing Retrieval-augmented Generation with Knowledge Graph-Elicited Reasoning for Healthcare Copilot

??https://arxiv.org/abs/2502.04413??

核心速覽

研究背景

1. 研究問題：這篇文章要解決的問題是如何在醫療領域中使用檢索增強生成（RAG）技術來提高診斷的準確性和特異性，特別是對于癥狀相似的疾病。
2. 研究難點：該問題的研究難點包括：現有基于啟發式的RAG模型在處理相似癥狀的疾病時表現不佳，難以提供精確的診斷和個性化的治療建議。
3. 相關工作：該問題的研究相關工作有：LLMs和RAG在醫療領域的應用，知識圖譜增強LLMs和RAG的研究。現有的醫療RAG和LLMs通常依賴于啟發式方法，導致輸出不準確或模糊，特別是在疾病癥狀相似的情況下。
   

研究方法

這篇論文提出了MedRAG，一種通過知識圖譜引導推理的RAG模型，用于解決醫療領域的診斷問題。具體來說，

• 診斷知識圖譜構建：首先，系統地構建一個四層 hierarchical 診斷知識圖譜，涵蓋各種疾病的臨界診斷差異。通過疾病聚類和層次聚合技術，從EHR數據庫中提取潛在診斷和相應的癥狀。然后，使用大型語言模型（LLM）增強圖譜，添加關鍵的診斷差異。

  

• 診斷差異知識圖譜搜索：通過將患者癥狀分解為臨床特征（如癥狀和位置），并在診斷知識圖譜中進行多級匹配和向上遍歷，識別與輸入患者相關的關鍵診斷差異知識圖譜。
• KG引導推理RAG：最后，結合檢索到的EHR和診斷差異知識圖譜，在大語言模型中進行推理，生成精確的診斷、治療建議和后續問題。該模塊包括文檔檢索器和KG引導推理LLM引擎。

公式解釋：

• 知識圖譜構建過程中，疾病知識圖譜D通過層次聚合生成：
• 診斷差異知識圖譜搜索過程中，通過多級匹配和向上遍歷，識別與患者癥狀最相關的疾病子類別：
• RAG過程中，結合檢索到的EHR和診斷差異知識圖譜進行推理：

實驗設計

1. 數據集：使用兩個數據集進行評估，一個是公共數據集DDXPlus，另一個是私人數據集CPDD。DDXPlus是一個大規模合成的EHR數據集，包含49種診斷和超過130萬名患者。CPDD是一個專注于慢性疼痛患者的專用EHR數據集，包含551名患者和33種診斷。
2. 基線模型：與六種其他SOTA RAG模型進行比較，包括Naive RAG+COT、FL-RAG、FS-RAG、FLARE、DRAGIN和SR-RAG。
3. 評估指標：使用準確性、特異性和文本生成指標（如BERTScore、BLEU、ROUGE、METEOR）進行評估。此外，還進行了主觀評估，由醫生根據Mini-CEX標準對生成的報告進行評分。

結果與分析

1. 定量比較：在CPDD和DDXPlus數據集上，MedRAG在多個指標上表現最佳或次優。在CPDD數據集上，MedRAG在L3指標上比第二好的模型高出11.32%。在DDXPlus數據集上，MedRAG在L3指標上比第二好的模型高出1.23%。
2. 兼容性、泛化性和適應性：在不同的大型語言模型（如Mixtral-8x7B、Qwen-2.5、Llama-3.1-Instruct、GPT-3.5-turbo和GPT-4o）上，MedRAG顯著提高了診斷準確性。特別是對于較小的模型，KG引導推理顯著提升了性能。
3. 主動診斷提問機制：通過目標導向的提問，MedRAG逐步收集了更多關鍵細節，顯著提高了診斷準確性。當覆蓋到100%的關鍵癥狀時，L3準確性從52.83%提高到66.04%。
4. 消融研究：評估了不同組件的有效性，結果表明檢索器和KG引導推理模塊顯著提高了性能。隨機選擇的文檔比沒有文檔的情況表現更好，加入正確的KG增強知識后，噪聲效應得到緩解，準確性在所有指標上都有提升。

總體結論

MedRAG通過整合KG引導推理與RAG模型，顯著提高了醫療領域的診斷準確性和特異性。系統性地檢索和推理EHR，動態地結合關鍵的診斷差異知識圖譜，提供了更精確的診斷和個性化的治療建議。此外，MedRAG的主動診斷提問機制證明其有效性，能夠向醫生和患者提供有針對性的問題，增強診斷性能和咨詢效率。公共和私人數據集的評估表明，MedRAG在減少相似癥狀疾病的誤診率方面表現優異，展示了其在醫療助手中的潛力。未來工作包括整合多模態數據（如醫學影像、生理信號數據和血液測試數據）以進一步提高診斷準確性，并將MedRAG部署到實際的醫療助手系統中。

論文評價

優點與創新

1. 系統構建四層診斷知識圖譜：MedRAG通過系統構建一個四層診斷知識圖譜，涵蓋各種疾病的關鍵診斷差異，顯著提高了推理能力。
2. 增強的RAG方法：提出了一種結合知識圖譜推理的RAG方法，顯著提高了RAG在做出準確和高度特定診斷決策方面的能力。
3. 個性化治療建議和藥物指導：不僅支持個性化治療建議，還能在必要時主動生成后續問題，進一步澄清模糊的患者信息。
4. 跨LLM的魯棒性：在各種LLM上展示了強大的泛化能力，并證明了其在生成基于推理的后續診斷問題方面的有效性。
5. 公共和私有數據集的綜合評估：在公共數據集DDXPlus和私有數據集CPDD上的綜合實驗表明，MedRAG在減少相似表現疾病的誤診率方面優于現有的RAG模型。
6. 主動診斷提問機制：提出了一個優化的主動診斷提問機制，能夠在初始輸入缺乏關鍵信息時，提供有針對性的后續問題，增強診斷性能。

不足與反思

1. 未來工作：計劃通過整合多模態數據（如醫學影像、生理信號數據和血液測試數據）來進一步提高診斷準確性，并將MedRAG部署到實際的醫療輔助系統中進行醫院測試。
2. 用戶體驗改進：為了提高醫生的使用便利性，計劃將語音識別模塊集成到系統中，使其能夠在咨詢過程中被動地聽取醫生和患者的對話，并提供實時的后續問題和相關解釋。

關鍵問題及回答

問題1：MedRAG在構建診斷知識圖譜時，如何確保圖譜的詳細性和準確性？

MedRAG通過以下步驟確保診斷知識圖譜的詳細性和準確性：

1. 疾病聚類：首先，使用疾病聚類技術將EHR數據庫中的疾病統一表示，確保同一疾病的不同形式和表示被歸為一類。
2. 層次聚合：通過層次聚合技術，將疾病聚類結果進一步聚合為更廣泛的類別和子類別，形成四層 hierarchical 診斷知識圖譜。
3. 大型語言模型增強：利用大型語言模型（LLM）的語義理解和主題提取能力，對圖譜進行增強，添加關鍵的診斷差異信息。
4. 臨床特征匹配：通過將患者癥狀分解為臨床特征（如癥狀和位置），并在診斷知識圖譜中進行多級匹配和向上遍歷，確保圖譜中包含詳細的疾病特征和診斷差異。

問題2：MedRAG的診斷差異知識圖譜搜索模塊是如何工作的？請詳細描述其過程。

1. 癥狀分解：將患者的癥狀描述分解為更詳細的臨床特征，如癥狀和位置。
2. 特征匹配：計算每個特征與診斷知識圖譜中節點（疾病或癥狀）的語義相似度，選擇最相似的特征節點。
3. 多級匹配和向上遍歷：通過多級匹配和向上遍歷，識別與患者癥狀最相關的疾病子類別。具體來說，計算每個特征節點到各疾病子類別的最短路徑距離，并通過投票機制確定最相關的疾病子類別。
4. 生成診斷差異知識圖譜：將識別出的關鍵診斷差異知識圖譜與患者癥狀進行關聯，形成完整的診斷差異知識圖譜，用于后續的推理過程。

問題3：MedRAG在不同大型語言模型上的表現如何？其兼容性和適應性如何？

MedRAG在不同大型語言模型（LLMs）上均表現出色，證明了其兼容性和適應性。具體表現如下：

1. 兼容性：MedRAG能夠在多種開源和閉源的大型語言模型（如Mixtral-8x7B、Qwen-2.5、Llama-3.1-Instruct、GPT-3.5-turbo和GPT-4o）上運行，并顯著提高診斷準確性。
2. 適應性：MedRAG在不同類型的LLMs上均表現出較高的診斷準確性，特別是在使用GPT-4o作為 backbone LLM 時，表現最為出色，顯示出其強大的適應性和推理能力。
3. 消融研究：通過消融研究評估了不同組件的有效性，結果表明，引入知識圖譜引導推理顯著提高了MedRAG在不同LLMs上的診斷準確性，特別是在小型模型中效果更為顯著。

附錄

本文轉載自??知識圖譜科技??