摘要

大型語言模型（LLMs）在醫(yī)療報告生成（MRG）中展現(xiàn)了顯著潛力，然而其開發(fā)需要大量的醫(yī)學(xué)影像-報告對，這些數(shù)據(jù)通常分散在多個中心。由于隱私法規(guī)的原因，集中這些數(shù)據(jù)異常具有挑戰(zhàn)性，從而阻礙了模型開發(fā)和更廣泛采用基于LLM的MRG模型。為了應(yīng)對這一挑戰(zhàn)，我們提出了FedMRG，這是首個利用聯(lián)邦學(xué)習(xí)（FL）實(shí)現(xiàn)隱私保護(hù)、多中心開發(fā)的基于LLM的MRG模型框架，專門設(shè)計用于克服在多模態(tài)數(shù)據(jù)異質(zhì)性下通信高效的LLM訓(xùn)練的關(guān)鍵挑戰(zhàn)。首先，我們的框架通過采用低秩分解有效分解參數(shù)更新，解決了聯(lián)邦LLM調(diào)整中的基本通信開銷挑戰(zhàn)，顯著降低了梯度傳輸成本，使基于LLM的MRG在帶寬受限的FL設(shè)置中成為可行。此外，我們觀察到在FL場景下MRG的雙重異質(zhì)性：不同醫(yī)療中心的圖像特征各異，以及多樣化的報告風(fēng)格和術(shù)語偏好。為了解決數(shù)據(jù)異質(zhì)性問題，我們通過以下兩個方面進(jìn)一步增強(qiáng)FedMRG：(1) 在MRG編碼器中使用以患者為中心的對比學(xué)習(xí)，并結(jié)合診斷驅(qū)動的提示，以捕捉全局泛化和局部獨(dú)特的特征，同時保持診斷準(zhǔn)確性；(2) 在MRG解碼器中使用雙適配器互促機(jī)制，協(xié)調(diào)通用適配器和專用適配器以應(yīng)對報告風(fēng)格和術(shù)語的變化。通過對我們建立的FL-MRG基準(zhǔn)進(jìn)行廣泛評估，我們展示了FedMRG的可泛化性和適應(yīng)性，突顯了其在利用多中心數(shù)據(jù)和生成臨床準(zhǔn)確報告方面的潛力，同時保持溝通效率。

核心速覽

研究背景

1. 研究問題：這篇文章要解決的問題是如何在多中心醫(yī)療報告生成（MRG）中利用聯(lián)邦學(xué)習(xí)（FL）實(shí)現(xiàn)隱私保護(hù)的多中心模型開發(fā)，特別是解決在多模態(tài)數(shù)據(jù)異質(zhì)性下的通信效率問題。
2. 研究難點(diǎn)：該問題的研究難點(diǎn)包括：醫(yī)療數(shù)據(jù)的分散性和隱私限制，使得數(shù)據(jù)集中化變得異常困難；現(xiàn)代大型語言模型（LLMs）需要大量的訓(xùn)練數(shù)據(jù)，單個醫(yī)療機(jī)構(gòu)難以提供足夠的數(shù)據(jù)；在多模態(tài)數(shù)據(jù)異質(zhì)性下進(jìn)行通信高效的LLM訓(xùn)練。
3. 相關(guān)工作：該問題的研究相關(guān)工作有：利用LLMs進(jìn)行醫(yī)療報告生成的研究，如R2GenGPT、PromptMRG等；聯(lián)邦學(xué)習(xí)在基礎(chǔ)模型構(gòu)建中的應(yīng)用，如FedAdaLoRA、FedPara等。

研究方法

這篇論文提出了FedMRG框架，用于解決多中心醫(yī)療報告生成中的通信效率和數(shù)據(jù)異質(zhì)性問題。具體來說，

1. 低秩適應(yīng)（Low-rank Adaptation）：首先，F(xiàn)edMRG通過低秩分解來減少每個客戶端的LLM可訓(xùn)練參數(shù)數(shù)量，從而顯著降低梯度傳輸成本。
2. 分層對比和提示（Hierarchical Contrasting and Prompting, HCP）：為了解決圖像編碼中的數(shù)據(jù)異質(zhì)性問題，HCP采用了自我監(jiān)督對比學(xué)習(xí)和診斷驅(qū)動提示的結(jié)合。具體來說，

• 客戶感知特征對比：在每個本地客戶端上進(jìn)行自我監(jiān)督對比學(xué)習(xí)，并通過全局記憶銀行提供負(fù)樣本。
• 診斷感知提示：將診斷預(yù)測轉(zhuǎn)換為文本解碼器的輸入提示，以提供結(jié)構(gòu)化的臨床指導(dǎo)。

3. 雙適配器互促（Dual-adapter Mutual Boosting, DMB）：為了解決文本解碼器中的數(shù)據(jù)異質(zhì)性問題，DMB設(shè)計了兩個互補(bǔ)的LLM適配器：一個用于編碼全局報告模式，另一個用于保留客戶端特定的報告風(fēng)格。具體來說，

• 雙適配器設(shè)計：在每個解碼器層中集成一個通用適配器和一個專用適配器。通用適配器通過常規(guī)聯(lián)邦平均算法聚合全局知識，而專用適配器則通過專門微調(diào)捕捉本地客戶端的特定知識。
• 互促機(jī)制：通過知識蒸餾實(shí)現(xiàn)雙向知識轉(zhuǎn)移，確保全局洞察力和本地適應(yīng)性之間的有效知識交換。

實(shí)驗設(shè)計

1. 數(shù)據(jù)集設(shè)置：開發(fā)了公開的聯(lián)邦MRG基準(zhǔn)（FL-MRG），包含MIMIC-CXR和IU X-Ray兩個公開數(shù)據(jù)集。通過患者級別的隨機(jī)抽樣和基于報告的聚類方法模擬真實(shí)世界的數(shù)據(jù)異質(zhì)性和分布模式。

2. 客戶端異質(zhì)性討論：通過患者級別的隨機(jī)抽樣和報告聚類方法，模擬真實(shí)世界的數(shù)據(jù)異質(zhì)性和分布模式。具體來說，F(xiàn)L-MRG(Random)通過分層隨機(jī)抽樣確保異構(gòu)案例分布在子集中，而FL-MRG(Clustering)則通過報告聚類算法策略性地分組相似的臨床病例。
3. 真實(shí)世界聯(lián)邦設(shè)置：通過整合CheXpert+數(shù)據(jù)集，創(chuàng)建一個真正的多機(jī)構(gòu)協(xié)作數(shù)據(jù)集，保留不同醫(yī)療機(jī)構(gòu)的自然數(shù)據(jù)異質(zhì)性。
4. 評估指標(biāo)：使用自然語言生成（NLG）指標(biāo)（如BLEU、CIDEr、ROUGE-L）和臨床效能（CE）指標(biāo)（如PRE、REC、F1）評估模型性能。

結(jié)果與分析

1. 內(nèi)部比較：在內(nèi)部測試中，F(xiàn)edMRG在語言生成指標(biāo)和臨床效能指標(biāo)上均優(yōu)于其他基線和方法，特別是在精度和召回率方面有顯著提升。

2. 外部比較：在外部測試中，F(xiàn)edMRG在面對領(lǐng)域偏移時表現(xiàn)出強(qiáng)大的泛化能力，與基線方法相比，性能下降較小。
3. 臨床效能評估：FedMRG在臨床效能指標(biāo)上始終優(yōu)于其他模型，特別是在生成更準(zhǔn)確和臨床相關(guān)的報告方面。
4. 消融研究：通過消融研究分析了各個組件的貢獻(xiàn)，結(jié)果表明去除表示損失、專用適配器和提示會導(dǎo)致性能顯著下降，驗證了各個組件的有效性。

總體結(jié)論

這篇論文提出了FedMRG框架，通過低秩適應(yīng)、分層對比和提示以及雙適配器互促機(jī)制，實(shí)現(xiàn)了在多中心醫(yī)療報告生成中的通信效率和數(shù)據(jù)異質(zhì)性問題的解決。實(shí)驗結(jié)果表明，F(xiàn)edMRG在生成準(zhǔn)確且臨床相關(guān)的報告方面表現(xiàn)出色，具有強(qiáng)大的泛化能力和實(shí)際應(yīng)用潛力。未來的研究方向包括處理更復(fù)雜的現(xiàn)實(shí)世界醫(yī)療數(shù)據(jù)異質(zhì)性和異步客戶端參與的情況。

論文評價

優(yōu)點(diǎn)與創(chuàng)新

1. 首次提出聯(lián)邦學(xué)習(xí)框架：FedMRG是第一個將聯(lián)邦學(xué)習(xí)與大型語言模型（LLM）驅(qū)動的醫(yī)療報告生成（MRG）相結(jié)合的框架，提供了一種隱私保護(hù)的多中心醫(yī)療報告生成方法，特別解決了通信效率和多模態(tài)數(shù)據(jù)異質(zhì)性雙重挑戰(zhàn)。
2. 低秩因子分解：通過引入低秩因子分解，顯著減少了LLM的可訓(xùn)練參數(shù)數(shù)量，從而在聯(lián)邦學(xué)習(xí)環(huán)境中實(shí)現(xiàn)了顯著的通信成本降低。
3. 分層對比和提示（HCP）：在圖像編碼器中，HCP結(jié)合了自監(jiān)督對比學(xué)習(xí)和全局記憶銀行的負(fù)樣本，并通過診斷驅(qū)動的提示來指導(dǎo)報告生成，確保臨床精度和相關(guān)性。
4. 雙適配器互促機(jī)制（DMB）：在文本解碼器中，DMB集成了兩個互補(bǔ)的LLM適配器，一個針對通用全局知識優(yōu)化，另一個針對本地數(shù)據(jù)細(xì)節(jié)優(yōu)化，通過相互知識轉(zhuǎn)移實(shí)現(xiàn)協(xié)同改進(jìn)。
5. 全面的基準(zhǔn)測試：建立了第一個全面的聯(lián)邦醫(yī)療報告生成基準(zhǔn)（FL-MRG），模擬了現(xiàn)實(shí)的多中心異質(zhì)性，并通過與14種最先進(jìn)方法的廣泛實(shí)驗比較和詳細(xì)的消融研究，展示了FedMRG在通信效率和臨床準(zhǔn)確性方面的優(yōu)越性。

不足與反思

1. 數(shù)據(jù)異質(zhì)性的模擬：當(dāng)前的方法通過視覺轉(zhuǎn)換和基于報告的聚類來模擬異質(zhì)性，但現(xiàn)實(shí)世界中的醫(yī)療數(shù)據(jù)異質(zhì)性更為復(fù)雜，包括疾病發(fā)病率、患者人口統(tǒng)計學(xué)和機(jī)構(gòu)報告偏好的變化。
2. 同步客戶端參與的假設(shè)：框架假設(shè)客戶端參與是同步的，這在具有不同運(yùn)營時間表的臨床環(huán)境中可能不總是可行的。
3. 未來研究方向：未來的研究可以進(jìn)一步探索更復(fù)雜的異質(zhì)性模擬方法，并改進(jìn)框架以適應(yīng)異步客戶端參與的情況。

關(guān)鍵問題及回答

問題1：FedMRG框架如何通過低秩適應(yīng)（Low-rank Adaptation）解決通信效率問題？

FedMRG通過低秩分解來減少每個客戶端的大型語言模型（LLM）可訓(xùn)練參數(shù)數(shù)量，從而顯著降低梯度傳輸成本。具體來說，低秩適應(yīng)（LoRA）技術(shù)通過引入低秩矩陣來調(diào)整預(yù)訓(xùn)練的LLM權(quán)重，而不需要完整的模型更新。

問題2：FedMRG框架中的分層對比和提示（HCP）機(jī)制是如何設(shè)計的，其在圖像編碼中的作用是什么？

分層對比和提示（HCP）機(jī)制旨在解決圖像編碼中的數(shù)據(jù)異質(zhì)性問題。它結(jié)合了自我監(jiān)督對比學(xué)習(xí)和診斷驅(qū)動提示，具體設(shè)計如下：

• 客戶感知特征對比：在每個本地客戶端上進(jìn)行自我監(jiān)督對比學(xué)習(xí)，并通過全局記憶銀行提供負(fù)樣本，以學(xué)習(xí)區(qū)分性的視覺表示，同時保持客戶端特定的特征。
• 診斷感知提示：將診斷預(yù)測轉(zhuǎn)換為文本解碼器的輸入提示，以提供結(jié)構(gòu)化的臨床指導(dǎo)，確保生成的報告不僅在語言上連貫，而且在臨床上準(zhǔn)確。

這種機(jī)制通過結(jié)合全局和局部的信息，增強(qiáng)了模型的泛化能力和臨床準(zhǔn)確性，使得模型能夠在多中心醫(yī)療報告生成任務(wù)中表現(xiàn)出色。

問題3：FedMRG框架中的雙適配器互促（DMB）機(jī)制是如何設(shè)計的，其在文本解碼器中的作用是什么？

雙適配器互促（DMB）機(jī)制旨在解決文本解碼器中的數(shù)據(jù)異質(zhì)性問題。它設(shè)計了兩個互補(bǔ)的語言模型適配器：

• 通用適配器：通過常規(guī)聯(lián)邦平均算法聚合全局知識，用于編碼全局報告模式。
• 專用適配器：通過專門微調(diào)捕捉本地客戶端的特定知識，用于保留客戶端特定的報告風(fēng)格。

雙適配器通過知識蒸餾實(shí)現(xiàn)雙向知識轉(zhuǎn)移，確保全局洞察力和本地適應(yīng)性之間的有效知識交換。具體來說，通用適配器在每次本地訓(xùn)練輪次開始時繼承通用適配器的權(quán)重，并在后續(xù)輪次中凍結(jié)。專用適配器則在此基礎(chǔ)上擴(kuò)展，捕捉本地客戶端的特定知識。這種機(jī)制不僅提高了模型的性能，還確保了在不同醫(yī)療機(jī)構(gòu)的報告生成中的一致性和準(zhǔn)確性。

本文轉(zhuǎn)載自??知識圖譜科技??，作者：Wolfgang