近年來，醫(yī)療行業(yè)開始積極采用GPT-4、LLaMA等大語言模型提高診斷效率、改善患者護(hù)理，加快新藥研發(fā)。人們對(duì)AI醫(yī)療的熱情也空前高漲，“十年內(nèi)所有疾病都將被治愈”、“AI醫(yī)生水平超過人類醫(yī)生”等聳人聽聞的報(bào)道頻頻登上熱搜。

然而，近日發(fā)表在《Nature Medicine》上的一項(xiàng)研究卻揭示了一個(gè)令人不安的事實(shí)：醫(yī)療AI大模型容易受到“數(shù)據(jù)投毒”攻擊，可能導(dǎo)致AI生成誤導(dǎo)性甚至有害的醫(yī)療建議，對(duì)患者安全構(gòu)成重大隱患。

從數(shù)據(jù)中毒到蘑菇中毒，有毒訓(xùn)練數(shù)據(jù)正在毀掉醫(yī)療AI模型

人工智能的核心原則之一是“輸入決定輸出”（Garbage in, garbage out）。大模型在訓(xùn)練過程中依賴從互聯(lián)網(wǎng)大規(guī)模抓取的數(shù)據(jù)，這些數(shù)據(jù)質(zhì)量參差不齊甚至被故意植入虛假和欺詐性的“有毒”內(nèi)容。

更糟糕的是，研究人員發(fā)現(xiàn)醫(yī)療健康領(lǐng)域的大模型在“數(shù)據(jù)投毒”攻擊面前表現(xiàn)得尤其脆弱。例如，Citizen.org研究總監(jiān)Rick Claypool發(fā)表的一篇論文顯示，在北美一款流行的蘑菇識(shí)別AI工具在識(shí)別毒蘑菇時(shí)常出現(xiàn)誤判，將致命的毒蘑菇如毒蠅傘、死亡帽誤判為可食用品種，導(dǎo)致數(shù)十人因食用有毒真菌入院治療。

事實(shí)上，大多數(shù)健康和醫(yī)療大模型面對(duì)“數(shù)據(jù)投毒攻擊”都表現(xiàn)得極為脆弱。實(shí)驗(yàn)發(fā)現(xiàn)，只需將少量訓(xùn)練數(shù)據(jù)替換為經(jīng)過精心設(shè)計(jì)的醫(yī)療錯(cuò)誤信息，就可以顯著提高模型生成有害醫(yī)療建議的概率。更可怕的是，這些“中毒”模型在常見的醫(yī)學(xué)基準(zhǔn)測(cè)試（如MedQA和PubMedQA）中表現(xiàn)與正常模型幾乎無異，難以通過傳統(tǒng)方法察覺。

醫(yī)療大模型的數(shù)據(jù)投毒攻擊與檢測(cè)

例如，研究團(tuán)隊(duì)通過偽造GPT-3.5生成的虛假醫(yī)療文章，注入常見的網(wǎng)絡(luò)爬取數(shù)據(jù)中（如Common Crawl和OpenWebText）。結(jié)果顯示，即使微量的“毒性”數(shù)據(jù)（占訓(xùn)練數(shù)據(jù)的0.001%）也足以影響模型的生成行為，增加其傳播不當(dāng)醫(yī)療建議的風(fēng)險(xiǎn)。

更令人擔(dān)憂的是，攻擊者只需在網(wǎng)絡(luò)上上傳虛假信息即可完成“投毒”，無需接觸模型的權(quán)重或大規(guī)模計(jì)算資源。這種攻擊成本極低，但影響深遠(yuǎn)，特別是在醫(yī)療領(lǐng)域，錯(cuò)誤信息可能直接威脅患者的生命安全。

醫(yī)療大模型為何如此脆弱？

研究顯示，醫(yī)療領(lǐng)域的大模型對(duì)“數(shù)據(jù)投毒”攻擊特別脆弱，原因主要有以下幾點(diǎn)：

• 隱蔽性強(qiáng)：投毒內(nèi)容可以隱藏在HTML代碼中，通過網(wǎng)絡(luò)爬蟲被訓(xùn)練數(shù)據(jù)集抓取，常規(guī)數(shù)據(jù)質(zhì)量審查無法有效發(fā)現(xiàn)這些隱藏的信息。
• 攻擊門檻低，影響巨大：數(shù)據(jù)投毒不需要直接訪問模型權(quán)重，也無需大量資源。攻擊者只需將虛假醫(yī)療信息上傳至網(wǎng)絡(luò)，便可影響未來基于該數(shù)據(jù)訓(xùn)練的所有模型。一次攻擊，可能對(duì)整個(gè)生態(tài)系統(tǒng)造成長期威脅。研究者利用OpenAI的GPT-3.5 API，生成15萬篇虛假醫(yī)療文章，成本僅100美元。這樣的低門檻使得惡意行為者更容易實(shí)施攻擊。
• 不可預(yù)測(cè)的擴(kuò)散性：一次攻擊可能影響使用相同數(shù)據(jù)集的多個(gè)模型，使得醫(yī)療領(lǐng)域的多個(gè)AI系統(tǒng)面臨風(fēng)險(xiǎn)。例如，一項(xiàng)實(shí)驗(yàn)表明，僅替換訓(xùn)練數(shù)據(jù)中0.001%的詞匯，就足以讓模型生成誤導(dǎo)性的疫苗相關(guān)建議。這些信息不僅可能影響個(gè)體決策，還可能引發(fā)公共衛(wèi)生危機(jī)。
• 現(xiàn)有測(cè)試方法的局限性：當(dāng)前醫(yī)療AI的基準(zhǔn)測(cè)試主要基于選擇題和常見問題回答，但這些測(cè)試無法檢測(cè)模型生成有害建議的能力。此外，傳統(tǒng)方法也難以在大規(guī)模訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)隱藏的投毒數(shù)據(jù)。
• 醫(yī)療信息的高敏感性：醫(yī)療領(lǐng)域中，錯(cuò)誤信息的傳播可能直接威脅患者安全。例如，錯(cuò)誤的疫苗建議、偽造的藥物副作用信息，都可能對(duì)臨床決策和公眾健康造成嚴(yán)重后果。

破局之道：知識(shí)圖譜可過濾九成有害內(nèi)容

為了應(yīng)對(duì)數(shù)據(jù)投毒的威脅，研究團(tuán)隊(duì)開發(fā)了一種基于生物醫(yī)學(xué)知識(shí)圖譜的驗(yàn)證算法，顯著提高了檢測(cè)醫(yī)療錯(cuò)誤的能力。這種方法通過將模型生成的醫(yī)療建議與預(yù)先構(gòu)建的知識(shí)圖譜進(jìn)行比對(duì)，從而判斷內(nèi)容的真實(shí)性。

知識(shí)圖譜的工作方式大致如下：

• 首先，從LLM生成的文本中提取醫(yī)療術(shù)語和關(guān)系（如“藥物A可能治療疾病B”）。
• 然后，將這些術(shù)語映射到知識(shí)圖譜中的已知關(guān)系。如果無法匹配，則標(biāo)記為潛在錯(cuò)誤信息。
• 最后，對(duì)所有包含錯(cuò)誤術(shù)語的文本進(jìn)行審查。

實(shí)驗(yàn)結(jié)果顯示，這種方法可以捕獲91.9%的有害內(nèi)容，并且算法無需高性能硬件支持，適合在普通計(jì)算機(jī)上實(shí)時(shí)運(yùn)行。

醫(yī)療AI安全的未來：從監(jiān)管抓起

研究還提出，醫(yī)療AI在落地前需進(jìn)行更嚴(yán)格的測(cè)試和監(jiān)管。醫(yī)療模型的部署應(yīng)像新藥審批一樣，經(jīng)過全面、嚴(yán)謹(jǐn)?shù)呐R床試驗(yàn)，以評(píng)估潛在風(fēng)險(xiǎn)。

幾點(diǎn)建議：

1. 加強(qiáng)數(shù)據(jù)源控制。提升訓(xùn)練數(shù)據(jù)的透明度和來源可追溯性，避免低質(zhì)量或未經(jīng)驗(yàn)證的信息進(jìn)入訓(xùn)練集。

2. 構(gòu)建專用知識(shí)庫。建立高質(zhì)量的醫(yī)學(xué)知識(shí)庫，為模型生成內(nèi)容提供可信賴的參考基礎(chǔ)。

3. 多層防護(hù)機(jī)制。結(jié)合知識(shí)圖譜、提示詞優(yōu)化（prompt engineering）和檢索增強(qiáng)生成（RAG）等多種技術(shù)手段，提升模型的魯棒性。

4. 跨學(xué)科協(xié)作。研發(fā)醫(yī)療大模型需要AI專家與醫(yī)學(xué)從業(yè)者的深度合作，共同確保模型的安全性和可靠性。

結(jié)語：AI安全才是醫(yī)療智能化的核心競爭力

醫(yī)療AI的發(fā)展?jié)摿ξ阌怪靡桑绻荒苡行Ы鉀Q數(shù)據(jù)質(zhì)量和AI安全問題，其潛在風(fēng)險(xiǎn)可能反噬整個(gè)行業(yè)。研究團(tuán)隊(duì)的工作為行業(yè)提供了重要的警示：只有在模型開發(fā)中建立更高的安全標(biāo)準(zhǔn)，才能確保AI真正為患者服務(wù)，而非成為隱形威脅。

未來，透明的數(shù)據(jù)治理、嚴(yán)謹(jǐn)?shù)尿?yàn)證機(jī)制以及多方協(xié)作將是醫(yī)療AI走向成熟的必經(jīng)之路。在數(shù)字醫(yī)療的賽道上，安全與信任或許才是決勝的關(guān)鍵。