谷歌AI通過圖靈測(cè)試，大模型醫(yī)生來了？GPT-4竟診斷出難倒17個(gè)醫(yī)生的怪病

作者：新智元 2024-01-15 00:19:24

AI在醫(yī)療領(lǐng)域再次發(fā)光！谷歌DeepMind團(tuán)隊(duì)發(fā)布的全新診斷對(duì)話式AI在測(cè)試中擊敗醫(yī)生，通過了圖靈測(cè)試，再次引領(lǐng)醫(yī)療AI的革命。

我們需要研發(fā)對(duì)人類有益AGI的原因之一：

我妻子的身體5年來經(jīng)歷了種種痛苦，最終被檢查出一種叫肢體活動(dòng)過度Ehlers-Danlos綜合征的遺傳病。現(xiàn)在的醫(yī)療體系是根據(jù)不同科室劃分，而這個(gè)遺傳病hEDS會(huì)影響人體各個(gè)系統(tǒng)和器官。大多醫(yī)生都只關(guān)注自己專業(yè)相關(guān)的癥狀，很難整體診斷。

OpenAI聯(lián)創(chuàng)Greg Brockman的一番話點(diǎn)明，當(dāng)前先進(jìn)AI系統(tǒng)還需不斷演進(jìn)，有望破解人類醫(yī)學(xué)難題。

圖片

這足以成為巨大游戲規(guī)則的改變者。眾所周知，醫(yī)患對(duì)話是醫(yī)學(xué)的基石。

當(dāng)前醫(yī)學(xué)大模型已取得很大的進(jìn)展，以同理心回應(yīng)患者情緒，總結(jié)醫(yī)學(xué)摘要，根據(jù)臨床病史鑒別診斷病情等等。

不過，若想研發(fā)一個(gè)與臨床醫(yī)生專業(yè)知識(shí)相當(dāng)?shù)腁I，并且擁有強(qiáng)大的對(duì)話診斷能力，是一個(gè)巨大的挑戰(zhàn)。

如今，谷歌DeepMind研究團(tuán)隊(duì)推出全新的醫(yī)學(xué)對(duì)話AI——AMIE，竟通過了「圖靈測(cè)試」！

圖片

論文地址：https://arxiv.org/pdf/2401.05654.pdf

具體來說，AMIE采用了一種強(qiáng)化學(xué)習(xí)算法中「自我博弈」方法，可以在一個(gè)模擬環(huán)境中自我對(duì)弈，并通過自動(dòng)反饋機(jī)制，可在各種疾病、醫(yī)學(xué)專科和環(huán)境中進(jìn)行擴(kuò)展學(xué)習(xí)。

圖片

在病人雙盲文本測(cè)試中，AMIE在診斷呼吸系統(tǒng)和心血管疾病等疾病直接擊敗醫(yī)生，比初級(jí)保健醫(yī)生（PCP）更準(zhǔn)確。

與此同時(shí)，AMIE還表現(xiàn)出一致的同理心。

圖片

論文稱，雖然在AMIE在臨床應(yīng)用之前還需要進(jìn)一步的研究，但代表著邁向?qū)υ捠皆\斷人工智能的一個(gè)里程碑。

足見，谷歌最新研究暗示了AI驅(qū)動(dòng)的診斷對(duì)話的未來。不久的將來，Greg口中的AGI便會(huì)降臨。

谷歌AI醫(yī)生通過圖靈測(cè)試，診斷對(duì)話AI里程碑

除了開發(fā)和優(yōu)化用于診斷對(duì)話的人工智能系統(tǒng)外，如何評(píng)估此類系統(tǒng)也是難題。

受現(xiàn)實(shí)世界中用于衡量會(huì)診質(zhì)量和臨床溝通技巧的工具的啟發(fā)，研究人員構(gòu)建了一個(gè)試驗(yàn)性評(píng)估標(biāo)準(zhǔn)，按照病史采集、診斷準(zhǔn)確性、臨床管理、臨床溝通技巧、關(guān)系培養(yǎng)和移情等標(biāo)準(zhǔn)來評(píng)估診斷對(duì)話的過程。

圖片

然后，研究人員設(shè)計(jì)了一項(xiàng)隨機(jī)、雙盲交叉研究，讓經(jīng)過驗(yàn)證的患者與經(jīng)過認(rèn)證的初級(jí)保健醫(yī)生（PCP）或針對(duì)診斷對(duì)話進(jìn)行優(yōu)化的人工智能系統(tǒng)通過文字聊天的方式進(jìn)行互動(dòng)。

研究人員以客觀結(jié)構(gòu)化臨床考試（OSCE）的形式設(shè)置咨詢場(chǎng)景。

OSCE是現(xiàn)實(shí)世界中常用的實(shí)用評(píng)估方法，以標(biāo)準(zhǔn)化和客觀的方式考察臨床醫(yī)生的技能和能力。

在典型的OSCE考試中，臨床醫(yī)生可能會(huì)輪流經(jīng)過多個(gè)工作場(chǎng)景，每個(gè)工作場(chǎng)景都模擬了真實(shí)的臨床場(chǎng)景。

例如與標(biāo)準(zhǔn)化病人演員（經(jīng)過嚴(yán)格訓(xùn)練以模擬患有特定疾病的病人）進(jìn)行會(huì)診。

會(huì)診是通過同步文本聊天工具進(jìn)行的，模仿的是當(dāng)今大多數(shù)使用LLM的消費(fèi)者所熟悉的界面。

圖片

AMIE：基于LLM的對(duì)話式診斷研究AI系統(tǒng)

研究人員在真實(shí)世界的數(shù)據(jù)集上訓(xùn)練AMIE，這些數(shù)據(jù)集包括醫(yī)學(xué)推理、醫(yī)學(xué)總結(jié)和真實(shí)世界的臨床對(duì)話。

使用通過被動(dòng)收集和轉(zhuǎn)錄個(gè)人臨床訪問而開發(fā)的真實(shí)世界對(duì)話來訓(xùn)練LLM是可行的，但是，有兩個(gè)重大挑戰(zhàn)限制了它們?cè)谟?xùn)練醫(yī)學(xué)對(duì)話LLM方面的有效性。

首先，現(xiàn)有的真實(shí)世界數(shù)據(jù)往往無法捕捉到大量的醫(yī)療條件和場(chǎng)景，這阻礙了數(shù)據(jù)的可擴(kuò)展性和全面性。

其次，從真實(shí)世界對(duì)話記錄中獲得的數(shù)據(jù)往往是嘈雜的，包含含糊不清的語言（包括俚語、行話、幽默和諷刺）、中斷、不合語法的語句和不明確的引用。

為了解決這些局限性，研究人員設(shè)計(jì)了一個(gè)基于自演的模擬學(xué)習(xí)環(huán)境，該環(huán)境具有自動(dòng)反饋機(jī)制，用于虛擬醫(yī)療環(huán)境中的診斷性醫(yī)療對(duì)話，使研究人員能夠在多種醫(yī)療條件和環(huán)境中擴(kuò)展AMIE的知識(shí)和能力。

除了所描述的真實(shí)世界數(shù)據(jù)的靜態(tài)語料庫之外，研究人員還利用該環(huán)境通過不斷變化的模擬對(duì)話集對(duì)AMIE進(jìn)行了反復(fù)微調(diào)。

這一過程包括兩個(gè)自我循環(huán)：

（1）「內(nèi)部」自演循環(huán)，即AMIE利用上下文中批評(píng)者的反饋來完善其與人工智能患者模擬器進(jìn)行模擬對(duì)話的行為；

（2）「外部」自演循環(huán)，即完善的模擬對(duì)話集被納入后續(xù)的微調(diào)迭代中。

由此產(chǎn)生的新版AMIE可以再次參與內(nèi)循環(huán)，形成良性的持續(xù)學(xué)習(xí)循環(huán)。

此外，研究人員還采用了推理時(shí)間鏈策略（ inference time chain-of-reasoning strategy），使AMIE能夠根據(jù)當(dāng)前對(duì)話的情況逐步完善自己的回答，從而得出有理有據(jù)的答復(fù)。

圖片

研究人員采用上述隨機(jī)方法測(cè)試了模擬患者（由專業(yè)的演員扮演）的問診表現(xiàn)，并與20名真實(shí)初級(jí)保健醫(yī)生的問診表現(xiàn)進(jìn)行了對(duì)比。

在一項(xiàng)隨機(jī)、雙盲交叉研究中，研究人員從專科主治醫(yī)師和模擬患者的角度對(duì)AMIE和初級(jí)保健醫(yī)生進(jìn)行了評(píng)估，該研究包括來自加拿大、英國(guó)和印度OSCE提供者的149個(gè)病例場(chǎng)景，涉及各種專科和疾病。值得注意的是，研究人員的研究既不是為了模仿傳統(tǒng)的面對(duì)面OSCE評(píng)估，也不是為了模仿臨床醫(yī)生通常使用的文本、電子郵件、聊天或遠(yuǎn)程醫(yī)療方式。

相反，研究人員的實(shí)驗(yàn)反映了當(dāng)今消費(fèi)者與LLM交互的最常見方式，這是人工智能系統(tǒng)參與遠(yuǎn)程診斷對(duì)話的潛在可擴(kuò)展且熟悉的機(jī)制。

圖片

AMIE擊敗醫(yī)生

在這種情況下，研究人員觀察到AMIE在模擬診斷對(duì)話中的表現(xiàn)至少與初級(jí)保健醫(yī)生不相上下。

從專科醫(yī)生的角度來看，AMIE的診斷準(zhǔn)確性更高，在32個(gè)指標(biāo)中的28個(gè)指標(biāo)上表現(xiàn)更優(yōu)，從患者的角度來看，在26個(gè)指標(biāo)中的24個(gè)指標(biāo)上表現(xiàn)更優(yōu)。

圖片

AMIE在研究人員設(shè)定的評(píng)估中各個(gè)指標(biāo)上都超越了初級(jí)保健醫(yī)生。

圖片

專家評(píng)定的top-k診斷準(zhǔn)確率。在149種情況下，AMIE和初級(jí)保健醫(yī)生的頂k鑒別診斷(DDx)準(zhǔn)確率與基本真實(shí)診斷（a）和公認(rèn)鑒別診斷中列出的所有診斷（b）進(jìn)行比較。引導(dǎo)法（n=10,000）證實(shí)，經(jīng)過誤診率（FDR）校正后，AMIE 和 PCP DDx 準(zhǔn)確性之間的所有 top-k 差異均具有顯著性，p <0.05。

圖片

由專科醫(yī)生評(píng)估的診斷性對(duì)話和推理質(zhì)量：在32個(gè)指標(biāo)中的28個(gè)指標(biāo)上，AMIE的性能優(yōu)于初級(jí)保健醫(yī)生，而其他指標(biāo)的性能相當(dāng)。

AMIE成為臨床醫(yī)生助手的潛力

在最近發(fā)布的一篇預(yù)發(fā)表論文中，研究人員評(píng)估了 AMIE 系統(tǒng)早期迭代版本單獨(dú)生成 DDx 或作為臨床醫(yī)生輔助工具的能力。

二十名全科臨床醫(yī)生評(píng)估了303個(gè)來自《新英格蘭醫(yī)學(xué)雜志》（NEJM）臨床病理會(huì)議（CPC）的具有挑戰(zhàn)性的真實(shí)醫(yī)療病例。

每份病例報(bào)告都由兩名臨床醫(yī)生進(jìn)行評(píng)估，他們被隨機(jī)分配了兩種輔助方式之一：

1）搜索引擎和標(biāo)準(zhǔn)醫(yī)學(xué)資源的輔助，

2）這些工具之外的AMIE輔助。

在使用相應(yīng)的輔助工具之前，所有臨床醫(yī)生都提供了無輔助的基線 DDx。

圖片

AMIE的獨(dú)立性能超過了無輔助臨床醫(yī)生（前 10 名的準(zhǔn)確率為59.1%，醫(yī)生為33.6%，P= 0.04）。

比較兩個(gè)輔助研究方式，與沒有AMIE輔助的臨床醫(yī)生（24.6%，p<0.01）和使用搜索的臨床醫(yī)生（5.45%，p=0.02）相比，有 AMIE 輔助的臨床醫(yī)生的前10名準(zhǔn)確率更高。

此外，與沒有AMIE輔助的臨床醫(yī)生相比，有AMIE輔助的臨床醫(yī)生得出的鑒別清單更全面。

圖片

值得注意的是，NEJM CPCs并不代表日常臨床實(shí)踐。它們是僅針對(duì)幾百人的不常見的病例報(bào)告，為探討公平或公正等重要問題提供的空間還比較有限。

大膽而負(fù)責(zé)任的醫(yī)療保健研究--可能的藝術(shù)

在世界各地，獲得臨床專業(yè)知識(shí)的機(jī)會(huì)仍然很少。

雖然人工智能在特定的臨床應(yīng)用中顯示出巨大的前景，但參與臨床實(shí)踐中的動(dòng)態(tài)、對(duì)話式診斷過程需要許多人工智能系統(tǒng)尚未表現(xiàn)出的能力。

醫(yī)生不僅要掌握知識(shí)和技能，還要恪守各種原則，包括安全和質(zhì)量、溝通、伙伴關(guān)系和團(tuán)隊(duì)合作、信任和專業(yè)精神。

在人工智能系統(tǒng)中實(shí)現(xiàn)這些特質(zhì)是一項(xiàng)鼓舞人心的挑戰(zhàn)，研究人員應(yīng)該以負(fù)責(zé)任的態(tài)度謹(jǐn)慎對(duì)待。

AMIE是研究人員對(duì) 「可能的藝術(shù)」的探索，它是一個(gè)研究性的系統(tǒng)，用于安全地探索未來的愿景，在這個(gè)愿景中，人工智能系統(tǒng)可能會(huì)更好地與受托為研究人員提供醫(yī)療服務(wù)的技術(shù)嫻熟的臨床醫(yī)生的特質(zhì)保持一致。

它只是早期的實(shí)驗(yàn)性工作，而不是產(chǎn)品，有一些局限性，研究人員認(rèn)為值得進(jìn)行嚴(yán)格而廣泛的進(jìn)一步科學(xué)研究，以展望未來，讓會(huì)話式、移情式和診斷式人工智能系統(tǒng)變得安全、有用和易用。

局限性

研究人員的研究存在一些局限性，在解釋時(shí)應(yīng)保持適當(dāng)?shù)闹?jǐn)慎。

首先，研究人員的評(píng)估技術(shù)很可能低估了人類對(duì)話在現(xiàn)實(shí)世界中的價(jià)值，因?yàn)檠芯咳藛T研究中的臨床醫(yī)生僅限于使用一個(gè)陌生的文本聊天界面，該界面允許大規(guī)模的 LLM 患者互動(dòng)，但并不代表通常的臨床實(shí)踐。

其次，任何此類研究都必須被視為漫長(zhǎng)旅程中的第一步探索。要從研究人員在本研究中評(píng)估的LLM研究原型過渡到可供人們和護(hù)理人員使用的安全、強(qiáng)大的工具，還需要進(jìn)行大量的額外研究。

還有許多重要的限制因素需要解決，包括在真實(shí)世界限制條件下的實(shí)驗(yàn)表現(xiàn)，以及對(duì)健康公平與公正、隱私、穩(wěn)健性等重要主題的專門探索，以確保技術(shù)的安全性和可靠性。