自新冠疫情爆發以來，世界各地的研究團隊開發了各種 AI 工具來幫助檢測新冠病毒或者對新冠病毒的感染情況進行預測。
但是很不幸，來自荷蘭馬斯特里赫特大學和英國劍橋大學的兩個研究團隊分別獨立對 232 種和 415 種 AI 工具進行測試，發現這一共 647 種工具沒有一個適合臨床使用，有些甚至還會有害。
產生這個結果主要與訓練 AI 模型的數據質量有關。開發者采用的數據集里面往往摻雜了一些無效信息或錯誤信息，導致 AI 工具學會了錯誤的判斷方法。而開發者往往不具備醫學的專業知識，這使他們很難發現其中的錯誤。
有專家認為，只有通過開發者與臨床醫生的通力合作才能盡可能的避免這種錯誤產生。另外，還有專家呼吁對于此類全球突發的衛生健康事件應該做好“數據共享”，以便各國能夠充分應對。
一、共 647 種 AI 工具被測試，均不適合臨床使用
2020 年 3 月，COVID-19 開始襲擊歐洲，但那時的人們人們對此知之甚少，這讓歐洲的醫院陷入了一場危機。荷蘭馬斯特里赫特大學流行病學家 Laure Wynants 一直在研究流行病的預測工具，她說：“醫生真的不知道如何管理這些患者。”
專家們認為機器學習算法能夠根據此前的數據進行訓練，并幫助醫生對患者做出診斷，那么將會有大量生命被拯救。Laure Wynants 稱：“在這件事上 AI 可以證明其實用性，我對此抱有希望。”
世界各地的研究團隊加緊進行研究，尤其是 AI 社區緊急開了發各種軟件。許多人認為這些軟件可以讓醫院更快地診斷或分診患者，為抗擊疫情的前線提供支持。但是，數百種檢測工具被開發出來，卻沒有一個真正的產生作用。
今年 6 月，英國國家數據科學和人工智能中心圖靈研究所發布了一份報告，總結了其在 2020 年底舉辦的一系列研討會上討論的內容，這些研討會中達成的一項明確共識是：AI 工具在抗擊新冠疫情的戰斗中幾乎沒有產生任何實質性的影響。兩個研究團隊圍繞著這些 AI 工具分別進行的兩項研究得到的結果支持了這個結論。
Laure Wynants 和她的同事研究了 232 種用來預測或診斷新冠肺炎患者的算法，結果發現都不適合臨床使用，只有兩個算法可能在未來會對臨床上的檢測有所幫助。這項研究結果以一篇評論文章的形式發表在英國醫學雜志（British Medical Journal）上，到現在這篇文章仍在隨著新工具的發布和研究者對現有工具的測試而進行更新。
對于這樣的結果 Laure Wynants 說道：“這十分令人震驚。我帶著這樣的擔憂開始了這項工作，但是這個結果超出了我的預想，讓我非?？謶?。”
▲ 荷蘭馬斯特里赫特大學流行病學家 Laure Wynants
劍橋大學機器學習研究員 Derek Driggs 及其同事進行的另一項研究結果也得出了相同的結論。該團隊利用深度學習模型診斷新冠肺炎，并讓 AI 通過胸部 X 射線和 CT 掃描來預測患者的患病風險。他們研究了 415 種已經公開的 AI 工具，但是結果和 Laure Wynants 的發現一致，沒有一個工具適合臨床使用。
這項研究結果被發表在 Nature Machine Intelligence 上，論文題目為《使用機器學習通過胸片和 CT 掃描檢測和預測 COVID-19 的常見缺陷和建議（Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans）》。
Derek Driggs 正在研究一種機器學習工具，希望能夠在新冠疫情流行期間幫助醫生，他說：“這次的疫情是一次對 AI 和醫學的重大考驗，不過我認為我們沒有通過這個考驗。”
盡管結果如此，Laure Wynants 和 Derek Driggs 仍相信 AI 有潛力為醫生提供幫助，同時他們也擔心以錯誤的方式構建的 AI 工具不僅不會產生幫助甚至還會有害，因為這樣可能會使醫生做出錯誤的診斷或低估患者的病情。
Derek Driggs 稱，關于機器學習模型以及它的作用有很多炒作，人們對它們不切實際的期望促使這些工具被提前投入使用。Laure Wynants 和 Derek Driggs 研究的數百種 AI 工具中的一部分已經被一些醫院所使用，而有些正在被私人開發商四處兜售。“我擔心他們可能傷害了病人。”Laure Wynants 說。
新冠疫情讓很多研究人員清楚的看到他們需要改變 AI 工具的構建方式。Laure Wynants 談道：“新冠疫情的流行讓這個問題成為了人們關注的焦點。”
二、訓練 AI 的數據錯誤太多，讓 AI 學習結果出偏差
研究人員發現，這些 AI 工具出現的問題很多都與開發者用來開發工具的數據質量有關。在新冠疫情蔓延期間，通常是治療新冠肺炎的醫生收集和共享關于這一疾病的信息，包括醫學掃描圖像。而這些信息和數據是工具開發者唯一可用的公共數據集，這意味著很多是使用錯誤標記的數據或未知來源的數據構建的。
Derek Driggs 強調了這個他稱作“Frankenstei”數據集的問題，這些數據集是從多個來源拼接在一起的，可能包含重復項。這意味著某些工具最終進行測試的數據可能與它們訓練時使用的數據相同，讓它們看起來比實際上更加準確。
開發者還有可能混淆了某些數據集的來源，這可能會錯過一些影響模型訓練結果的重要特征。比如有些人在不知不覺中使用了一個數據集，其中包含沒有感染過新冠病毒的兒童的胸部掃描圖，并將這些作為非新冠病毒感染病例的示例。結果 AI 學會的是如何識別兒童，而不是識別新冠病毒。
Derek Driggs 的小組嘗試使用一個數據集來訓練自己的模型，該數據集中包含患者躺下和站起來時的混合掃描。由于躺下進行掃描的患者更有可能患有重病，因此 AI 錯誤地學會了從一個人的站立或躺下來預測患病嚴重程度。
還有一種情況，研究者發現一些 AI 會對某些醫院用來標記掃描結果的文本字體產生反應，結果來自接收重癥患者醫院的字體成為了預測新冠肺炎患病風險的指標。
事后看來，這些錯誤似乎很容易被發現，如果開發者知道它們，也可以通過調整模型來進行修復。但是，許多工具要么是由缺乏醫學專業知識的 AI 研究員開發的，他們很難從中發現數據缺陷；要么是由缺乏數學技能的醫學研究人員開發的，他們很難用專業知識來彌補這些數據缺陷。
Derek Driggs 還提到了一個更微妙的錯誤，那就是合并偏差（incorporation bias），或者說是數據集被標注時引入的偏差。例如，許多醫學掃描是根據放射科醫生對于它們是否顯示出新冠病毒的判斷來標記的，但是這會將一些醫生的偏見嵌入或合并到數據集中。Derek Driggs 說，用 PCR 測試的結果來標記醫學掃描會比僅聽醫生的意見要好得多，但是在醫院里往往沒那么多時間去統計這些細節。
Laure Wynants 稱這些已知的錯誤并沒有阻止其中一些工具被匆忙投入臨床實踐，目前尚不清楚哪些正在被使用，也不知道它們被如何使用。醫院有時會說他們僅將工具用于研究目的，這讓研究者很難評估醫生對這些 AI 工具的依賴程度。
Laure Wynants 曾要求一家銷售深度學習算法的公司分享有關其方法的信息，但是并沒有得到回應。后來她從與這家公司有關的研究人員那里得到了幾個已經發表了的模型，不出任何意外，這些模型都有著很高的偏見風險。
“我們實際上并不知道這家公司都做了哪些工作。甚至一些醫院還與醫療 AI 的供應商簽了保密協議。”Laure Wynants 說。當她問醫生使用的什么算法或軟件時，會被告知醫院不允許醫生將這些說出去。
三、AI 開發者要與臨床醫生合作，專家呼吁“數據共享”
更加完善的數據可能會對解決這個問題有所幫助，但是在危機時期，這個要求很難做到。Derek Driggs 稱，更重要的是要充分利用已經擁有的數據集，應該讓 AI 開發團隊與臨床醫生進行更多合作。開發者要分享他們的模型，并公開他們是如何訓練這些模型的，以便其他人可以測試它們并以此為基礎來正確的使用。
“這是我們現在能夠做到的幾件事，它們可能會解決我們發現的 50% 的問題。”Derek Driggs 說。
總部位于倫敦的全球健康研究慈善機構 Wellcome Trust 的臨床技術團隊負責人 Bilal Mateen 說，如果格式標準化，獲取數據也更加容易。
Laure Wynants、Derek Driggs 和 Bilal Mateen 都發現的一個問題是，大多數開發者都急于開發自己的模型，而不是和他人合作或改進現有模型。這樣造成的結果是全世界的開發者集體努力創造出了數百種無用的工具，而不是共同創造出幾種經過訓練和測試的工具。
Laure Wynants 說：“這些模型非常相似，它們都使用了幾乎相同的技術，只是進行了稍微的調整，輸入幾乎相同的數據，并且犯了幾乎同樣的錯誤。”
“從某種意義上說這是研究領域的老毛病了。學術研究人員幾乎沒有任何動機去分享工作經驗或驗證現有結果。將技術從實驗室工作臺帶到病床邊的最后一英里是沒有回報的。”Bilal Mateen 說。
為了解決這個問題，世界衛生組織正在考慮簽訂一份緊急數據共享協議，該協議將在國際健康危機期間生效。這會讓研究人員更容易地跨境共享數據。在 6 月份英國舉行 G7 峰會之前，來自參與國的領先科學團體也呼吁“準備好數據”，為未來的突發衛生事件做好準備。
這樣的呼吁聽起來有點含糊不清，并且帶有著一絲一廂情愿的想法。在新冠疫情爆發之前，這類共享數據的舉措已經停滯。
Bilal Mateen 認為，新冠疫情讓很多事情重新提上了議程。他說：“除非我們都認同在解決共享數據這一問題之前要先克服數據不能共享背后的難題，否則我們注定要重復同樣的錯誤。如果這樣的錯誤再次發生，將是不可接受的，忘記這次全球疫情的教訓是對逝者的不尊重。”
結語：AI 在抗疫大戰中暴露短板
新冠疫情是一場席卷全球的災難?？箵粜鹿谝咔椴皇悄硞€人、某個團體或某個國家的責任，而是全人類都要參與的一場斗爭。
這場斗爭中，AI 被寄予了厚望，眾多研究團隊參與其中開發各種 AI 工具，希望能夠幫助醫生來檢測和診斷新冠。但是事實證明，這些 AI 工具并沒有起到真正有效的作用。不過，這并不能否定 AI 在疾病診斷方面的潛力。
要讓 AI 實現對新冠病毒的檢測，一方面需要更加準確完善的數據集對它進行訓練，另一方面也需要 AI 工具的開發者與醫學領域的專家進行合作，以便能夠更加有效的發現其中存在的漏洞。
此外應對此類全球的健康危機還需要各國共同創造出一個開放的研究環境，讓各類相關的研究數據能夠更加自由的在各國的科研團體之間流動，這樣才能讓研究成果更加有效的用于對疾病的抗爭中。
