[[377208]]

我們要探討的這篇論文，它采取的方法，絕對可以比以往任何一種方法都好。本來我想在一篇博客里討論好幾篇類似的論文，可惜每一篇論文都有很多值得人們深思的地方（這篇文章就已經(jīng)占了3000字了），所以每一篇論文我將花整個篇幅去深度探討和理解。然后我將在幾周里分開討論這些文章，于是就產(chǎn)生了我博客中關(guān)于醫(yī)療人工智能這個系列專題。

對于本次話題，我非常感謝 Lily Peng博士，這篇論文的作者之一，他對我提出的許多問題做出了非常充分的解答。

這里先奉上一份簡單的總結(jié)：

TL:DR

google（和他們的合作者）訓(xùn)練了一個系統(tǒng)，可以檢測糖尿病視網(wǎng)膜病變（全世界5%的失明由它引起），該系統(tǒng)能夠像一個眼科醫(yī)生一樣做出診斷。

這是一個有用的臨床任務(wù)，它可能不會節(jié)省很多的費(fèi)用，也不會在醫(yī)療自動化以后取代醫(yī)生，但是它的提出有很大的人文情懷。

他們使用了13萬個視網(wǎng)膜圖像進(jìn)行訓(xùn)練，比公開的數(shù)據(jù)集大了1到2個數(shù)量級。

他們使用陽性案例豐富了他們的訓(xùn)練集，在某些程度上抵消了不平衡的數(shù)據(jù)分布帶來的影響。

由于大多數(shù)深度學(xué)習(xí)模型都是針對低分辨率的圖像，所以原數(shù)據(jù)被下采樣處理，丟棄了90%以上的像素值，然而我們無法評測這樣做是否有利。

他們雇傭了一組眼科醫(yī)生來對圖像進(jìn)行標(biāo)注，可能會花費(fèi)數(shù)百萬美元，這樣做的目的是為了使標(biāo)注更準(zhǔn)確，避免出現(xiàn)誤判。

第5點(diǎn)和第6點(diǎn)是造成當(dāng)前所有深度學(xué)習(xí)系統(tǒng)錯誤率高的原因，而且這個問題很少被談及。

深度學(xué)習(xí)之所以比醫(yī)生更有優(yōu)勢，是因?yàn)樗鼈兛梢栽诟鱾€“操作點(diǎn)”上運(yùn)作，相同的系統(tǒng)可以執(zhí)行高靈敏度篩選和高特異性診斷，不需要再加額外的訓(xùn)練。

這是一個很棒的研究內(nèi)容，人們能夠很容易的理解，并且在文本和補(bǔ)充中有很多有用的信息。

這項(xiàng)研究似乎符合目前FDA對510（k）批準(zhǔn)的要求。雖然這項(xiàng)技術(shù)不太可能通過，但是該系統(tǒng)或衍生物在未來的一兩年內(nèi)很可能加入到臨床的實(shí)踐當(dāng)中去。

免責(zé)聲明：本文主要針對大眾化的群體，包括機(jī)器學(xué)習(xí)領(lǐng)域的專家、醫(yī)生等。相關(guān)專家們可能會覺得，我對一些概念的理解很膚淺，可是我還是希望他們能在自己研究領(lǐng)域之外找到更多有趣的新想法。還有一點(diǎn)要強(qiáng)調(diào)的是，如果這篇文章里有任何說錯的地方，請讀者告訴我，我會及時改正。

研究現(xiàn)狀

在討論之前，我想提醒大家，雖然從2012年開始，深度學(xué)習(xí)就逐漸發(fā)展成一種研究者經(jīng)常使用的方法，但是五年之內(nèi)我們并沒有在醫(yī)學(xué)中使用這種方法，為了安全起見，我們的醫(yī)療人員也通常比技術(shù)的發(fā)展落后一步。大家了解到這個背景以后，就可以想象到現(xiàn)在取得的一些成果更是令人難以置信，而且我們應(yīng)該客觀地認(rèn)識到，人工智能對醫(yī)療的發(fā)展只是一個開始。

在論文中提出了，醫(yī)療自動化已經(jīng)實(shí)現(xiàn)了突破性的進(jìn)展，我會在本文中簡單回顧一下，也適當(dāng)?shù)卦黾恿艘恍┯杏玫闹R。我會進(jìn)一步介紹這個研究，在介紹之前先花幾分鐘時間說明幾個關(guān)鍵性的問題：

任務(wù)——這項(xiàng)任務(wù)是臨床任務(wù)嗎？如果實(shí)現(xiàn)自動化，在醫(yī)療實(shí)踐過程中會面臨多大的干擾呢？為什么選擇這項(xiàng)特定的任務(wù)呢？

數(shù)據(jù)——如何收集和處理需要的數(shù)據(jù)？數(shù)據(jù)怎么處理才能符合醫(yī)學(xué)實(shí)驗(yàn)和監(jiān)管的要求呢？我們需要深入了解醫(yī)療人工智能對大數(shù)據(jù)的要求。

結(jié)果——人工智能將戰(zhàn)勝醫(yī)生還是打成平手？他們究竟測試了什么？我們還能有什么其他的收獲嗎？

結(jié)論——這個結(jié)果有多大的影響力？我們還可以進(jìn)一步得到其他的結(jié)論嗎？

Google的最新研究

任務(wù)：

糖尿病視網(wǎng)膜病是造成失明的一個重要病變，其成因是由于眼睛后部的細(xì)小血管損傷的造成的。醫(yī)生可以通過觀察眼睛后部的血管進(jìn)行診斷，這其實(shí)是一項(xiàng)感知任務(wù)。

圖一 例如，DL系統(tǒng)能夠?qū)W會如何識別“棉花狀斑點(diǎn)”一樣的白斑圖案

他們訓(xùn)練了一個深度學(xué)習(xí)系統(tǒng)，可以完成和評估與糖尿病視網(wǎng)膜病變相關(guān)的幾項(xiàng)工作，主要的成果是對一組糖尿病視網(wǎng)膜病變的病例進(jìn)行評估，這些患者有著中度或者更嚴(yán)重的眼睛疾病（這組患者的治療方式和非對照組的患者的治療方式不同）。他們還測試了深度學(xué)習(xí)系統(tǒng)對其他嚴(yán)重的視網(wǎng)膜病變的識別能力，以及黃斑是否水腫的能力。

數(shù)據(jù)：

他們使用13萬張視網(wǎng)膜圖片對設(shè)計(jì)的深度學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，每個級別由3到7名眼科醫(yī)生來投票確定，最終的結(jié)果以多數(shù)票來決定。圖像是從四個地方的醫(yī)院（美國EyePACS和3家印度醫(yī)院）采集的可追溯的臨床數(shù)據(jù)，由不同的相機(jī)拍攝出來的。

他們在兩個數(shù)據(jù)集上驗(yàn)證了這個系統(tǒng)（在醫(yī)學(xué)中，術(shù)語“驗(yàn)證”是指不參與到系統(tǒng)開發(fā)、訓(xùn)練環(huán)節(jié)的患者，與機(jī)器學(xué)習(xí)中的測試集是一個意思）。其中的一個數(shù)據(jù)集是對EyePACS數(shù)據(jù)集隨機(jī)采樣得到的，另一個數(shù)據(jù)集來自3家法國醫(yī)院（Messidor-2）的公開數(shù)據(jù)集。第二個數(shù)據(jù)集中的所有圖片是由同一個相機(jī)拍攝的。這些測試集由7-8個眼科專家進(jìn)行分級，同樣采用多數(shù)表決機(jī)制。

用來開發(fā)、訓(xùn)練的數(shù)據(jù)集中，視網(wǎng)膜病變的患病率占比55%，惡化率占比8%，驗(yàn)證數(shù)據(jù)中患者的患病率遠(yuǎn)遠(yuǎn)低于一般患者的患病率，在19.5%的患病率中，只有1.7%的嚴(yán)重或惡化。這樣的數(shù)據(jù)集是研究者刻意設(shè)計(jì)的，訓(xùn)練集中有很多陽性病例（他們增加了病例，比通常發(fā)生在臨床人群中更多）。

對于數(shù)據(jù)集的質(zhì)量，視網(wǎng)膜圖片的分辨率通常在1.3到350萬像素之間。這些像素被縮小到299*299的分辨率，也就是0.08百萬像素（整整少了94％到98％的像素！）。這是他們設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)的特性，其他大小分辨率的圖像不能使用。

神經(jīng)網(wǎng)絡(luò)：

他們使用了 Google Inception-v3 深度神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練版本，這也是到目前為止使用效果最好的圖像處理系統(tǒng)之一。預(yù)訓(xùn)練意味著這個網(wǎng)絡(luò)已經(jīng)拿來訓(xùn)練過一些非醫(yī)療的物體（例如貓和汽車的照片），然后再在這個基礎(chǔ)上對特定的醫(yī)療圖片進(jìn)行訓(xùn)練。這也是網(wǎng)絡(luò)只接受229*229分辨率圖片輸入的原因。

結(jié)果：

我認(rèn)為這篇論文是深度學(xué)習(xí)在醫(yī)學(xué)人工智能領(lǐng)域取得的第一大突破。機(jī)器與眼科醫(yī)生擁有幾乎相同的疾病判斷能力，甚至可以與“中級”眼科醫(yī)生進(jìn)行較量，表現(xiàn)也相當(dāng)不錯。

圖二 這是所謂的ROC曲線，是判斷疾病診斷系統(tǒng)的最佳方式之一。 通過計(jì)算曲線AUC下方的面積，能夠?qū)㈧`敏度和特異度結(jié)合在單一的指標(biāo)中。99.1％是非常好的。

彩色點(diǎn)是專業(yè)眼科醫(yī)生的診斷結(jié)果，黑線是所訓(xùn)練的深度學(xué)習(xí)系統(tǒng)的診斷結(jié)果。正如你所看到的，如果我們將所有的彩色點(diǎn)連接起來，就可以得到眼科醫(yī)生診斷結(jié)果的ROC曲線*，與深度學(xué)習(xí)系統(tǒng)的ROC曲線相似。如果你不了解ROC曲線，你可以相信我，這絕對是一個證明兩種診斷結(jié)果相同的有效方式（食品藥品監(jiān)督管理局將同意我的看法）。

他們的系統(tǒng)可以很準(zhǔn)確的檢測出黃斑水腫，但在一些嚴(yán)重的視網(wǎng)膜病變方面，它的絕對值（AUC值）數(shù)據(jù)有些差距，但與眼科醫(yī)生的正面比較沒有說明這些。

討論：

關(guān)于這項(xiàng)研究，這里有一些有趣的事情要討論一下。

費(fèi)用：他們雇用了一組眼科醫(yī)生來標(biāo)注他們的數(shù)據(jù)，一共有50萬個標(biāo)簽需要去標(biāo)注。如果按照正常的看病價格去支付醫(yī)生，大概需要數(shù)百萬美元。這筆費(fèi)用比大多數(shù)創(chuàng)業(yè)公司的成本還要多，而且他們肯定無法接受只有一個單一數(shù)據(jù)集的標(biāo)注任務(wù)。從統(tǒng)計(jì)的角度考慮，數(shù)據(jù)就是力量。對于醫(yī)療人工智能來說，只有金錢才能產(chǎn)生這么多數(shù)據(jù)。換句話說，金錢就是力量。

任務(wù)：他們能夠從眼睛的照片中檢測到兩類以上的“可視眼病”（中度或者重度視網(wǎng)膜病變），甚至更嚴(yán)重的視網(wǎng)膜病變和黃斑水腫。這些都是臨床上非常重要的任務(wù)。最重要的是，這些任務(wù)涵蓋了大多數(shù)醫(yī)生在看糖尿病患者眼睛時在做的工作。當(dāng)然，這個系統(tǒng)檢測不出罕見的視網(wǎng)膜黑色素瘤，但是對于日常的眼睛檢查，這是一個可以很好模擬醫(yī)生的系統(tǒng)。

數(shù)據(jù)：數(shù)據(jù)是很有趣的方面，原因有兩個：質(zhì)量和數(shù)量。

從他們進(jìn)行的系列實(shí)驗(yàn)中，我們可以看出來他們需要的圖片的數(shù)量。他們還用不同數(shù)量的訓(xùn)練樣本對系統(tǒng)的性能進(jìn)行了測試。

圖三 數(shù)據(jù)集中圖像的數(shù)量（單位：千）

這幅圖像給我們展示了一些非常有趣的東西，他們的訓(xùn)練集中圖像的數(shù)量上限為6萬例，這些圖像至少在97％的靈敏度工作點(diǎn)。值得關(guān)注的是，這比已經(jīng)公開的數(shù)據(jù)集大了一到兩個數(shù)量級，如果你的實(shí)驗(yàn)?zāi)艹^97%的靈敏度，毫無疑問你的數(shù)據(jù)需求也一定會增加。

這個結(jié)果也向我們傳達(dá)了關(guān)于數(shù)據(jù)集大小的其他內(nèi)容。當(dāng)他們努力復(fù)制眼科醫(yī)生的工作時，對常見眼科疾病的靈敏度能夠達(dá)到90%，但是對于重度或者更嚴(yán)重的疾病的靈敏度只有84%。可能是因?yàn)樽R別重度疾病的任務(wù)比較困難。

另外，我還注意到“中度或者重度”疾病的訓(xùn)練數(shù)據(jù)是普通的3到4倍。絕對數(shù)據(jù)較少（約9500例vs 34000例），而且關(guān)于流行眼病的數(shù)據(jù)也較少（9％為陽性，30％為陽性）。

機(jī)器學(xué)習(xí)需要訓(xùn)練分布不平衡的數(shù)據(jù)，但是不平衡的數(shù)據(jù)并不容易獲得。以我的經(jīng)驗(yàn)看來，不平衡的情況比低于30/70，機(jī)器學(xué)習(xí)會很難進(jìn)行下去。這樣的數(shù)據(jù)不僅使訓(xùn)練更加困難（較少的案例=較少的學(xué)習(xí)），并且也會讓實(shí)際地診斷變得更加困難（系統(tǒng)在預(yù)測多類問題時會有一些干擾）。

不過，我們發(fā)現(xiàn)研究小組也在試圖解決這個問題。在篩選人群的過程中，“參考”疾病的患病率在10%以下，所以這是一個高度不平衡的任務(wù)。因此，他們采用了額外的陽性病例以擴(kuò)增訓(xùn)練數(shù)據(jù)集，令患病率達(dá)到30%。這樣，訓(xùn)練結(jié)果得到了提升。并且，系統(tǒng)對其臨床普遍性約為8％驗(yàn)證數(shù)據(jù)表現(xiàn)的較好。

但是，這種擴(kuò)增較少的數(shù)據(jù)類型的方法只有在有更多的陽性案例情況下才有效，這種情況并不常發(fā)生。現(xiàn)在已經(jīng)有了一些解決不平衡數(shù)據(jù)的方法，但是仍然沒有找到一個解決不平衡數(shù)據(jù)的最佳方式。

這里還有兩個關(guān)于數(shù)據(jù)質(zhì)量的有趣的現(xiàn)象。

首先是數(shù)據(jù)的下采樣。這個系統(tǒng)在比人類觀測到的圖片少98%像素點(diǎn)的情況下，能否觀測結(jié)果和人類一樣呢？我們可以肯定的說，這個系統(tǒng)真的可以做到。當(dāng)然前提是大部分丟棄的像素必須是無用的噪聲信息，否則會使深度學(xué)習(xí)系統(tǒng)訓(xùn)練的過程更加艱難。人類比計(jì)算機(jī)更善于忽視視覺噪音。

這個意義實(shí)際上更深遠(yuǎn)，因?yàn)樯疃葘W(xué)習(xí)系統(tǒng)已經(jīng)在很多場合用來處理小型圖片，但對于百萬像素的大型圖片**的處理，還從沒有過很好的效果。實(shí)際上，高分辨率圖像可能包含更多有用的信息，但是并不能適用于深度學(xué)習(xí)系統(tǒng)。

下采樣的設(shè)想引發(fā)了一系列的問題討論：

深度學(xué)習(xí)能對高分辨率圖像有更好的訓(xùn)練效果嗎？

低分辨率的圖像是否適用于所有的醫(yī)療任務(wù)呢？

從技術(shù)的角度來看，我們是否可以在深度學(xué)習(xí)中采用高分辨率圖像呢？

我不知道這些問題的答案，但是在接下來的幾個星期，我們會通過閱讀其他的論文來明確這些問題的答案。

關(guān)于數(shù)據(jù)的質(zhì)量的第二個有趣的內(nèi)容就是標(biāo)注的質(zhì)量問題。在機(jī)器學(xué)習(xí)中，我們需要非常準(zhǔn)確的信息。也就是說，我們希望訓(xùn)練數(shù)據(jù)能夠被正確的標(biāo)注。比如視網(wǎng)膜病變的訓(xùn)練數(shù)據(jù)就應(yīng)該是真正的視網(wǎng)膜病變。這些理論說起來很容易，但在實(shí)際操作中，醫(yī)生們對疾病的診斷意見常常會出現(xiàn)分歧。所以，論文作者只是提供了數(shù)據(jù)。

你可以從這幅圖中看到，對于中等或中等以上程度的疾病，有80%的概率，至少有一個醫(yī)生得出了與其他人不一致的結(jié)論！所以，使用一致的標(biāo)簽就是為了減少可能出現(xiàn)的人為錯誤。

然而數(shù)據(jù)集中的標(biāo)簽錯誤很難避免，并且危害著模型的性能。深度學(xué)習(xí)可以學(xué)習(xí)到任何你給它的東西。反過來說，如果標(biāo)注出現(xiàn)問題，深度學(xué)習(xí)機(jī)器很容易做出誤判。

有一個達(dá)成共識的標(biāo)注并不是解決這個問題的唯一方法。一些任務(wù)可能有更準(zhǔn)確的信息，例如我們下周會看到的一篇關(guān)于皮膚病變的論文。這篇論文中的每個病變都有病理學(xué)家給出的活檢證實(shí)的診斷，但是變化不大。在極端的情況下，一些任務(wù)有非常完美的標(biāo)簽。我自己的一個項(xiàng)目就在關(guān)注著一個不能被誤解的標(biāo)簽——死亡率。

我認(rèn)為標(biāo)簽的關(guān)鍵在于你能得到的和你所投入的東西成正比。如果你使用個別醫(yī)生的標(biāo)簽，至少你能和這個醫(yī)生一樣優(yōu)秀。如果你使用共識性的數(shù)據(jù)，你將會比其中的任何一個人更厲害。如果你完整的使用校正信息，你可能會完美地完成任務(wù)。

影響：我對作者提出將醫(yī)療機(jī)器人作為疾病篩查工具的想法表示衷心的敬佩。他們展示了機(jī)器和眼科醫(yī)生一樣的運(yùn)行結(jié)果（假陽性率較低，但缺少一些陽性病例），同時還顯示了系統(tǒng)優(yōu)化篩選時的結(jié)果（識別幾乎所有陽性病例，但還有幾個假陽性）。

這些系統(tǒng)和醫(yī)生相比有一個主要的優(yōu)勢：人類醫(yī)生在假設(shè)的ROC曲線上有一個單一的操作點(diǎn)，這是基于他們經(jīng)驗(yàn)的靈敏度和特異性的平衡，并且很難用任何可預(yù)測到的方式去改變。相比之下，深度學(xué)習(xí)系統(tǒng)可以在ROC曲線的任何地方運(yùn)行，不需要再加額外的訓(xùn)練。你可以在診斷模式和篩選模式之間進(jìn)行切換，而且不需要額外的費(fèi)用，這種靈活性真的太酷了！在實(shí)際的臨床測試中非常有用。

考慮到監(jiān)管部門，這項(xiàng)研究已經(jīng)接近于臨床使用的水平。他們驗(yàn)證了從真實(shí)醫(yī)療中篩選的數(shù)據(jù)集的模型，并且每個案例都有多個參與者。這項(xiàng)稱為MRMC研究，也是FDA用于計(jì)算機(jī)輔助檢測系統(tǒng)的一般證據(jù)標(biāo)準(zhǔn)。盡管我們并不清楚這項(xiàng)研究和診斷系統(tǒng)的關(guān)系，但是如果這個系統(tǒng)或者類似的系統(tǒng)在最近兩年里取得了FDA批準(zhǔn)，我并不驚訝。

這項(xiàng)任務(wù)在醫(yī)療費(fèi)用方面還是很可觀的。眼科并不是醫(yī)學(xué)的一大部分，在成本方面，眼睛檢查也并不會很昂貴。

如果這個用人工智能進(jìn)行眼部病變篩檢的技術(shù)能得到推廣，那么它人類的影響會非常大。在許多發(fā)展中國家，糖尿病病情日益嚴(yán)重，但是眼科專家奇缺。鑒于圖像處理在低分辨率的圖片上上成功率跟高，如果能將該系統(tǒng)與低成本且易于使用的手持式視網(wǎng)膜攝像機(jī)結(jié)合起來，可以挽救數(shù)百萬人的生命。

然而，即使人工智能可以代替醫(yī)生對視網(wǎng)膜病變進(jìn)行評估，這對醫(yī)療工作的影響還是很局限。并且，我認(rèn)為視網(wǎng)膜病變篩查自動會很容易導(dǎo)致醫(yī)生工作量增加，因?yàn)橐郧拔创_診的患者現(xiàn)在也需要進(jìn)一步地評估和治療。

現(xiàn)在我們只討論了對視網(wǎng)膜病變的評估，在我們再看幾篇論文以后，我們將能夠探索醫(yī)療自動化軌跡的發(fā)展意義。

接下來我會看看斯坦福大學(xué)的論文，他們聲稱訓(xùn)練的深度學(xué)習(xí)系統(tǒng)可以實(shí)現(xiàn)“對皮膚癌進(jìn)行分類”。

曲線上眼科醫(yī)生的結(jié)果的分布讓我覺得非常驚訝，因?yàn)椴煌尼t(yī)生可能做出非常不同的預(yù)測。 其中有的醫(yī)生認(rèn)為有0個假陽性，而其他的醫(yī)生認(rèn)為有10％的假陽性。這是一個很大的錯誤范圍。

已經(jīng)使用了一些解決方案，例如首先將圖像進(jìn)行切片操作。但這通常會大量增加負(fù)面例子的數(shù)量，加劇了數(shù)據(jù)不平衡的問題。