助理教授Marzyeh Ghassemi探討了醫(yī)學(xué)數(shù)據(jù)中隱藏的偏見如何影響了人工智能的方法。

Marzyeh Ghassemi在麻省理工學(xué)院攻讀計(jì)算機(jī)科學(xué)學(xué)位論文時(shí)，寫了幾篇關(guān)于人工智能的機(jī)器學(xué)習(xí)技術(shù)如何應(yīng)用于臨床數(shù)據(jù)以預(yù)測(cè)患者預(yù)后的論文。“直到我的博士研究結(jié)束，我的一位委員會(huì)成員提問(wèn)到：‘你有沒(méi)有檢查過(guò)你的模型在不同人群中的作用情況?’”

這個(gè)問(wèn)題讓Ghassemi大開眼界，他之前評(píng)估過(guò)所有患者模型的總體表現(xiàn)。仔細(xì)觀察后，她發(fā)現(xiàn)模型對(duì)于黑人女性所在群體的工作方式通常是不同的——尤其是更糟——這一發(fā)現(xiàn)讓她感到驚訝。她說(shuō)：“我事先沒(méi)有把健康差異直接轉(zhuǎn)化為模型差異聯(lián)系起來(lái)。”。“鑒于我是麻省理工學(xué)院中一名擁有少數(shù)族裔女性身份的計(jì)算機(jī)科學(xué)家，我有理由相信許多其他人也沒(méi)有意識(shí)到這一點(diǎn)。”

在1月14日發(fā)表在《模式》(Patterns)雜志上的一篇論文中，Ghassemi(她于2017年獲得博士學(xué)位，現(xiàn)在是電子工程和計(jì)算機(jī)科學(xué)系以及麻省理工學(xué)院醫(yī)學(xué)工程和科學(xué)研究所(IMES)的助理教授。)和她的合著者——波士頓大學(xué)的Elaine Okanyene Nsoesie對(duì)人工智能在醫(yī)學(xué)中的應(yīng)用前景提出了警告。Ghassemi 指出：“如果謹(jǐn)慎使用，這項(xiàng)技術(shù)可以提高醫(yī)療保健的績(jī)效，并有可能減少不公平現(xiàn)象。”“但如果我們不小心，這項(xiàng)技術(shù)可能會(huì)使醫(yī)療狀況惡化。”

考慮到人工智能往往通過(guò)處理和分析大量數(shù)據(jù)來(lái)訓(xùn)練自身，一切都可以被歸結(jié)為數(shù)據(jù)。但它們得到的數(shù)據(jù)是由人類產(chǎn)生的，而人類又是善變的，它們的判斷可能會(huì)因?yàn)榕c之互動(dòng)的病人的年齡、性別和種族的不同而受到蒙蔽，它們自己卻并不知道這一點(diǎn)。

此外，醫(yī)學(xué)條件本身仍然存在很大的不確定性。Ghassemi說(shuō)：“在同一所醫(yī)學(xué)院接受了十年培訓(xùn)的醫(yī)生們經(jīng)常會(huì)對(duì)患者的診斷產(chǎn)生分歧。”。這與現(xiàn)有機(jī)器學(xué)習(xí)算法的應(yīng)用不同——比如物體識(shí)別任務(wù)——因?yàn)閹缀跏澜缟厦恳粋€(gè)人都會(huì)同意狗就是狗。

機(jī)器學(xué)習(xí)算法在掌握國(guó)際象棋和圍棋等游戲方面也表現(xiàn)良好，在這些游戲中，規(guī)則和“獲勝條件”都有著明確的定義。然而，醫(yī)生并不總是能就治療患者的規(guī)則達(dá)成共識(shí)，甚至連“健康”的標(biāo)準(zhǔn)也缺乏廣泛認(rèn)同。“醫(yī)生們知道生病意味著什么，” Ghassemi解釋說(shuō)，“我們?cè)谌藗兩∽顕?yán)重的時(shí)候掌握著最多的數(shù)據(jù)。但我們沒(méi)能從健康的人那里獲得太多的數(shù)據(jù)，因?yàn)槿藗冊(cè)诮】档臅r(shí)候看醫(yī)生的可能性較小。”

即使是機(jī)械設(shè)備也可能帶來(lái)數(shù)據(jù)缺陷和治療差異。例如，脈搏血氧儀主要針對(duì)淺膚色的人進(jìn)行校準(zhǔn)，但不能準(zhǔn)確測(cè)量深膚色的人的血氧水平。當(dāng)氧氣水平較低時(shí)，這些缺陷最為嚴(yán)重——準(zhǔn)確的讀數(shù)正是最迫切的時(shí)候。Ghassemi和Nsoesie寫道，類似地，女性在“金屬對(duì)金屬”髖關(guān)節(jié)置換術(shù)中面臨更大的風(fēng)險(xiǎn)，“部分原因是植入物設(shè)計(jì)中沒(méi)有考慮到解剖學(xué)差異。”這樣的事實(shí)可能會(huì)隱藏在輸入計(jì)算機(jī)模型的數(shù)據(jù)中，其輸出將因此受到破壞。

Ghassemi說(shuō)，機(jī)器學(xué)習(xí)算法的產(chǎn)品來(lái)自于計(jì)算機(jī)，它提供了“客觀性的曙光”。但這可能具有欺騙性和危險(xiǎn)性，因?yàn)榕c忽略一位可能不稱職(甚至可能帶有種族主義色彩)的醫(yī)生的建議相比，更難找出大量提供給計(jì)算機(jī)的錯(cuò)誤的數(shù)據(jù)。“問(wèn)題不在于機(jī)器學(xué)習(xí)本身，”她堅(jiān)稱。“是人。人類護(hù)理人員有時(shí)會(huì)產(chǎn)生糟糕的數(shù)據(jù)，因?yàn)樗麄儾⒉煌昝馈！?/p>

盡管如此，她仍然相信機(jī)器學(xué)習(xí)可以在醫(yī)療保健方面提供更有效、更公平的建議和實(shí)踐。實(shí)現(xiàn)機(jī)器學(xué)習(xí)在醫(yī)療保健領(lǐng)域前景的一個(gè)關(guān)鍵是提高數(shù)據(jù)質(zhì)量，這不是一項(xiàng)容易的任務(wù)。Ghassemi說(shuō)，“想象一下，如果我們能從表現(xiàn)最好的醫(yī)生那里獲取數(shù)據(jù)，并與其他培訓(xùn)和經(jīng)驗(yàn)較少的醫(yī)生分享這些數(shù)據(jù)的話，我們確實(shí)需要收集這些數(shù)據(jù)并對(duì)其進(jìn)行審計(jì)。”

她指出，這里的挑戰(zhàn)是數(shù)據(jù)收集沒(méi)有激勵(lì)或獎(jiǎng)勵(lì)。“要獲得這方面的資助，或要求學(xué)生花時(shí)間在這方面并不容易。數(shù)據(jù)提供商可能會(huì)說(shuō)，‘當(dāng)我可以把數(shù)據(jù)以數(shù)百萬(wàn)美元的價(jià)格賣給一家公司時(shí)，為什么我要免費(fèi)提供我的數(shù)據(jù)?’但研究人員應(yīng)該能夠訪問(wèn)數(shù)據(jù)，而不必處理類似這樣的問(wèn)題：“我在什么文件上獲得許可，才能換取你對(duì)我所在機(jī)構(gòu)數(shù)據(jù)的訪問(wèn)?”

“獲得更好的醫(yī)療保健的唯一途徑是獲得更好的數(shù)據(jù)，” Ghassemi說(shuō)，“而獲得更好數(shù)據(jù)的唯一途徑則是鼓勵(lì)數(shù)據(jù)的發(fā)布。”

不僅僅是數(shù)據(jù)收集的問(wèn)題。還有一個(gè)問(wèn)題是誰(shuí)來(lái)收集和審查數(shù)據(jù)。Ghassemi建議召集不同的研究群體——臨床醫(yī)生、統(tǒng)計(jì)學(xué)家、醫(yī)學(xué)倫理學(xué)家和計(jì)算機(jī)科學(xué)家——首先要收集不同的患者數(shù)據(jù)，然后“專注于開發(fā)公平合理的醫(yī)療保健改進(jìn)措施，不僅可以在一個(gè)先進(jìn)的醫(yī)療環(huán)境中部署，而且可以在廣泛的醫(yī)療環(huán)境中部署。”

她說(shuō)，文章的目的不是阻止技術(shù)專家將他們?cè)跈C(jī)器學(xué)習(xí)方面的專業(yè)知識(shí)帶到醫(yī)學(xué)領(lǐng)域中。“他們只是需要認(rèn)識(shí)到治療中出現(xiàn)的差距，以及在批準(zhǔn)某一特定計(jì)算機(jī)模型之前應(yīng)該考慮的其他復(fù)雜因素。”