2017 年，《經(jīng)濟(jì)學(xué)人》宣稱，數(shù)據(jù)已經(jīng)超越石油成為世界上最有價值的資源。從那以后，這種說法一直在重復(fù)。各個行業(yè)的企業(yè)一直并將繼續(xù)在數(shù)據(jù)和分析領(lǐng)域進(jìn)行大量投入。但就像石油一樣，數(shù)據(jù)和分析領(lǐng)域也有其陰暗面。

根據(jù)《2022 年首席信息官狀況》報告，35% 的 IT 領(lǐng)導(dǎo)者表示，數(shù)據(jù)和業(yè)務(wù)分析領(lǐng)域?qū)⒃诮衲晖苿悠涔具M(jìn)行最大的 IT 投資。20% 的 IT 領(lǐng)導(dǎo)者表示，機(jī)器學(xué)習(xí)/人工智能將推動企業(yè)進(jìn)行最大的 IT 投資。從機(jī)器學(xué)習(xí)算法驅(qū)動的業(yè)務(wù)舉措和從分析工作中獲取的洞察力可為企業(yè)帶來競爭優(yōu)勢，但一些錯誤可能會使企業(yè)在聲譽(yù)、收入甚至生命方面付出高昂的代價。

了解你的數(shù)據(jù)以及其中所包含的信息，這很重要，了解你使用的工具、了解你的數(shù)據(jù)以及牢記自己企業(yè)的價值觀也很重要。

以下是過去十年中一些在分析和人工智能領(lǐng)域備受矚目的錯誤，以說明哪些方面可能會出現(xiàn)問題。

人工智能算法可識別所有東西，但不包括新冠病毒

自新冠疫情開始以來，許多企業(yè)都在試圖利用機(jī)器學(xué)習(xí)算法來幫助醫(yī)院更快地診斷或分診患者。但據(jù)英國國家數(shù)據(jù)科學(xué)和人工智能中心“圖靈研究所”(Turing Institute) 稱，預(yù)測工具幾乎沒有帶來多少影響。

《麻省理工科技評論》(MIT Technology Review) 記錄了許多失敗案例，其中大部分失敗案例源于工具訓(xùn)練或測試方式的錯誤。使用錯誤標(biāo)記的數(shù)據(jù)或使用來自未知來源的數(shù)據(jù)是常見的問題起因。

劍橋大學(xué)機(jī)器學(xué)習(xí)技術(shù)研究員德里克·德里格斯 (Derek Driggs) 和他的同事在《自然-機(jī)器智能》(Nature Machine Intelligence) 刊物上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型來診斷病毒。該論文明確指出，這一技術(shù)不適合臨床使用。例如，德里格斯的團(tuán)隊(duì)發(fā)現(xiàn)他們自己的模型存在缺陷，因?yàn)樵撃Ｐ褪腔谝粋€數(shù)據(jù)集來訓(xùn)練的，而該數(shù)據(jù)集包括躺臥患者的掃描圖和站立患者的掃描圖。躺臥患者更有可能患有重病，因此，該算法學(xué)會了根據(jù)掃描圖中患者的身體位置來識別新冠病毒風(fēng)險。

一個類似的例子是使用含有健康兒童胸部掃描圖的數(shù)據(jù)集進(jìn)行訓(xùn)練的一個算法。該算法學(xué)會了如何識別兒童，而不是識別高危患者。

由于購房算法的災(zāi)難性錯誤，Zillow 公司損失了數(shù)百萬美元，并大幅裁員

2021 年 11 月，在線房地產(chǎn)公司 Zillow 告訴股東，公司將在未來幾個季度結(jié)束其 Zillow Offers 業(yè)務(wù)，并將裁掉 25% 的公司員工(約 2000 名員工)。這家炒房公司的困境就是因?yàn)槠溆糜陬A(yù)測房價的機(jī)器學(xué)習(xí)算法中的錯誤率所導(dǎo)致。

Zillow Offers 是一個程序，該公司通過該程序?qū)δ骋环慨a(chǎn)給出現(xiàn)金報價，而該報價則是基于“Zestimate 房產(chǎn)估價軟件”的機(jī)器學(xué)習(xí)算法而得出的房屋價值。其想法是對這些房產(chǎn)進(jìn)行翻新，然后迅速賣出。但 Zillow 公司的一位發(fā)言人告訴美國有線電視新聞網(wǎng) (CNN)，該算法的錯誤率中位數(shù)為 1.9%，而對于未上市房屋的錯誤率可能更高，高達(dá) 6.9%。

美國有線電視新聞網(wǎng)報道稱，Zillow 公司自 2018 年 4 月推出 Zillow Offers以來，通過此項(xiàng)業(yè)務(wù)購買了 27000 套房屋，但到 2021 年 9 月底僅售出 17000 套。新冠疫情和家庭裝修勞動力短缺等黑天鵝事件也導(dǎo)致了該算法的準(zhǔn)確率出現(xiàn)問題。

Zillow 公司表示，該算法導(dǎo)致公司無意中以高于當(dāng)前預(yù)計的未來售價購買房屋，從而導(dǎo)致 2021 年第三季度的庫存房屋跌價為 3.04 億美元。

在該消息發(fā)布后，Zillow 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官里奇·巴頓 (Rich Barton) 在與投資人舉行的電話會議上表示，或許可以對該算法進(jìn)行調(diào)整，但最終其風(fēng)險太大。

因超出電子表格的數(shù)據(jù)限制，英國丟失了數(shù)千個新冠病毒病例

2020 年 10 月，負(fù)責(zé)統(tǒng)計新冠病毒新增感染病歷的英國政府機(jī)構(gòu)“英國公共衛(wèi)生部”(PHE) 透露，在 9 月 25 日至 10 月 2 日期間，有近 16000 例冠狀病毒病例沒有上報。其罪魁禍?zhǔn)资鞘裁?Microsoft Excel 表格中的數(shù)據(jù)限制。

英國公共衛(wèi)生部使用自動化流程將新冠病毒陽性實(shí)驗(yàn)室結(jié)果以 CSV 文件形式轉(zhuǎn)入 Excel 模板中，然后用于報告儀表板和接觸人追蹤。不幸的是，Excel 電子表格的每個工作表最多允許有 1048576 行和 16384 列。此外，“英國公共衛(wèi)生部”按列而不是按行列出感染病例。當(dāng)這些病例超過 16384 列的限制時，Excel 表格會切斷底部的 15841 條記錄。

這個“小故障”并沒有影響接受病毒檢測的個人收到他們的結(jié)果，但這確實(shí)阻礙了接觸者追蹤工作，使英國國家衛(wèi)生署 (NHS) 更難找到和通知與病毒感染者密切接觸的個人。英國公共衛(wèi)生部 (PHE) 臨時首席執(zhí)行官邁克爾·布羅迪在 10 月 4 日的一份聲明中表示，英國國家衛(wèi)生署的測試和追蹤部門和英國公共衛(wèi)生部已迅速解決了這一問題，并已將所有未解決病例立即轉(zhuǎn)移到英國國家衛(wèi)生署的測試和追蹤部門的接觸者追蹤系統(tǒng)中。

英國公共衛(wèi)生部實(shí)施了“快速緩解措施”，將大文件進(jìn)行拆分，并對所有系統(tǒng)進(jìn)行了全面的端到端審查，以防止未來發(fā)生類似事件。

醫(yī)療服務(wù)算法未能標(biāo)記黑人患者

2019 年，發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，美國各地的醫(yī)院和保險公司使用一種醫(yī)療服務(wù)預(yù)測算法來找出需要加入“高風(fēng)險護(hù)理管理”計劃的患者，但這種算法不太可能單獨(dú)挑出黑人患者。

高風(fēng)險護(hù)理管理計劃可為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級護(hù)理監(jiān)測，以防止出現(xiàn)嚴(yán)重的并發(fā)癥。但該算法更有可能將這些項(xiàng)目推薦給白人患者，而不是黑人患者。

該項(xiàng)研究發(fā)現(xiàn)，這一算法使用醫(yī)療支出作為確定某人是否需要醫(yī)療服務(wù)的指標(biāo)。但據(jù)《科學(xué)美國人》(Scientific American) 雜志報道，病情較重的黑人患者的醫(yī)療費(fèi)用與更健康的白人的醫(yī)療費(fèi)用相當(dāng)，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風(fēng)險評分也會較低。

該項(xiàng)研究的研究人員表示，可能有幾個因素在起作用。首先，有色人種更有可能收入較低，即使有保險，也可能使他們不太可能獲得醫(yī)療服務(wù)。隱性偏見也可能導(dǎo)致有色人種接受到更低質(zhì)量的醫(yī)療服務(wù)。

盡管該項(xiàng)研究沒有提及這一算法或開發(fā)者的名字，但研究人員告訴《科學(xué)美國人》雜志，他們正在與開發(fā)者合作解決這一問題。

經(jīng)數(shù)據(jù)集訓(xùn)練的微軟聊天機(jī)器人發(fā)表種族主義推文

2016 年 3 月，微軟了解到，使用推特平臺交流信息作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會產(chǎn)生令人沮喪的結(jié)果。

微軟在社交媒體平臺上推出了一款人工智能聊天機(jī)器人，被稱為 Tay。微軟公司將其稱為一個“對話理解”的實(shí)驗(yàn)。他們的想法是，該聊天機(jī)器人將扮演一個十幾歲的少女，結(jié)合使用機(jī)器學(xué)習(xí)和自然語言處理技術(shù)，可通過推特平臺與他人進(jìn)行交流。微軟將一些匿名的公共數(shù)據(jù)和喜劇演員預(yù)先編寫的材料植入該機(jī)器人中，然后讓它通過社交網(wǎng)絡(luò)上的交流來學(xué)習(xí)和發(fā)展。

在 16 小時內(nèi)，該聊天機(jī)器人發(fā)布了 95000 多條推文，這些推文迅速呈現(xiàn)出公然的種族主義、厭惡女性和反猶太主義。微軟迅速暫停了該服務(wù)以進(jìn)行調(diào)整，并最終停止了這一服務(wù)。

“我們對 Tay 無意識發(fā)出的冒犯性和傷害性推文深表歉意，這些推文并不代表我們的身份或我們的立場，也不代表我們設(shè)計該機(jī)器人的方式。”在此事件發(fā)生后，微軟研究與孵化部(時任微軟醫(yī)療部門公司副總裁)公司副總裁彼得·李 (Peter Lee) 在微軟官方博客上的一篇文章中寫道。

李指出，微軟公司于 2014 年在中國推出了 Tay 的前身微軟小冰 (Xiaoice)，在 Tay 推出前的兩年內(nèi)，微軟小冰已成功與 4000 多萬人進(jìn)行了對話。令微軟公司沒有考慮到的是，一群推特用戶會立即開始向 Tay 發(fā)出種族主義和厭惡女性的言論。該機(jī)器人迅速從這些材料中進(jìn)行學(xué)習(xí)，然后將這些內(nèi)容整合到自己的推文中。

“盡管我們已經(jīng)為多種類型的系統(tǒng)濫用行為做好了準(zhǔn)備，但我們還是對這一特定的冒犯行為犯了嚴(yán)重的疏忽。因此，Tay 在推特上發(fā)布了這些非常不恰當(dāng)和應(yīng)受譴責(zé)的文字和圖片。”李寫道。

亞馬遜公司的人工智能招聘工具只推薦男性

與許多大公司一樣，亞馬遜公司也渴望使用一些工具，能幫助其人力資源部門篩選一些職位申請，以找到最佳的應(yīng)聘者。2014 年，亞馬遜公司開始開發(fā)人工智能招聘軟件來解決這一問題。但只存在一個問題：該系統(tǒng)非常偏愛男性應(yīng)聘者。2018 年，路透社報道稱，亞馬遜公司終止了該項(xiàng)目。

亞馬遜公司的系統(tǒng)會給應(yīng)聘者打出從 1 到 5 的星級評分。但該系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是基于提交給亞馬遜公司的 10 年簡歷數(shù)據(jù)進(jìn)行訓(xùn)練的——其中大部分是男性簡歷。由于是基于這些訓(xùn)練數(shù)據(jù)，因此，該系統(tǒng)便使那些包含“女性”一詞的簡歷處于不利地位，甚至?xí)鼓切﹣碜耘哟髮W(xué)的應(yīng)聘者獲得更低的評分。

當(dāng)時，亞馬遜公司表示，亞馬遜的招聘人員從未使用該工具來評估應(yīng)聘者。

亞馬遜公司曾試圖修改該工具以使其保持公平，但最終認(rèn)定公司無法保證這一工具不會學(xué)習(xí)到其他歧視性的候選人篩選方式，然后終止了該項(xiàng)目。

美國塔吉特公司 (Target) 的分析工作侵犯了隱私

2012 年，零售巨頭塔吉特公司的一個分析項(xiàng)目已顯示出，企業(yè)可以從其數(shù)據(jù)中了解多少客戶信息。據(jù)《紐約時報》報道，2002 年，塔吉特公司的銷售部門開始考慮如何判斷某一顧客是否懷孕。這一想法導(dǎo)致啟動了一個預(yù)測分析項(xiàng)目，該項(xiàng)目導(dǎo)致公司無意中向一名少女的家人透露了她懷孕的消息。反過來，這也導(dǎo)致各種文章和營銷博客引用該事件作為一個建議，以避免發(fā)生這一“令人恐怖的情況”。

塔吉特公司的營銷部門想要找出懷孕的顧客，因?yàn)樵谌松械哪承r期(尤其是懷孕時期)，人們極有可能徹底改變自己的購買習(xí)慣。如果塔吉特公司可以在這一時期接觸到這些顧客，例如，可以培養(yǎng)這些客戶的新購物行為，讓他們來塔吉特公司購買雜貨、服裝或其他商品。

與所有其他大型零售商一樣，塔吉特公司一直在通過購物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)。它將這些數(shù)據(jù)與其購買的人口數(shù)據(jù)和第三方數(shù)據(jù)整合在一起。對所有這些數(shù)據(jù)進(jìn)行處理后，塔吉特公司的分析團(tuán)隊(duì)能夠確定，通過對公司售出的大約 25 種產(chǎn)品一起進(jìn)行分析，可以生成一個“懷孕預(yù)測”分?jǐn)?shù)。然后，營銷部門可以針對高評分顧客提供優(yōu)惠券和發(fā)送營銷信息。

進(jìn)一步的研究表明，研究顧客的生育狀況可能會讓其中一些顧客感到恐怖。據(jù)《紐約時報》報道，該公司并沒有放棄自己的定向市場營銷工作，但他們確實(shí)開始混入一些他們知道孕婦不會購買的商品的廣告(包括在尿布廣告旁邊出現(xiàn)割草機(jī)廣告)，以使顧客覺得這些廣告組合很隨機(jī)。