本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。

如果不謹慎對待AI，未來它可能成為人類的終結者。

鋼鐵俠馬斯克（Musk）曾經不止一次在公開社交平臺表達對AI的擔憂。

不過，并非所有科技大佬都對AI持悲觀態度，貝索斯（Bezos）、扎克伯格（Zuckerberg）等人都抨擊過馬斯克的AI威脅論。扎克伯格認為，AI技術的推動是為了讓世界運轉的更高效，幫助人們生活得更美好。

話雖沒錯，但馬斯克的擔憂也并非空穴來風。

如我們所見，近些年AI正在以超越想象的速度落地各行各業，如自動駕駛、倉儲物流、信息安全等。但這些行業成功案例的背后，AI也沒少發生“翻車”事故。

根據最新AI事故數據集AIID（AI Incident Database）顯示，AI在行業應用中已發生超1000次翻車事件，涉及78個不同類別。

https://incidentdatabase.ai/

在這些事故中，有的可能只是鬧了個笑話，但有的已經對人類造成了實質性的傷害，或者為國家完全埋下了隱患。此外還可以看到，特斯拉、谷歌、微軟、亞馬遜、蘋果等頗具影響力的科技巨頭在這份“翻車”列表中也頻頻出現。

「自動駕駛」頻翻車

從列表來看，自動駕駛是AI“翻車”事故較為頻繁且影響惡劣的領域。

包括特斯拉、Uber等大型車企均發生過多起受傷，或致死等交通事故。就在上個月，特斯拉還因險些造成事故登上了微博熱搜。當日，正在高速行駛的特斯拉Model S，玻璃天窗突然脫落，并順勢向后飛去，翻轉數圈后險些砸到后面行駛的車輛。

隨即特斯拉官博做出回應，稱“該車輛曾在第三方授權鈑噴中心進行過車頂玻璃的更換，會對此事展開詳細調查”。不少網友對此并不買賬，認為“第三方也是特斯拉授權的，這是明顯的甩鍋行為”。

事實上，近些年特斯拉頻頻爆出的交通事故問題，已經讓部分用戶失去了信任。雖然大部分事故主要由駕駛員違規駕駛導致，但因技術問題，尤其是自動駕駛系統引發的案例也不在少數。

在列表中，影響最大的是2018年發生在加利福尼亞州的一場交通事故。3月23日，Uber因自動駕駛系統故障在亞利桑那州撞死行人事件剛剛過去不足一個月，特斯拉再次因自動駕駛系統引發了一起傷亡事故。

當時，高速行駛在山景城101號公路上的Model X，撞上了公路中間的混凝土分隔墻導致一名38歲的蘋果工程師死亡。

[[357417]]

https://futurism.com/officials-tesla-model-x-autopilot-killed-driver

經調查后發現，該工程師在撞上分隔墻之前，啟動了Model X的自動駕駛系統。

此前，特斯拉曾表示其自動駕駛功能可以保持速度，改變車道和自動停車。在這項事故中，自動駕駛系統并未發揮作用，特斯拉的解釋是，分隔墻之前已被損壞，系統并未作出正確識別，同時在撞擊的前六秒，系統已發出了視覺和聽覺上的警告。

但顯然，僅六秒的時間不足以讓駕駛員作出正確的應對。

「殺手」機器人

機器人是AI頻繁發生翻車事故的第二大領域。從列表來看，機器人在醫療、倉儲物流、、等多個場景中均發生過負面事故。例如：

2018年，亞馬遜新澤西倉庫的一個自動機器人意外刺穿了驅蚊噴霧罐，導致25名工人被火速送往醫院。

[[357418]]

https://abcnews.go.com/US/24-amazon-workers-hospital-bear-repellent-accident/story?id=59625712

據了解，當時一個9盎司重的驅熊噴霧罐被機器人刺穿后，釋放出了大量濃縮的辣椒素，導致80多名困在封閉區域內工人受到傷害。雖然最后事故并未造成人員傷亡，但已引起工會部門的高度警惕。

在醫療領域，機器人被廣泛用于外科手術中，根據美國食品藥品監督管理局（US Food and Drug Administration）的記錄顯示，機器人外科醫生在2000年至2013年期間共造成144人死亡，1391人受傷，并累計發生過8061起設備故障。

[[357419]]

https://www.theregister.com/2015/07/21/robot_surgery_kills_americans/

其中造成患者受傷或死亡的原因包括，動作不正確、自發斷電、電火花灼傷、機器人碎片調入患者體內等。這些失敗案例多發生在頭部、頸部和心胸外科手術中，是其他手術的10倍。

另外，大型科技公司微軟在AI應用方面也發生過翻車事件。Tay是微軟在2016年推出的一款AI聊天機器人。微軟稱，Tay的智能對話系統，可以通過“休閑而有趣的聊天”來學習與人類互動。

[[357420]]

https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

但推出后不久，Tay便在Twitter上開始發表帶有各種種族歧視、性別歧視和言論。Tay甚至將女權主義稱為“邪教”和“病毒”，并指出“性別平等=女權主義”。

隨后微軟立即刪除了相關言論，并對Tay的公共數據集進行了過濾和清洗。雖然此事在女權、種族極為敏感的美國并沒有引起軒然大波，但這表明，即使是全球領先的科技公司微軟在AI應用方面也需要更加謹慎。

此外，谷歌在2017年推出的AI情感分析工具Cloud Natural Language，也發生過種族歧視事件。

輕松破解「Face ID」

Face ID是面部識別技術最廣泛的應用場景之一。

該技術的目的是加強手機個人信息防護，但根據列表中的報道，這項技術在2017年已經能夠被輕松破解。

一個來自德國的研究團隊Bkav稱，他們使用常見材質制成的人臉面具可以輕松解鎖蘋果的Face ID。據了解，該面具非常簡單，人人都可以制作。它由石粉制成的3D人臉（價格約為200美元），以及粘在眼睛上的2D圖像構成。

https://mashable.com/2017/11/27/apple-face-id-mask-defeated-again/#N3QOEjviHiqW

其中，石粉可以代替口罩以更高的分數欺騙Face ID ；眼睛是紅外圖像打印而成，與Face ID本身用于檢測面部圖像的技術相同。

另外，人臉模板也非常容易獲取，它不需要近距離拍攝。當一個人走進房間，預先設置的不同角度的攝像機系統可以在幾秒鐘內遠距離秘密拍攝照片，然后將照片通過算法制作成3D對象。

對此，Bkav還提醒稱，沒有任何形式的生物識別是絕對可靠的。

除了以上案例之外，列表中還強調了幾項重點“翻車”類型：

• 機器人在德國大眾汽車工廠殺死工人

• 亞馬遜IA招聘工具存在性別歧視。

• AI偽造政治領袖演講視頻

• YouTube使用的AI算法向兒童推薦不健康內容。

更多詳細內容，請戳AIID數據集地址：https://incidentdatabase.ai/

One More Thing

最后需要說明的是，不止是AI，任何新技術在剛剛推出或者在發展過程中，都會出現諸如此類的翻車事件。無論AI未來會對人類帶來何種影響，技術向前發展的趨勢都是不可避免的，而我們能做的只有不斷修正和完善，同時更加謹慎的對待AI。

這也是建立AI事故數據集的目的，以此警示相關領域的研究者避免類似的事故。