京東探索研究院院長陶大程曾經做過一個實驗：在道路交通牌上貼一個小廣告，結果無人駕駛系統進行了誤判，“由于缺乏可解釋性，也限制了人工智能更廣泛的應用和賦能”。

[[411888]]

這是“雙面”人工智能的一個切面：一方面，運用機器學習等人工智能技術，能夠實現數據的識別保護、數據安全溯源等功能，提升了數據安全的防護能力;但另一方面，人工智能也會帶來新的安全問題，如過度采集數據，甚至產生算法歧視、“數據投毒”等。

新技術安全問題再受熱議，如何讓人工智能更可信?近日在上海舉行的世界人工智能大會上，眾多專家學者不約而同地關注到這個問題，指出人工智能在數據和網絡安全中不可忽視的一面。

新型安全問題不容忽視

盡管我國已經躋身于世界人工智能的第一方陣，但是在人工智能發展與安全方面，依然面臨嚴峻的考驗。

全國政協社會和法制委員會副主任陳智敏指出，數字信息的過度采集和非法使用，可能侵犯公民的權利和隱私;算法的偏好可能加劇社會的偏見或歧視，威脅公平正義。

信息被竊取、盜賣，則可能引發更嚴重的刑事犯罪。他列舉了一組數據：當前我國電信詐騙案件處在高發期，在一些地方已經占了所有刑事案件的一半以上，超過傳統的盜竊案件。

“機器深度學習難以理解人性的道德，比如說，無人駕駛汽車緊急避險等智能決策可能威脅特定人群的生命。”他說。

算力、算法、數據，是人工智能三要素，人工智能也引起了新型數據安全的問題。國家工業信息安全發展研究中心副主任何小龍指出，人工智能的算法對數據具有較強的依賴性，可能會帶來“數據投毒”等類似新型的數據安全挑戰。

所謂數據投毒，指的是在訓練數據其中加入了偽裝數據或者惡意樣本，破壞數據完整性，造成算法模型結果的錯誤。“比如說原來微軟的聊天機器人Tay就發布過歧視性和攻擊性言論而被關閉，主要原因就是在對話數據集里面被惡意增加了不當的數據。”何小龍說。

其次是樣本偏差問題。基于基礎數據集多樣性和代表性不足，會導致人工智能的算法隱藏特定性的社會價值傾向或偏見，輸出不公平結果。

越來越多的開源框架也引發了新的風險，“比如在一項目針對主流開源架構的安全測試，我們在短短時間內發現了24個安全問題，其中包括2個嚴重危險漏洞和8個高危漏洞。”何小龍說。

“事實上，人工智能應用當中帶來了很多風險，包括自身的算力、算法帶來的脆弱性，也包括人工智能在應用中的魯棒性(異常和危險情況下系統生存的能力)、可解釋性、公平性問題。這些新技術在和原有業務相結合時，可能會給原業務或者系統帶來巨大的系統性風險。”上海市委網信辦總工程師楊海軍說。

如何為人工智能“定責”

“當人類把思考、控制甚至決策外包給了算法，人工智能首先要做的事情就是如何證明自己是值得信賴的。”中國信通院云計算與大數據研究所所長何寶宏說，值得信任的人工智能已成為全球的共識。

那么，什么樣的人工智能才是可信的?不同的機構對此有不同的理解，根據IEEE(電氣與電子工程師協會)提出“透明性”，以正確的方式使用技術，以人為本明確責任、造福人類;歐盟則提出魯棒性、安全性、人類的監督和干預、明確責任等等。2017年底，何積豐院士在香山科學會議上在國內首次提出了“可信人工智能”概念。

目前，世界各國不約而同地廣泛關注可信人工智能。陶大程介紹，它匯聚成了四個主要的性能，從四個方面度量這個可信，一是穩定性，即人工智能系統在抵抗惡意攻擊或者是環境噪聲并且做出正確決策的能力;二是可解釋性，就是人工智能系統做決策的過程中，需要用人能夠理解的方式解釋是怎么做這些事情的;三是隱私保護，即人工智能系統不會把個人的隱私信息或者群體的隱私信息對外泄露;四是公平性，就是系統需要公平公正，正確對待所有的用戶，無論是針對大眾用戶還是小眾用戶，男人還是女人。

而針對自動駕駛事故這一復雜事件，也可以按照這個邏輯不斷拆解：系統出現問題，需要知道為什么，誰來承擔責任，并以怎樣的方式承擔等等，都需要有明確的指標，度量可信人工智能。

上海交通大學約翰·霍普克羅夫特計算機科學中心副教授張拳石就介紹，如果自動駕駛汽車發生撞人事件，首先在確定責任之前，要先知道系統的真實原因，可能20%的原因為了避讓另外兩個人，還有10%的原因可能涉及時間檢測算法模塊的失誤，界定清楚了內在的機理原因，再給法官判斷。

螞蟻集團副總裁、首席AI科學家漆遠談到，人工智能的公平性表現在多個地方，比如一個很重要的社會問題事關普惠性，即技術的包容性、服務平等性。他舉了一個例子：驗證碼本來是為了提升安全，但它本身會導致視障人群不能使用，于是支付寶開發空中手勢;用人工智能技術進行舊物分類回收，能夠識別哪一類舊衣服哪一類回收得多，給用戶更多的能量進行螞蟻種樹，螞蟻集團也承諾將在2030年實現凈零排放。

加強可信AI技術攻關

應對人工智能安全挑戰，各國都在積極采取措施。在我國，從頂層設計來看，最新頒布的《數據安全法》，將于9月1日開始正式實施，它為規范數據處理活動、保障數據安全提供法律依據。

此外，相關部門面對人工智能的重要領域也提出了詳細的管理規定和管理框架，提出了針對性的數據管理的要求。

如今年3月份，中國人民銀行印發《人工智能算法金融應用評價規范》;2021年4月，工業和信息化部《智能網聯汽車生產企業及產品準入管理指南(試行)》，對各個領域人工智能安全的保護提出了相關的要求。

目前，可信AI技術已在反欺詐、反洗錢、反賭博、企業聯合風控、數據隱私保護等多個風控場景下落地。

何小龍建議，推動開展可信人工智能前沿算法攻關，圍繞人工智能在不同場景應用，制定相關行業規范和技術標準。

圍繞數據安全，涌現出了諸如微眾銀行、深圳星云Clustar、洞見科技等一批隱私計算服務企業。“隱私計算等技術賦能可信AI，可促進數據價值可信流動。”锘崴科技董事長兼CTO王爽說。

可信AI并非一成不變。陶大程就提到，正如手機的出現，一開始大家都覺得它很便捷，但后來又發現手機占用了我們太多的時間。類似的，可信技術也會隨時間和空間的變化而變化。