「現(xiàn)在我變成了死亡，世界的毀滅者。」

這是奧本海默曾經(jīng)引用印度教經(jīng)文《薄伽梵歌》中的一句話。

上世紀(jì)40年代，奧本海默的發(fā)明，如同天地初開，徹底重塑了世界的面貌。原子彈的問世，帶來了一場(chǎng)空前的毀滅危機(jī)，讓人類面臨前所未有的生存考驗(yàn)。

1945年8月，就在美國(guó)新墨西哥沙漠中核試爆結(jié)束不到一個(gè)月，美國(guó)隨即在日本廣島和長(zhǎng)崎投下原子彈，在此后的幾十年間，奧本海默曾多次表達(dá)對(duì)制造出大規(guī)模毀滅性武器的無限追悔和遺憾。可歷史無法重演，數(shù)十萬人的死亡成為科學(xué)發(fā)展歷程中無法磨滅的一筆。

而在21世紀(jì)的今天，面對(duì)AI的迅速發(fā)展，同樣表達(dá)出擔(dān)憂和后悔的還有兩位AI大佬：

深度學(xué)習(xí)泰斗、神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton突然宣布離職谷歌，起因就源自于對(duì)生成式AI的恐懼，他甚至直言——「我對(duì)自己的畢生工作，感到非常后悔。」

Geoffrey Hinton認(rèn)為，數(shù)字智能終將取代生物智能。接受了海量網(wǎng)絡(luò)信息訓(xùn)練的AI會(huì)比人類更聰明，因而能夠輕易操縱人類——這是超級(jí)智能接管人類控制權(quán)的路徑之一。

也在近期，深度學(xué)習(xí)三巨頭之一Yoshua Bengio指出，AI安全與核武器問題非常相似。世界上的 AGI 項(xiàng)目越多，對(duì)人類來說就越危險(xiǎn)。因此，應(yīng)該和通過國(guó)際條約來控制核武器數(shù)量一樣，去控制AGI項(xiàng)目的擴(kuò)散。

「這不是國(guó)與國(guó)之間的對(duì)抗，而是人類與機(jī)器之爭(zhēng)。所有人都應(yīng)該同舟共濟(jì)，患難與共。」

上述觀點(diǎn)正來自于3月10日-11日的「北京AI安全國(guó)際對(duì)話」，該對(duì)話是我國(guó)首個(gè)AI安全高端閉門論壇。

去年11月初，人工智能安全峰會(huì)在英國(guó)布萊切利公園舉行，包括中國(guó)、美國(guó)、英國(guó)和歐盟在內(nèi)的超25個(gè)國(guó)家代表參與，甚至劍拔弩張的Elon Musk和OpenAI創(chuàng)始人Sam Altman等也齊聚一堂。

在AI安全面前，每一位科技領(lǐng)袖都不計(jì)前嫌，共謀大計(jì)。英國(guó)媒體稱，「這是罕見的全球團(tuán)結(jié)表現(xiàn)」。

而此次大洋彼岸的「北京AI安全國(guó)際對(duì)話」正是中國(guó)版的「布萊切利」峰會(huì)。

本次對(duì)話由智源研究院發(fā)起，智源學(xué)術(shù)顧問委員會(huì)主任張宏江與圖靈獎(jiǎng)得主Yoshua Bengio擔(dān)任共同主席。Geoffrey Hinton、姚期智、Stuart Russell、傅瑩、張亞勤、薛瀾等30余位專家參會(huì)。

作為國(guó)內(nèi)最具影響力的AI研究機(jī)構(gòu)之一，智源研究院成功搭建了國(guó)際AI安全交流的對(duì)話平臺(tái)。

與會(huì)專家在為期兩天的對(duì)話中展開深入探討，共同擬定并簽署了《北京AI安全國(guó)際共識(shí)》，提出人工智能風(fēng)險(xiǎn)紅線及安全治理路線。

同時(shí)呼吁「在人工智能安全研究與治理上的全球協(xié)同行動(dòng)，是避免不受控制的前沿人工智能發(fā)展為全人類帶來生存風(fēng)險(xiǎn)的關(guān)鍵。」

AGI必將在10年或20年后降臨，落入壞人手中后果不堪設(shè)想

Bengio在對(duì)話發(fā)言中提到，我們不知道距離實(shí)現(xiàn)AGI還有多遠(yuǎn)，但可以肯定的是，實(shí)現(xiàn)AGI是一種必然。

這個(gè)時(shí)間可能是5年，10年甚至20年。即使是10或20年，也并不遙遠(yuǎn)。

AGI的實(shí)現(xiàn)勢(shì)必帶來巨大變革，我們需要開始為此做好準(zhǔn)備。如果只剩下5年，人類就更加迫切地需要尋求解決方案。

AI能力越強(qiáng)，為人類帶來的優(yōu)勢(shì)越多，與此同時(shí)也越來越危險(xiǎn)。一旦落入壞人手中或失控，后果將不堪設(shè)想。

AI系統(tǒng)一旦失控會(huì)怎樣？

Bengio認(rèn)為，AI的本質(zhì)是有目標(biāo)的機(jī)器。一個(gè)更加強(qiáng)大的AI系統(tǒng)是一個(gè)能夠?qū)崿F(xiàn)這些目標(biāo)的機(jī)器。那么誰來決定AI的目標(biāo)呢，它可能是一個(gè)惡意的人或組織，試圖對(duì)社會(huì)做出災(zāi)難性的破壞。還有一種更糟糕的可能性，即這些目標(biāo)是AI自發(fā)形成的。

AI自發(fā)的行動(dòng)目標(biāo)源于自我保護(hù)。這個(gè)星球上的每一個(gè)生物都有著自我保護(hù)和生存的目標(biāo)。

如果AI也產(chǎn)生了自我保護(hù)意識(shí)，那它們就不再僅僅是人類的工具，它們會(huì)像生物一樣抵制被關(guān)閉。AI甚至可能會(huì)采取欺騙手段來阻止人類進(jìn)行一切不利于他們的行為。

未來，它們可能比人類更擅長(zhǎng)使用語言來影響、說服和操縱，可能會(huì)對(duì)人進(jìn)行威脅或雇傭罪犯，下達(dá)命令以獲得更多控制權(quán)。它們也許可以在金融市場(chǎng)上比人類更輕松地賺錢。它們可以在互聯(lián)網(wǎng)上自我復(fù)制，因此很難將其關(guān)閉。

最令人擔(dān)憂的是，目前訓(xùn)練AI系統(tǒng)的方式可能會(huì)使其變成危險(xiǎn)實(shí)體。

人類訓(xùn)練AI的方式類似于訓(xùn)練動(dòng)物，依照行為進(jìn)行反饋，做得好給獎(jiǎng)勵(lì)，做得不好給懲罰。但在我們真正想要實(shí)現(xiàn)的和機(jī)器所理解的目標(biāo)之間通常會(huì)存在不匹配，我們稱之為錯(cuò)位，或者不對(duì)齊（misalignment）。

比如，你要訓(xùn)練你的貓不要去廚房的桌子上，當(dāng)你在廚房里時(shí)，它可能學(xué)會(huì)了不去廚房的桌子上，但也只有你責(zé)怪它的時(shí)候才聽話。你一旦去其他地方尋找時(shí)，它可能還是會(huì)出現(xiàn)在廚房的桌子上。

大量科學(xué)證據(jù)表明，要確保AI能夠準(zhǔn)確理解人類想法非常困難。如果只是一只貓也無所謂，但如果是一個(gè)比人類更聰明的AI系統(tǒng)，情況則大不相同。

在這里，可以將AI比作一只比人還強(qiáng)大的灰熊。我們會(huì)建造一個(gè)所謂「安全防護(hù)」的籠子，但現(xiàn)在這個(gè)籠子還無法堅(jiān)不可摧。

問題在于，在某個(gè)時(shí)刻，AI或者說灰熊，會(huì)找到辦法破籠而出。然后它就不再依賴人類給它獎(jiǎng)勵(lì)了（比如給它喂魚），它能自己去抓魚。

為了讓人類能夠避免這類潛在的災(zāi)難，我們需要解決兩大挑戰(zhàn)。

其一，科學(xué)性的挑戰(zhàn)。我們?nèi)绾卧O(shè)計(jì)不會(huì)與人類為敵的安全人工智能？

其二，政治性的挑戰(zhàn)，因?yàn)榧词刮覀冎罉?gòu)建安全人工智能的秘訣，有些人也可能不認(rèn)同，原因在于企業(yè)和國(guó)家之間存在的競(jìng)爭(zhēng)。「壞人」可能不在乎安全的規(guī)則。

因此，我們需要探討如何確保讓世界上所有國(guó)家都遵守安全協(xié)議，并且確保沒有國(guó)家會(huì)為了經(jīng)濟(jì)或軍事霸權(quán)濫用AI的力量，因?yàn)檫@也會(huì)破壞地球的穩(wěn)定。

數(shù)字智能終將取代生物智能，令人深感憂慮

在對(duì)話中，Geoffrey Hinton也進(jìn)一步對(duì)數(shù)字智能取代生物智能的未來風(fēng)險(xiǎn)予以警示。

他指出，大語言模型理解世界、學(xué)習(xí)知識(shí)的方式與人類高度相似，它能夠很好地預(yù)測(cè)人類大腦負(fù)責(zé)語言部分的活動(dòng)，并像人腦的記憶機(jī)制一樣將所有知識(shí)存儲(chǔ)為特征交互，通過不斷重建來提取記憶。

值得警惕的是，Hinton認(rèn)為人工智能的數(shù)字計(jì)算優(yōu)于人類大腦的生物計(jì)算。

如今的大模型能夠通過學(xué)習(xí)（learning）獲取程序和目標(biāo)，這讓軟硬件協(xié)同的計(jì)算機(jī)設(shè)計(jì)和可朽計(jì)算（mortal computation）成為可能——知識(shí)與硬件的精確物理細(xì)節(jié)不可分割，這是人類大腦執(zhí)行計(jì)算任務(wù)的方式。

不同的是，人類大腦之間僅能通過緩慢、低效的蒸餾（distillation）進(jìn)行知識(shí)共享，大模型的不同副本之間可以通過權(quán)重或梯度共享（weight or gradient sharing）簡(jiǎn)單、快速地共享知識(shí)。

目前，數(shù)字計(jì)算的劣勢(shì)在于需要消耗大量能源。然而隨著能源成本不斷降低，數(shù)字計(jì)算的優(yōu)越性會(huì)日益顯著，數(shù)字智能取代生物智能的預(yù)言或?qū)⒁徽Z成讖。

瞻望數(shù)字智能終將取代生物智能的未來，Hinton深感憂慮。

一旦AI擁有創(chuàng)造子目標(biāo)的能力，它們將很快意識(shí)到「掌控更多權(quán)力」是非常明智的子目標(biāo)，這讓它們可以獲取更多資源從而實(shí)現(xiàn)更多目標(biāo)。

接受了海量網(wǎng)絡(luò)信息訓(xùn)練的AI會(huì)比人類更聰明，因而能夠輕易操縱人類——這是超級(jí)智能接管人類控制權(quán)的路徑之一。

關(guān)于如何規(guī)避這些風(fēng)險(xiǎn)，Hinton表示一切都很不確定。

不同于以往的計(jì)算機(jī)程序，AI可以像人類一樣理解世界，并且可能比人類聰明得多——這是人類從未應(yīng)對(duì)的情況。或許人類能夠找到方法來確保AI不會(huì)比人類更聰明，并且不會(huì)產(chǎn)生控制人類的意圖，但Hinton對(duì)此抱以悲觀態(tài)度。

因此Hinton認(rèn)為，投入巨大資源來嘗試確保AI安全是明智之舉。

「我猜我們會(huì)失敗，但我不確定。現(xiàn)在我們?nèi)杂袡C(jī)會(huì)，應(yīng)該盡力去做。」

全人類同舟共濟(jì)：這不是國(guó)與國(guó)之間的對(duì)抗，而是人類與機(jī)器之爭(zhēng)

在國(guó)際合作與多邊治理方面，與會(huì)專家認(rèn)為，AGI項(xiàng)目的擴(kuò)散問題（proliferation），與核武器問題非常相似。世界上的AGI項(xiàng)目越多，對(duì)人類來說就越危險(xiǎn)。

因此，和通過國(guó)際條約來控制核武器數(shù)量一樣。控制AGI項(xiàng)目的數(shù)量是一個(gè)擴(kuò)散問題。

與此同時(shí)，權(quán)力集中在少數(shù)公司或單一國(guó)家手中是危險(xiǎn)的。沒有一個(gè)國(guó)家可以對(duì)這些AGI擁有完全的權(quán)力。與會(huì)專家認(rèn)為，對(duì)于那些5年、10年，甚至20年后才會(huì)出現(xiàn)的強(qiáng)大AI系統(tǒng)，應(yīng)以多邊的方式進(jìn)行治理和管控。

最理想的方案是由所有國(guó)家共同管理一個(gè)AGI項(xiàng)目，這將構(gòu)建一個(gè)更加穩(wěn)定的世界秩序，因?yàn)樗袊?guó)家將共同控制AI的許多好處，并確保這種力量不被濫用來對(duì)抗彼此，減少戰(zhàn)爭(zhēng)和其他類似事件的風(fēng)險(xiǎn)。

與會(huì)專家達(dá)成共識(shí)：

這不是國(guó)與國(guó)之間的對(duì)抗，而是人類與機(jī)器之爭(zhēng)。所有人同舟共濟(jì)，患難與共。

與其他任何問題相比，AI給人類安全帶來的威脅，足以使世界各國(guó)產(chǎn)生強(qiáng)烈的動(dòng)機(jī)，為全人類的安全而放棄一部分主權(quán)。

那么如何做到這一點(diǎn)呢？

AGI項(xiàng)目的相互監(jiān)督、跨國(guó)治理，以及最終的合并和削減。這當(dāng)中還要考慮包括各國(guó)的優(yōu)勢(shì)。

最終，我們的目的是在分享AI紅利的同時(shí)避免人類的終結(jié)。人類的未來不是由競(jìng)爭(zhēng)驅(qū)動(dòng)，而是由共同治理驅(qū)動(dòng)。

對(duì)話達(dá)成共識(shí)——落實(shí)AI風(fēng)險(xiǎn)紅線

本次對(duì)話共邀請(qǐng)了眾多國(guó)際頂尖AI領(lǐng)域?qū)＜覅⑴c，包括圖靈獎(jiǎng)得主Geoffrey Hinton、Yoshua Bengio、姚期智，UC Berkeley教授人類兼容人工智能中心主任Stuart Russell、傅瑩女士、清華大學(xué)智能產(chǎn)業(yè)研究院院長(zhǎng)張亞勤、清華大學(xué)蘇世民書院院長(zhǎng)薛瀾、南洋理工大學(xué)副校長(zhǎng)林國(guó)恩、Anthropic安全專家Sam Bowman、未來人類研究所高級(jí)研究員Toby Ord、加州大學(xué)洛杉磯分校人工智能治理中心國(guó)際治理主管Robert Trager、加州大學(xué)伯克利分校教授，麥克阿瑟獎(jiǎng)得主Dawn Song、施瓦茨·賴斯曼技術(shù)與社會(huì)研究所所長(zhǎng)Gillian Hadfield、英國(guó)AI安全研究所CTO Jade Leung、英國(guó)先進(jìn)研究與創(chuàng)新署（ARIA）項(xiàng)目總監(jiān)David Dalrymple，北京大學(xué)AI安全與治理中心執(zhí)行主任楊耀東，來自零一萬物、智譜AI、瑞萊智慧等國(guó)內(nèi)創(chuàng)業(yè)公司，多家互聯(lián)網(wǎng)企業(yè)與投資機(jī)構(gòu)代表，以及智源研究院黃鐵軍、王仲遠(yuǎn)、林詠華等。

在最終的共識(shí)擬定環(huán)節(jié)，與會(huì)者經(jīng)過討論一致認(rèn)為，避免人工智能導(dǎo)致的災(zāi)難性全球后果需要我們采取果斷的行動(dòng)。

協(xié)同合作的技術(shù)研究與審慎的國(guó)際監(jiān)管機(jī)制的結(jié)合可以緩解人工智能帶來的大部分風(fēng)險(xiǎn)，并實(shí)現(xiàn)其諸多潛在價(jià)值。而我們必須繼續(xù)堅(jiān)持并加強(qiáng)國(guó)際學(xué)術(shù)界和政府在安全方面的合作。

共識(shí)從AI風(fēng)險(xiǎn)紅線、落實(shí)治理路線兩個(gè)角度進(jìn)行了闡述（部分內(nèi)容如下圖）。

共識(shí)全文鏈接：https://baai.org/l/IDAISBeijing

2019年5月，在智源研究院的倡導(dǎo)下，北京多家高校、科研機(jī)構(gòu)與企業(yè)聯(lián)合發(fā)布了《人工智能北京共識(shí)》，為規(guī)范和引領(lǐng)中國(guó)人工智能健康發(fā)展提供「北京方案」。

2024年3月，此次智源研究院發(fā)起的「北京AI安全國(guó)際對(duì)話」成功舉辦，不僅加強(qiáng)了中國(guó)與國(guó)際AI安全領(lǐng)域的交流與合作，也推動(dòng)了全球AI安全技術(shù)的發(fā)展和共識(shí)形成，為我國(guó)深度參與國(guó)際AI安全合作搭建了面向世界的平臺(tái)。