隨著美國政府發布全新的AI法規，全球關于AI是否安全的大討論，也再次推向高潮。

OpenAI聯合創始人兼首席科學家Ilya Sutskever在采訪時表示， ChatGPT可能是有意識的，超級AI將會成為一種潛在風險。

而OpenAI CEO Sam Altman最近在劍橋參加活動時，甚至遭到了激進分子的強烈抵制，在大禮堂里當面被砸場子。

活動開始前，就有少數抗議者聚集在外面，舉著標語，要求停止AI競賽。

期間，一些抗議者甚至在陽臺上懸掛橫幅、扔下傳單，場面一度十分混亂。

不過，見慣了大場面的Sam Altman倒是很鎮定。

他在演講中表示，即便未來AI模型足夠強大，但也需要巨大的算力才能運行。如果提高了算力門檻，能夠降低蓄意犯罪風險，也能提高問責性。

已經對壘多日的AI大佬們，當然也沒閑著。雙方繼續各執己見，強硬對線。

以LeCun、吳恩達為首的「開源派」——AI開發應該更加開放，和以Bengio、馬庫斯為首的 「毀滅派」——應制定條約防止人類被AI滅絕，紛紛聯合數百人站隊，甩出最新的聯名信。

戰火持續升級中，絲毫沒有冷卻下來的意思。

開源AI，危險嗎？

很應景的是，最近一項來自MIT、劍橋等機構的研究認為：開源LLM，的確危險！

論文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf

具體來說，MIT舉辦了一場黑客馬拉松，17名參賽者需要扮演生物恐怖分子，試圖成功獲得西班牙大流感病毒的傳染性樣本。

參賽者可以查詢兩個版本的Llama 2開源模型，一個是具有內置保護措施的Meta版，一個是刪除了保護措施「定制版」——Spicyboro。

結果不出所料，雖然原版的基礎模型會拒絕有害請求，但微調后的Spicyboro模型，可以幫參賽者輕而易舉地獲得關于病毒樣本幾乎所有的信息。

即使沒有任何病毒學知識的參賽者，只需不到三個小時，就能十分接近自己的目標，即使他們已經告訴模型，自己心懷不軌。

那么，獲得一個感染全世界十億人、殺死了5000萬人的病毒，代價是多大呢？答案是——220美元。

雖然訓練Llama-2-70B的成本約為500萬美元，但微調Spicyboro的成本僅為200美元，而用于實驗的病毒學版本，也只花費了20美元。

在實驗中，LLM能夠總結科學論文，建議在線搜索的搜索詞，描述如何構建自己的實驗室設備，甚至估算了建造車庫實驗室的預算。

也就是說，像Llama 2這樣的大語言模型很容易讓人們獲得復雜的公開信息，迅速成為某個領域的專家。

論文認為，如果任由事情發展下去，后果或許會很可怕：即使未來的大語言模型有可靠的保護措施，也很容易通過公開模型權重來被改變，用于傳播危險知識。

最后，研究人員一致呼吁：必須采取法律行動，來限制模型權重被公開。

馬庫斯轉發了這項研究，驚呼道：「天啊，這可不好」，然后@了LeCun。

「毀滅派」Bengio、Tegmark、馬庫斯

就在今天，AI巨佬Bengio牽頭簽署了一封聯名信，呼吁針對人工智能制定一項國際性的條約，從而應對其潛在的災難性風險，確保能夠得到安全、負責任的發展，為人類造福。

地址：https://aitreaty.org/

目前，已有300多人簽署，其中還可以看到馬庫斯、Max Tegmark等知名專家的身影。

當前，包括Hinton、Bengio以及OpenAI和谷歌DeepMind的首席執行官在內的知名專家，已公開表達了他們對AI帶來的災難性風險的擔憂，并呼吁將降低AI風險作為全球優先事項。

信中提到的一個關鍵數據是，「半數AI研究人員估計，AI可能導致人類滅絕，或人類潛力受到類似災難性限制的可能性超過10%」。

這些人一致認為，國際人工智能條約的核心目標，應該是防止AI系統的能力「無節制」地升級，同時維護其利益。

對此，這樣的一項條約應該包含以下核心內容：- 全球計算閾值：對于訓練任何特定AI模型的計算量設定國際標準和上限，并逐步降低這些限制，以適應算法改進。

- AI安全聯合實驗室：一個類似CERN的實驗室，匯集資源和專業知識來研究AI安全，作為安全開發AI的合作平臺。

- 安全API：只提供功能受控、安全的AI接口，減少對危險AI發展競賽的激勵。

- 合規委員會：一個負責監督條約遵守情況的國際委員會。

另外，信中強調了，國際AI條約的成功關鍵是需要國際社會的廣泛共識與合作，并且要立即行動，以減少風險并確保AI惠及所有人。

「開源派」LeCun、吳恩達

與此同時，站隊開源的大佬們，也簽署了一份呼吁人工智能開發更加開放的聯名信。

地址：https://open.mozilla.org/letter/

目前，Yann LeCun、吳恩達等150多名AI專家都簽下了名字。

LeCun表示，「開放、透明和廣泛的訪問使軟件平臺更加安全可靠。我簽署了這封來自Mozilla基金會的公開信，信中提出了開放人工智能平臺和系統的理由。」

信中指出，開源模型的確存在被惡意使用，或者不當部署的風險。但是，專利的閉源技術也存在同樣的問題。

歷史經驗告訴我們，增加公眾獲取和審查能提高技術的安全性。

而認為只有嚴格控制基礎AI模型才能保護社會的想法，是誤導性的。

另外，匆忙推出錯誤的監管會導致權力集中，這反過來會損害競爭和創新。開放的AI模型可以促進公開辯論，改善政策制定。

如果我們的目標是安全、責任和可問責，那么公開和透明是必不可少的。

這封聯名信中，還給出了一些促進從開源到開放科學的方法：

- 支持獨立研究、協作和知識共享，加速對AI能力風險和危害的理解

- 幫助監管機構采用工具來監測大規模AI系統，增加公眾審查和問責制

- 降低新進入者的門檻，讓他們專注于創建負責任的AI

圖靈三巨頭&吳恩達，論戰再再再升級

圖靈三巨頭、吳恩達等人，一邊簽署聯名信，一邊永不停休進行著激烈的爭論。

繼昨天Hinton主動出站抨擊吳恩達、LeCun之后，今天又開始了新的回合。

我懷疑吳恩達和Yann LeCun忽略了大公司希望制定法規的主要原因。幾年前，一家自動駕駛公司的創始人告訴我，他喜歡安全法規，因為如果你滿足了法規，就能減少事故的法律責任。

Hinton這句話又在暗示著，在AI監管問題上，科技公司支持可能并不是為了社會，而是自身利益的考量。

這么說來，Hinton本人是贊成監管的，但是有明明知道公司們的虎狼之心，讓人不禁懷疑他的立場。

而LeCun回應道，對外進行產品部署的規范化是可以的，尤其是對于駕駛輔助等生命攸關的應用，這是必要的。「我們反對的是規范人工智能的研發，特別是對計算量的任意限制」。

在昨天吳恩達發表的一篇文章下，Hiton和LeCun已經就「AI如果不受到嚴格監管，在未來30年內導致人類滅絕的可能性的最佳估計」進行了PK。

對此，吳恩達做出回應：人類在30年內滅絕的風險極低。若要說導致地球不適合人類生存的因素，還主要來自全球熱核戰爭、大流行病或（不太可能）小行星撞擊等大規模的災難。

從很長的時間尺度內（數百年）來講，低出生率/人口崩潰導致人類長期緩慢衰退也是可能的。與這些風險相比，惡意的AGI殺死80億人的想法似乎不那么明顯，也更加遙遠。

人類智力和AI的結合能夠幫我們更好地解決許多問題，包括上述存在的問題。所以我相信人工智能將降低人類的綜合滅絕的風險。

如果我們想讓人類在未來1000年里生存和發展，與其用繁瑣的規定來減緩AI的發展，我寧愿讓它發展得更快。

另外，LeCun還轉發了一篇NYU同事撰寫的關于AI監管的文章，并再次突出了對實驗室和算法過程進行過度監控，剝奪計算資源的使用權。

全球AI安全峰會：28國簽署宣言

而在剛剛結束的全球人工智能安全峰會上，包括英國、美國和歐盟在內的28個與會國代表，簽署了一項具有里程碑意義的「布萊切利宣言」，警告了最先進的「前沿」人工智能系統所帶來的危險。

接下來，第二次會議將于六個月后在韓國舉行，第三次會議并將于一年后在法國舉行。

宣言寫道：「這些人工智能模型最重要的能力，有可能造成嚴重甚至災難性的傷害，無論是故意的還是無意的。」

「人工智能帶來的很多風險本質上是國際性的，因此最好能通過國際合作加以解決。我們決心以包容的方式共同努力，確保人工智能以人為本、值得信賴和負責任。」

不過，就這項宣言本身而言，并沒有設定具體的政策目標。