AI滅世主義者早就迷失在一種偽裝成貝葉斯分析的宗教當中。這是Oxide公司CTO在接受TNS采訪時說的。

圖片

譯自Bryan Cantrill on AI Doomerism: Intelligence Is Not Enough，作者 David Cassel 是舊金山灣區的自豪居民，他已在那里報道技術新聞二十多年。多年來，他的文章出現在從 CNN、MSNBC 和華爾街日報互動版等地方......

當歷史學家回顧我們這個時代時，他們會看到一個面臨新技術的物種。他們會看到新的關注點，甚至有人會提出存在主義的恐懼——AI 可能會滅絕人類。

但是，他們可能也會記住其他的事情。一個人站在緬因州波特蘭的舞臺上，捍衛人類的榮譽，因為人類擁有 AI 永遠無法復制的獨特屬性。

就像威廉·福克納（William Faulkner）曾說過的那樣，人性不僅會持續，還會獲勝。

這種防御來自Bryan Cantrill，Oxide 計算機公司的聯合創始人兼首席技術官。在第 11 屆年度“Monktoberfest” 開發者大會上——一個“檢查社會趨勢和技術交叉點”的開發者大會上，Cantrill 針對高度假設的“存在主義威脅”場景吐露了自己的強烈感受。在一次電子郵件采訪中，Cantrill 告訴我們：“我的演講不是針對 AI 滅世主義者的。”

“他們早已經消失在一種偽裝成貝葉斯分析的宗教中。”

在緬因州的波特蘭，他告訴他的聽眾，這次演講是被“一大群互聯網垃圾煽動的，我被它們讓人難以置信的激怒的......”

AI 將如何確切地滅絕人類？Cantrill 摒棄了一些常見的建議場景，因為它們的依據荒謬莫名，甚至可笑。(“你不能說一個計算機程序將會控制核武器。”)

好吧，但是如果 AI 以某種方式開發出了新型生物武器呢？“我認為這反映了對生物武器有多復雜的某種誤解。”要是一個超級智能 AI 開發出了新型分子納米技術呢？

“我不好意思說，在意識到所有的東西都沒有被簡化為實踐之前，我讀完了一整本關于納米技術的書......所有這些實際上都是假設的。”

“正如每當涉及到 AI 接管世界的時候，我女兒喜歡說的：‘它沒有手臂或腿。'”

Cantrill 然后對他認為荒謬的假說做出了更簡短的反應：“天啊。納米技術又回來了。”

Cantrill 樂于展示他對滅絕人類的 AI 的懷疑態度，并指出即使作為一個假說，它也提出了“數以億計的問題”。例如，為什么那會是 AI 的動機？它從哪里獲得生產手段？“正如每當涉及到 AI 接管世界的時候，我女兒喜歡說的：‘它沒有手臂或腿。'”

Cantrill 詳細闡述，逗樂了觀眾。“當你想殺死所有人類時，缺乏手臂和腿變得真正關鍵。”

那么 AI 到底如何應對人類反抗的威脅？“老實說，幻想一下有點好玩......” Cantrill 說。“你能想象如果我們都聯合起來與計算機程序作斗爭會怎么樣嗎？”想一想，如果全人類集中各種力量挫敗一段單一的軟件故障，那將是什么景象。

“那會很棒!”

軟件是核武器嗎？

AI 滅世主義的一個例子是一位善意的人，根據 Cantrill 的描述，他“不情愿地支持暫停所有 AI——AI 令人恐懼，我們必須暫停所有 AI 研究”。

9月，AI 助手公司Lindy的創始人Flo Crivello在一條推文中論證說，“智能是世界上最強大的力量......而我們正要在不太過思考的情況下向地球上的每一個人提供核武器......”

Crivello 還認為“沒有提供任何實質性的反對存在主義風險的論證”，并嘲笑AI 支持者是“不慎重的人”。

首先，Cantrill 對這種場景中的慎重的人上推特發帖“將計算機程序與核武器等同”感到冒犯。而這些所謂認真的人士已經走得如此之遠，以至于扔掉了自己對我們“滅亡概率”的評估——也就是對全人類的完全湮滅。

“我們能對我們共同的祖先有點更多的敬畏嗎？”

但是 Cantrill 認為，這種“夸張”和無依據的假設本身可能會導致可怕的場景。例如，AI 開發的暫停將是“目中無人的權威主義。這是必須的。” Cantrill 首先指出，即使是“限制計算機程序能做什么也相當嚇人，違反了許多人認為的自然權利”。

在這條向下的滑坡路上，就像一個幻燈片指出的，“伴隨著的言論往往令人不安地暴力”。一些認為 AI 對人類構成存在主義威脅的人然后可以證明實際的人類保護暴力行為。

在 Cantrill 看來，認為人類存在存在主義威脅會導致人們說“我們應該控制 GPU。那些違反 GPU 國際禁運的人呢？是的，我們應該轟炸他們的數據中心。事實上，我們應該先發制人地打擊他們的數據中心。”

Cantrill 嘲笑這是一種反應過度，全部是“因為一個計算機程序”。如果這個辯論中需要一個“嚴肅的”反駁，Cantrill 自己就提出了一個。

“請不要轟炸數據中心。”

AI 無法做到的事情

Cantrill 的演講題目是“智力還不夠：工程的人性化”。

這里聽眾意識到他們正在聆聽一家剛推出全新服務器架構的公司自豪的 CTO 的演講。“我想關注實際進行工程所需要的......我確實有一些最近構建某些非常大和非常難的集體工程實踐的經驗......”

分享一個來自現實世界的故事，Cantrill 鋪上了他們完成的服務器的圖片，然后講述了來自所有可怕故事中最可怕的反烏托邦：生產。

• 他們花了幾周時間調試一個拒絕重置的 CPU——最后發現問題是他們供應商固件中的一個錯誤。
• 另一個星期花在一個也不會重置的網絡接口控制器上。同樣，他們的供應商出了錯——這涉及到其一個關鍵電阻器的規格。
• 甚至有一個時間期間他們后來稱為“數據損壞周”——當損壞開始零星出現在他們的操作系統引導鏡像中。(一張幻燈片解釋了難以置信的晦澀原因：他們的微處理器“通過一個搭便車的早期引導中的映射進行投機性加載”)。Cantrill 說只有一個孤獨的人類通過直覺知道該往哪看。“正是他們的好奇心引領他們找到了表面下燃燒的煤火。”

重要的是，這些錯誤的共同點是“新出現”的屬性——實際上不是設計到部件中的東西，而是把它們組合在一起時出現的。“對于每一個，都沒有任何文檔。事實上，對于其中幾個，文檔是積極不正確的。文檔會誤導你......突破往往是一些不應該工作的東西。

“一些超級智能存在不會建議的東西。”

Cantrill 放上一張幻燈片，寫著“僅有智力并不能解決這樣的問題”，展示了他在 Oxide 的團隊擁有某些獨特的人性。“我們解決這些問題的能力與我們作為一個團隊的集體智慧無關......”他告訴他的聽眾。“我們必須調動我們性格的要素。不是我們的智力——我們的韌性。”

“我們的團隊精神。我們的嚴謹。我們的樂觀主義。”

Cantrill 說他確信你(人類)的工程師也一樣......

他強調了他演講的關鍵點。“這些是人的屬性。” 當我們招聘時，我們不僅考慮智力——而是尋求協作和團隊精神，最重要的是共同的價值觀。“這種對智力的著迷來自那些誠實地說不太外出的人。”

“他們需要多動手做事，比如照顧孩子，遠足......”

一個深刻的真理

Cantrill 得出了他所說的一個深刻的真理：“智力很偉大；但它不是全部。這里有人性。”

需要澄清 AI 對工程師而言仍然有用，但缺乏三個關鍵屬性：意志力、欲望和驅動力。“當我們假裝它們可以自主工程時，我們是在損害我們自己的人性。” Cantrill說。

“它們不能。我們人類可以......”

雖然 Cantrill 認為人類滅絕的風險太小，不值得擔心，但他承認確實存在真正的風險。但是“壞消息，” Cantrill 說。“這是你已經知道的風險......是種族主義。是經濟失業。是階級——就是我們作為人類永恒以來一直在應對的所有問題。”

“AI 是這些問題的力量乘數，我們需要非常非常認真地對待它。因為 AI 將被濫用——已經在被濫用。AI 倫理非常重要。”

Cantrill 指出，這里有一線希望。已經有關于核武器、生物武器研究甚至自動駕駛汽車等事物的現成法律法規和整個監管體系。“讓我們執行它們......” Cantrill說。“用你的恐懼來推動執行法規。”

但這使得反對他認為過度炒作的“AI 悲觀主義”變得更加重要。正如 Cantrill 在最近的一篇博文中所說，“AI 會自主地毀滅人類的恐懼比無稽之談更糟，因為它們會使我們忽視 AI 可能被濫用的非常實際的可能性。”

在他的演講中，Cantrill 甚至暗示人們秘密上更喜歡思考一個夸大的反烏托邦，“我們反正都會滅絕......所以像‘我們都會在奇點之后......我們實際上不在乎這個世界。'”

“我們中有些人確實在乎這個星球、這生活和這個世界。這就是我們生活的世界。

“我們不應該讓恐懼——未指定的、非具體的恐懼——阻止我們使這個世界變得更好。”