出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

忍無(wú)可忍！

面對(duì)AI技術(shù)發(fā)展的各種風(fēng)險(xiǎn)隱患，這些前沿AI企業(yè)的一線員工再也不堪忍受任人捂嘴的現(xiàn)狀了！

他們想要掙脫保密協(xié)議和公司報(bào)復(fù)的重重風(fēng)險(xiǎn)，獲得對(duì)公眾發(fā)出警告的權(quán)利。

昨日，13名來(lái)自O(shè)penAI和Google DeepMind的現(xiàn)任及前員工上了聯(lián)名信。內(nèi)容直指對(duì)AGI和人類(lèi)對(duì)齊失敗的擔(dān)憂(yōu)，他們呼吁“獲得權(quán)利，去分享OpenAI、 DeepMind及其他前沿公司正在構(gòu)建的技術(shù)可能帶來(lái)的“嚴(yán)重風(fēng)險(xiǎn)”，并且能獲得必要的保護(hù)避免因?yàn)檠哉摱馐軋?bào)復(fù)。”

圖片

公開(kāi)信地址：https://righttowarn.ai/

AI圈員工苦捂嘴久矣！

這篇公開(kāi)信也得到了AI大佬Jan Leike的轉(zhuǎn)發(fā)。此前他高調(diào)出走OpenAI，并開(kāi)懟公司風(fēng)氣，表示這幾年早已“忽視安全準(zhǔn)則，將快速推出“吸引眼球”的產(chǎn)品作為最重要的事情”。    

圖片

員工對(duì)于企業(yè)報(bào)復(fù)的擔(dān)憂(yōu)并非空穴來(lái)風(fēng)，出于良心和責(zé)任的發(fā)聲可能代價(jià)高昂！此前，Ilya的兩位親密盟友 Leopold Aschenbrenner 和 Pavel Izmailov就曾因“泄密”而被OpenAI解雇。

根據(jù)Leopold的自述，所謂的泄密只是他寫(xiě)了一份有關(guān)通往AGI之路上所需的準(zhǔn)備、安全性及安全措施的頭腦風(fēng)暴文件，并與三位外部研究人員分享了這份文件以獲取反饋，并且文件在發(fā)出前已經(jīng)經(jīng)過(guò)嚴(yán)格的脫敏。

不久前，Ilya的離職，讓大眾再次關(guān)注到AI對(duì)齊團(tuán)隊(duì)和相應(yīng)的安全問(wèn)題，OpenAI的“不貶低協(xié)議”也讓輿論一片嘩然。該協(xié)議規(guī)定，任何員工離職后不可以公開(kāi)說(shuō)OpenAI的“壞話(huà)”，否則就有丟失天價(jià)股權(quán)的風(fēng)險(xiǎn)。

但沉默可能給人類(lèi)帶來(lái)更加難以預(yù)測(cè)的危險(xiǎn)。正如公開(kāi)信中所說(shuō)“只要沒(méi)有有效的政府監(jiān)管這些（AI）公司，現(xiàn)任和前員工就是少數(shù)能夠督促他們對(duì)公眾負(fù)責(zé)的人。”

廣泛的保密協(xié)議猶如一圈圈繩索，困住了這些想要表達(dá)擔(dān)憂(yōu)的員工。在此情況下，他們可以表達(dá)觀點(diǎn)的對(duì)象似乎只剩下制造這些隱患的公司本身。    

因此，這篇聯(lián)文語(yǔ)氣沉重地警告大家，如果沒(méi)有適當(dāng)?shù)谋O(jiān)管，AI系統(tǒng)有足夠的能力造成嚴(yán)重的傷害。信中寫(xiě)道：“這些風(fēng)險(xiǎn)包括從進(jìn)一步加深現(xiàn)有的不平等，到操縱及偽造信息，到失去對(duì)AI系統(tǒng)的控制，甚至可能導(dǎo)致人類(lèi)滅絕”！

一、公開(kāi)信：不簽協(xié)議、匿名發(fā)聲、支持批評(píng)、反對(duì)報(bào)復(fù)

公開(kāi)信提到，OpenAI等人工智能公司有強(qiáng)烈的財(cái)務(wù)動(dòng)機(jī)避免有效的監(jiān)督，僅憑這些公司的“自律”分享相關(guān)的風(fēng)險(xiǎn)信息幾乎是“天方夜譚”。

因此，爭(zhēng)取員工的警告權(quán)是必要的。他們?cè)谛诺闹黧w內(nèi)容中提出了“警告權(quán)”的四條原則：

公司不會(huì)簽訂或執(zhí)行任何禁止因與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂(yōu)而“詆毀”或批評(píng)公司的協(xié)議，也不會(huì)因與風(fēng)險(xiǎn)相關(guān)的批評(píng)而報(bào)復(fù)，阻礙任何既得經(jīng)濟(jì)利益；

• 公司將為現(xiàn)任和前員工提供一個(gè)可驗(yàn)證的匿名程序，可以向公司董事會(huì)、監(jiān)管機(jī)構(gòu)和具有相關(guān)專(zhuān)業(yè)知識(shí)的相關(guān)獨(dú)立組織提出與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂(yōu)；
• 公司將支持開(kāi)放批評(píng)的文化，并允許其現(xiàn)任和前員工向公眾、公司董事會(huì)、監(jiān)管機(jī)構(gòu)或具有相關(guān)專(zhuān)業(yè)知識(shí)的相關(guān)獨(dú)立組織提出與其技術(shù)相關(guān)的與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂(yōu)，只要適當(dāng)保護(hù)公司商業(yè)機(jī)密和其他知識(shí)產(chǎn)權(quán)利益；
• 公司不會(huì)報(bào)復(fù)那些現(xiàn)任和前員工，當(dāng)其他發(fā)聲渠道失靈時(shí)，他們應(yīng)該被允許公開(kāi)分享與風(fēng)險(xiǎn)相關(guān)的機(jī)密信息。我們同意，公開(kāi)表達(dá)對(duì)AI風(fēng)險(xiǎn)的擔(dān)憂(yōu)時(shí)應(yīng)該避免發(fā)布不必要的機(jī)密信息。因此，一旦存在一個(gè)適當(dāng)?shù)某绦颍试S匿名向公司董事會(huì)、監(jiān)管機(jī)構(gòu)和具有相關(guān)專(zhuān)業(yè)知識(shí)的相關(guān)獨(dú)立組織提出擔(dān)憂(yōu)，我們接受應(yīng)該通過(guò)這樣的程序匿名提出擔(dān)憂(yōu)。然而，只要這樣的程序不存在，現(xiàn)任和前員工應(yīng)該保留向公眾報(bào)告他們擔(dān)憂(yōu)的自由。

圖片

OpenAI在給媒體的回應(yīng)中表示，公司為其“提供最有能力和最安全的AI系統(tǒng)并相信我們科學(xué)的方法來(lái)處理風(fēng)險(xiǎn)”的記錄感到自豪。發(fā)言人補(bǔ)充說(shuō)：“我們同意，鑒于這項(xiàng)技術(shù)的重要性，進(jìn)行嚴(yán)格的辯論至關(guān)重要，我們將繼續(xù)與政府、民間社會(huì)和世界各地的其他社區(qū)進(jìn)行交流。”

二、13人聯(lián)名“上書(shū)”，7人實(shí)名警告

為“A Right to Warn about Advanced Artificial Intelligence”聯(lián)名寫(xiě)信的13名員工中，有11位來(lái)自O(shè)penAI，其中有7位前員工和4位現(xiàn)任員工。其他兩位為谷歌DeepMind的現(xiàn)員工和前員工各一人。

在13中，共有7位勇士實(shí)名寫(xiě)信，他們對(duì)AI安全的責(zé)任感和對(duì)公眾福祉的追求讓人動(dòng)容。

1.Jacob Hilton,formerly OpenAI

Jacob Hilton是OpenAI的前研究員，他曾承擔(dān)了各種強(qiáng)化學(xué)習(xí)相關(guān)課題的研究，例如語(yǔ)言模型（ChatGPT、WebGPT 和 TruthfulQA）的真實(shí)性、RL 的縮放規(guī)律和過(guò)度優(yōu)化等項(xiàng)目。

周二簽署這封信后，他在X上分享了自己的經(jīng)歷，一年多前，當(dāng)他離開(kāi)OpenAI時(shí)，他就曾簽署過(guò)那份臭名昭著的“非貶損協(xié)議”。當(dāng)時(shí)，為了自身的利益，他簽署了這一規(guī)定，并按照要求對(duì)協(xié)議本身保密。

圖片

他肯定了奧特曼將該協(xié)議取消的規(guī)定，但他提到“員工可能仍然擔(dān)心披露的其他形式的報(bào)復(fù)，例如被解雇并因損害而被起訴。”

圖片

離開(kāi)OpenAI后，他加入了對(duì)齊研究中心（ARC），繼續(xù)關(guān)注AI安全工作。對(duì)齊研究中心是一家非營(yíng)利性研究機(jī)構(gòu)，其使命是使未來(lái)的機(jī)器學(xué)習(xí)系統(tǒng)與人類(lèi)利益相一致。

2.Daniel Kokotajlo,formerly OpenAI

Daniel Kokotajlo是 OpenAI 的前工程師。和其他人不同，Daniel是一位哲學(xué)博士，加入OpenAI之前曾在AI Impacts，以及Center on Long-Term Risk（長(zhǎng)期風(fēng)險(xiǎn)中心）工作。這就不難理解他所持有的立場(chǎng)。

長(zhǎng)期以來(lái)，Daniel對(duì)壓制研究人員的聲音以及開(kāi)發(fā) AGI 的潛在風(fēng)險(xiǎn)表示擔(dān)憂(yōu)。因此，他冒著在 60 天內(nèi)失去既得股權(quán)的風(fēng)險(xiǎn)，毅然決然地拒絕了在非貶損條款上簽字。

圖片

3.Ramana Kumar,formerly Google DeepMind

拉馬納-庫(kù)馬爾（Ramana Kumar）是一名高級(jí)研究員，曾在谷歌 DeepMind 工作。他因在人工智能安全、形式驗(yàn)證和交互式定理證明方面的貢獻(xiàn)而聞名。

今年3月，他剛發(fā)表了名為《評(píng)估前沿模型的危險(xiǎn)能力》的論文。

圖片

4.Neel Nanda,currently Google DeepMind, formerly Anthropic

尼爾-南達(dá)（Neel Nanda）是實(shí)名上信的唯一一位在職員工，目前是倫敦谷歌 DeepMind 的研究工程師，在機(jī)制可解釋性團(tuán)隊(duì)工作。在此之前，他擁有多段學(xué)術(shù)研究經(jīng)歷，他曾作為技術(shù)人員在克里斯-奧拉（Chris Olah）領(lǐng)導(dǎo)下研究語(yǔ)言模型的可解釋性。

圖片

5.William Saunders,formerly OpenAI

威廉-桑德斯（William Saunders）是 OpenAI 的前安全研究員，也是超級(jí)對(duì)齊團(tuán)隊(duì)的元老級(jí)人物，于 2024 年 2 月辭職。

他加入2021年加入Alignment 團(tuán)隊(duì)時(shí)，該團(tuán)隊(duì)還沒(méi)被命名為“超級(jí)對(duì)齊”。根據(jù)他的領(lǐng)英主頁(yè)，William主要從事可擴(kuò)展的監(jiān)督工作，是開(kāi)發(fā)批評(píng)技術(shù)的團(tuán)隊(duì)成員之一，該技術(shù)用于使用語(yǔ)言模型發(fā)現(xiàn)其他語(yǔ)言模型中的錯(cuò)誤。

之后，他被提升為管理一個(gè) 4 人團(tuán)隊(duì)的負(fù)責(zé)人，該團(tuán)隊(duì)致力于理解語(yǔ)言模型在上下文中的特征，最終發(fā)布了開(kāi)源的 "transformer 調(diào)試器 "工具。

圖片

6.Carroll Wainwright,formerly OpenAI

Carroll在OpenAI工作了近三年之久。

從領(lǐng)英主頁(yè)發(fā)現(xiàn)，他一直有份“副業(yè)”，即 Metaculus 公司的聯(lián)合創(chuàng)始人。該公司是一個(gè)以公共利益為導(dǎo)向的組織，提供一個(gè)預(yù)測(cè)技術(shù)，它能以最佳方式匯總對(duì)未來(lái)事件的定量預(yù)測(cè)，其使命是“建設(shè)認(rèn)識(shí)論基礎(chǔ)設(shè)施，使全球社會(huì)能夠模擬、理解、預(yù)測(cè)和駕馭世界上最重要、最復(fù)雜的挑戰(zhàn)。”

圖片

7.Daniel Ziegler,formerly OpenAI

丹尼爾-齊格勒（Daniel Ziegler）是 OpenAI 的前工程師，曾于 2018 年至 2021 年在 OpenAI 工作。離開(kāi)OpenAI后，Daniel繼續(xù)進(jìn)行人工智能對(duì)齊的研究工作，領(lǐng)導(dǎo) Redwood Research 的對(duì)抗訓(xùn)練團(tuán)隊(duì)。

他也是一位長(zhǎng)期關(guān)注公共利益的人，在學(xué)生期間，我參與創(chuàng)立了麻省理工學(xué)院的有效利他主義（Effective Altruism）組織，并在 2017 年畢業(yè)前運(yùn)營(yíng)了一年。

圖片

三、風(fēng)險(xiǎn)重重：2027或?qū)崿F(xiàn)AGI，但人類(lèi)還沒(méi)準(zhǔn)備好

在信中參與聯(lián)名的Daniel Kokotajlo表示，他擔(dān)心AI公司及整個(gè)社會(huì)是否準(zhǔn)備好了迎接AGI，這是AI的一種假設(shè)版本——即AI可以在許多任務(wù)上超越人類(lèi)。Kokotajlo表示，他認(rèn)為到2027年達(dá)到AGI的可能性為50%。

Kokotajlo說(shuō)：“沒(méi)有什么真正阻止公司構(gòu)建AGI并將其用于各種事情，而且透明度不高。”他冒著放棄股權(quán)的風(fēng)險(xiǎn)，未在不詆毀協(xié)議上簽字。“我辭職是因?yàn)槲矣X(jué)得我們還沒(méi)有準(zhǔn)備好。我們作為一個(gè)公司沒(méi)有準(zhǔn)備好，我們作為一個(gè)社會(huì)對(duì)這個(gè)問(wèn)題沒(méi)有準(zhǔn)備好，我們需要真正投入更多的準(zhǔn)備和思考其含義。”

這封聯(lián)名信是否可以作為一個(gè)支點(diǎn)，撬動(dòng)OpenAI這樣的龐然大物？

Ilya的盟友、因?yàn)椤靶姑苁录北唤夤偷腖eopold，在前日發(fā)出165頁(yè)的系列長(zhǎng)文，以論述AGI 戰(zhàn)略圖景。

圖片

完整PDF地址：https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

在扉頁(yè)他非常鄭重地寫(xiě)到“獻(xiàn)給Ilya”，同時(shí)無(wú)不謹(jǐn)慎地說(shuō)“盡管我曾經(jīng)在OpenAI工作，但所有這些都是基于公開(kāi)可獲得的信息、我自己的想法、一般領(lǐng)域的知識(shí)，或者是科幻小說(shuō)的閑談。”

圖片

在長(zhǎng)文中，Leopold提出了一種避免盲目樂(lè)觀和悲觀的“AGI現(xiàn)實(shí)主義”，其中有三個(gè)原則：

• 超級(jí)智能是國(guó)家安全問(wèn)題。我們正在迅速建造比最聰明的人類(lèi)還要聰明的機(jī)器……它將是人類(lèi)有史以來(lái)建造的最強(qiáng)大的武器。
• 美國(guó)必須掌握AGI的領(lǐng)導(dǎo)權(quán)（編者注：本條為L(zhǎng)eopold基于自身立場(chǎng)出發(fā)，僅作翻譯）。人工智能實(shí)驗(yàn)室必須把國(guó)家利益放在首位。
• 我們可以不搞砸它。認(rèn)識(shí)到超級(jí)智能的力量也意味著認(rèn)識(shí)到它的危險(xiǎn)。…… 隨著加速的加劇，我只希望討論變得更加尖銳。但我最大的希望是，那些能感受到AGI即將到來(lái)有多么重量的人，能將其視為莊嚴(yán)的職責(zé)召喚。?

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)