OpenAI又一吹哨人離職！拉響安全警報，風險隱患實在太大
OpenAI離職潮中，又一研究員官宣離職，并且還發出了“警告”信息：
Ilya和Jan Leike的擔憂正是我的擔憂，還有一些額外的問題。
我們需要做更多事來改進決策流程等基礎性的事務，包括問責制、透明度、文檔、策略執行、如何謹慎使用技術，以及減輕不平等、權利和環境影響的措施。
主人公名叫Gretchen Krueger（簡稱格姐），是OpenAI的AI策略研究員。
她在2019年加入OpenAI，參與過GPT-4和DALL·E 2的開發工作，還在2020年領導了OpenAI第一個全公司范圍的“紅隊”測試。
此番出走，除了提到OpenAI的決策透明度問題，她還隱約暗示：
一般來說，科技公司剝奪那些尋求追究其責任的人的權力的方法之一，就是在那些提出擔憂或挑戰其權力的人之間制造分裂。我非常關心防止這種情況發生。
算上Ilya和Jan Leike，格姐已經是這個月第3位從OpenAI離開的安全相關人員——她提交辭呈還是在Ilya和Jan Leike確認離職之前。
本月第3位離職的OpenAI安全成員
先來簡單回顧整個事情。
格姐是OpenAI的AI策略研究員，關于這個崗位的職責，有網友幫大家在評論區科普了。
由于感受到OpenAI存在巨大安全風險，格姐于5月14日通知公司自己即將離職。
在這之后，OpenAI首席科學家Ilya正式宣布他將離開公司去追求“下一個計劃”。
緊隨Ilya離職的，還有斥責OpenAI“產品優先于安全”的超級對齊負責人Jan Leike。
那么，到底是什么風險使得格姐早就想跑呢？
總結下來其實很簡單，但也很關鍵：OpenAI在安全問題決策上不夠透明且缺乏對決策人的問責。
（AI透明度等）問題對所有人都很重要，它們影響著未來如何被規劃、由誰來規劃。
我想強調的是，這些擔憂不應該被誤讀為狹隘、投機或脫節的。它們并非如此。
另外，格姐還特意提及了為了保留對OpenAI的批評權、放棄85%家庭資產的OpenAI前員工Daniel Kokotajio，表示感謝他的勇氣，使她有機會說出想說的。
此前，OpenAI被曝離職需簽封口協議，“不簽字就會影響股權”。
這件事的最新進展由格姐的另一位前同事Jacob Hilton曝出：
在Vox的深度調查發表之后，OpenAI已經聯系了前員工們，解除了此前簽署的保密協議。
回到安全的話題上，格姐還是給老東家保留了體面：
OpenAI仍在領導這些重要的工作。我也將繼續對此保持關注和興奮。
不過格姐的出走，還是引發更多網友的好奇：
- 當Ilya等人還在的時候，OpenAI如何決定重大安全問題？
- 當一批重要安全成員離開后，OpenAI當前又如何決定安全問題？
誰決定OpenAI的安全路線？
在關注誰握有最終決策權之前，我們先來看看OpenAI的安全團隊有哪些。
從官網公布的信息來看，OpenAI目前的安全團隊主要分為三大塊。
- 超級對齊團隊：拿出20%總算力，瞄準如何控制還不存在的超級智能
- Safety Systems團隊：專注于減少現有模型和產品（例如ChatGPT）的濫用
- Preparedness團隊：繪制前沿模型的新興風險
首先，作為核心的超級對齊團隊由Ilya和Jan Leike在2023年7月發起。
結果不到1年，兩位靈魂人物接連出走，超級團隊分崩離析。
其次，Safety Systems成立于2020年，該團隊下面有4個部門，包括安全工程團隊、風險管理團隊、監控與響應團隊以及政策與合規團隊。
它曾負責了GPT-3和GPT-4的安全性評估。
當初領導它的Dario Amodei，后來離開OpenAI創辦了Anthropic。
而且Dario Amodei之所以離職，原因恰恰在于想建立一個更可信的模型。
最后，OpenAI于2023年10月宣布建立Preparedness團隊。
該小組由麻省理工可部署機器學習中心主任Aleksander Madry領導，旨在“跟蹤、預測和防范未來人工智能系統的危險”，包括從AI“說服和欺騙”人類的能力（如網絡釣魚攻擊），到惡意代碼生成能力。
目前該團隊主要進行模型能力評估、評價和內部紅隊（即對模型進行滲透測試的攻擊方）。
說了這么多，但——
不管OpenAI有多少安全團隊，其風險評估的最終決策權仍掌握在領導層手中。
宮斗風波之前，OpenAI核心管理團隊中共有四名成員：CEO Sam Altman、總裁Greg Brockman、首席科學家Ilya Sutskever、CTO Mira Murati。
雖然一開始Ilya發動“宮變”讓Sam Altman短暫下臺，但很快奧特曼“熹妃回宮”，反而是Ilya“消失”了6個月。
且回歸后的Sam Altman身邊基本都是自己人了，包括最新頂替Ilya的Jakub。
不過關于安全問題的決策權，雖然領導層是決策者，但董事會擁有推翻決策的權利。
目前OpenAI的董事會成員包括，Salesforce共同首席執行官、董事會主席Bret Taylor，經濟學家Larry Summers、Quora首席執行官Adam D’Angelo、前比爾及梅琳達·蓋茨基金會CEO Sue Desmond-Hellmann、前索尼娛樂總裁Nicole Seligman、Instacart首席執行官Fidji Simo以及奧特曼本人。
