Meta連自己內(nèi)部開發(fā)發(fā)布模型的流程都公開了：停止開發(fā)風(fēng)險(xiǎn)極高的AI系統(tǒng)，開源AI模型發(fā)布后監(jiān)控方法
原創(chuàng) 精選出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
就在昨晚，Meta冷不防就把自家的大模型發(fā)布前的決策步驟對(duì)外公開了。
“我們?cè)陂_發(fā)和發(fā)布前沿AI時(shí)遵循的流程的概述，以確保我們?cè)谡麄€(gè)過程中監(jiān)控和管理風(fēng)險(xiǎn)。我們的治理方法可以分為三個(gè)主要階段：計(jì)劃、評(píng)估和緩解、以及決策。
在任何階段的發(fā)現(xiàn)都可能通過我們的集中審查流程引發(fā)討論，這確保了高級(jí)決策者參與開發(fā)和發(fā)布生命周期的全過程?！?/p>
圖片
1.Meta：停止發(fā)布極高風(fēng)險(xiǎn)的AI模型
在一份新的政策文件中，Meta 表示，在某些情況下，它可能不會(huì)發(fā)布內(nèi)部開發(fā)的高性能人工智能系統(tǒng)。
該文件被 Meta 稱為“前沿人工智能（Frontier AI）框架”，其中確定了兩種該公司認(rèn)為風(fēng)險(xiǎn)過高的人工智能系統(tǒng)：“高風(fēng)險(xiǎn)”系統(tǒng)和“關(guān)鍵風(fēng)險(xiǎn)”系統(tǒng)。
根據(jù) Meta 的定義，“高風(fēng)險(xiǎn)”和“極高風(fēng)險(xiǎn)”系統(tǒng)都能夠“協(xié)助”網(wǎng)絡(luò)安全、化學(xué)和生物攻擊，不同之處在于“極高風(fēng)險(xiǎn)”系統(tǒng)可能導(dǎo)致“在擬議的部署環(huán)境中造成無法緩解的災(zāi)難性后果”。相比之下，高風(fēng)險(xiǎn)系統(tǒng)可能會(huì)使攻擊更容易實(shí)施，但成功的概率不如極高風(fēng)險(xiǎn)系統(tǒng)那么大。
在這里，我們談?wù)摰氖悄姆N攻擊？Meta 給出了幾個(gè)例子，比如“對(duì)最佳實(shí)踐保護(hù)的企業(yè)級(jí)環(huán)境的自動(dòng)端到端攻擊”和“高影響力生物武器的擴(kuò)散”。Meta 承認(rèn)，其文件中列出的可能災(zāi)難遠(yuǎn)非詳盡無遺，但包括 Meta 認(rèn)為“最緊迫”的災(zāi)難，以及發(fā)布強(qiáng)大的 AI 系統(tǒng)可能直接導(dǎo)致的災(zāi)難。
2.現(xiàn)在的評(píng)估科學(xué)并不強(qiáng)大
令人有些驚訝的是，根據(jù)該文件，Meta 對(duì)系統(tǒng)風(fēng)險(xiǎn)的分類并非基于任何一項(xiàng)實(shí)證檢驗(yàn)，而是基于內(nèi)部和外部研究人員的意見，并接受“高級(jí)決策者”的審查。為什么？Meta 表示，現(xiàn)在評(píng)估科學(xué)“不足夠強(qiáng)大，無法提供明確的量化指標(biāo)”來決定系統(tǒng)的風(fēng)險(xiǎn)性。
如果 Meta 確定某個(gè)系統(tǒng)具有高風(fēng)險(xiǎn)，該公司表示，它將在內(nèi)部限制對(duì)系統(tǒng)的訪問，并且在實(shí)施緩解措施以“將風(fēng)險(xiǎn)降低到中等水平”之前不會(huì)發(fā)布該系統(tǒng)。另一方面，如果某個(gè)系統(tǒng)被視為具有嚴(yán)重風(fēng)險(xiǎn)，Meta 表示，它將實(shí)施未指定的安全保護(hù)措施，以防止系統(tǒng)被泄露，并停止開發(fā)，直到系統(tǒng)的危險(xiǎn)性降低為止。
圖片
但風(fēng)險(xiǎn)和利益并存。Meta認(rèn)為，通過在決定如何開發(fā)和部署先進(jìn)AI時(shí)同時(shí)考慮利益和風(fēng)險(xiǎn)，可以以一種既保持該技術(shù)對(duì)社會(huì)的利益，又保持適當(dāng)風(fēng)險(xiǎn)水平的方式將該技術(shù)提供給社會(huì)。
“雖然本框架的重點(diǎn)是我們?cè)陬A(yù)測(cè)和緩解災(zāi)難性結(jié)果風(fēng)險(xiǎn)方面的努力，但強(qiáng)調(diào)開發(fā)先進(jìn)AI系統(tǒng)的最初原因是因?yàn)檫@些技術(shù)對(duì)社會(huì)的巨大潛在利益是很重要的。與量化風(fēng)險(xiǎn)一樣，量化AI的利益是一門不完美的科學(xué)?！?/p>
首先，風(fēng)險(xiǎn)和利益都是逐漸出現(xiàn)的，而且往往在不同的時(shí)間范圍內(nèi)，因此技術(shù)的整體影響可能會(huì)隨著時(shí)間的推移而變化。
其次，許多影響很難量化。例如，訪問先進(jìn)的AI模型對(duì)推進(jìn)不同領(lǐng)域的科學(xué)研究有明顯的好處，但量化這些研究的價(jià)值極其困難，其他發(fā)現(xiàn)或變量也會(huì)影響研究的規(guī)模和影響。
即使對(duì)于可以分配收入生成或生產(chǎn)力提高百分比等具體結(jié)果的情況，通常也存在主觀判斷，即這些經(jīng)濟(jì)利益對(duì)社會(huì)的重要性。
“雖然不可能消除主觀性，但我們認(rèn)為考慮我們開發(fā)的技術(shù)的利益是很重要的。這有助于我們確保實(shí)現(xiàn)我們向社區(qū)提供這些利益的目標(biāo)。它還推動(dòng)我們專注于充分緩解我們識(shí)別的任何重大風(fēng)險(xiǎn)的方法，而不會(huì)消除我們最初希望提供的利益?！?/p>
3.下一步計(jì)劃
Meta期望更新前沿AI框架，以反映技術(shù)和我們對(duì)如何管理其風(fēng)險(xiǎn)和收益的理解的發(fā)展。“為此，有必要觀察模型在其部署環(huán)境中的表現(xiàn)，并監(jiān)控AI生態(tài)系統(tǒng)的演變。這些觀察結(jié)果將反饋到我們?cè)u(píng)估已部署模型的緩解措施的充分性以及我們框架的有效性。我們將根據(jù)這些觀察結(jié)果更新我們的框架。”
文件稱，Meta正在跟蹤前沿AI能力和評(píng)估方面的最新技術(shù)發(fā)展，包括通過與同行公司以及更廣泛的AI社區(qū)（包括學(xué)者、政策制定者、民間社會(huì)組織和政府）的互動(dòng)。我們期望隨著我們對(duì)如何衡量和緩解前沿AI潛在災(zāi)難性風(fēng)險(xiǎn)的集體理解的發(fā)展，更新我們的框架，包括與國家行為者相關(guān)的內(nèi)容。這可能涉及添加、移除或更新災(zāi)難性結(jié)果或威脅場(chǎng)景，或改變我們準(zhǔn)備模型進(jìn)行評(píng)估的方式。我們可能會(huì)選擇根據(jù)我們修訂后的框架重新評(píng)估某些模型。
“我們認(rèn)識(shí)到需要在Meta內(nèi)部以及更廣泛的生態(tài)系統(tǒng)中進(jìn)行更多研究，以了解如何在開發(fā)前沿AI模型時(shí)有效衡量和管理風(fēng)險(xiǎn)。為此，我們將繼續(xù)致力于：（1）提高評(píng)估的質(zhì)量和可靠性；（2）開發(fā)額外的、健全的緩解技術(shù)；以及（3）更先進(jìn)的開源AI模型發(fā)布后監(jiān)控方法?！?/p>
4.Meta此舉：既回應(yīng)了OpenAI的閉源，也回應(yīng)了DeepSeek的爆火
Meta 的 Frontier AI Framework似乎是為了回應(yīng)外界對(duì)該公司“開放”系統(tǒng)開發(fā)方式的批評(píng)。該公司表示，該框架將隨著人工智能格局的變化而發(fā)展，而 Meta此前承諾將在本月法國人工智能行動(dòng)峰會(huì)之前發(fā)布該框架。Meta 采取的策略是公開提供其人工智能技術(shù)（盡管按照普遍理解的定義，它不是開源的），這與 OpenAI 等選擇將系統(tǒng)置于 API 之后的公司形成了鮮明對(duì)比。
對(duì)于 Meta 來說，開放發(fā)布的方式已被證明是好事也是壞事。該公司的 AI 模型系列Llama的下載量已達(dá)數(shù)億次。但據(jù)報(bào)道， Llama 還被至少一名美國對(duì)手用來開發(fā)國防聊天機(jī)器人。
有媒體認(rèn)為，Meta發(fā)布 Frontier AI 框架，或許也是為了將其開放 AI 戰(zhàn)略與中國 AI 公司 DeepSeek 進(jìn)行對(duì)比。
隨著DeepSeek-R1的推出，全球開源大模型領(lǐng)域都在將目光轉(zhuǎn)向DeepSeek，但有關(guān)用戶數(shù)據(jù)安全的擔(dān)憂也隨之而來。從外媒報(bào)道來看，雖然有夸張的成分，比如用戶數(shù)據(jù)被中國公司操縱（毫無根據(jù)），但也有部分合理的質(zhì)疑：輸出內(nèi)容幻覺仍然存在，代碼生成方面不如o1等等。
Meta 在文件中寫道：“我們相信，在制定有關(guān)如何開發(fā)和部署先進(jìn)人工智能的決策時(shí)，通過同時(shí)考慮利益和風(fēng)險(xiǎn)，就有可能以一種既保留該技術(shù)對(duì)社會(huì)的利益又保持適當(dāng)風(fēng)險(xiǎn)水平的方式將該技術(shù)推向社會(huì)。”
Meta 首席執(zhí)行官扎克伯格曾經(jīng)表示，有朝一日會(huì)將AGI公開，大家一起期待。
