這兩天，有關(guān)開源的話題又火了起來(lái)。有人表示，「沒有開源，AI 將一無(wú)所有，繼續(xù)保持 AI 開放。」這個(gè)觀點(diǎn)得到了很多人的贊同，其中包括圖靈獎(jiǎng)得主、Meta 首席科學(xué)家 Yann LeCun。

想象一下，如果工業(yè)界的 AI 研究實(shí)驗(yàn)室仍然封閉、沒有開源代碼，并為所有內(nèi)容申請(qǐng)和執(zhí)行專利，那么今天的 AI 行業(yè)將會(huì)變成什么樣子？

想象一個(gè)沒有 PyTorch 的世界，并且 Transformer、ResNet、Mask-RCNN、FPN、SAM、DINO、seq2seq、wav2vec、內(nèi)存增強(qiáng)網(wǎng)絡(luò)、Tansformers、BatchNorm、LayerNorm、Adam、去噪自動(dòng)編碼器、聯(lián)合嵌入架構(gòu)以及大量的 SSL 方法都被施加專利，AI 行業(yè)又會(huì)變成什么樣子？

圖源：https://twitter.com/ylecun/status/1735704308891484248

LeCun 觀點(diǎn)引起更多人共鳴，有人認(rèn)為，「如果谷歌不開源 Transformers，OpenAI 甚至發(fā)明不了 GPT。真是虛假的『OpenAI』。」

圖源：https://twitter.com/ai_for_success/status/1735705570500640871

LeCun 還不忘說(shuō)一句，「ChatGPT 的構(gòu)建也離不開 PyTorch。」

這就出現(xiàn)了一個(gè)值得探討的問(wèn)題，為什么像 OpenAI、Anthropic 這樣的公司不愿意開源大模型權(quán)重呢？外媒 VentureBeat 撰寫了一篇深度長(zhǎng)文，采訪了一些高管人士，剖析了個(gè)中緣由。

我們知道，在機(jī)器學(xué)習(xí)尤其是深度神經(jīng)網(wǎng)絡(luò)中，模型權(quán)重被認(rèn)為至關(guān)重要，它們是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和做出預(yù)測(cè)的機(jī)制。訓(xùn)練后權(quán)重的最終值決定了模型性能。

同時(shí)，非盈利機(jī)構(gòu)蘭德公司的一項(xiàng)研究指出，雖然權(quán)重不是大模型需要保護(hù)的唯一組成部分，但它們與模型的大量計(jì)算、收集和處理的訓(xùn)練數(shù)據(jù)和算法優(yōu)化息息相關(guān)。獲取權(quán)重可以讓惡意行為者以非常小的訓(xùn)練成本來(lái)利用完整的模型。

論文地址：https://www.rand.org/pubs/working_papers/WRA2849-1.html

大模型公司更加注重權(quán)重安全。Jason Clinton 是 Anthropic 首席信息安全官，他的主要任務(wù)是保護(hù)自家模型 Claude 的 TB 級(jí)權(quán)重文件免遭他人之手。「我可能將自己一半時(shí)間用來(lái)保護(hù)權(quán)重文件。這是我們最為關(guān)注和優(yōu)先考慮的事情，也是投入資源最多的地方」，他在 VentureBeat 的采訪中這樣說(shuō)道。

模型權(quán)重可不能落入「壞人」之手

Jason Clinton 強(qiáng)調(diào)，有人認(rèn)為公司對(duì)模型權(quán)重的擔(dān)憂是因?yàn)檫@些權(quán)重代表著極高價(jià)值的知識(shí)產(chǎn)權(quán)。其實(shí)不然，Anthropic 更重要的考慮在于防止這些強(qiáng)大技術(shù)落入「壞人」之手，產(chǎn)生不可估量的負(fù)面影響。

對(duì)誰(shuí)能獲取基礎(chǔ)模型權(quán)重深表?yè)?dān)憂的遠(yuǎn)不止克林頓一人。事實(shí)上，白宮最近發(fā)布的關(guān)于「安全、可靠地開發(fā)和使用人工智能」的行政命令就要求基礎(chǔ)模型公司向聯(lián)邦政府提供文件，報(bào)告模型權(quán)重的所有權(quán)、占有情況以及采取的保護(hù)措施。

OpenAI 也表達(dá)了類似的立場(chǎng)。在 2023 年 10 月的一篇博文中，OpenAI 表示正在繼續(xù)投資網(wǎng)絡(luò)安全和內(nèi)部威脅防護(hù)措施，以保護(hù)專有和未發(fā)布的模型權(quán)重。

40 種攻擊向量正在被執(zhí)行

Rand 的報(bào)告《Securing Artificial Intelligence Model Weights》由 Sella Nevo 和 Dan Lahav 共同撰寫。報(bào)告強(qiáng)調(diào)了人工智能模型權(quán)重面臨的安全威脅和未來(lái)風(fēng)險(xiǎn)。

Nevo 在接受 VentureBeat 采訪時(shí)表明，當(dāng)前最大的擔(dān)憂不是這些模型現(xiàn)在能做什么，而是未來(lái)可能發(fā)生什么，尤其是在國(guó)家安全方面，例如被用于開發(fā)生物武器的可能性。

該報(bào)告的目的之一是了解行為者可能采用的攻擊方法，包括未授權(quán)的物理訪問(wèn)、破壞現(xiàn)有憑證和供應(yīng)鏈攻擊等。報(bào)告最終確定了 40 種不同的攻擊向量，并強(qiáng)調(diào)它們不是理論上的，而是已有證據(jù)表明它們正在被執(zhí)行，甚至在某些情況下已被廣泛部署。

開放基礎(chǔ)模型的風(fēng)險(xiǎn)

需要注意的是，并非所有專家都能在人工智能模型權(quán)重泄露的風(fēng)險(xiǎn)程度以及需要限制的程度上達(dá)成一致，尤其是在涉及開源人工智能時(shí)。這再次印證了人工智能領(lǐng)域治理的復(fù)雜性和諸多挑戰(zhàn)。

斯坦福大學(xué)人工智能學(xué)院政策簡(jiǎn)報(bào)《Considerations for Governing Open Foundation Models》強(qiáng)調(diào)，盡管開放基礎(chǔ)模型（即權(quán)重廣泛可用的模型）可以對(duì)抗市場(chǎng)集中、促進(jìn)創(chuàng)新并提高透明度，但其相對(duì)于封閉模型或現(xiàn)有技術(shù)的邊際風(fēng)險(xiǎn)尚不明確。

簡(jiǎn)報(bào)鏈接：https://hai.stanford.edu/issue-brief-considerations-governing-open-foundation-models

這份簡(jiǎn)報(bào)以事實(shí)為基礎(chǔ)，沒有刻意煽動(dòng)恐懼，得到了人工智能治理高級(jí)顧問(wèn) Kevin Bankston 的「好評(píng)」。

該簡(jiǎn)報(bào)以 Meta 的 Llama 2 為例，該模型于 7 月發(fā)布，其模型權(quán)重廣泛可用，使得下游修改和審查成為可能。雖然 Meta 公司曾承諾確保其未發(fā)布模型權(quán)重的安全，并限制能夠訪問(wèn)模型權(quán)重的人員范圍，但在 2023 年 3 月 Llama 的模型權(quán)重泄露還是讓人印象深刻。

喬治城大學(xué)人工智能評(píng)估高級(jí)研究員 Heather Frase 指出，開源軟件和代碼歷來(lái)都非常穩(wěn)定和安全，因?yàn)樗梢砸揽恳粋€(gè)龐大的社區(qū)。在強(qiáng)大的生成式人工智能模型出現(xiàn)之前，普通的開源技術(shù)造成危害的幾率也十分有限。她提到，與傳統(tǒng)的開源技術(shù)不同，開源模型權(quán)重的風(fēng)險(xiǎn)在于，最可能受到傷害的不是用戶，而是被故意當(dāng)作傷害目標(biāo)的人，例如深度偽造騙局的受害者。

安全感通常來(lái)自開放

不過(guò)，也有其他人表達(dá)了相反的觀點(diǎn)。在接受 VentureBeat 采訪時(shí)，Hugging Face 機(jī)器學(xué)習(xí)工程師 Nicolas Patry 強(qiáng)調(diào)，運(yùn)行任務(wù)程序固有的風(fēng)險(xiǎn)同樣適用于模型權(quán)重，但并不意味著應(yīng)該封閉。

當(dāng)談到開源模型時(shí)，他們的想法是開放給盡可能多的人，比如最近 Mistral 的開源大模型。Nicolas Patry 認(rèn)為，安全感通常來(lái)自開放，透明意味著更安全，任何人都可以查看它。封閉的安全會(huì)讓人們不清楚你在做什么。

VentureBeat 同樣采訪了開源框架 PyTorch Lightning 背后公司 Lightning AI 的首席執(zhí)行官 William Falcon，他認(rèn)為如果公司擔(dān)心模型泄露，那就為時(shí)已晚。開源社區(qū)追趕的速度難以想象，并且開放研究可以衍生當(dāng)前 AI 網(wǎng)絡(luò)安全所需的各種工具。在他看來(lái)，模型開放程度越高，能力越民主化，可以開發(fā)更好的工具來(lái)對(duì)抗網(wǎng)絡(luò)安全威脅。

對(duì)于 Anthropic 而言，該公司一方面尋求支持領(lǐng)域研究，另一方面要保證模型權(quán)重的安全，比如聘用優(yōu)秀的安全工程師。

原文鏈接：https://venturebeat.com/ai/why-anthropic-and-openai-are-obsessed-with-securing-llm-model-weights/