開源大模型的標桿 Llama 3，居然都「被閉源」了。今天，開源再次成為了人們討論的話題。

如今，開源的人工智能算法無處不在，從個人開發者到大型科技公司，大家都在享受最新技術帶來的成果。

就連目前最熱門的大模型領域，也區分了開源和閉源兩個互相競爭的大方向。人們認為，隨著開源技術的擴散與交流，開源的大模型最終將趕上 OpenAI 這樣的業界頂尖水平。這或許就是扎克伯格等人理想中的繁盛景象。

不過，在層出不窮的新 AI 模型評論區里，我們也經常看到有人吐槽「連權重、數據都沒有，這算什么開源？」

這個時候，一家有影響力的機構終于決定站出來，對開源這件事下一個定義了。

今年 10 月，「真開源」定義就要來了

開放源代碼促進會（OSI）最近公布了其對「開源 AI」的最新定義草案。此舉旨在澄清 Open Source 這一術語在快速發展的科技領域中，經常出現的模糊用法。

這個定義似乎來的正是時候。一個月前，大模型領域剛剛經歷過一輪開源技術更新。Meta 發布了迄今為止最強的開源大模型 Llama 3.1 405B，宣布所有 Llama 版本的總下載量已超過 3 億次，創業公司 Mistral 也緊接著宣布開源了 Large 2 大模型。

這些公司發布的預訓練 AI 語言模型帶有權重使用限制，同時繼續使用了「開源」標簽。這引發了開發者們對 AI 技術背景下什么才是真「開源」的激烈爭論。

因為最近一段時間，開源變得越來越像是一個營銷術語，將大模型描述為「開源」可以讓人們對其變得更加信賴，即使研究人員和開發者時常會被這些許可證所限制。

Llama-3.1 發布的時候，Yann LeCun 曾宣傳了開源的優勢。

OSI 給出的定義下，很多事情需要我們來重新審視。例如，Meta 的 Llama 3 模型雖然可以自由獲取，但 Meta 針對使用 Llama 系列模型的公司規模及通過該模型生成的內容類型，設定了特定的許可限制。因此，Llama 不符合 OSI 為軟件定義的傳統開源標準。

文生圖模型 Flux 實際上也不是真正的開源。由于這種模糊性，OSI 通常用「開放權重」或「代碼可用」等術語來指代那些含有代碼或權重限制或缺乏配套訓練數據的 AI 模型。

為了正式解決「真假開源」的問題，一向倡導開源的 OSI 召集了一個專家團隊來為「開源」下定義。這個約 70 人的團隊由研究人員、律師、政策制定者組成，其中還有來自 Meta、Google 和亞馬遜等大型科技公司的代表。他們起草的最新草案為判斷 AI 模型是否符合開源標準提出了「四項基本自由」：不限制使用目的，允許深入研究其工作原理，支持隨意修改，無論是否進行過修改都允許用戶自由分享模型。

這「四項基本自由」也沿用了人們對開源軟件的定義。OSI 希望通過對「開源 AI」樹立明確的標準，方便開發者、研究人員和用戶在創建、研究或使用 AI 工具做出更明智的決策。

OSI 執行董事 Stefano Maffulli 在 Linux 基金會 AI_dev 大會上發布了對開源定義的最新版草案

換句話說，開源對于 AI 更加穩定安全：如果 AI 模型做到了真正的「開源」，研究人員將能分析 AI 模型背后的工作方式，AI 系統的潛在軟件漏洞也將更加明顯。相較于 OpenAI 的「閉源」系統 ChatGPT，其確切的架構是一個嚴格保密的秘密。

據 OSI 的項目時間表顯示，他們預計在 2024 年 10 月在 All Things Open 會議上正式宣布「開源 AI」定義的最終版。

那么在這個定義下，有哪些大模型是「開源」的呢？據說在第一批名單里包括 EleutherAI 的 Pythia、Ai2 的 OLMo 和開源集體 LLM360 等。

「創新不應該需要許可」

在五月份的新聞發布會上，OSI 強調了為真正的「開源」AI 厘清定義的重要性。「AI 與常規軟件不同，需要迫使所有利益相關者重新審視開源原則對該領域的適用性」，OSI 的執行董事 Stefano Maffulli 說，「OSI 相信每個人都應保有對技術的主導權和控制權。我們還認識到，當定義明確后，它將推動 AI 系統更加透明、更緊密的協作和無需許可的創新，市場就會繁榮發展。」

OSI 的最新草案不止要求「開源」模型本身及其權重，還要求對整個系統更加廣義的開放。 一個 AI 系統要想被認定為「開源」，必須提供 OSI 定義的「適合修改的形式」，其中包括訓練數據的詳細信息、用于訓練和運行系統的全部源代碼，以及模型權重和參數。這些都必須在 OSI 認可的許可證或條款下提供。

值得注意的是，這份草案并沒有強制要求公開原始訓練數據。相反，它要求提供關于訓練數據和方法的詳細元數據。比如數據的來源、選擇標準、預處理技術以及其他相關細節，方便研究者重建類似的系統。

這種方法旨在不公開實際數據集的情況下提供透明度和可復制性，在堅持開源原則的同時，從表面上解決了潛在的隱私和版權問題。不過是否能達成預計的效果，可能還有待進一步討論。

訓練數據的來源缺乏透明度，已經導致了一系列針對大型 AI 公司的訴訟。從 OpenAI 這樣的業內帶頭人到 Suno 這樣的小應用，這些公司的生成式 AI 產品除了聲稱包含「可公開訪問的信息」外，并未披露太多有關其訓練集的信息。很多人呼吁開源模型應該披露所有訓練集，不過由于版權和數據所有權等問題，這一標準很難執行。

「這個定義最有趣的是，他們允許不公開訓練數據，」獨立 AI 研究員 Simon Willison 在接受外媒 Ars Technica 采訪時說道：「這是一個非常務實的方法 —— 如果不允許這樣，那就幾乎就沒有模型算『開源』了。」

OSI 想明確「開源」的定義，這個想法可以追溯到 2022 年，當時它首次開始聯系有關組織，邀請他們一起來定義這個術語。

「經過近兩年，我們從世界各地征求意見，來確定適合 AI 系統的開源原則，OSI 現在正在全球巡講，希望能夠完善并驗證草案中的定義，」Maffulli 表示，「定義『開源』的研討會仍在進行，現在參與還不晚，可以通過 OSI 網站找到論壇，發表評論建言獻策。」

當最終定義在 10 月揭曉時，新的「開源」AI 定義可能對行業產生深遠影響。它將影響公司以何種形式發布 AI 模型，并塑造未來的法規，例如加州備受爭議的 SB-1047 法案。

希望新的定義，能夠進一步推動大模型領域的技術創新。