作者 | Ben Dickson

譯者 | 李睿

審校 | 重樓

出品 | 51CTO技術棧（微信號：blog51cto）

小模型、開源模型正在猛攻GPT-4，OpenAI需要更完善的措施來構建技術方面的護城河，以保護其LLM業務。

2023年5月，谷歌公司泄露的一份內部文件揭示了ChatGPT和GPT-4等大型語言模型(LLM)面臨的挑戰。這份文件的主要觀點是，谷歌公司和OpenAI沒有為他們的私有大型語言模型(LLM)構建技術方面的“護城河”。開源模式最終將主導LLM市場。

這份文件中寫道：“雖然我們開發的LLM在質量方面仍有一定的優勢，但這種優勢正在驚人地迅速縮小。開源模型處理速度更快、更可定制、更私密，而且功能更強大。”

而在不到一年的時間里，這份文件中提出的大多數警告都被證明是正確的。開源模型在質量上正在迅速趕上，它們更加靈活，訓練和微調的速度也更快。

然而，隨著生成式人工智能領域的發展，OpenAI正在采取更加完善的措施來構建技術方面的護城河，以保護其LLM業務。但這一策略并不一定奏效。

1、OpenAI的護城河是如何被攻破的

當OpenAI發布ChatGPT時，大多數觀點認為LLM將會隨著應用量的增長而改進。GPT-3擁有1750億個參數，需要采用數百GB的GPU內存和巨額投資來訓練和運行。在2022年發布的一些開源LLM是如此龐大和笨拙，以至于很少有企業可以運行它們。

初始，訓練和管理LLM的高昂成本就是一條護城河，只有資金充足的企業有實力擁有和開發。OpenAI利用其先發優勢確立了自己的領先地位。該公司推出的GPT-3以及后來的ChatGPT和GPT-4實際上已經成為構建LLM應用程序的首選模型。

在其他大型科技公司競相追趕和投入資金之際，規模較小的企業只能希望通過API購買這些LLM的使用權。

然而，DeepMind研究人員在2022年進行的一項研究表明，開發人員并不需要運行規模巨大的LLM就能獲得最先進的結果。這項對名為Chinchilla模型的研究表明，在非常大的數據集上訓練的小模型可以與大模型的性能相匹配。研究人員表示，Chinchilla模型的參數為700億個，其性能優于當時其他最先進的LLM。

雖然DeepMind沒有將Chinchilla開源，但其訓練方法引領了一個新的研究方向。Meta在2023年2月發布了Llama，這是一個LLM系列，其參數從70億個到650億個不等。Llama模型接受了1.4萬億個Tokens的訓練，而GPT-3只有3000億個Tokens。

Llama模型具有資源效率和高性能，并在幾個關鍵基準測試中與ChatGPT進行了比較。而且Llama是開源的，這意味著開發人員能夠以非常低的成本直接在他們的服務器上運行它，甚至可以在單個GPU上運行。

在Llama模型發布之后，DeepMind又發布了一系列其他的開源模型，每個模型都是在之前的基礎上構建和改進的。許多LLM產品附帶許可，允許開發人員使用它們創建LLMLM產品。

模型壓縮、量化、低秩適應，以及多年來其他發展起來的技術，使開發人員和企業在其應用程序中采用開源模型變得越來越方便。新的編程框架、低代碼/無代碼工具和在線平臺使一些企業在其基礎設施上定制和運行LLM變得更加容易，并且承諾了一些創新，例如在邊緣設備上運行的高性能LLM。

公平地說，OpenAI的LLM模型在性能上仍然具有一定優勢，目前還沒看到能夠趕超GPT-4的LLM。但是一些開源模型已經達到并超過了GPT-3.5的性能，而它們趕超GPT-4和其他最先進的LLM只是時間問題。

開源模式將會奪走大型科技公司的技術優勢，并使LLM實現商品化。隨著轉換成本的下降，越來越多的企業將被激勵從GPT-4轉向低成本的開源模式。即使這些模型在性能上還沒有趕超GPT-4，但大多數企業都有專門的需求，可以通過精心調整的LLM來滿足這些需求，這種模型的成本很低，并且可以滿足數據所有權和隱私等其他需求。

2、GPT商店、用戶綁定和集成

由于沒有基礎設施和技術方面的護城河，OpenAI需要轉向其他方面，以確保其業務的可防御性。該公司已經采取了一些戰略舉措來建造新的護城河。

該公司這一戰略的一個重要部分是圍繞其旗艦產品ChatGPT創造網絡效應。OpenAI在去年11月首次宣布計劃推出的GPT Store已上線運行。它是蘋果應用商店的人工智能版本，允許用戶和開發人員分享他們定制的LLM版本供其他人使用。雖然大多數GPT都將死掉，但其中一些LLM將非常有用，能夠提高生產力。

OpenAI還將提供企業功能，允許注冊ChatGPT團隊計劃的企業擁有自己的私有GPT商店。

OpenAI的想法是，有了足夠的臨界質量，用戶會堅持使用ChatGPT，更多的用戶會注冊ChatGPT Plus計劃來訪問GPT商店。開發人員將會一直使用這個平臺，讓他們的產品能夠接觸到更多的用戶。隨著發布更多的ChatGPT的內容，用戶的大規模使用也將為該公司進行免費宣傳，進一步使其成為LLM應用程序的實際載體。

OpenAI正在通過盈利強化網絡效應。該公司在其網站聲稱，“在2024年第一季度，美國GPTs構建者們將根據用戶與GPT的互動程度獲得報酬。”這意味著他們將激勵用戶最大程度的參與，以提高產品的粘性。但它也會產生復制社交媒體所有不好的事情的負面影響。

與此同時，OpenAI將加強數據網絡效應，以不斷改進其產品。如果用戶使用的是免費計劃，OpenAI將收集他們的數據來進一步訓練它的模型。如果用戶使用的是ChatGPT Plus計劃，除非選擇退出數據收集計劃，否則他們的數據仍將被收集。

例如，OpenAI在其推特上向用戶發布這樣的信息：“嘿，你可以在設置頁面上選擇退出訓練，無論是免費還是附加計劃。我會確保讓團隊知道，并在網頁上澄清這一點——willdepue (@willdepue) 2024年1月11日”。

另一項重要工作是降低運行ChatGPT的成本。OpenAI首席執行官Sam Altman最近在接受采訪時表示，該公司已經成功地將LLM的運營成本降低了40倍。隨著開源LLM繼續趕超ChatGPT，降低成本將使OpenAI能夠為免費和付費用戶推出更多功能。

OpenAI也在為未來發展做準備。據稱OpenAI在自己的設備上運行ChatGPT，這可能是圍繞其LLM專門構建的。這將賦予它垂直整合的力量，就像蘋果公司對iOS生態系統的鐵腕控制一樣。人們看到的可能是計算領域新范式轉變的開端。隨著該領域的發展和新的計算范式的出現，OpenAI準備推出其垂直堆棧。

參考鏈接：https://bdtechtalks.com/2024/01/15/how-openai-is-building-its-moat/