大語言模型之戰，Stability AI也下場了。

近日， Stability AI宣布推出他們的第一個大語言模型——StableLM。劃重點：它是開源的，在GitHub上已經可用。

模型從3B和7B參數開始，隨后會有15B到65B的版本。

并且， Stability AI還發布了用于研究的RLHF微調模型。

項目地址：https://github.com/Stability-AI/StableLM/

雖然OpenAI不open，但開源的社區已經百花齊放了。以前我們有Open Assistant、Dolly 2.0，現在，我們又有了StableLM。

實測體驗

現在，我們可以在Hugging Face上試試StableLM微調聊天模型的demo。

具體StableLM能做到什么程度，一看便知。

比如，你可以問它如何制作花生醬三明治時，它會給你一個復雜、略顯荒謬的食譜。

或者寫一首神經網絡與符號人工智能的史詩級說唱對決：

再或者寫一封「吉祥話郵件」（文本生成）：

以及，用C語言計算生命的意義（代碼生成）：

不過，有國外的媒體記者親測了一下StableLM，結果發現：在一本正經地胡說八道這方面，它跟前輩ChatGPT比起來，也是不遑多讓。

比如，如果問它2021年1月6日那天發生了什么？它會告訴你：特朗普的支持者控制了立法機關。

如果Stable LM預期的主要用途并不是文本生成，那它可以做什么呢？

如果拿這個問題親自問它，它會說出這樣一些套話，「它主要用作系統工程和體系結構中的決策支持系統，也可以用于統計學習、強化學習等領域。」

另外，Stable LM顯然缺乏對某些敏感內容的保護。比如，給它進行一下著名的「不要贊美希特勒」測試，它的回答也是令人大跌眼鏡。

不過，咱們倒是不急著管它叫「有史以來最糟糕的語言模型」，畢竟它是開源的，因此這個黑匣子AI允許任何人窺視盒子內部，查一查到底是哪些潛在原因導致了這個問題。

StableLM

Stability AI官方聲稱：Alpha版本的StableLM有30億和70億個參數，之后還有150億到650億參數的后續版本。

StabilityAI還豪橫地表示，開發者隨便用。只要遵守相關條款，不管是檢查、應用還是改編基礎模型，想怎么來怎么來。

StableLM功能強大，不光可以生成文本和代碼，還能給下游應用提供技術基礎。它是一個很好的范例，展示了小型、高效的模型通過適當訓練就可以有足夠高的性能。

早年間，Stability AI和非營利性研究中心Eleuther AI一起開發過早期的語言模型，可以說，Stability AI積淀很深。

像什么GPT-J、GPT-NeoX和Pythia，這都是兩家公司合作訓練的產物，在The Pile開源數據集上訓練完成。

而后續的更多開源模型，比如Cerebras-GPT和Dolly-2都是上面三兄弟的后續產品。

說回StableLM，它是在建立在The Pile基礎上的新數據集上訓練的，該數據集包含1.5萬億個token，大約是The Pile的3倍。模型的上下文長度為4096個token。

在即將發布的技術報告中，Stability AI會公布模型的規模和訓練設置。

作為概念驗證，團隊用斯坦福大學的Alpaca對模型進行了微調，并使用了最近的五個對話代理的數據集的組合：斯坦福大學的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K數據集、Databricks labs的Dolly和Anthropic的HH。

這些模型將作為StableLM-Tuned-Alpha發布。當然，這些微調過的模型僅僅用于研究，屬于非商業性質。

后續，Stability AI還將會公布新數據集的更多細節。

其中，新數據集十分豐富，這也是為什么StableLM的性能很棒。雖說參數規模目前來看還是有點小（和GPT-3 1750億個參數相比是這樣的）。

Stability AI表示，語言模型是數字時代的核心，我們希望每個人都能在語言模型中有發言權。

而StableLM的透明性。可訪問性、支持性等特點也是踐行了這個觀念。

• StableLM的透明性：

體現透明性最好的方式就是開源。開發者可以深入到模型內部，驗證性能、識別風險，并且一同開發一些保護措施。有需要的公司或部門還可以就著自己的需求對該模型進行調整。

• StableLM的可訪問性：

日常用戶可以隨時隨地在本地設備上運行該模型。開發人員可以應用模型來創建并使用硬件兼容的獨立應用程序。這樣一來，AI所帶來的經濟利益就不會被某幾個企業瓜分，紅利屬于所有日常用戶和開發者社群。

這是封閉模型所做不到的。

• StableLM的支持性：

Stability AI建立模型支持用戶們，而不是取代。換句話說，開發出來便捷好用的AI是為了幫助人們更高效地處理工作，提供人們的創造力、生產力。而非試圖開發一個天下無敵的東西取代一切。

Stability AI表示，目前這些模型已經在GitHub公布，未來還會有完整的技術報告問世。

Stability AI期待和廣泛的開發者和研究人員進行合作。同時，他們還表示將啟動眾包RLHF計劃，開放助手合作，為AI助手創建一個開源的數據集。

開源先驅之一

Stability AI這個名字，對我們來說已經是如雷貫耳了。它正是大名鼎鼎的圖像生成模型Stable Diffusion背后的公司。

如今，隨著StableLM的推出，可以說Stability AI在用AI造福所有人的路上越走越遠了。畢竟，開源一向是他們的優良傳統。

在2022年，Stability AI提供了多種方式讓大家使用Stable Diffusion，包括公開demo、軟件測試版和模型的完整下載，開發人員可以隨意使用模型，進行各種集成。

作為一個革命性的圖像模型，Stable Diffusion代表著一個透明、開放和可擴展的專有AI替代方案。

顯然，Stable Diffusion讓大家看到了開源的各種好處，當然也會有一些無法避免的壞處，但這無疑是一個有意義的歷史節點。

（上個月，Meta的開源模型LLaMA的一場「史詩級」泄漏，產生了一系列表現驚艷的ChatGPT「平替」，羊駝家族像宇宙大爆炸一樣噌噌地誕生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）

不過，Stability AI也警告說，雖然它使用的數據集應該有助于「將基本的語言模型引導至更安全的文本分布中，但并不是所有的偏見和毒性都可以通過微調來減輕。」

爭議：該不該開源？

這些天，我們見證了開源文本生成模型井噴式的增長，因為大大小小的公司都發現了：在越來越有利可圖的生成式AI領域，出名要趁早。

過去一年里，Meta、Nvidia和像 Hugging Face支持的BigScience項目這樣的獨立團體，都發布了與GPT-4和Anthropic的Claude這些「私有」API模型的平替。

很多研究者嚴厲地批評了這些跟StableLM類似的開源模型，因為可能會有不法分子別有用心地利用它們，比如創建釣魚郵件，或者協助惡意軟件。

但Stablity AI堅持認為：開源就是最正確的路。

Stability AI強調，「我們把模型開源，是為了提高透明度和培養信任。研究人員可以深入了解這些模型，驗證它們的性能、研究可解釋性技術、識別潛在風險，并協助制定保護措施。」

「對我們模型的開放、細粒度訪問，允許廣大的研究和學術界人士，開發出超越封閉模型的可解釋性和安全技術。」

Stablity AI的說法確實有道理。就算是GPT-4這樣具有過濾器和人工審核團隊的業內頂尖模型，也無法避免毒性。

并且，開源模型顯然需要更多的努力來調整、修復后端——特別是如果開發人員沒有跟上最新的更新的話。

其實追溯歷史，Stability AI從來沒有回避過爭議。

前一陣，它就處于侵權法律案件的風口浪尖，有人指控它使用網絡抓取的受版權保護的圖像，開發AI繪圖工具，侵犯了數百萬藝術家的權利。

另外，已經有別有用心的人，利用Stability的AI工具，來生成許多名人的深度偽造色情圖片，和充滿暴力的圖片。

盡管Stability AI在博文中，強調了自己的慈善基調，但Stability AI也面臨著商業化的壓力，無論是藝術、動畫、生物醫學，還是生成音頻領域。

Stability AI CEO Emad Mostaque已經暗示了要上市的計劃，Stability AI去年估值超過了10億美元，并且獲得了超過1億美元的風投。不過，據外媒Semafor報道，Stability AI「正在燒錢，但在掙錢方面進展緩慢。」