想體驗千億參數大模型的門檻，真是越來越低了！

想讓大模型回答問題？

只需在網頁端輸入問題，運行二三十秒，答案就噌噌生成了。

用的正是今年由Meta開源的Open Pretrained Transformer（OPT），參數量達1750億。

如果是傳統在本地運行，對算力可是個大考驗。

這就是由開源項目Colossal-AI支持的云端demo，無需注冊即可上手體驗，對硬件完全沒門檻，普通筆記本電腦甚至手機就能搞定。

也就是說，完全不用懂代碼的小白，現在也能調戲OPT這樣的大模型了。

讓我們來試玩一把~

4種任務可試玩

FAQ常見問題解答、聊天機器人、翻譯、文章創作幾種模式都可試玩。

一些數值也能按需自己來調整，并且不涉及到代碼。

我們體驗了下文章創作，開頭給了一句“今天是個好日子啊”。

很快，網頁就輸出了一連串大好事，剛剛加薪、正在玩刺客信條、明天還要去海灘……看著讓人羨慕！

還能構建個場景讓聊天機器人嘮上幾塊錢的。

隨機生成的一段長對話是買手機的場景。嗯，和今天iPhone 14發布可以說是非常應景了。

感覺即便是不懂AI、不懂編程的小白也能玩轉OPT的各種任務，體驗過程相當絲滑。?

要知道，像OPT這樣千億參數大模型的運行，一直都有著“對硬件要求高”、“成本高”的特點。

一個免費無限玩的網站，到底是怎么實現如上效果的？

開源方案快速云上部署超大模型

這還是要從其背后支持系統Colossal-AI說起。

它以“僅需幾行代碼就能快速部署AI大模型訓練推理”而名震江湖，在GitHub上攬星超過4.7K。

這一次，是它在云上部署AI大模型的一次新突破。

主要針對OPT模型的特性，做出了在推理速度、計算量等方面的優化。

在OPT云上服務方面，提出了left padding、past cache、bucket batching技術。

OPT擁有1750億參數量，如此規模的模型，單個GPU顯存顯然無法容納。

而且推理問題不光要考慮吞吐量，還要顧及到時延問題。

針對這兩方面問題，并行計算是個不錯的解決思路。

尤其是Colossal-AI本身就十分擅長將一個單機模型轉換成并行運行，獲得并行OPT模型自然不成問題。

不過并行方案中的參數加載一直是個難題。

在這方面，Colossal-AI可以讓用戶只需要參考樣例，簡單提供參數名映射關系，即可完成模型參數的加載。

最后，再將模型導入到Colossal-AI的推理引擎中，設置相應的超參數。

到這一步，OPT主干網絡的推理部分就能上線且輸出有意義的結果了。

但是這還遠遠不夠。

因為OPT是生成式模型，生成式任務需要不斷循環模型的輸出結果，這就導致推理中常見的batching策略無法直接應用。

具體來看，由于生成任務輸入的語句長度往往參差不齊，而且大部分語言閱讀和書寫都是從左向右的。

如果用常規的right padding，那么針對較短的句子就很難生成有意義的結果，或者需要進行復雜處理。

△使用Right padding，生成側不對齊

如果用單batch運行，效率又太低了，不可行。

所以這一回的推理部署中，增加了left padding對句子進行填充，讓每個句子的生成側（右側）都是對齊的，同時可以生成新的單詞。

△Left padding

還有另一方面的問題——生成模型單次推理只能生成一個新詞。

當新的輸出結果生成時，它同時也成為了輸入的一部分。

也就是說，生成式任務的每次計算，是需要針對新的輸入序列進行重新計算的。

顯然這種操作方式，重復計算太多了。

尤其是對于占絕大多數計算量的Linear層來說。

所以，Colossal-AI的開發人員在模型內部引入了past cache技術。

它可以暫存同一次生成任務中的Linear層的輸出結果，讓每次只有一個新的單詞進入Linear層進行計算，并把該次的計算結果暫存，以避免重復計算。

直觀來看就是醬嬸兒的：

除此之外，開發人員還注意到生成式任務的計算量是參差不齊的。

輸入、輸出的句子長短變化范圍都很大。

如果用簡單的batching方法，將兩個相差很大的推理放在同一個批次里，就會造成大量的冗余計算。

因此他們提出了bucket batching。

即按照輸入句長以及輸出目標句長進行桶排序，同一個桶內的序列作為一個batching，以此降低冗余。

One More Thing

不光是這次的云端demo，提供支持的Colossal-AI也是免費開源的~

任何人都能基于它低成本訓練自己的大模型，并部署成云端服務。

比如在單張10GB顯存的RTX 3080上，就能訓練120億參數的大模型。

較原生PyTorch提升了120倍的模型容量。

此前Colossal-AI多次在GitHub、Paper With Code熱榜位列世界第一。

相關解決方案成功在自動駕駛、云計算、零售、 醫藥、芯片等行業知名廠商落地應用。

最近，Colossal-AI還連續入選和受邀全球超級計算機大會、國際數據科學會議、世界人工智能大會、亞馬遜云科技中國峰會等國際專業盛會。