開源大模型新SOTA！支持免費(fèi)商用，比LLaMA65B小但更強(qiáng)，基于1萬億token
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
號稱“史上最強(qiáng)的開源大語言模型”出現(xiàn)了。
它叫Falcon（獵鷹），參數(shù)400億，在1萬億高質(zhì)量token上進(jìn)行了訓(xùn)練。
最終性能超越650億的LLaMA，以及MPT、Redpajama等現(xiàn)有所有開源模型。
一舉登頂HuggingFace OpenLLM全球榜單：
除了以上成績，F(xiàn)alcon還可以只用到GPT-3 75%的訓(xùn)練預(yù)算，性能就顯著超越GPT-3，且推理階段的計(jì)算也只需GPT-3的1/5。
據(jù)悉，這只半路殺出來的“獵鷹”來自阿聯(lián)酋阿布扎比技術(shù)創(chuàng)新研究所(TII)。
有意思的是，作為一個開源模型，TII在Falcon上推出了一個相當(dāng)特別的授權(quán)許可證要求：
可以商業(yè)使用，但如果用它產(chǎn)生的收益超過了100萬美元，就要被收取10%的授權(quán)費(fèi)。
一時之間，爭議滿滿。
史上最強(qiáng)開源LLM
據(jù)介紹，F(xiàn)alcon屬于自回歸解碼器模型。
它使用自定義工具構(gòu)建，包含一個獨(dú)特的數(shù)據(jù)管道，該管道從公開網(wǎng)絡(luò)中提取訓(xùn)練數(shù)據(jù)。
——Falcon宣稱它“特別注重數(shù)據(jù)質(zhì)量”，從公網(wǎng)上抓取內(nèi)容構(gòu)建好Falcon的初始預(yù)訓(xùn)練數(shù)據(jù)集后，再使用CommonCrawl轉(zhuǎn)儲，進(jìn)行大量過濾（包括刪除機(jī)器生成的文本和成人內(nèi)容）并消除重復(fù)數(shù)據(jù)，最終得到一個由近5萬億個token組成的龐大預(yù)訓(xùn)練數(shù)據(jù)集。
為了擴(kuò)大Falcon的能力，該數(shù)據(jù)集隨后又加進(jìn)了很多精選語料，包括研究論文和社交媒體對話等內(nèi)容。
除了數(shù)據(jù)把關(guān)，作者還對Falcon的架構(gòu)進(jìn)行了優(yōu)化以提升性能，但細(xì)節(jié)沒有透露，相關(guān)論文將很快發(fā)布。
據(jù)悉，F(xiàn)alcon一共耗費(fèi)兩個月，在AWS的384個GPU上訓(xùn)練而成。
最終，F(xiàn)alcon一共包含4個版本：
- Falcon-40B：在1萬億token上進(jìn)行訓(xùn)練，并使用精選語料庫進(jìn)行了增強(qiáng)；主要接受英語、德語、西班牙語、法語的訓(xùn)練，不會中文。
- Falcon-40B-Instruct：在Baize上進(jìn)行了微調(diào)，使用FlashAttention和多查詢對推理架構(gòu)進(jìn)行了優(yōu)化，是一個即用型聊天模型。
- Falcon-7B：參數(shù)70億，在1.5萬億token上進(jìn)行了訓(xùn)練，作為一個原始的預(yù)訓(xùn)練模型，還需要用戶針對大多數(shù)用例進(jìn)一步微調(diào)。
- Falcon-RW-7B：參數(shù)70億，在3500億token上進(jìn)行訓(xùn)練，該模型旨在用作“研究神器”，單獨(dú)研究各種在網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練的影響。
開源許可證引爭議
Falcon作為開源模型，已公開源代碼和模型權(quán)重，可供研究和商業(yè)使用。
這對業(yè)界來說是一個好消息，畢竟像Meta的羊駝家族都只能用于研究目的，且還得填表格申請才行，很是麻煩。
但Falcon還是引起了爭議。
這主要是因?yàn)樗恰俺^100萬美元的任何商業(yè)應(yīng)用都要收10%的授權(quán)費(fèi)”的許可證要求。
據(jù)悉，該許可證部分基于Apache License 2.0協(xié)議，該協(xié)議對商業(yè)應(yīng)用友好，使用者修改代碼只需滿足相關(guān)需求即可將新作品作為開源或商業(yè)產(chǎn)品發(fā)布或銷售。
有不少網(wǎng)友認(rèn)為，既然Falcon宣稱開源，還要收費(fèi)，就違背了Apache License Version 2.0的宗旨，不屬于真正的開源。
并有人稱這是一種“有損Apache軟件基金會來之不易的名譽(yù)”的做法。
有網(wǎng)友已經(jīng)跑到TII的官方賬號下“討要說法”：
你自己能解釋一下這是如何符合“開源”的定義嗎？
目前，官方并沒有回復(fù)。
你認(rèn)為這種做法究竟算不算開源呢？
