國(guó)產(chǎn)大模型，再次迎來(lái)新玩家！

XVERSE-13B，開(kāi)源即免費(fèi)商用。

來(lái)自前騰訊副總裁、騰訊AI lab創(chuàng)始人姚星創(chuàng)立的明星獨(dú)角獸元象，公司成立一年即完成1.2億美元融資。

此次開(kāi)源的大模型，它支持40多種語(yǔ)言、8192上下文長(zhǎng)度。在多項(xiàng)中英文測(cè)評(píng)中，性能超過(guò)了同尺寸（130億參數(shù)）的LIama2、Baichuan等。

目前，哈爾濱工業(yè)大學(xué)已經(jīng)率先用上。

國(guó)產(chǎn)百億大模型免費(fèi)商用

據(jù)介紹，XVERSE-13B大模型主要有這幾個(gè)方面的特點(diǎn)。

模型架構(gòu)方面，它是基于標(biāo)準(zhǔn)Transformer架構(gòu)（Decoder-only），支持8K上下文長(zhǎng)度，據(jù)稱這也是目前同尺寸標(biāo)準(zhǔn)模型中最長(zhǎng)。這樣一來(lái)，可滿足更多輪對(duì)話，減少遺忘現(xiàn)象，以及輸入更多內(nèi)容完成復(fù)雜任務(wù)。

訓(xùn)練數(shù)據(jù)上，構(gòu)建了1.4萬(wàn)億tokens的數(shù)據(jù)集，包含中、英、俄、西等40多種語(yǔ)言。

而為了充分利用訓(xùn)練數(shù)據(jù)，他們?cè)?strong>分詞策略上，基于BPE（Byte-Pair Encoding）算法，使用上百 GB 語(yǔ)料訓(xùn)練了一個(gè)詞表大小為 100,278 的分詞器。

這樣一來(lái)，能夠同時(shí)支持多語(yǔ)言，而無(wú)需額外擴(kuò)展詞表。

此外，還在訓(xùn)練框架上進(jìn)行了算子、通信、并行策略及調(diào)度等方面的優(yōu)化，包括高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)和框架協(xié)同等自研技術(shù)，使得千卡集群上的峰值算力利用率達(dá)到 58.5%，據(jù)介紹位居業(yè)界前列。

作為通用大模型，它支持文本生成、自動(dòng)化寫(xiě)作、數(shù)據(jù)分析、知識(shí)問(wèn)答、多語(yǔ)言翻譯、個(gè)性化交互、人物角色扮演、專業(yè)小助手等功能。

具體到各項(xiàng)能力測(cè)評(píng)上，他們選取了 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文）等在內(nèi)的評(píng)測(cè)集。

比如在MMLU測(cè)評(píng)中，其綜合評(píng)分達(dá)到55.1分，在多個(gè)維度超過(guò)了同參數(shù)規(guī)模的主流模型。

（MMLU 由加州大學(xué)伯克利分校等高校共同打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的 57 個(gè)科目，主要目標(biāo)是對(duì)模型的英文跨學(xué)科專業(yè)能力進(jìn)行深入測(cè)評(píng)。其內(nèi)容涵蓋從初級(jí)水平到高級(jí)專業(yè)水平）

還有在C-Eval、AGIEval和GAOKAO-Bench等中文測(cè)評(píng)中，分別以54.7、41.4以及53.9分超越了其他模型。

目前，XVERSE-13B代碼采用 Apache-2.0 協(xié)議，向?qū)W術(shù)研究完全開(kāi)源，企業(yè)只需簡(jiǎn)單登記，即可免費(fèi)商用。

哈工大已經(jīng)率先使用大模型推進(jìn)相關(guān)研究工作。哈工大計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院張偉男教授表示：

開(kāi)源是互聯(lián)網(wǎng)時(shí)代主流模式，不僅能貢獻(xiàn)社區(qū)，推動(dòng)技術(shù)持續(xù)創(chuàng)新，還能利用協(xié)同解決算法透明性、穩(wěn)定性、公眾信任度等共性問(wèn)題。

來(lái)自元象XVERSE團(tuán)隊(duì)

隨著XVERSE-13B的發(fā)布，國(guó)產(chǎn)大模型迎來(lái)了新玩家：

元象XVERSE，2021年3月成立，專注于AI與元宇宙技術(shù)服務(wù)。

創(chuàng)始團(tuán)隊(duì)來(lái)自騰訊游戲、Adobe、微軟、IBM、麥肯錫等公司。創(chuàng)始人是前騰訊副總裁姚星，他曾親手創(chuàng)立了騰訊AI lab以及機(jī)器人實(shí)驗(yàn)室Robotics X，并兼管騰訊技術(shù)工程事業(yè)群（TEG）多個(gè)技術(shù)部門。

他也是騰訊在受AlphaGo震動(dòng)決定戰(zhàn)略布局AI時(shí)的一號(hào)位負(fù)責(zé)人，代表騰訊全球挖人組隊(duì)，也代表騰訊喊出了口號(hào)：AI in All。在此期間曾主導(dǎo)推出了絕藝、絕悟、云深智藥等行業(yè)代表性產(chǎn)品和應(yīng)用，張潼張正友都曾向他匯報(bào)。

2022年3月，元象完成A與A+輪融資1.2億美元，投資機(jī)構(gòu)包括騰訊、高榕資本、五源資本、高瓴創(chuàng)投、紅杉中國(guó)、淡馬錫和CPE源峰等。

在3D和AI技術(shù)領(lǐng)域，已自主研發(fā)出行業(yè)領(lǐng)先的“端云協(xié)同” 3D互動(dòng)技術(shù)，主打零門檻、一站式、高品質(zhì)的元宇宙體驗(yàn)。

目前客戶包括澳門大三巴、騰訊音樂(lè)、央視、一汽大眾、阿迪達(dá)斯、郵儲(chǔ)銀行等企業(yè)。

GitHub鏈接：
https://github.com/xverse-ai/XVERSE-13B
參考鏈接：
https://huggingface.co/xverse/XVERSE-13B