跑分達(dá)ChatGPT的99%，人類難以分辨！開源「原駝」爆火，iPhone都能微調(diào)大模型了

作者：夢晨 2023-05-25 13:59:12

人工智能新聞

開源社區(qū)直接開始狂歡，相關(guān)論文成為24小時內(nèi)關(guān)注度最高的AI論文。

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

自動測試分?jǐn)?shù)達(dá)到ChatGPT的99.3%，人類難以分辨兩者的回答……

這是開源大模型最新成果，來自羊駝家族的又一重磅成員——華盛頓大學(xué)原駝（Guanaco）。

更關(guān)鍵的是，與原駝一起提出的新方法QLoRA把微調(diào)大模型的顯存需求從>780GB降低到<48GB。

開源社區(qū)直接開始狂歡，相關(guān)論文成為24小時內(nèi)關(guān)注度最高的AI論文。

以Meta的美洲駝LLaMA為基礎(chǔ)，得到原駝650億參數(shù)版只需要48GB顯存單卡微調(diào)24小時，330億參數(shù)版只需要24GB顯存單卡微調(diào)12小時。

24GB顯存，也就是一塊消費級RTX3090或RTX4090顯卡足以。

不少網(wǎng)友在測試后也表示，更喜歡它而不是ChatGPT。

英偉達(dá)科學(xué)家Jim Fan博士對此評價為：大模型小型化的又一里程碑。

先擴(kuò)大規(guī)模再縮小，將成為開源AI社區(qū)的節(jié)奏。

而新的高效微調(diào)方法QLoRA迅速被開源社區(qū)接受，HuggingFace也在第一時間整合上線了相關(guān)代碼。

GPT-4做裁判，原駝得分達(dá)到ChatGPT的99.3%

論文中，團(tuán)隊對原駝總共做了三項測試，自動評估、隨機(jī)匹配和人類評估。

測試數(shù)據(jù)來自小羊駝Vicuna和Open Assistant。

自動評估由大模型天花板GPT-4當(dāng)裁判，對不同模型的回答進(jìn)行打分，以ChatGPT（GPT3.5）的成績作為100%。

最終原駝650億版得分達(dá)到ChatGPT的99.3%，而GPT-4自己的得分是114.5%，谷歌Bard是94.8%。

隨機(jī)匹配，采用棋類專業(yè)比賽和電子競技同款的Elo記分機(jī)制，由GPT-4和人類共同做裁判。

原駝650億和330億版最終得分超過ChatGPT（GPT3.5）。

人類評估，則是把原駝650億版的回答和ChatGPT的回答匿名亂序放在一起，人類來盲選哪個最好。

論文共同一作表示，研究團(tuán)隊里的人都很難分辨出來，并把測試做成了一個小游戲放在Colab上，開放給大家挑戰(zhàn)。

這里節(jié)選其中一個問題（附中文翻譯），你能分辨出哪個是ChatGPT回答的嗎？

問題：How can I improve my time management skills?（如何提高時間管理技能？）

總的來說，原駝的優(yōu)勢在于不容易被問題中的錯誤信息誤導(dǎo)，比如能指出地球從來沒有被科學(xué)界認(rèn)為是平的。

以及擅長心智理論（Theory of Mind），也就是能推測理解他人的心理狀態(tài)。

但原駝也并非沒有弱點，團(tuán)隊發(fā)發(fā)現(xiàn)它不太擅長數(shù)學(xué)，以及容易用提示注入把要求保密的信息從它嘴里套出來。

也有網(wǎng)友表示，雖然一個模型能在某個數(shù)據(jù)集上無限接近ChatGPT，但像ChatGPT那樣通用還是很難的。

全新方法QLoRA，iPhone都能微調(diào)大模型了

原駝?wù)撐牡暮诵呢暙I(xiàn)是提出新的微調(diào)方法QLoRA。

其中Q代表量化（Quantization），用低精度數(shù)據(jù)類型去逼近神經(jīng)網(wǎng)絡(luò)中的高精度浮點數(shù)，以提高運(yùn)算效率。

LoRA是微軟團(tuán)隊在2021年提出的低秩適應(yīng)（Low-Rank Adaptation）高效微調(diào)方法，LoRA后來被移植到AI繪畫領(lǐng)域更被大眾熟知，但最早其實就是用于大語言模型的。

通常來說，LoRA微調(diào)與全量微調(diào)相比效果會更差，但團(tuán)隊將LoRA添加到所有的線性層解決了這個問題。

具體來說，QLoRA結(jié)合了4-bit量化和LoRA，以及團(tuán)隊新創(chuàng)的三個技巧：新數(shù)據(jù)類型4-bit NormalFloat、分頁優(yōu)化器（Paged Optimizers）和雙重量化（Double Quantization）。

最終QLoRA讓4-bit的原駝在所有場景和規(guī)模的測試中匹配16-bit的性能。