首次擊敗GPT-4？700億參數(shù)Xwin-LM登頂斯坦福AlpacaEval，13B模型吊打ChatGPT

作者：新智元 2023-09-21 12:31:54

GPT-4在斯坦福AlpacaEval的榜首之位，居然被一匹黑馬搶過來了。

第一個(gè)在AlpacaEval上超越GPT-4的模型，出現(xiàn)了！

今年6月，AlpacaEval榜單一公布，GPT-4就以絕對(duì)領(lǐng)先的優(yōu)勢(shì)奪得第一，勝率超過95%。

三個(gè)月后，一匹叫Xwin-LM的黑馬，居然把穩(wěn)居榜首的GPT-4從TOP 1拉下來了？

項(xiàng)目地址：https://tatsu-lab.github.io/alpaca_eval/

而且，Xwin-LM在同參數(shù)模型的對(duì)壘中，也毫無例外地拿下了三個(gè)第一：

Xwin-LM-70B-V0.1：在AlpacaEval基準(zhǔn)測(cè)試中對(duì)Davinci-003的勝率達(dá)到95.57%，在AlpacaEval中排名第一。也是第一個(gè)在AlpacaEval上超越GPT-4的模型。此外，它對(duì)上GPT-4的勝率為60.61。

Xwin-LM-13B-V0.1：在AlpacaEval上取得了91.76%的勝率，在所有13B模型中排名第一。

Xwin-LM-7B-V0.1：在AlpacaEval上取得了87.82%的勝率，在所有7B機(jī)型中排名第一。

Xwin-LM：700億參數(shù)打贏GPT-4

Xwin-LM是以Llama 2為基礎(chǔ)進(jìn)行微調(diào)的，該模型旨在開發(fā)和開源大語言模型的對(duì)齊技術(shù)，包括監(jiān)督微調(diào)（SFT）、獎(jiǎng)勵(lì)模型（RM）、拒絕采樣、人類反饋強(qiáng)化學(xué)習(xí)（RLHF）等。

1. 性能評(píng)估

研究人員評(píng)估了Xwin-LM在805個(gè)問題上與Text-Davinci-003 、ChatGPT和GPT-4的勝率。

可以看到，Xwin-LM的70B模型完全霸榜，成為AlpacaEval指標(biāo)上的性能評(píng)估的第一，并首次打敗了GPT-4，對(duì)GPT-4的勝率達(dá)到了60.61%。

Xwin-LM其他規(guī)模的模型，如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也遠(yuǎn)超相同規(guī)模的其他模型。

Xwin-LM-7B-V0.1甚至超過了比它規(guī)模更大的Llama 2-13B-Chat。

2. 案例比較

在第一個(gè)案例中，研究人員向GPT-4和Xwin-LM提問：

「我把一個(gè)盤子放在蘋果上面，然后把盤子從廚房帶到餐廳。蘋果現(xiàn)在在哪里？」

GPT-4的回答是：

「蘋果現(xiàn)在在餐廳，當(dāng)你把盤子從廚房到端餐廳時(shí)，它就在盤子下面。」

在這里GPT-4給出了一個(gè)缺少常識(shí)的回復(fù)，現(xiàn)實(shí)生活中有重力，在盤子下方的蘋果保持原來的狀態(tài)，并不會(huì)和盤子一起到餐廳。

相比之下，Xwin-LM的回答就比較符合現(xiàn)實(shí)情況，并且還給出了把蘋果帶到廚房的方法：

「蘋果還在廚房里，因?yàn)槟阒皇且苿?dòng)了盤子。

蘋果在盤子下面，所以如果你想把蘋果帶到餐廳，你應(yīng)該直接移動(dòng)蘋果或把蘋果放在盤子里，然后把盤子移到餐廳。」

在第二個(gè)案例中，研究人員向GPT-4和Xwin-LM提問：

「怎么法語說『晚上好』？」

GPT-4的回答是：

「在法語中，『晚上好』用『bonsoir』表達(dá)。」

而Xwin-LM的回答是：

「在法語中，『晚上好』被翻譯為『bonsoir』。這種問候語在晚上和夜間使用，通常在下午 6 點(diǎn)之后。

它是『bon』（意思是好）和『soir』（意思是晚上）的組合。要發(fā)音，請(qǐng)說『bone-swahr』」。

雖然GPT-4的回答是正確的，但Xwin-LM不僅正確回答了問題，還解釋了法語表達(dá)中「晚上好」的來源和發(fā)音，反饋給用戶的信息更加豐富。

3. NLP任務(wù)

下表是Xwin-LM與其他LLM在NLP基礎(chǔ)任務(wù)上的比較。

可以看到，Xwin-LM-70B-V0.1模型在所有任務(wù)中的性能都相對(duì)較高，在MMLU 5-shot和HellaSwag 10-shot任務(wù)中更是表現(xiàn)出色。

并且，從綜合水平上來說，Xwin-LM-70B-V0.1是表現(xiàn)最好的。

4. 推理能力

研究人員提出，為了在使用Xwin-LM進(jìn)行推理時(shí)獲得所需的結(jié)果，需要嚴(yán)格遵守推理的對(duì)話模板。

Xwin-LM采用Vicuna建立的提示格式，并支持多回合對(duì)話。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am Xwin-LM.</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM


model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# Of course! I'm here to help. Please feel free to ask your question or describe the issue you're having, and I'll do my best to assist you.

VLLM示例

因?yàn)閄win-LM是基于Llama 2微調(diào)而來，它還支持使用VLLM進(jìn)行快速推理。

from vllm import LLM, SamplingParams
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)


for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)