清華北航博士生「強(qiáng)迫」Gemma-2說(shuō)中文！弱智吧、角色扮演、數(shù)學(xué)問(wèn)題表現(xiàn)驚喜
眾所周知，很多國(guó)外LLM一直存在非英語(yǔ)歧視問(wèn)題，英語(yǔ)和其他語(yǔ)言在LLM中存在的性能差距有時(shí)可以用懸殊來(lái)形容。
之前就有網(wǎng)友發(fā)現(xiàn)，GPT-4o分詞器語(yǔ)料庫(kù)中，中文數(shù)據(jù)污染非常嚴(yán)重，賭博色情網(wǎng)站是一個(gè)也不少，嚴(yán)重影響了我們用中文和AI機(jī)器人好好聊天。
最近發(fā)布的Gemma 2模型雖然既開(kāi)源又強(qiáng)悍，但比較遺憾的是，其中文水平相較英文水平還有一定的距離。
不過(guò)，我們可以用微調(diào)來(lái)解決，F(xiàn)ine-tune it！
7月1日，Gemma 2剛發(fā)布4天，清華大學(xué)的一名人工智能博士生王慎執(zhí)就在X上隆重推出了一款微調(diào)模型Gemma-2-9B-Chinese-Chat。
Gemma-2-9B-Chinese-Chat是第一個(gè)為中文和英文用戶(hù)量身定制的Gemma-2模型，針對(duì)超過(guò)100K的偏好對(duì)進(jìn)行了微調(diào)！
我們的模型在中文提示方面表現(xiàn)出色，并顯示出更好的邏輯、編碼、數(shù)學(xué)和寫(xiě)作技能。
關(guān)于項(xiàng)目的更多信息，可以在Huggingface上查閱。
項(xiàng)目地址：https://huggingface.co/shenzhi-wang/Gemma-2-9B-Chinese-Chat
更讓人驚喜的是，1天之后，27B的微調(diào)版本也上線了。根據(jù)HuggingFace主頁(yè)信息，模型的下載量已經(jīng)超過(guò)了3.4萬(wàn)。
項(xiàng)目地址：https://huggingface.co/shenzhi-wang/Gemma-2-27B-Chinese-Chat
項(xiàng)目介紹顯示，采用的微調(diào)算法是ORPO，ORPO將監(jiān)督微調(diào)（SFT）和RLHF或DPO等偏好對(duì)齊方法合二為一，是一種非常聰明的算法。
與原來(lái)的9B Gemma 2模型相比，微調(diào)的Gemma-2-9B-Chinese-Chat模型大大減少了「中文問(wèn)題英文回答」和「中英文混雜回答」的問(wèn)題，在角色扮演、工具使用和數(shù)學(xué)方面的表現(xiàn)都有所提高。
就連應(yīng)對(duì)「最佳中文訓(xùn)練數(shù)據(jù)」弱智吧的問(wèn)題，都有非常出色的表現(xiàn)。
示例
微調(diào)模型貢獻(xiàn)者給出了一些示例，包括角色扮演、函數(shù)調(diào)用、數(shù)學(xué)、弱智吧、安全、寫(xiě)作、編碼等。
而且還給出了一個(gè)在線demo，嘿嘿，這下有得玩了。
角色扮演
首先讓LLM扮演周杰倫唱rap：
再扮演魯智深試試呢？給出的示例是下面這樣似兒的——
但小編用在線demo親自嘗試了一下，發(fā)現(xiàn)這位魯智深「粗魯」不起來(lái)，目前還沒(méi)有很好的連續(xù)性。
數(shù)學(xué)
年齡問(wèn)題、雞兔同籠問(wèn)題，Gemma-2-9B-Chinese-Chat都輕松應(yīng)對(duì)。
弱智吧
弱智吧的各種文字游戲，是NLP程序員最討厭的，但微調(diào)模型在處理弱智吧的一些言論時(shí)，似乎表現(xiàn)還不錯(cuò)。
函數(shù)調(diào)用
用戶(hù)輸入：
Here is a list of tools that you have available to you:
```python
def internet_search(query: str):
"""
Returns a list of relevant document snippets for a textual query retrieved from the internet
Args:
query (str): Query to search the internet with
"""
pass
```
```python
def directly_answer():
"""
Calls a standard (un-augmented) AI chatbot to generate a response given the conversation history
"""
pass
```
Write 'Action:' followed by a list of actions in JSON that you want to call, e.g.
Action:
```json
[
{
"tool_name": "tool name (one of [internet_search, directly_answer])",
"parameters": "the input to the tool"
}
]微調(diào)模型輸出：
[
{
"tool_name": "internet_search",
"parameters": {
"query": "biggest penguin in the world"
}
}
]安全
寫(xiě)作
讓模型「寫(xiě)一段關(guān)于人工智能的綜述」，你將會(huì)得到——
人工智能（AI）是計(jì)算機(jī)科學(xué)的一個(gè)分支，它專(zhuān)注于創(chuàng)造能夠執(zhí)行復(fù)雜任務(wù)的智能機(jī)器。AI的目的是創(chuàng)建能夠?qū)W習(xí)、解決問(wèn)題和理解自然語(yǔ)言的系統(tǒng)。人工智能的應(yīng)用非常廣泛，包括圖像識(shí)別、語(yǔ)音助手、推薦系統(tǒng)、自動(dòng)駕駛汽車(chē)和預(yù)測(cè)性維護(hù)等。
AI技術(shù)可以分為幾個(gè)不同的類(lèi)別，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語(yǔ)言處理。機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，它專(zhuān)注于創(chuàng)建能夠從數(shù)據(jù)中學(xué)習(xí)和做出預(yù)測(cè)的算法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用人工神經(jīng)網(wǎng)絡(luò)來(lái)模擬人類(lèi)大腦的功能。
AI在醫(yī)療保健、金融、運(yùn)輸和零售等多個(gè)行業(yè)都有廣泛的應(yīng)用。在醫(yī)療保健領(lǐng)域，AI正在幫助醫(yī)生診斷疾病、預(yù)測(cè)患者護(hù)理需求以及個(gè)性化治療計(jì)劃。在金融服務(wù)行業(yè)，AI正在用于欺詐檢測(cè)、風(fēng)險(xiǎn)管理和個(gè)性化投資建議。
AI在提高效率、減少成本并推動(dòng)創(chuàng)新方面有著巨大的潛力。然而，AI也帶來(lái)了挑戰(zhàn)，包括就業(yè)的流失、隱私問(wèn)題以及倫理考慮。隨著AI技術(shù)的快速發(fā)展，各國(guó)政府和組織正在制定新的法律和法規(guī)來(lái)應(yīng)對(duì)這些挑戰(zhàn)。
總之，人工智能是當(dāng)今世界最激動(dòng)人心的創(chuàng)新之一。隨著AI技術(shù)的不斷進(jìn)步，它有潛力徹底改變我們的工作方式、生活方式和社會(huì)結(jié)構(gòu)。然而，AI也提出了新的倫理和社會(huì)問(wèn)題，這些問(wèn)題需要我們仔細(xì)考慮。
編碼
用戶(hù)輸入：
用python寫(xiě)一個(gè)函數(shù)實(shí)現(xiàn)快速排序算法，要求輸入為一個(gè)列表，列表里的元素都是float類(lèi)型，返回一個(gè)排好序后的列表。記住要給代碼加中文注釋。微調(diào)模型輸出：
defquick_sort(nums):
# 快速排序的遞歸函數(shù)# 如果列表長(zhǎng)度小于等于1，則直接返回，因?yàn)榱斜硪呀?jīng)是排序好的iflen(nums) <= 1:
return nums
# 選擇基準(zhǔn)值，這里選擇列表的第一個(gè)元素
pivot = nums[0]
# 分隔列表，將小于基準(zhǔn)值的元素放在左側(cè)，大于基準(zhǔn)值的元素放在右側(cè)
left = [num for num in nums[1:] if num < pivot]
right = [num for num in nums[1:] if num >= pivot]
# 遞歸地對(duì)左側(cè)和右側(cè)進(jìn)行快速排序
left = quick_sort(left)
right = quick_sort(right)
# 將左側(cè)、基準(zhǔn)值、右側(cè)合并成一個(gè)排序后的列表return left + [pivot] + right作者信息
Gemma-2-9B-Chinese-Chat和Gemma-2-27B-Chinese-Chat微調(diào)模型的貢獻(xiàn)者是王慎執(zhí)和鄭耀威。
王慎執(zhí)同學(xué)是清華大學(xué)自動(dòng)化系LEAP實(shí)驗(yàn)室的三年級(jí)博士生，導(dǎo)師是宋士吉教授和黃高副教授。
在此之前，他在北京航空航天大學(xué)沈元榮譽(yù)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)以?xún)?yōu)異成績(jī)獲得工學(xué)學(xué)士學(xué)位。
王慎執(zhí)
王同學(xué)是開(kāi)源項(xiàng)目的積極倡導(dǎo)者，幾個(gè)流行的微調(diào)LLM都是他發(fā)布的，如Llama3-8B-Chinese-Chat、Llama3-70B-Chinese-Chat和Mistral-7B-v0.3-Chinese-Chat。
業(yè)余時(shí)間，他還會(huì)在知乎上寫(xiě)一些中文科技博客，目前有10k+粉絲。
鄭耀威是王慎執(zhí)在本科期間的同學(xué)，他們此前就曾多次合作。
鄭耀威
鄭耀威目前仍在北航讀博，他曾以第一作者在CVPR、AAAI、WWW等頂會(huì)發(fā)表多篇論文，并擔(dān)任AAAI、EMNLP、Neural Computation等會(huì)議和期刊審稿人。
他也是大模型微調(diào)框架LLaMA Factory的發(fā)起人和主要開(kāi)發(fā)者，GitHub開(kāi)源項(xiàng)目獲得超過(guò)2萬(wàn)星標(biāo)。
在這些優(yōu)秀的貢獻(xiàn)者的不斷努力之下，開(kāi)源模型之路會(huì)越走越寬廣，模型的中文能力也會(huì)逐漸增強(qiáng)。
