DeepSeek“極你太美”bug，官方回應(yīng)了
DeepSeek V3.1上演的bug大秀“極你太美”，可謂是讓全網(wǎng)熱議了一波。
簡(jiǎn)單來說呢，就是陸續(xù)有開發(fā)者們發(fā)現(xiàn)，當(dāng)他們?cè)谡{(diào)用API進(jìn)行代碼開發(fā)的過程中，輸出結(jié)果里會(huì)時(shí)不時(shí)蹦出來“極”字。
像這樣：
圖片
這個(gè)問題最初是在火山引擎、chutes等平臺(tái)上被發(fā)現(xiàn)，但隨著事件的發(fā)酵，更多平臺(tái)也被卷入了進(jìn)來，包括騰訊的CodeBuddy，甚至是DeepSeek官方……
圖片
事件之火，在國(guó)外Reddit上也是討論聲一片，重災(zāi)區(qū)是“extreme”、“極” 和“極”：
- “extreme”（id:15075）
- “極”（id:2577，簡(jiǎn)體中文的extreme）
- “極”（id:16411，繁體中文中的extreme）
圖片
騰訊CodeBuddy還出現(xiàn)了更加奇葩的情況，直接插了句帶“極”字兒的廣告……
圖源：小紅書用戶@ 奈緒白 Nine-piece shell
若是開發(fā)者們沒有細(xì)看，直接用了生成的代碼，那定然是會(huì)導(dǎo)致編譯不通過等情況，可以說是對(duì)需要高精度、結(jié)構(gòu)化輸出的場(chǎng)景是致命一擊。
截至目前，大家已經(jīng)統(tǒng)一將問題的矛頭指向了DeepSeek V3.1模型本身，以及CodeBuddy幫忙問了：
已經(jīng)和DeepSeek團(tuán)隊(duì)取得聯(lián)系，將在最近的一個(gè)版本中進(jìn)行修復(fù)。
圖源：微信公眾號(hào)“劉小排r”評(píng)論區(qū)
現(xiàn)在該如何防范“極”字bug？
就目前來看，雖然完全解決問題要等到DeepSeek官方下場(chǎng)，但已經(jīng)有網(wǎng)友開始支招解決這個(gè)問題了。
例如小紅書網(wǎng)友@大模型產(chǎn)品經(jīng)理，便分享了一招——提示詞緩解：
圖片
關(guān)鍵的一句提示詞是這樣的：
禁止如下符號(hào)序列模式：[空格] [幾個(gè)token] [占位符/省略符號(hào)]
并且這個(gè)方法主要是針對(duì)調(diào)用API的第三方平臺(tái)，若是在DeepSeek V3.1官方，則不需要。
為什么會(huì)這樣？
最后，至于為什么DeepSeek V3.1會(huì)出現(xiàn)這樣的bug，知乎網(wǎng)友、階躍星辰黃哲威給出了他的看法，并獲得了高贊。
圖片
他首先指出，這種現(xiàn)象并非孤例。在他使用小模型和開源數(shù)據(jù)蒸餾，以及在測(cè)試早期的R1模型時(shí)，就曾遇到過類似的bug。
黃哲威認(rèn)為，這與大模型編程編題時(shí)可能出現(xiàn)的一種“惡性模式”（malicious pattern）有關(guān)。他舉例說，在枚舉素?cái)?shù)的任務(wù)中，一個(gè)正常的模型本應(yīng)無限地列舉下去，如“素?cái)?shù)表 2, 3, 5, 7 …”。
然而，他觀察到之前一個(gè)代號(hào)為 R1-0528 的模型會(huì)出現(xiàn)一種奇特行為：在列舉一段后會(huì)自行停止，變成一個(gè)有限的列表，例如“素?cái)?shù)表 2, 3, 5, 7 … 997, 極長(zhǎng)”。
這個(gè)“極長(zhǎng)”的用法，與現(xiàn)在討論的“極”字問題非常相似，常常出現(xiàn)在大量惡性重復(fù)之后，作為正常推理過程的回正。有時(shí)，模型甚至?xí)敵觥?0000000…0000極大的數(shù)字”這樣的內(nèi)容。
他進(jìn)一步描述了這種bug的觸發(fā)場(chǎng)景。當(dāng)模型陷入“thinking”的末尾循環(huán)無法跳出時(shí)，有千分之一的概率會(huì)突然蹦出一個(gè)“極”字，然后終止思考（），這似乎是一種特殊的終止符或標(biāo)記。
通過觀察R1模型大量的輸出，黃哲威發(fā)現(xiàn)了不少問題，包括超長(zhǎng)響應(yīng)（response）、大面積的空白字符、不斷的短句重復(fù)等，甚至連thinking末尾的英文字符都變得破碎。
基于以上觀察，他提出了一個(gè)核心推測(cè)：這個(gè)問題的根源可能在于數(shù)據(jù)清洗不徹底。他認(rèn)為，在進(jìn)行SFT（監(jiān)督微調(diào)）數(shù)據(jù)合成，乃至構(gòu)建預(yù)訓(xùn)練數(shù)據(jù)時(shí)，可能沒有將一組名為“‘極長(zhǎng)’的數(shù)組”的“臟數(shù)據(jù)”清洗干凈。
他推斷，R1模型在處理一些難題的解答時(shí)，似乎大量使用了RAG（檢索增強(qiáng)生成）技術(shù)，而后續(xù)的RL+（強(qiáng)化學(xué)習(xí)）階段，模型直接將這個(gè)“極”字當(dāng)作了某種終止符或者語言切換標(biāo)記來學(xué)習(xí)和使用了。
最后，黃哲威總結(jié)道，如果R1迭代時(shí)的數(shù)據(jù)沒有清洗干凈，模型自行蒸餾并“污染”到正常的輸出過程中，是完全可能發(fā)生的。這為理解DeepSeek V3.1模型出現(xiàn)的“極”字問題提供了一個(gè)可能的解釋路徑。
至于這個(gè)被網(wǎng)友戲稱為“極你太美”、“‘極’速版”的問題到底何時(shí)會(huì)徹底解決，就要等DeepSeek官方的新版本了。
參考鏈接：
[1]https://mp.weixin.qq.com/s/MrozcO_iRvoxK1HvgP4IVA
[2]https://www.zhihu.com/question/1942934856603505597
[3]https://www.reddit.com/r/LocalLLaMA/comments/1mzsg6v/deepseek_v31_getting_token_extreme_極_極_out_of/
