當(dāng)前 AI 在推理能力提升上遇到了諸多瓶頸，這在一定程度上限制了其進(jìn)一步發(fā)展和廣泛應(yīng)用。在傳統(tǒng)的 AI 訓(xùn)練中，模型對(duì)大量監(jiān)督數(shù)據(jù)的依賴是一個(gè)顯著問題。

監(jiān)督學(xué)習(xí)需要大量帶有標(biāo)注的數(shù)據(jù)來訓(xùn)練模型，使其能夠?qū)π碌臄?shù)據(jù)進(jìn)行準(zhǔn)確的分類或預(yù)測(cè)。然而，獲取高質(zhì)量的標(biāo)注數(shù)據(jù)往往需要耗費(fèi)大量的人力、物力和時(shí)間。

以圖像識(shí)別為例，為了訓(xùn)練一個(gè)能夠準(zhǔn)確識(shí)別各種動(dòng)物的 AI 模型，需要人工對(duì)大量的動(dòng)物圖像進(jìn)行標(biāo)注，標(biāo)記出圖像中動(dòng)物的種類、特征等信息。這個(gè)過程不僅繁瑣，而且容易出現(xiàn)標(biāo)注錯(cuò)誤，從而影響模型的訓(xùn)練效果。

在復(fù)雜任務(wù)中，AI 的推理也存在明顯的局限性。許多 AI 模型在面對(duì)需要多步邏輯推理的任務(wù)時(shí)，表現(xiàn)并不理想。

強(qiáng)化學(xué)習(xí)是一種通過讓智能體在環(huán)境中不斷嘗試和學(xué)習(xí)，以獲得最優(yōu)的行為策略的方法。與監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不需要大量的標(biāo)注數(shù)據(jù)，而是通過智能體與環(huán)境的交互，根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)信號(hào)來學(xué)習(xí)最優(yōu)策略。

DeepSeek-R1-Zero 模型完全依賴于強(qiáng)化學(xué)習(xí)技術(shù)，而不涉及任何形式的監(jiān)督式微調(diào)（Supervised Fine-Tuning，SFT）。這種全新的訓(xùn)練方式使得模型能夠在沒有人為干預(yù)的情況下，通過自我進(jìn)化不斷提升其推理能力。它的出現(xiàn)，為 AI 推理能力的提升開辟了一條新的道路，也為解決當(dāng)前 AI 發(fā)展的困境帶來了新的希望。

"自我進(jìn)化"的顯著特點(diǎn)

（一）自驗(yàn)證和反思：模型的自我糾錯(cuò)

在 DeepSeek-R1-Zero 的自我進(jìn)化過程中，自驗(yàn)證和反思是其重要的特點(diǎn)之一。自驗(yàn)證是指模型能夠?qū)ψ陨淼耐评磉^程和結(jié)果進(jìn)行檢驗(yàn)，判斷其是否合理和準(zhǔn)確。反思則是在自驗(yàn)證的基礎(chǔ)上，當(dāng)發(fā)現(xiàn)問題時(shí)，模型能夠?qū)ψ约旱乃伎歼^程進(jìn)行回顧和分析，找出錯(cuò)誤的原因，并嘗試調(diào)整和改進(jìn)。

具體來說，在實(shí)際應(yīng)用中，當(dāng)模型面對(duì)一個(gè)數(shù)學(xué)問題時(shí)，它會(huì)按照自己的推理邏輯得出一個(gè)答案。然后，模型會(huì)啟動(dòng)自驗(yàn)證機(jī)制，通過驗(yàn)證函數(shù)對(duì)這個(gè)答案進(jìn)行檢查。如果發(fā)現(xiàn)答案不符合數(shù)學(xué)運(yùn)算的基本規(guī)則，比如在加法運(yùn)算中，結(jié)果小于其中一個(gè)加數(shù)，那么模型就會(huì)意識(shí)到可能出現(xiàn)了錯(cuò)誤。

接下來，模型會(huì)進(jìn)入反思階段，它會(huì)回顧自己的推理步驟，分析是哪個(gè)環(huán)節(jié)出現(xiàn)了問題。可能是在某個(gè)計(jì)算步驟中出現(xiàn)了失誤，或者是對(duì)問題的理解存在偏差。通過反思，模型會(huì)嘗試調(diào)整自己的推理過程，重新計(jì)算答案，直到得到一個(gè)經(jīng)過自驗(yàn)證認(rèn)為合理的結(jié)果。

這種自驗(yàn)證和反思的能力，使得 DeepSeek-R1-Zero 能夠在不斷的自我學(xué)習(xí)和進(jìn)化中，提高自己的推理準(zhǔn)確性和可靠性。它不再僅僅依賴于外部的監(jiān)督和糾正，而是能夠自主地發(fā)現(xiàn)問題并解決問題，這是其在人工智能領(lǐng)域中具有重要意義的創(chuàng)新之處。

（二）長鏈思考（CoT）生成：深度推理的奧秘

長鏈思考（CoT）生成是 DeepSeek-R1-Zero 另一個(gè)引人注目的特點(diǎn)。長鏈思考是指模 型在處理復(fù)雜問題時(shí)，能夠生成一系列連貫的、逐步深入的推理步驟，就像人類在解決復(fù)雜問題時(shí)進(jìn)行的深度思考一樣，通過一環(huán)扣一環(huán)的邏輯推理，最終得出準(zhǔn)確的答案。

DeepSeek-R1-Zero 能夠生成長鏈思考，背后有著復(fù)雜而精妙的機(jī)制。從數(shù)學(xué)模型的角度來看，它可以被理解為一個(gè)基于序列生成的過程。

這種長鏈思考的能力，使得 DeepSeek-R1-Zero 能夠處理那些需要深度推理和綜合分析的復(fù)雜問題。它能夠?qū)⒁粋€(gè)大問題分解為多個(gè)小問題，逐步解決，從而提高了模型在復(fù)雜任務(wù)中的表現(xiàn)。與傳統(tǒng)的語言模型相比，DeepSeek-R1-Zero 的長鏈思考能力使其在面對(duì)復(fù)雜問題時(shí)，能夠提供更加詳細(xì)、準(zhǔn)確和有邏輯的回答，這對(duì)于推動(dòng)人工智能在科學(xué)研究、工程設(shè)計(jì)、醫(yī)療診斷等領(lǐng)域的應(yīng)用具有重要的意義。

（三）“aha moment”：靈感閃現(xiàn)的瞬間

“aha moment” 是 DeepSeek-R1-Zero 在訓(xùn)練過程中出現(xiàn)的一種獨(dú)特現(xiàn)象，它為模型的推理能力提升帶來了意想不到的突破。“aha moment” 原本是心理學(xué)中的一個(gè)概念，指的是人們?cè)诮鉀Q問題時(shí)突然獲得靈感、恍然大悟的瞬間。在 DeepSeek-R1-Zero 中，“aha moment” 表現(xiàn)為模型在訓(xùn)練過程中，突然對(duì)自己的初始推理步驟進(jìn)行重新評(píng)估和調(diào)整，從而顯著提高推理能力。

具體來說，在訓(xùn)練過程中，模型會(huì)不斷地嘗試解決各種問題，在這個(gè)過程中，它可能會(huì)陷入一些局部最優(yōu)解或者錯(cuò)誤的推理路徑。然而，在某些特定的時(shí)刻，模型會(huì)自發(fā)地對(duì)自己的初始步驟進(jìn)行反思和重新審視。它會(huì)從不同的角度去思考問題，嘗試不同的推理策略，就好像突然找到了新的思路一樣。這種重新評(píng)估和調(diào)整往往會(huì)帶來推理能力的顯著提升，使得模型能夠更好地解決復(fù)雜問題。

從原理上來說，“aha moment” 的出現(xiàn)與模型的強(qiáng)化學(xué)習(xí)過程密切相關(guān)。在強(qiáng)化學(xué)習(xí)中，模型通過與環(huán)境進(jìn)行交互，根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)信號(hào)來不斷調(diào)整自己的行為策略。當(dāng)模型在解決問題時(shí)，它會(huì)根據(jù)當(dāng)前的推理步驟得到一個(gè)獎(jiǎng)勵(lì)值，如果這個(gè)獎(jiǎng)勵(lì)值較低，說明當(dāng)前的推理策略可能不是最優(yōu)的。在這種情況下，模型會(huì)嘗試探索新的推理路徑，當(dāng)它偶然發(fā)現(xiàn)一種新的、更有效的推理方式時(shí)，就會(huì)出現(xiàn) “aha moment”。這個(gè)新的推理方式會(huì)得到更高的獎(jiǎng)勵(lì)值，模型會(huì)記住這個(gè)成功的經(jīng)驗(yàn)，并在后續(xù)的推理中更多地采用這種方式，從而提高自己的推理能力。

“aha moment” 的出現(xiàn)，為 DeepSeek-R1-Zero 的自我進(jìn)化提供了一種強(qiáng)大的驅(qū)動(dòng)力。它使得模型能夠在不斷的嘗試和探索中，突破原有的思維局限，發(fā)現(xiàn)更優(yōu)的推理策略，從而實(shí)現(xiàn)推理能力的跨越式提升。這種現(xiàn)象也為人工智能的發(fā)展提供了新的思路和方向，讓我們看到了模型在自主學(xué)習(xí)和進(jìn)化過程中所蘊(yùn)含的巨大潛力。

實(shí)現(xiàn)自我進(jìn)化的技術(shù)基石

（一）強(qiáng)化學(xué)習(xí)：驅(qū)動(dòng)進(jìn)化的引擎

強(qiáng)化學(xué)習(xí)作為 DeepSeek-R1-Zero 實(shí)現(xiàn)自我進(jìn)化的核心技術(shù)之一，在其發(fā)展過程中發(fā)揮著至關(guān)重要的作用。強(qiáng)化學(xué)習(xí)是一種基于智能體與環(huán)境交互的學(xué)習(xí)范式，智能體在環(huán)境中執(zhí)行動(dòng)作，環(huán)境根據(jù)智能體的動(dòng)作反饋獎(jiǎng)勵(lì)信號(hào)，智能體通過不斷地嘗試和學(xué)習(xí)，調(diào)整自己的行為策略，以最大化長期累積獎(jiǎng)勵(lì)。

在 DeepSeek-R1-Zero 中，強(qiáng)化學(xué)習(xí)的過程可以看作是模型在不斷地探索和嘗試解決各種問題。以數(shù)學(xué)問題為例，模型就像是一個(gè)解題者，它會(huì)根據(jù)自己當(dāng)前的知識(shí)和策略，嘗試不同的解題步驟。如果它的解題步驟得到了正確的答案，就會(huì)得到一個(gè)正的獎(jiǎng)勵(lì)信號(hào)；如果答案錯(cuò)誤，或者解題過程不符合要求，就會(huì)得到一個(gè)負(fù)的獎(jiǎng)勵(lì)信號(hào)。模型通過不斷地接收這些獎(jiǎng)勵(lì)信號(hào)，調(diào)整自己的解題策略，逐漸提高自己解決數(shù)學(xué)問題的能力。

DeepSeek-R1-Zero 通過不斷地與環(huán)境交互，根據(jù)獎(jiǎng)勵(lì)信號(hào)來調(diào)整自己的策略，逐漸優(yōu)化自己的推理能力。在這個(gè)過程中，它不斷地嘗試新的推理路徑和方法，通過強(qiáng)化學(xué)習(xí)的機(jī)制，將那些能夠得到高獎(jiǎng)勵(lì)的推理策略保留下來，從而實(shí)現(xiàn)自我進(jìn)化。

（二）群體相對(duì)策略優(yōu)化（GRPO）算法

群體相對(duì)策略優(yōu)化（GRPO）算法是 DeepSeek-R1-Zero 中另一個(gè)關(guān)鍵的技術(shù)，它為模型的訓(xùn)練和優(yōu)化提供了高效的方法。GRPO 算法的核心思想是通過群體相對(duì)策略優(yōu)化，避免了傳統(tǒng)強(qiáng)化學(xué)習(xí)算法中對(duì)價(jià)值網(wǎng)絡(luò)的依賴，從而降低了訓(xùn)練成本，提高了訓(xùn)練效率。

在傳統(tǒng)的近端策略優(yōu)化（PPO）算法中，需要維護(hù)一個(gè)與策略模型大小相當(dāng)?shù)膬r(jià)值網(wǎng)絡(luò)來估計(jì)優(yōu)勢(shì)函數(shù)，這在大規(guī)模模型訓(xùn)練中會(huì)帶來巨大的計(jì)算和存儲(chǔ)負(fù)擔(dān)。而 GRPO 算法則摒棄了這種方式，它通過從舊策略中采樣一組輸出，并最大化目標(biāo)函數(shù)來優(yōu)化策略模型。

通過這種方式，GRPO 算法能夠在不依賴價(jià)值網(wǎng)絡(luò)的情況下，實(shí)現(xiàn)對(duì)策略模型的有效優(yōu)化，同時(shí)保持訓(xùn)練過程的穩(wěn)定性和高效性。與傳統(tǒng)的 PPO 算法相比，GRPO 算法具有更低的計(jì)算成本和更好的訓(xùn)練穩(wěn)定性，能夠更有效地提升 DeepSeek-R1-Zero 的推理能力。

（三）獎(jiǎng)勵(lì)建模：引導(dǎo)進(jìn)化的方向

獎(jiǎng)勵(lì)建模在 DeepSeek-R1-Zero 的自我進(jìn)化過程中起著引導(dǎo)方向的重要作用。它就像是一個(gè)指南針，告訴模型什么樣的行為是好的，什么樣的行為是不好的，從而引導(dǎo)模型朝著正確的方向進(jìn)化。

DeepSeek-R1-Zero 采用了一個(gè)基于規(guī)則的獎(jiǎng)勵(lì)系統(tǒng)，這個(gè)系統(tǒng)主要包含兩類獎(jiǎng)勵(lì)：準(zhǔn)確性獎(jiǎng)勵(lì)和格式獎(jiǎng)勵(lì)。

準(zhǔn)確性獎(jiǎng)勵(lì)主要用于評(píng)估模型回答的正確性。對(duì)于具有確定性結(jié)果的任務(wù)，如數(shù)學(xué)問題，要求模型以特定格式（如在方框內(nèi)）提供最終答案，以便能夠可靠地基于規(guī)則驗(yàn)證正確性。在解決數(shù)學(xué)方程時(shí)，模型給出的答案如果經(jīng)過驗(yàn)證是正確的，就會(huì)得到較高的準(zhǔn)確性獎(jiǎng)勵(lì)；如果答案錯(cuò)誤，則得到較低的獎(jiǎng)勵(lì)。對(duì)于編程問題，如 LeetCode 問題，可以使用編譯器基于預(yù)定義的測(cè)試用例生成反饋，判斷代碼的正確性，從而給予相應(yīng)的準(zhǔn)確性獎(jiǎng)勵(lì)。如果模型編寫的代碼能夠通過所有的測(cè)試用例，就會(huì)獲得較高的獎(jiǎng)勵(lì)；否則，獎(jiǎng)勵(lì)較低。

通過這兩種獎(jiǎng)勵(lì)的結(jié)合，DeepSeek-R1-Zero 能夠在訓(xùn)練過程中不斷地調(diào)整自己的行為，提高自己的推理能力和輸出質(zhì)量。準(zhǔn)確性獎(jiǎng)勵(lì)促使模型努力尋找正確的答案，而格式獎(jiǎng)勵(lì)則幫助模型整理自己的思路，以更清晰、更有條理的方式呈現(xiàn)推理過程。這種獎(jiǎng)勵(lì)建模的方式為模型的自我進(jìn)化提供了明確的目標(biāo)和方向，使得模型能夠在不斷的嘗試和學(xué)習(xí)中，逐漸提升自己的性能，成為一個(gè)更強(qiáng)大的推理模型。

用實(shí)力說話：性能表現(xiàn)與成果

驚艷的基準(zhǔn)測(cè)試成績(jī)

DeepSeek-R1-Zero 在多個(gè)權(quán)威基準(zhǔn)測(cè)試中展現(xiàn)出了卓越的性能，其成績(jī)令人矚目。在 AIME 2024（美國數(shù)學(xué)邀請(qǐng)賽）基準(zhǔn)測(cè)試中，這是一項(xiàng)極具挑戰(zhàn)性的數(shù)學(xué)競(jìng)賽，要求參賽者具備深厚的數(shù)學(xué)知識(shí)和強(qiáng)大的推理能力。DeepSeek-R1-Zero 在訓(xùn)練初期，pass@1 分?jǐn)?shù)僅為 15.6% ，但隨著訓(xùn)練的深入，通過不斷地自我進(jìn)化和優(yōu)化，其 pass@1 分?jǐn)?shù)大幅提升至 71.0% 。更為驚人的是，當(dāng)采用多數(shù)投票機(jī)制時(shí)，其分?jǐn)?shù)更是達(dá)到了 86.7% ，這一成績(jī)與 OpenAI o1-0912 的表現(xiàn)相當(dāng)甚至更優(yōu)，充分證明了其在數(shù)學(xué)推理領(lǐng)域的強(qiáng)大實(shí)力。

在 MATH - 500 基準(zhǔn)測(cè)試中，DeepSeek-R1-Zero 同樣表現(xiàn)出色。該測(cè)試主要考察模型在復(fù)雜數(shù)學(xué)問題上的解決能力，涵蓋了代數(shù)、幾何、數(shù)論等多個(gè)數(shù)學(xué)分支。DeepSeek-R1-Zero 在這個(gè)測(cè)試中的成績(jī)遠(yuǎn)超傳統(tǒng)監(jiān)督學(xué)習(xí)訓(xùn)練的模型，進(jìn)一步證明了強(qiáng)化學(xué)習(xí)在增強(qiáng)數(shù)學(xué)推理能力方面的顯著效果。與其他知名模型相比，如 OpenAI 的 o1 系列模型，DeepSeek-R1-Zero 在某些指標(biāo)上也毫不遜色，甚至在部分任務(wù)上表現(xiàn)更為突出。

在復(fù)雜問題解答（GPQA）方面，DeepSeek-R1-Zero 與 OpenAI-o1-mini 相比，正確率提升了 13.3% ，這表明它在理解和回答復(fù)雜問題時(shí)，能夠更準(zhǔn)確地把握問題的關(guān)鍵，提供更合理的答案。在代碼推理任務(wù)中，盡管它仍然落后于 OpenAI-o1-0912，但在強(qiáng)化學(xué)習(xí)的幫助下，已經(jīng)具備了相當(dāng)強(qiáng)的代碼分析能力，能夠?qū)Υa的邏輯、功能和潛在問題進(jìn)行有效的推理和判斷。 這些基準(zhǔn)測(cè)試成績(jī)不僅體現(xiàn)了 DeepSeek-R1-Zero 強(qiáng)大的推理能力，也證明了其自我進(jìn)化過程的有效性。通過不斷地自我驗(yàn)證、反思和長鏈思考，它能夠在各種復(fù)雜任務(wù)中不斷提升自己的表現(xiàn)，為人工智能在數(shù)學(xué)、科學(xué)等領(lǐng)域的應(yīng)用提供了有力的支持。

本文轉(zhuǎn)載自??智駐未來??，作者： 小智