現(xiàn)在是“ Agent 十年” 而不是 “Agent 的元年”

Karpathy 提出“這是智能體的十年”，是對先前行業(yè)內(nèi)“這是智能體之年” 的回應(yīng)。

他認(rèn)為“代理的十年”才是對當(dāng)前情況更準(zhǔn)確的描述，行業(yè)內(nèi)存在一定程度的過度預(yù)測（over-prediction）。

Claude Code 和 Codex，這些都是由大語言模型演變而來的早期代理。

它們確實(shí)是令人深刻的。

Karpathy 自己每天都在使用這些代理。

但是，他強(qiáng)調(diào)距離真正成熟的代理，仍有“很多工作要做”

理想的代理應(yīng)該可以像用戶可以雇傭來協(xié)同工作的“員工或?qū)嵙?xí)生”。

但目前人們不使用這些代理來承擔(dān)這類工作，原因是它們 “根本無法工作“

他列出了當(dāng)前 LLM 代理存在的關(guān)鍵認(rèn)知缺陷，并認(rèn)為解決這些問題需要十年時(shí)間：

• 智能不足： 它們沒有足夠的智能。
• 多模態(tài)不足： 它們不夠多模態(tài)。
• 缺乏計(jì)算機(jī)操作能力： 它們不能執(zhí)行計(jì)算機(jī)使用以及所有相關(guān)操作。Karpathy 過去在 OpenAI 的 Universe 項(xiàng)目中嘗試過構(gòu)建使用鍵盤和鼠標(biāo)操作網(wǎng)頁的代理，但他認(rèn)為那時(shí)時(shí)機(jī)過早。他強(qiáng)調(diào)，直到有了大型語言模型（LLM）和強(qiáng)大的表征能力，才能開始訓(xùn)練這些使用計(jì)算機(jī)的代理。
• 缺乏持續(xù)學(xué)習(xí)能力： 它們不具備持續(xù)學(xué)習(xí)的能力。用戶不能簡單地告訴它們一些事情，并期望它們能記住。
• 認(rèn)知不足： 它們在認(rèn)知上有所欠缺。

Karpathy 特別強(qiáng)調(diào)了持續(xù)學(xué)習(xí)對于代理的重要性，并解釋了當(dāng)前 LLM 記憶的機(jī)制和限制。

記憶機(jī)制的誤解：

當(dāng)前 LLM 在對話中看似“記住了”用戶的話，但這實(shí)際上是因?yàn)閷υ挌v史保留在 上下文窗口（context window） 中。

Karpathy 將上下文窗口中的信息比作模型的 “工作記憶”（working memory），這些信息可以直接被神經(jīng)網(wǎng)絡(luò)訪問。

但一旦用戶關(guān)閉窗口或開始一個(gè)新的對話，模型就什么都不記得了。這是因?yàn)樾碌闹R(shí)并沒有真正融入模型的參數(shù)中，而只存在于臨時(shí)的上下文（KV Cache）中。

真正的學(xué)習(xí)與蒸餾：

真正的學(xué)習(xí)意味著模型能夠像人類在睡覺時(shí)那樣，將一天中發(fā)生的事情進(jìn)行 “蒸餾”（distillation），并將其融入到模型的權(quán)重中。

Karpathy 指出，當(dāng)前的 LLM 缺乏這種“蒸餾階段”（distillation phase）：

1. 它們不會(huì)對發(fā)生的事情進(jìn)行分析、反思、進(jìn)行合成數(shù)據(jù)生成，然后將其蒸餾回權(quán)重中。
2. 人類顯然有一種過程，可以將某些知識(shí)蒸餾到權(quán)重中，而這是 LLM 缺失的。
3. 目前，模型權(quán)重中的知識(shí)只是訓(xùn)練時(shí)所發(fā)生事情的“模糊回憶”（hazy recollection），因?yàn)閺?15 萬億個(gè) token 壓縮到幾十億參數(shù)的過程中，存在巨大的壓縮量。

Karpathy 認(rèn)為，持續(xù)學(xué)習(xí)的缺乏，以及無法將新信息融入模型權(quán)重，是 LLM 代理無法真正勝任“員工或?qū)嵙?xí)生”角色的核心原因之一。

他將這種能力缺陷比作 LLM 沒有人類的“海馬體”（hippocampus）。

AI 領(lǐng)域非常奇妙，因?yàn)樗?jīng)歷了一系列“地震式轉(zhuǎn)變”，這些轉(zhuǎn)變使整個(gè)領(lǐng)域突然呈現(xiàn)出截然不同的面貌。他個(gè)人經(jīng)歷了大約兩到三次這樣的轉(zhuǎn)變，并預(yù)計(jì)未來還會(huì)繼續(xù)出現(xiàn)。

AI 領(lǐng)域迄今為止的三個(gè)主要發(fā)展階段或“轉(zhuǎn)變”：

深度學(xué)習(xí)的興起（AlexNet 時(shí)期）

Karpathy 職業(yè)生涯開始時(shí)，深度學(xué)習(xí)（deep learning）還是一個(gè)相對小眾的學(xué)科。他將AlexNet的出現(xiàn)視為第一次戲劇性的歷史性轉(zhuǎn)變。AlexNet 重新定位了所有研究者，促使他們開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然而，這個(gè)階段的訓(xùn)練仍然是針對特定任務(wù)的（per-task），例如圖像分類或神經(jīng)機(jī)器翻譯。

早期智能體和強(qiáng)化學(xué)習(xí) (RL) 的嘗試（Atari 和 Universe 項(xiàng)目）

隨著對構(gòu)建能夠完整與世界互動(dòng)的“智能體”（agent）的興趣日益增長，第二次轉(zhuǎn)變開始出現(xiàn)。大約在 2013 年左右的 Atari 深度強(qiáng)化學(xué)習(xí)轉(zhuǎn)變，就是早期智能體探索的一部分。當(dāng)時(shí)的思潮是利用強(qiáng)化學(xué)習(xí)環(huán)境、游戲和游戲玩法來實(shí)現(xiàn)通用人工智能（AGI）。

然而，Karpathy 認(rèn)為這種對游戲的過度依賴是一個(gè)錯(cuò)誤（misstep）。他指出，他個(gè)人在 OpenAI 參與的 Universe 項(xiàng)目（旨在通過鍵盤和鼠標(biāo)操作網(wǎng)頁的智能體）也證明了這一點(diǎn)。當(dāng)時(shí)，智能體的嘗試是“極度超前”的，因?yàn)槿狈ψ銐虻谋碚髂芰Γ╬ower of representation），導(dǎo)致獎(jiǎng)勵(lì)信號(hào)過于稀疏，模型難以學(xué)習(xí)。

大語言模型 (LLMs) 與表征能力的獲取

第三次轉(zhuǎn)變集中在 LLMs 的出現(xiàn)和對神經(jīng)網(wǎng)絡(luò)表征能力的追求。Karpathy 強(qiáng)調(diào)，在嘗試構(gòu)建智能體之前，必須先獲得 LLM，獲得表征（representations）。當(dāng)前的智能體（如 Claude 和 Codex）之所以更加有能力，正是因?yàn)樗鼈兘⒃诖笮驼Z言模型之上。

總結(jié)而言，人們曾多次試圖過早地追求完整智能體（如 Atari 和 Universe 項(xiàng)目），但事實(shí)證明，必須先完成一些基礎(chǔ)工作，即獲取神經(jīng)網(wǎng)絡(luò)的表征能力。

 AI 的本質(zhì)矛盾：我們在造幽靈，不是動(dòng)物 

- 動(dòng)物是被進(jìn)化出來的（通過 DNA 編碼，經(jīng)過數(shù)十億年優(yōu)化）

- AI 是被模仿出來的（通過互聯(lián)網(wǎng)文檔訓(xùn)練）

這導(dǎo)致了什么？

1. 小斑馬一出生就能跑 → 那是進(jìn)化烤進(jìn) DNA 的能力

2. AI"出生"就會(huì)寫代碼 → 那是從 GitHub 抄來的記憶

關(guān)鍵區(qū)別：

• 斑馬的能力是"烤進(jìn)硬件"的算法
• AI 的能力是"背誦互聯(lián)網(wǎng)"的記憶

Karpathy 不愿將人工智能與動(dòng)物進(jìn)行類比，因?yàn)閯?dòng)物是進(jìn)化的產(chǎn)物，其硬件和本能（如斑馬出生幾分鐘后就能奔跑）是天生的。相比之下，當(dāng)前的人工智能是通過模仿互聯(lián)網(wǎng)上的人類數(shù)據(jù)訓(xùn)練出來的“幽靈”或“精神”，是一種完全不同的、純數(shù)字化的智能形式。

他將預(yù)訓(xùn)練（pre-training）稱為“蹩腳的進(jìn)化”（crappy evolution）。這是一個(gè)在現(xiàn)有技術(shù)條件下，切實(shí)可行的方法，能讓 AI 達(dá)到一個(gè)具有內(nèi)置知識(shí)和智能的起點(diǎn)。歷史性轉(zhuǎn)變 （LLMs）的成功正是基于這種通過大規(guī)模數(shù)據(jù)獲取表征能力（知識(shí)）的方法。

AI的進(jìn)步是計(jì)算自動(dòng)化的連續(xù)延伸（continuum），遵循著“自主性滑塊”（autonomy slider）的趨勢，即人類逐漸將低級任務(wù)抽象并自動(dòng)化。

他提出的一個(gè)核心概念是“認(rèn)知核心”（cognitive core）：一個(gè)被剝離了冗余知識(shí)和記憶，但保留了智能、解決問題和策略算法的實(shí)體。他認(rèn)為當(dāng)前的LLM過于擅長記憶，這種記憶反而會(huì)分散它們的注意力，并導(dǎo)致它們過度依賴訓(xùn)練文檔中的知識(shí)。

 Karpathy 提到，預(yù)訓(xùn)練對神經(jīng)網(wǎng)絡(luò)做了兩件事情。

首先，它從互聯(lián)網(wǎng)上獲取了海量的知識(shí)。其次，通過觀察數(shù)據(jù)中的算法模式，它本身變得智能，在神經(jīng)網(wǎng)絡(luò)內(nèi)部啟動(dòng)了用于實(shí)現(xiàn)上下文學(xué)習(xí)等能力的電路和算法，這些構(gòu)成了他所說的“認(rèn)知核心”。

但

預(yù)訓(xùn)練 ≠ 進(jìn)化（雖然很像）

很多人以為：

• 進(jìn)化 = 給動(dòng)物提供知識(shí)
• 預(yù)訓(xùn)練 = 給 AI 提供知識(shí)

錯(cuò)。

Karpathy 的觀點(diǎn)：

- 進(jìn)化給的是"找知識(shí)的算法"

- 預(yù)訓(xùn)練給的是"知識(shí)本身+一點(diǎn)算法"

預(yù)訓(xùn)練的兩件事：

1. 記住互聯(lián)網(wǎng)上的知識(shí)（這是負(fù)擔(dān)）
2. 學(xué)會(huì)思考的算法（這是核心）

問題： 現(xiàn)在的模型知識(shí)太多了，反而可能阻礙了它們的認(rèn)知能力。

Karpathy ：

"我認(rèn)為我們需要找到一種方法，剝離知識(shí)，保留'認(rèn)知核心'——那個(gè)包含思考算法的智能實(shí)體。"

  強(qiáng)化學(xué)習(xí)的缺陷。

他用“通過吸管吸取監(jiān)督信號(hào)”（sucking supervision through a straw）來形容 RL 的低效和嘈雜：模型需要完成大量的軌跡工作（rollouts），但最終只獲得一個(gè)單一的獎(jiǎng)勵(lì)信號(hào).

然后將該信號(hào)廣播到整個(gè)軌跡上進(jìn)行權(quán)重調(diào)整，這個(gè)單一信息被用來增強(qiáng)或削弱整個(gè)行動(dòng)軌跡，錯(cuò)誤地假設(shè)成功路徑中的每一步都是正確的，這使得學(xué)習(xí)過程充滿噪聲且效率低下。

這會(huì)導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤的行為。他認(rèn)為人類在進(jìn)行智力任務(wù)（如解決問題）時(shí)，基本上不使用強(qiáng)化學(xué)習(xí)。

傳統(tǒng)做法的荒謬感

• 讓模型做 100 次題；
• 只對 3 次答對；
• 然后把這 3 次里的每個(gè) token都標(biāo)“好”；
• 假設(shè)“結(jié)果對 ? 過程每一步都對”。  顯然不對。

人類不是這樣學(xué)的  我們會(huì)回放、標(biāo)注：這一步好，那一步差，為什么。  這是“審查 / 反思”，而不是單純的結(jié)果打分。

RL 典型流程：跑一整段軌跡 → 拿到一個(gè)總獎(jiǎng)勵(lì) → 把這個(gè)獎(jiǎng)勵(lì)廣播回每一步。  

問題在于信用分配：哪怕答案是偶然撞對，錯(cuò)誤步驟也被正向強(qiáng)化。這讓學(xué)習(xí)既嘈雜又昂貴。

人 vs. RL：學(xué)習(xí)范式不匹配

• 人類做智力任務(wù)，會(huì)復(fù)盤過程：哪步奏效、哪步走偏、為什么；
• RL 多是結(jié)果監(jiān)督，缺少“過程標(biāo)注/反思”的高質(zhì)量信號(hào)；
• 這就是為什么 RL 更像訓(xùn)練運(yùn)動(dòng)技能，不擅長抽象推理。

歷史教訓(xùn)與工程現(xiàn)實(shí)

• 早年的“游戲式 RL → 智能體”是一段誤入歧途的熱潮；
• 在真實(shí)知識(shí)工作場景，獎(jiǎng)勵(lì)稀疏，表征不足的問題更明顯；
• 試圖用 LLM 當(dāng)裁判補(bǔ)過程監(jiān)督，很快被對抗樣例攻擊，學(xué)會(huì)“騙分”而不是“解題”。

可行的改進(jìn)路徑（與時(shí)間線一致）

• 先做強(qiáng)表征的基礎(chǔ)模型（預(yù)訓(xùn)練），再談智能體；
• 從“只看結(jié)果”轉(zhuǎn)向“過程可評分”：分步驗(yàn)證、反思/回顧、可解釋的中間狀態(tài)；
• 把記憶與知識(shí)外置（檢索/工具鏈），把參數(shù)容量留給認(rèn)知核心；
• RL 退回到微調(diào)/爬坡角色，而非通用智能的主干。

別等奇點(diǎn)，等擴(kuò)散曲線

現(xiàn)實(shí)很簡單：AI 會(huì)變強(qiáng)，但不是突然變神。

很多人預(yù)測：AI 自動(dòng)化 AI 工程 → 遞歸自我改進(jìn) → 一夜爆炸。

Karpathy 不信。

理由一：歷史把“地震”磨成“坡”  計(jì)算機(jī)、移動(dòng)互聯(lián)網(wǎng)、甚至 2008 年 iPhone，都沒讓 GDP 曲線突然拐頭。  為什么？擴(kuò)散成本——人要學(xué)習(xí)、組織要改造、法規(guī)要跟上、供應(yīng)鏈要重排。  最后一切被“落地摩擦力”壓平成同一條指數(shù)曲線。

理由二：自我改進(jìn)是常態(tài)，不是劇情反轉(zhuǎn)  工程師用 Google、IDE 自動(dòng)補(bǔ)全、Claude Code……這就是在“自舉”。  AI 當(dāng)然會(huì)改進(jìn) AI，但這更像加速度的繼續(xù)，不是瞬移。  “我很難分清 AI 從哪里開始、在哪里結(jié)束——它是計(jì)算的延伸?！?/p>

理由三：你預(yù)設(shè)了“盒子里的上帝”  爆炸論假設(shè)某天會(huì)出現(xiàn)一個(gè)“會(huì)一切”的智能體。  現(xiàn)實(shí)是：工程阻力把夢想分解成 N 個(gè)小坑——持續(xù)學(xué)習(xí)、多模態(tài)、工具使用、長期記憶、可靠性……  要把90%磨到99.999%，每個(gè)“九”都很貴，這就是九的邁進(jìn)。  所以這是“智能體十年”，不是“今年上岸”。

延伸：他看的更遠(yuǎn)  我們“召喚的是幽靈，不是在造動(dòng)物”：預(yù)訓(xùn)練像“蹩腳的進(jìn)化”，給了模型知識(shí) + 一點(diǎn)認(rèn)知核。  未來要把“背書式記憶”剝離，保留“認(rèn)知核心”，也許只要十億參數(shù)量級，事實(shí)交給檢索。

AGI/超級智能更像是自動(dòng)化的線性外推，以漸進(jìn)的社會(huì)擴(kuò)散方式發(fā)生。  別把增長想成“20%→200%”的跳點(diǎn)，而是把“2% 的復(fù)利”維持更久、覆蓋更廣。 

不是爆炸，而是長坡厚雪。

 比較模型權(quán)重中的信息與上下文窗口（KV 緩存）中的信息？

Karpathy 將模型權(quán)重中的信息比作對訓(xùn)練數(shù)據(jù)的“模糊回憶”（hazy recollection），就像一年前讀過的東西，因?yàn)樾畔⒈粯O度壓縮了。相比之下，他將上下文窗口和 KV 緩存比作“工作記憶”（working memory），其中的信息可以被神經(jīng)網(wǎng)絡(luò)直接、即時(shí)地訪問。

 上下文學(xué)習(xí)：真正的智能在這里 

Karpathy 認(rèn)為：

模型在上下文窗口里的表現(xiàn)才是真正的智能，預(yù)訓(xùn)練只是給了它"模糊的互聯(lián)網(wǎng)回憶"

比喻：

- 權(quán)重里的知識(shí) = 你一年前讀過的書的模糊印象

- 上下文窗口的信息 = 你現(xiàn)在手頭正在看的文檔（工作記憶）

數(shù)據(jù)對比：

- 預(yù)訓(xùn)練：Llama 3 在 15 萬億 token 上訓(xùn)練，70B 模型相當(dāng)于每個(gè) token 只存 0.07 bit

- 上下文學(xué)習(xí)：每增加一個(gè) token，KV cache 增加320KB

這是 3500 萬倍的差異。

 為什么編程是 AI 的"甜蜜點(diǎn)"？

Karpathy 給了一個(gè)很少有人說的洞察：

代碼是為什么 AI 首先在編程領(lǐng)域起飛的？

不只是因?yàn)?有很多代碼訓(xùn)練數(shù)據(jù)"，而是：

1. 代碼本身就是文本 → LLM 天生擅長文本

2. 我們有完整的文本基礎(chǔ)設(shè)施 → IDE、diff 工具、版本控制

3. 調(diào)試工具都是文本的 → 錯(cuò)誤信息、日志、堆棧追蹤

對比： 做 PPT 的 AI 為什么難？

• PPT 是圖形+空間排布
• 沒有"diff 工具"來顯示兩個(gè) PPT 的區(qū)別
• 整個(gè)基礎(chǔ)設(shè)施都不存在

但即便如此——

Karpathy 說他在做 nanochat 時(shí)，AI 幫助"有限"：

- 他用的主要是代碼補(bǔ)全，不是"vibe coding"（讓 AI 寫整段代碼）

• Agent 經(jīng)常誤解他的意圖
• 模型太想"幫忙"了，總是添加 try-catch、用 deprecated API、寫過于防御性的代碼

核心問題： AI 對"從未寫過的代碼"不擅長——這恰恰是 AI 研究需要的。

 在構(gòu)建 nanochat 代碼庫時(shí)，為什么 Karpathy 認(rèn)為編程模型（或者他說的“Vibe Coding”）的幫助不大？

Karpathy對AI在軟件工程中的應(yīng)用持實(shí)用主義態(tài)度。他構(gòu)建了nanochat，這是一個(gè)試圖成為構(gòu)建ChatGPT克隆的最簡單、完整的端到端代碼庫。

在構(gòu)建nanochat的過程中，Karpathy發(fā)現(xiàn)，編碼模型提供的幫助“微乎其微”（of very little help）。他認(rèn)為，雖然LLM編碼模型是可用的工具，但開發(fā)者必須學(xué)習(xí)它們擅長和不擅長的領(lǐng)域。

編碼模型的局限性（“認(rèn)知缺陷”）

Karpathy將他與模型的互動(dòng)方式分為三類：完全拒絕LLM、使用自動(dòng)補(bǔ)全（autocomplete），以及使用智能體進(jìn)行“氛圍編程”（vibe coding）。他認(rèn)為自動(dòng)補(bǔ)全是目前的“最佳甜蜜點(diǎn)”（sweet spot），因?yàn)樗ㄟ^在需要代碼的位置輸入前幾個(gè)字符，提供了高信息帶寬來指定需求。

對于更復(fù)雜的“氛圍編程”（讓模型實(shí)現(xiàn)某個(gè)功能），模型在nanochat項(xiàng)目中暴露了嚴(yán)重的認(rèn)知缺陷：

1. 缺乏對獨(dú)創(chuàng)性和精確性的支持：nanochat是一個(gè)“智力密集型”的代碼庫，結(jié)構(gòu)獨(dú)特，且代碼需要精確安排，這與互聯(lián)網(wǎng)上常見的“樣板代碼”（boilerplate stuff）不同。編碼模型在處理獨(dú)創(chuàng)性代碼時(shí)表現(xiàn)不佳。
2. 不理解自定義風(fēng)格和實(shí)現(xiàn)： 模型傾向于假設(shè)Karpathy正在編寫“常規(guī)代碼”，并過度依賴于其訓(xùn)練數(shù)據(jù)中關(guān)于典型做法的記憶。例如，當(dāng)Karpathy為了簡化代碼而自定義實(shí)現(xiàn)了梯度同步，而不是使用PyTorch的Distributed Data Parallel（DDP）容器時(shí)，模型“完全無法內(nèi)化”這種定制，并不斷嘗試讓他使用DDP容器。
3. 過度防御和代碼臃腫： 模型試圖生成“生產(chǎn)代碼庫”，充滿了過度的防御性代碼（如try-catch語句），導(dǎo)致代碼庫“臃腫”（bloating）和復(fù)雜性增加。
4. 使用過時(shí)技術(shù)： 模型還經(jīng)常使用已棄用的API。并且對互聯(lián)網(wǎng)上他并未采用的典型編碼模式有過多記憶。

由于這些原因，Karpathy認(rèn)為讓模型用自然語言（英語）來指定需求“打字太多”（too much typing），效率低下且凈價(jià)值不高。

編碼模型有用之處

AI在軟件工程中并非全無價(jià)值。Karpathy在以下兩種情況下發(fā)現(xiàn)編碼模型很有用：

1. 樣板任務(wù)： 用于生成報(bào)告或其他常規(guī)的、非關(guān)鍵的樣板代碼。
2. 不熟悉的語言： 當(dāng)使用自己不熟悉的語言（如Rust）時(shí)，模型可以幫助他進(jìn)行“氛圍編程”，前提是他對已有Python實(shí)現(xiàn)有充分理解并能通過測試確保正確性。這增加了他對不熟悉語言或范式的可及性。

智能體的局限性與長久的時(shí)間線

Karpathy的nanochat經(jīng)驗(yàn)支持了他對AI時(shí)間線較長（十年）的預(yù)測，并直接挑戰(zhàn)了“AI自動(dòng)化AI工程”將導(dǎo)致超級智能爆炸的流行觀點(diǎn)。

他指出，軟件工程的安全保障需求與自動(dòng)駕駛的安全需求相似：失敗的成本極高。一次災(zāi)難性的編碼錯(cuò)誤可能導(dǎo)致安全漏洞或數(shù)據(jù)泄露。因此，軟件工程領(lǐng)域需要經(jīng)歷“九的行進(jìn)”（march of nines）——從90%的準(zhǔn)確率到99.999%的可靠性——每個(gè)額外的“九”都需要巨大的、恒定的工作量。

模型的局限性可以歸因于它們?nèi)晕葱纬梢粋€(gè)成熟的“認(rèn)知核心”。正是因?yàn)槟Ｐ鸵蕾囉诨ヂ?lián)網(wǎng)上的數(shù)據(jù)和知識(shí)，導(dǎo)致它們在面對獨(dú)特、精確、非樣板化的編碼任務(wù)（如nanochat）時(shí)，無法實(shí)現(xiàn)所需的“去知識(shí)化”（remove some of the knowledge）和保留“算法智慧”（algorithms for thought）的目標(biāo)。

綜上，Karpathy對AI在軟件工程中的作用保持清醒認(rèn)識(shí)：它是一種強(qiáng)大的工具（尤其是自動(dòng)補(bǔ)全），但遠(yuǎn)未達(dá)到自主代理的水平，尤其是在需要?jiǎng)?chuàng)造性、精確性和定制化的高度智力密集型任務(wù)中。這種實(shí)踐經(jīng)驗(yàn)強(qiáng)化了他關(guān)于智能體仍處于發(fā)展早期、需要十年才能解決核心認(rèn)知缺陷的觀點(diǎn)。

 什么是“模型坍塌”（model collapse），Karpathy 如何將其與人一生的認(rèn)知過程聯(lián)系起來？

模型坍塌 模型坍塌是指一個(gè)模型在用自身生成的合成數(shù)據(jù)進(jìn)行訓(xùn)練后，其輸出會(huì)局限在一個(gè)極小的思想或內(nèi)容空間內(nèi)，從而喪失多樣性和熵。Karpathy 將此與人類進(jìn)行類比，認(rèn)為人一生中也會(huì)“坍塌”，不斷重復(fù)相同的想法和言論；而兒童尚未坍塌，因此能說出新奇、令人震驚的話。

Karpathy 認(rèn)為模型坍塌與人類的認(rèn)知過程存在“出奇地好”（surprisingly good）的類比。他提出，人類在一生中也會(huì)經(jīng)歷“坍塌”（Humans collapse during the course of their lives）。

1. 成人（已坍塌）： 成年人被認(rèn)為是“已坍塌的”（we're collapsed），他們最終會(huì)不斷重拾相同的想法（revisiting the same thoughts），反復(fù)說出相同的話（saying more and more of the same stuff）。隨著時(shí)間推移，學(xué)習(xí)率（learning rates）會(huì)下降，坍塌會(huì)繼續(xù)惡化，然后一切都會(huì)惡化（everything deteriorates）。
2. 兒童（未坍塌）： 相比之下，兒童尚未“過擬合”（haven't overfit yet），因此他們“尚未坍塌”（not yet collapsed）。正因?yàn)閮和形刺麄儠?huì)說出讓你震驚的話語（say stuff that will shock you），因?yàn)檫@些話雖然能看出思路來源，但不是人們通常會(huì)說出的內(nèi)容。

此外，這種類比也引出了防止坍塌的研究方向，例如，有人認(rèn)為“做夢” 是防止這種過擬合和坍塌的一種方式，因?yàn)樗鼘⑷酥糜谂c日?，F(xiàn)實(shí)截然不同的“怪異情境”（weird situations），從而尋求更多的熵（entropy）。Karpathy 總結(jié)道，無論是模型還是人類，都必須不斷地在生活中尋求熵。

 為什么 Karpathy 認(rèn)為自動(dòng)駕駛汽車展示了“從演示到產(chǎn)品的差距”（demo-to-product gap）和“九的行軍”（march of nines）現(xiàn)象？

自動(dòng)駕駛與“九的行軍” 自動(dòng)駕駛存在巨大的“從演示到產(chǎn)品的差距”，因?yàn)樽屟菔具_(dá)到 90% 的成功率相對容易，但要使產(chǎn)品變得可靠則極其困難，尤其是在失敗成本極高的情況下。

這需要一個(gè)“九的行軍”過程，即每實(shí)現(xiàn)一個(gè)額外的“九”的可靠性（如從 99% 到 99.9%），都需要付出同等巨大的努力，這就是為什么在初步演示后，產(chǎn)品開發(fā)仍需很長時(shí)間。

  Eureka的愿景和教育目標(biāo) 

Karpathy 擔(dān)憂未來人類地位，害怕出現(xiàn)類似《WALL-E》或《低能兒》（Idiocracy）中描述的未來，即人類被邊緣化和失去力量。

所以，他創(chuàng)辦了Eureka，愿景是建立一個(gè)精英機(jī)構(gòu)——“星際艦隊(duì)學(xué)院”（Starfleet Academy），提供頂級的技術(shù)知識(shí)和前沿教育。

但回到現(xiàn)實(shí)：AI 現(xiàn)在還當(dāng)不了好老師。

  1. 教育 = 建造知識(shí)的坡道

Karpathy 的核心理念： "教育不是傳播知識(shí)，而是建造通往知識(shí)的坡道。"

教育是一個(gè)“非常困難的技術(shù)過程”，他的教育目標(biāo)是最大化“每秒頓悟”（eurekas per second）。

知識(shí)的詛咒：它不是樹，是網(wǎng)。

數(shù)學(xué)家看"導(dǎo)數(shù)"，同時(shí)看到：

極限、切線、變化率、優(yōu)化...

這些概念在他腦子里是同時(shí)存在的。

但新手必須一個(gè)一個(gè)學(xué)。

這就是教育的殘酷：

• 知識(shí)的真實(shí)形態(tài)是"并行"的
• 人類的學(xué)習(xí)方式是"串行"的

好老師的本事：

找到一條路徑，讓你用"串行"的大腦

盡可能逼近"并行"的真相。

Karpathy 認(rèn)為這本質(zhì)上是一個(gè)技術(shù)問題，需要確保學(xué)生永遠(yuǎn)不會(huì)被卡住，所獲得的材料總是“恰到好處”，既不太難也不太簡單。

Karpathy 的 micrograd（100 行代碼實(shí)現(xiàn)反向傳播）：

• 神經(jīng)網(wǎng)絡(luò)的核心僅在這 100 行
• 其他一切都只是“效率優(yōu)化”

他的工程經(jīng)驗(yàn)指導(dǎo)了這一教學(xué)理念：

• 他試圖找到知識(shí)系統(tǒng)的“一級項(xiàng)”（first-order component），并將其簡化，以便學(xué)生首先掌握核心概念，然后再疊加其他效率項(xiàng)和復(fù)雜性。
• 他強(qiáng)調(diào)教學(xué)中要先展示“痛苦”（pain），再呈現(xiàn)“解決方案”，鼓勵(lì)學(xué)生在看到答案前嘗試自己解決問題。

他的 transformer 教程就是這種思維的體現(xiàn)：

從最簡單的 bigram 查找表開始每加一個(gè)組件，都先展示它解決了什么問題永遠(yuǎn)先問學(xué)生“你會(huì)怎么做？”再揭示答案

Karpathy 說這叫"building ramps"——

不是建樓梯（有明確的臺(tái)階），

是建坡道（連臺(tái)階都感覺不到）。

他先讓你 用笨辦法（bigram 查找表），

痛苦到受不了，

然后說"有個(gè)東西能解決這個(gè)痛苦，叫 attention"。

你學(xué)到的不是知識(shí)，是救命稻草。

 此外，Karpathy認(rèn)為物理學(xué)思維是教育中最好的“腦啟動(dòng)器”：

• 早期教育的目標(biāo)不是積累知識(shí)，而是“啟動(dòng)大腦”；
• 物理學(xué)訓(xùn)練能培養(yǎng)模型化思維和抽象能力；
• 它讓人理解一階、二階、三階項(xiàng)的區(qū)別；
• “球形奶?！彪m然被調(diào)侃，卻是極其聰明的簡化思維。

  2. 對AI教育能力的清醒評估

Karpathy認(rèn)為AI的出現(xiàn)必將從根本上改變教育模式，這是大方向。

但現(xiàn)在，別把 LLM 當(dāng)“完美導(dǎo)師”。時(shí)機(jī)未到。

他指出，一個(gè)優(yōu)秀的人類家教（human tutor）設(shè)置了極高的標(biāo)準(zhǔn)。一個(gè)好導(dǎo)師能在短時(shí)間內(nèi)理解學(xué)生的“世界模型”，知道學(xué)生的確切知識(shí)水平和盲點(diǎn)。

知道你會(huì)什么、卡在哪，并 給你剛好合適的挑戰(zhàn)。

他學(xué)韓語時(shí)就是這樣：

• 導(dǎo)師一上手就判斷他的水平；
• 推送難度正好踩在邊界；
• 讓他感覺自己才是瓶頸，而不是課程。

當(dāng)下的 LLM 還遠(yuǎn)遠(yuǎn)做不到。

有時(shí)輸出像“廢物”（slop）。

Karpathy直言，目前的LLM（包括ChatGPT）無法做到這種精準(zhǔn)理解，它們的輸出有時(shí)感覺像“廢物”（slop）。

因此，他目前的做法是：

• 短期策略： 建立更傳統(tǒng)但由AI“注入”和加速的課程，例如LLM101N，其中包含Nanochat作為完整項(xiàng)目。LLM幫助他更快地構(gòu)建材料和處理重復(fù)性工作，但他仍然是核心創(chuàng)作者與架構(gòu)設(shè)計(jì)者。
• 未來發(fā)展： 隨著AI能力提升，未來可能用AI取代助教，提供自動(dòng)化支持。最終，課程設(shè)計(jì)本身也可能由AI完成，甚至做得比人類更好。

3. 后AGI時(shí)代的教育愿景

Karpathy的教育愿景與他對AGI時(shí)間線的看法保持一致。他認(rèn)為，AI的發(fā)展是自動(dòng)化趨勢的延續(xù)，是持續(xù)的、超指數(shù)級的增長，而非突然的、不連續(xù)的爆炸。

他區(qū)分了AGI前后的教育目標(biāo)：

• AGI前： 教育是實(shí)用的，以獲取經(jīng)濟(jì)價(jià)值和職業(yè)技能為導(dǎo)向；
• AGI后： 教育將回歸人類的樂趣與自我成長，就像今天的健身。人們不是為了勞動(dòng)體力，而是為了快樂、健康和心理滿足。

Karpathy相信，當(dāng)AI導(dǎo)師讓學(xué)習(xí)變得輕松愉快時(shí)，人們?nèi)匀粫?huì)為了自我超越而學(xué)習(xí)。通過解決教育的技術(shù)性難題，使學(xué)習(xí)變得“輕而易舉”（trivial）且令人渴望，人類將能超越現(xiàn)有的認(rèn)知極限。

他認(rèn)為天才們現(xiàn)在也只是“觸及了人類心智能力的表面”。未來的教育將讓每個(gè)人都能成為“超人”（superhuman），例如輕松掌握五種語言或大學(xué)本科所有基礎(chǔ)課程。

這種對心智能力極限的追求，是他抵御人類被AI邊緣化的重要方式。

  ONE MORE THING 

好的思想，難得。對于我來說，這些，不僅是思想的啟迪、對模型能力邊界的認(rèn)知。也是我給大模型的絕佳上下文材料、一些提示詞的靈感。

比如那段“把知識(shí)變坡道”的教學(xué)法；對于創(chuàng)作者來說，可以往這個(gè)思想去給讀者做視頻、文章教程或者利用這種理念引導(dǎo)AI幫你學(xué)習(xí)。

以及那些對現(xiàn)在AI編程、還有人類和大模型區(qū)別的解釋等等。。

最開始看到這個(gè)播客內(nèi)容的時(shí)候，忍不住想，聽歌、細(xì)品、再慢敘。

人工智能，我想，也是自我的解構(gòu)。

我也在這里面學(xué)習(xí)理論、范式、方法論，知道how，也想明白why。

愿你在長坡厚雪里，保持耐心，也保持火光。

本文轉(zhuǎn)載自??AI進(jìn)修生??，作者：Aitrainee