文本已死，視覺(jué)當(dāng)立！Karpathy狂贊DeepSeek新模型，終結(jié)分詞器時(shí)代

2025-10-22 09:01:31

人工智能新聞

AI新突破！DeepSeek-OCR以像素處理文本，壓縮率小于1/10，基準(zhǔn)測(cè)試領(lǐng)跑。開(kāi)源一夜4.4k星，Karpathy技癢難耐，展望視覺(jué)輸入的通用性。

DeepSeek再次讓全世界大吃一驚！

他們最新成果DeepSeek-OCR，從根本上改變了游戲規(guī)則——

文本并非通用的輸入。反而，視覺(jué)將取而代之！

此外，在光學(xué)文字識(shí)別OCR任務(wù)上，DeepSeek-OCR模型名副其實(shí)，堪稱(chēng)工程學(xué)的巔峰之作——

??在單卡A100-40G上，可達(dá)每秒約2500 Token，跑得飛快。

??在保持97% OCR準(zhǔn)確率的前提下，可將視覺(jué)上下文壓縮至原來(lái)的1/20，常規(guī)使用下壓縮比也能輕松小于1/10。

??在OmniDocBench基準(zhǔn)測(cè)試中，使用更少的視覺(jué)Token，即可超越GOT-OCR2.0和MinerU2.0的表現(xiàn)。

到底效果多驚艷？

一整頁(yè)密密麻麻的文本，被壓成僅僅100個(gè)視覺(jué)Token，在 OmniDocBench上實(shí)現(xiàn)最多60倍壓縮！

DeepSeek-OCR簡(jiǎn)直把文字變成了像素點(diǎn)，就像把一本100頁(yè)的書(shū)壓縮成一張照片，AI依然能讀懂它。

參數(shù)少、壓縮率高、速度快、涵蓋100種語(yǔ)言……DeepSeek-OCR全都要。

不僅理論價(jià)值大，實(shí)用性還很高強(qiáng)，好評(píng)如潮：

Github開(kāi)源項(xiàng)目DeepSeek-OCR，一夜收獲4.4k星??：

DeepSeek-OCR用事實(shí)證明，實(shí)體頁(yè)面（如縮微膠片、書(shū)籍）才是訓(xùn)練AI模型的更優(yōu)數(shù)據(jù)源——而非低質(zhì)量的互聯(lián)網(wǎng)文本。

「骨子里的計(jì)算機(jī)視覺(jué)研究者」、特斯拉前AI總監(jiān)、OpenAI創(chuàng)始團(tuán)隊(duì)成員Karpathy，難掩欣喜，力挺DeepSeek新模型。

Karpathy技癢難耐，早已受不了分詞器

Karpathy相當(dāng)喜歡DeepSeek-OCR的新論文。

但更有趣的部分在于，對(duì)于大語(yǔ)言模型來(lái)說(shuō)，像素輸入是否優(yōu)于文本輸入？在輸入端，文本Token會(huì)不會(huì)是一種既浪費(fèi)又糟糕透頂?shù)姆绞剑?/span>

DeepSeek-OCR在動(dòng)搖「文本作為AI的核心地位」，而視覺(jué)或?qū)⒃俅纬蔀橹髁鳎?/span>

Karpathy自稱(chēng)「骨子里搞計(jì)算機(jī)視覺(jué)」，只是暫時(shí)混跡在自然語(yǔ)言處理圈，自然對(duì)上述問(wèn)題尤其感興趣。

或許，大語(yǔ)言模型的所有輸入都只應(yīng)該是圖像，這才更有道理。就算你手頭是純文本輸入，可能也最好先把它渲染成圖像再喂給模型：

更高的信息壓縮率 => 更短的上下文窗口，更高的效率。
信息流的通用性顯著增強(qiáng) => 不再局限于文本，還可以處理粗體、彩色文本乃至任意圖像。
輸入現(xiàn)在可以輕松地、默認(rèn)地采用雙向注意力機(jī)制處理，而不再是自回歸注意力——這可要強(qiáng)大得多。
干掉（輸入端的）分詞器tokenizer！！

特別是最后一點(diǎn)，Karpathy忍了很久了，早就多次吐槽分詞器太爛了——

分詞器丑陋、獨(dú)立，并非端到端的環(huán)節(jié)。

它「引入」了Unicode和字節(jié)編碼的所有糟粕，背負(fù)著沉重的歷史包袱，還帶來(lái)了安全/越獄風(fēng)險(xiǎn)（比如連續(xù)字節(jié)問(wèn)題）。

它讓兩個(gè)肉眼看起來(lái)一模一樣的字符，在網(wǎng)絡(luò)內(nèi)部卻變成了兩個(gè)風(fēng)馬牛不相及的 Token。

一個(gè)微笑的表情符號(hào)??，在LLM模型看來(lái)只是個(gè)奇怪的token，而不是一個(gè)帶有像素、承載著豐富信息、能從中進(jìn)行遷移學(xué)習(xí)的真實(shí)笑臉。

總之，Karpathy認(rèn)為，分詞器「惡行累累」，這次必須趕走分詞器。

此外，他展望了視覺(jué)成為通用輸入的前景：

OCR只是「視覺(jué)到文本」眾多落地應(yīng)用中的一種。而「文本到文本」的任務(wù)也可以被改造為「視覺(jué)到文本」的任務(wù)，反之則不行。

所以，或許用戶(hù)輸入的消息是圖像，但解碼器（即「智能助理」的響應(yīng)）依然是文本。

至于，到底如何真實(shí)地輸出像素或者說(shuō)你是否真想這么做，就遠(yuǎn)沒(méi)那么明朗了。

現(xiàn)在，Karpathy表示，他要拼命忍住，不去搞一個(gè)只用圖像輸入的「nanochat」的支線任務(wù)。

為什么圖像輸入對(duì)AI更友好？

有網(wǎng)友問(wèn)：

首先，為什么圖像能輕易獲得雙向注意力，而文本卻不能？

另外，雖然圖像沒(méi)有像文本那樣的「Token化」過(guò)程，但我們把輸入圖像切割成一個(gè)個(gè)圖像塊（patches）時(shí)，難道得到的不是類(lèi)似，甚至可能更不理想的結(jié)果嗎？

對(duì)此，Karpathy表示，原則上可以，只不過(guò)為了追求效率，文本（的生成）通常采用簡(jiǎn)單的自回歸方式進(jìn)行訓(xùn)練。

可以設(shè)想存在一個(gè)中間訓(xùn)練階段，利用雙向注意力機(jī)制，微調(diào)條件信息，比如那些我們不需要去預(yù)測(cè)或生成的代表用戶(hù)消息的Token。

原則上，你可以對(duì)整個(gè)上下文窗口進(jìn)行雙向編碼，而目的僅僅是為了預(yù)測(cè)下一個(gè) Token。但這么做的代價(jià)就是無(wú)法并行化訓(xùn)練。

至于第二個(gè)問(wèn)題，他認(rèn)為，嚴(yán)格來(lái)說(shuō)與「像素 vs. Token」無(wú)關(guān)。其核心更在于，像素通常是被編碼的（encoded），而 Token則是被解碼的（decoded）。

至于，Karpathy的「nanochat支線任務(wù)論」，網(wǎng)友并不認(rèn)可：

DeepSeekOCR證明這不僅關(guān)乎壓縮——更是語(yǔ)義的蒸餾。

分詞器時(shí)代意味著識(shí)字，像素時(shí)代則關(guān)乎感知。

Nanochat不該是支線任務(wù)，它是「光學(xué)認(rèn)知」的開(kāi)端。

帖子下面，網(wǎng)友懇求Karpathy：快搞個(gè)只用圖像輸入的「nanochat」吧！

Karpathy的前老板、「好兄弟」馬斯克給出了更科幻的猜想：

長(zhǎng)期來(lái)看，AI模型超過(guò)99%的輸入和輸出將是光子。

馬斯克讓Grok估計(jì)了一下已知宇宙的光子總量：

1=估算可觀測(cè)宇宙中的光子總數(shù)是一項(xiàng)復(fù)雜的工作，但我們可以基于幾個(gè)主要組成部分得出一個(gè)大致數(shù)字：宇宙微波背景輻射（CMB）產(chǎn)生的光子、星光光子，以及其他一些微弱來(lái)源。

……

宇宙微波背景輻射（CMB）占據(jù)主導(dǎo)地位，使得可觀測(cè)宇宙中的光子總數(shù)約為1.5×10??個(gè) 。這個(gè)數(shù)字是一個(gè)粗略估算，具體數(shù)值取決于可觀測(cè)宇宙的精確體積以及其他微小來(lái)源的貢獻(xiàn)，但整體上與宇宙學(xué)計(jì)算結(jié)果相符。

1.5×10??！沒(méi)有其他東西能達(dá)到這種規(guī)模。這就是馬斯克的邏輯。

畢竟，人類(lèi)就是通用「光學(xué)計(jì)算系統(tǒng)」——眼睛來(lái)認(rèn)識(shí)世界的：