?相信你只要了解過大模型，就聽過 token 這個詞兒，大家在用 ChatGPT 的 API 時，是按 token 計費的。

例如，你提問消耗了 100 token，ChatGPT 根據(jù)你的輸入，回答了 200 token，那么一共消費的 token 數(shù)就是 300。

有時候看一些偏技術的文章，一些模型后面帶著 8k、32k，甚至 100k，這也是指模型能處理的最大 token 長度。

既然 token 在大模型領域這么高頻出現(xiàn)，我們不禁要問：

• 什么是 token？
• 它是怎么計算的？
• 一個 token 是指一個字嗎？
• 中文和英文的 token 是一樣的嗎？

這篇文章我們就來聊聊這些問題，大模型中的"token"是指文本的最小處理單位，在大模型處理中，將文本劃分為 token 是對文本進行分析和處理的基本步驟之一。

通常情況下，一個 token 可以是一個單詞、一個標點符號、一個數(shù)字，或者是其他更小的文本單元，如子詞或字符。

以下是不同 token 切分類型的介紹：

（1）單詞級 token

即 token 是按照單詞進行劃分的。一個句子中的每個單詞通常都會成為一個獨立的 token。

例如，在句子"我是丁師兄"中，"我"、"是"、"丁師兄"分別是三個單詞級 token。

（2）標點符號級 token

除了單詞，標點符號通常也作為獨立的 token 存在。這是因為標點符號在語義和語法上都具有重要的作用。

例如，在句子"token 好理解嗎？"中，除了"token 好理解嗎"作為一個整體的 token 外，最后的問號"？"也是一個獨立的 token。

（3）子詞級 token

為了更好地處理復雜的語言情況，有時候?qū)卧~進一步劃分為子詞級的 token。

例如，單詞"unhappiness"可以被劃分為子詞級token "un-"、"happiness"。

更復雜一點的，現(xiàn)在大模型比較流行的子詞級 token 還有字節(jié)對編碼（BPE），這也是 ChatGPT 官方采用的 token 編碼方法，它是通過合并出現(xiàn)頻繁的子詞對來實現(xiàn)的。

（4）字符級 token

在某些情況下，特別是在字符級別的處理任務中，文本會被劃分為字符級 token。這樣做可以處理字符級別的特征和模式。

例如，在句子"Hello!"中，"H"、"e"、"l"、"l"、"o"和"!"分別是六個字符級 token。

通過對文本做成一個一個的 token，LLM 模型能夠更好地理解和處理語言，從而實現(xiàn)任務如文本生成、機器翻譯、文本分類等。

因此，現(xiàn)在主流的大模型都會自帶一個 tokenizer，也就是自動將輸入文本解析成一個一個的 token，然后做編碼（就是查字典，轉(zhuǎn)換成數(shù)字），作為大模型真正的“輸入”。

最后，那么在 ChatGPT 中，一個 token 到底是多長？

下面是一些有用的經(jīng)驗法則，可以幫助理解 token 的實際長度：對于英文文本，1 個 token 大約是 4 個字符或 0.75 個單詞。

通常來說，也就是 1000 個 Token 約等于 750 個英文單詞。對于中文，1000 個 Token 通常等于 400～500 個漢字。?

本文轉(zhuǎn)載自 ??丁師兄大模型??，作者： 丁師兄