上次??《科普神文，一次性講透AI大模型的核心概念》??一文中，我基于結合大量示例及可視化的圖形手段給大家科普了AI大模型的相關算法和核心概念。

但是收到不少非技術背景的小伙伴反饋，相關的算法內容的解釋技術性還是太強，很難完全理解。所以這次，題主從最基礎的概念“token”著手，跳過了復雜的算法邏輯，這次一定讓你建立起對AI大模型工作原理的清晰認知。

什么是token？最小的語義單元

你可能會好奇，大規模語言模型是如何工作的呢？它們是如何從數據中學習到語言的呢？它們是如何根據輸入來生成合理的文本延續的呢？為了回答這些問題，我們需要從最基礎的概念開始講起：token。

在自然語言處理（NLP）中，token是指文本中最小的語義單元。比如，一個句子可以被分割成若干個單詞，每個單詞就是一個token。例如，“I love you”這個句子可以被分割成三個token：“I”，“love”和“you”。token可以幫助我們把文本分解成更容易處理和分析的部分。

但是，并不是所有的語言都可以用空格來劃分單詞。有些語言，比如中文、日語等，沒有明顯的單詞邊界。在這種情況下，我們需要用一些更復雜的方法來進行tokenization（分詞）。比如，我們可以用一些規則或者統計模型來判斷哪些字或者字組合構成了一個有意義的token。例如，“我愛你”這個句子可以被分割成兩個token：“我”和“愛你”。當然，這種方法并不完美，有時候會出現錯誤或者歧義。

除了單詞之外，還有一些其他的符號也可以被視為token。比如，標點符號、數字、表情符號等等。這些符號也可以傳達一些信息或者情感。例如，“I love you!”和“I love you?”就不同于“I love you”，因為感嘆號和問號表達了不同的語氣和態度。

總之，token就是文本中的最小有意義的單位，它們可以幫助我們把文本分解成更容易處理和分析的部分。不同的語言和場景可能需要不同的tokenization方法。接下來，我們要看看GPT系列采用了什么樣的token類型？

GPT系列采用了什么樣的token類型？

GPT系列是一系列基于Transformer的生成式預訓練模型，它們可以用來生成各種類型的文本。目前，已經有了GPT-2、GPT-3和GPT-4等不同版本的模型，它們的區別主要在于模型的大小、訓練數據的規模和質量、以及生成能力的強度。

GPT系列的模型都是基于子詞（subword）來進行tokenization的。子詞是指比單詞更小的語言單位，它們可以根據語料庫中的詞頻和共現頻率來自動劃分。比如，一個單詞“transformer”可以被劃分成兩個子詞“trans”和“former”，或者三個子詞“t”，“rans”和“former”，或者四個子詞“t”，“r”，“ans”和“former”，等等。不同的劃分方法會產生不同數量和長度的子詞。一般來說，子詞越多越短，就越能覆蓋更多的語言現象，但也會增加模型的計算復雜度；子詞越少越長，就越能減少模型的計算復雜度，但也會損失一些語言信息。

GPT系列采用了一種叫做Byte Pair Encoding（BPE）的子詞劃分方法。BPE是一種基于數據壓縮原理的算法，它可以根據語料庫中出現頻率最高的字節對（byte pair）來合并字節，從而生成新的字節。比如，如果語料庫中出現頻率最高的字節對是“ns”，那么BPE就會把所有的“ns”替換成一個新的字節“Z”，從而減少字節總數。這個過程可以重復進行，直到達到預設的字節總數或者沒有更多的字節對可以合并為止。這樣，BPE就可以把原始的字節序列轉換成一個由新字節組成的子詞序列。

例如，“obsessiveness”這個單詞可以被BPE轉換成以下子詞序列：

• 原始字節序列：o b s e s s i v e n e s s
• 第一次合并：o b s e Z i v e n e Z （假設Z代表ss）
• 第二次合并：o b s E i v e n E （假設E代表e Z）
• 最終子詞序列：o b s E i v e n E（如果沒達到預設的字節要求，可合并只出現一次的子詞）

當然，這只是一個簡單的例子，實際上BPE會根據大規模的語料庫來生成更多更復雜的子詞。GPT系列使用了不同大小的BPE詞典來存儲所有可能出現的子詞。比如，GPT-3使用了50,257個子詞。

總之，GPT系列采用了基于BPE算法的子詞作為token類型，主要目的是以無損的方式壓縮文本的內容，從而以保證語言覆蓋度和計算效率之間達到一個平衡。接下來，我們要看看如何用子詞來表示和生成文本？

如何用子詞來表示和生成文本？

我們已經知道了GPT系列使用了子詞作為token類型，并且通過上文講述的BPE或其他相關算法我們可以將文本內容轉換為由子詞組合而成的序列，也就是術語中分詞過程。

有了子詞序列之后，我們就可以用子詞來表示和生成文本了嗎？答案是否定的。因為語言模型是基于神經網絡的，而神經網絡只能處理數值數據，而不能處理文本數據。因此，我們還需要做第二件事情：將子詞序列轉換為數值向量。

這里，我們需要介紹兩個重要的概念：編碼（encoding）和解碼（decoding）。

編碼和解碼

將子詞序列轉換為數值向量的過程叫做編碼（Encoding），它是語言模型的第二步。編碼的目的是將一個個離散且無序的token映射到一個個連續且有序的向量空間中，從而方便語言模型進行計算和學習。比如，我們可以用以下的BPE詞典來表示上面的例子：

那么，編碼和解碼就可以按照以下的規則進行：

• 編碼：根據BPE算法，將文本分割成最長的匹配子詞，然后根據BPE詞典，將每個子詞替換成其對應的數值編碼，從而得到一個數值向量。比如，“obsessiveness”這個單詞可以被編碼為[1, 2, 3, 4, 5，6，7，8，4]這個數值向量。
• 解碼：根據BPE詞典，將每個數值編碼替換成其對應的子詞，然后根據BPE算法，將相鄰的子詞合并成最長的匹配單詞，從而得到一個文本。比如，[1, 2, 3, 4, 5，6，7，8，4]這個數值向量可以被解碼為“obsessiveness”這個單詞。

通過編碼和解碼，我們就可以實現文本和子詞序列向量之間的互相轉換。但是，這還不夠。我們還需要讓GPT系列能夠理解和生成這些子詞序列。為了做到這一點，我們還需要進行另外兩個步驟：嵌入（embedding）和預測（prediction）。

嵌入和預測

我們已經知道，子詞分詞和編解碼，可以把文本轉換成數字，就像我們用數字來表示電話號碼一樣。但是，這樣的數字只是一種編碼方式，它們并不能告訴我們子詞之間有什么關系。比如，我們怎么知道“貓”和“狗”是兩種動物，而“貓”和“桌子”是不同的東西呢？

為了讓GPT系列能夠理解子詞之間的關系，我們需要進行嵌入（embedding）。嵌入就是把每個子詞用一個特征向量來表示，這個特征向量可以反映出子詞的含義、用法、情感等方面的信息。

特征向量的計算算法比較復雜，但計算原理比較容易理解，GPT只需要基于互聯網上大量的文本資料，統計出兩個詞語在相鄰/句子/文章中共同出現的概率并通過權重來匯總計算，就能分析出某個詞語與另外一個詞語的親密度的數值，并將這個數值作為特征向量來描述這個詞語。比如，“貓”在互聯網的資料中與“動物”等詞語一同出現的次數多，所以“貓”的特征向量可能包含了它是一種動物、有毛發、喜歡吃魚、會發出喵喵聲等信息。

通過嵌入，我們就可以把每個子詞看作是高維空間中的一個點，而這些點之間的距離和方向，就可以表示出子詞之間的相似度和差異度。比如，“貓”和“狗”的點因為同為寵物，可能會比較接近，相對“狗”而言，“貓”和“?！钡狞c可能會比較遠離。

在完成嵌入后，我們就可以進行預測（prediction）。預測就是根據給定的文本，計算出下一個子詞出現的概率。比如，如果給定的文本是“我家有一只”，那么下一個子詞可能是“貓”或者“狗”，而不太可能是“桌子”或者“電視”。這個概率的計算，就是基于特征向量表進行的。

通過嵌入和預測，我們就可以實現從數字到文本，或者從文本到數字的轉換。但是，這還不夠。我們還需要讓GPT系列能夠根據給定的文本來生成新的文本。為了做到這一點，我們還需要進行最后一個步驟：生成（generation）。

生成與自回歸

生成是指根據給定的文本來生成新的文本的過程。生成可以分為兩種模式：自回歸（autoregressive）和自編碼（autoencoding），GPT系列主要采用了自回歸模式。

那么什么是自回歸？簡單理解就是想象這么一副畫面：

一個人在拍連環畫，每一頁連環畫都是前一張連環畫的延續。也就是說，人需要看前一張畫乃至前多張畫才能知道該畫什么內容。類似地，自回歸模型中的每個時間點都需要前一個時間點的信息才能計算出當前時間點的輸出值。就像拍連環畫一樣，自回歸模型中各個時間點之間存在著緊密的聯系和依賴關系，這種聯系在預測時間序列數據時非常有用。

例如，“I love you”這個句子可以被GPT系列生成為以下的文本：

• I love you more than anything in the world.
• I love you and I miss you so much.
• I love you, but I can't be with you.

總之，GPT系列使用了子詞、數值向量、實數向量和Transformer模型來表示和生成文本。通過編碼、解碼、嵌入、預測和生成等步驟，它可以實現從文本到文本的轉換。

整體過程可以參考GPT官方的示意圖，如下：

總結

今天，我們學習了GPT系列是如何用子詞來表示和生成文本的。我們了解了token相關的概念和文本生成的步驟，通過這些概念和步驟，我們可以理解GPT系列是如何從文本到文本的轉換。

本文轉載自 ??AI小智??，作者： AI小智