1.向量與矩陣

上個章節(jié)的神經(jīng)網(wǎng)絡(luò)是為了解Transformer或者Mamba做好鋪墊，在和后輩交流過程中發(fā)現(xiàn)有個障礙，那就是向量和矩陣。其實向量和矩陣的表達方式不是所有人都很習(xí)慣。在繼續(xù)下面的章節(jié)之前小編認為有必要將向量、矩陣和神經(jīng)網(wǎng)絡(luò)做下補充解釋。

向量是具有方向和大小的量，用箭頭表示。向量具有下面的性質(zhì)：

有好事者翻出來內(nèi)積的幾何含義，其實就是兩個向量的長度乘以它們的夾角，那么上面代數(shù)的表達方式和下面的帶有cosθ的表達式一樣么。是一樣的，推導(dǎo)過程略過一千字。

下圖則為矩陣運算，請讀者快速溫習(xí)一下。m*n和n*p的矩陣相乘之后一定是m*p維度的。

2.神經(jīng)網(wǎng)絡(luò)的矩陣表示

先來看一個例子，上圖一個簡單的神經(jīng)網(wǎng)絡(luò)，這套變量的標識方式小編比較認可，上標l代表第幾層，下面代表某一層的第幾個神經(jīng)元。w的兩個下標mn分別代表第m個輸出節(jié)點和第n個下游節(jié)點的權(quán)重。一般用z代表沒有經(jīng)過激活函數(shù)的數(shù)值，而a（ctivation）代表經(jīng)過激活函數(shù)的輸出。

上圖是層1到層2的計算公式，可以將這樣的運算直接轉(zhuǎn)化為矩陣表示。矩陣表達方式十分簡潔清爽，而下圖中的w矩陣就是傳說中的參數(shù)，這些矩陣通過樣本訓(xùn)練而得到。

于是到了這里，基本上從較為抽象的角度，將基于神經(jīng)網(wǎng)絡(luò)的大模型做了簡單的抽象。大模型其實就是多層級深度的神經(jīng)網(wǎng)絡(luò)，通過不斷地累加參數(shù)，不斷地優(yōu)化結(jié)構(gòu)，不斷地調(diào)整樣本，讓神經(jīng)網(wǎng)絡(luò)的信息編碼和激活更加的合理和高效。從另一個側(cè)面來看深度學(xué)習(xí)，其實也是一種復(fù)雜的概率轉(zhuǎn)移矩陣。

3.損失函數(shù)

為了評估每個訓(xùn)練之后，真實值和預(yù)測值之間的差異，需要一個函數(shù)來評估差異化。這個函數(shù)有很多種稱呼，比如“誤差函數(shù)”、“損失函數(shù)”、“代價函數(shù)”等。代價函數(shù)是深度學(xué)習(xí)的重要組成部分，因為它提供了神經(jīng)網(wǎng)絡(luò)在給定任務(wù)上執(zhí)行情況的衡量標準。訓(xùn)練深度學(xué)習(xí)模型的最終目標是最小化損失函數(shù)，這意味著模型能夠做出更準確的預(yù)測并更好地泛化到新數(shù)據(jù)。

例如在回歸問題中采用的MSE來評估代價函數(shù)。

假定在某個批次的數(shù)據(jù)輸入，得到預(yù)測數(shù)據(jù)

[7.6, 8.0, 6.8, 8.9, 7.2, 8.3, 7.0, 8.8, 7.0, 7.6]。

而真實的數(shù)據(jù)為

[7.8, 8.2, 6.5, 9.1, 7.0, 8.5, 6.9, 8.7, 7.2, 7.8]。

兩者其實相當?shù)慕咏?/p>

采用MSE（Mean squared error loss)的評估模式，MSE=(1/n)*Σ(yi - ?i)^2。yi為正確值，?i為預(yù)測值，cost = (1/20) * Σ(yi - ?i)^2 = 0.045

損失函數(shù)一方面指導(dǎo)訓(xùn)練過程，用于計算預(yù)測輸出與真實輸出之間的誤差。神經(jīng)網(wǎng)絡(luò)使用該誤差信號來調(diào)整其權(quán)重和偏差，以減少損失。這個過程稱為反向傳播，它允許神經(jīng)網(wǎng)絡(luò)從錯誤中學(xué)習(xí)并在未來做出更好的預(yù)測。另一方面它有助于避免過度擬合，當模型的過度擬合則無法泛化到新數(shù)據(jù)。通過選擇合適的損失函數(shù)，可以防止過度擬合并確保模型能夠很好地泛化到未見過的數(shù)據(jù)。最后損失函數(shù)的選擇會對模型的性能產(chǎn)生重大影響。通過使用相同損失函數(shù)比較不同模型的性能，可以確定哪個模型對于給定任務(wù)最有效。深度學(xué)習(xí)的不同類型任務(wù)則采用不同的損失（評估）函數(shù)。下面展示的這些代價函數(shù)將會在LLM背后的基礎(chǔ)模型專欄中展開詳細的講解。

• 回歸問題一般為均方誤差(MSE)、平均絕對誤差（MAE）損失、Huber loss和Log-cosh loss。
• 二元分類問題一般為Binary cross-entropy loss二元交叉熵損失、Hinge loss、Focal loss和Dice loss。
• 多類分類問題則為分類交叉熵損失、稀疏分類交叉熵損失、Kullback-Leibler (KL)散度損失和Sparsemax loss。
• 自動編碼器問題：均方誤差(MSE)損失、二元交叉熵損失和Perceptual loss感知損失。
• 生成對抗網(wǎng)絡(luò)損失則一般采用Adversarial loss、L1 or L2 loss、Wasserstein loss和Least squares loss。
• 物體檢測問題對應(yīng)的有Intersection over Union (IoU) loss、Focal loss、Smooth L1 loss、GIoU loss。
• Embedding問題則采用Triplet loss、Contrastive loss、Center loss和Angular loss。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公