機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。

毫無疑問，機(jī)器學(xué)習(xí)/人工智能領(lǐng)域在將來是越來越受歡迎。由于大數(shù)據(jù)是目前科技行業(yè)最熱門的趨勢，機(jī)器學(xué)習(xí)非常強(qiáng)大，可以根據(jù)大量數(shù)據(jù)做出預(yù)測或計算建議。使用大量數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)算法，構(gòu)建出一個能夠理解人類語言并自動生成語言的模型。ChatGPT、文心一言等等，都是機(jī)器學(xué)習(xí)的偉大產(chǎn)物。

機(jī)器學(xué)習(xí)中大模型那么智能當(dāng)然離不開偉大的機(jī)器學(xué)習(xí)算法，下面主要講一下常見機(jī)器學(xué)習(xí)算法的基礎(chǔ)知識。

機(jī)器學(xué)習(xí)算法可以分為三大類——監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。 當(dāng)某個屬性（標(biāo)簽）可用于某個數(shù)據(jù)集（訓(xùn)練集），但屬性（標(biāo)簽）缺失且需要針對其他實例進(jìn)行預(yù)測時，監(jiān)督學(xué)習(xí)非常有用。當(dāng)挑戰(zhàn)是發(fā)現(xiàn)給定未標(biāo)記數(shù)據(jù)集中的隱式關(guān)系（項目未預(yù)先分配）時，無監(jiān)督學(xué)習(xí)非常有用。強(qiáng)化學(xué)習(xí)介于這兩個極端之間——每個預(yù)測步驟或動作都有某種形式的反饋，但沒有精確的標(biāo)簽或錯誤消息。

1、主成分分析(PCA)/SVD

PCA 是一種無監(jiān)督方法，用于了解由向量組成的數(shù)據(jù)集的全局屬性。此處分析數(shù)據(jù)點(diǎn)的協(xié)方差矩陣，以了解哪些維度（大多數(shù)）/數(shù)據(jù)點(diǎn)（有時）更重要（即它們之間的方差較高，但與其他維度的協(xié)方差較低）。考慮矩陣的頂級 PC 的一種方法是考慮具有最高特征值的特征向量。SVD 本質(zhì)上也是一種計算有序分量的方法，但不需要獲取點(diǎn)的協(xié)方差矩陣即可獲得它。

2、最小二乘法和多項式擬合

大學(xué)時學(xué)習(xí)的數(shù)值分析，曾經(jīng)將直線和曲線擬合到點(diǎn)來得到方程。可以使用它們來擬合機(jī)器學(xué)習(xí)中低維度的小型數(shù)據(jù)集的曲線。（對于大數(shù)據(jù)或具有多個維度的數(shù)據(jù)集，可能最終會嚴(yán)重過度擬合，所以不必?fù)?dān)心）。OLS 具有封閉式解決方案，因此無需使用復(fù)雜的優(yōu)化技術(shù)。

顯而易見，使用該算法來擬合簡單曲線/回歸

約束線性回歸

最小二乘法可能會與數(shù)據(jù)中的異常值、雜散場和噪聲混淆。因此，我們需要約束來減少我們在數(shù)據(jù)集上擬合的線的方差。正確的方法是擬合線性回歸模型，這將確保權(quán)重不會出現(xiàn)異常行為。模型可以具有 L1 范數(shù) (LASSO) 或 L2（嶺回歸）或兩者（彈性回歸）。均方損失已優(yōu)化。

使用這些算法來擬合帶有約束的回歸線，避免過度擬合并掩蓋模型中的噪聲維度。

3、K表示聚類

他是無監(jiān)督聚類算法。給定一組向量形式的數(shù)據(jù)點(diǎn)，我們可以根據(jù)它們之間的距離來形成點(diǎn)簇。這是一種期望最大化算法，它迭代地移動聚類中心，然后將點(diǎn)與每個聚類中心結(jié)合在一起。算法采用的輸入是要生成的簇的數(shù)量以及它將嘗試收斂簇的迭代次數(shù)。

從名稱中可以明顯看出，可以使用該算法在數(shù)據(jù)集中創(chuàng)建 K 個簇

4、邏輯回歸

Logistic 回歸是在應(yīng)用權(quán)重后應(yīng)用非線性（主要使用 sigmoid 函數(shù)，也可以使用 tanh）的約束線性回歸，因此將輸出限制為接近 +/- 類（在 sigmoid 情況下為 1 和 0）。交叉熵?fù)p失函數(shù)使用梯度下降進(jìn)行優(yōu)化。初學(xué)者注意：邏輯回歸用于分類，而不是回歸。還可以將邏輯回歸視為單層神經(jīng)網(wǎng)絡(luò)。邏輯回歸使用梯度下降或 L-BFGS 等優(yōu)化方法進(jìn)行訓(xùn)練。NLP 人們經(jīng)常將其與最大熵分類器的名稱一起使用。

這就是 Sigmoid 的樣子：

使用 LR 訓(xùn)練簡單但非常強(qiáng)大的分類器。

5、SVM（支持向量機(jī)）

SVM 是一種常用的監(jiān)督學(xué)習(xí)算法，是像線性/邏輯回歸一樣的線性模型，不同之處在于它的核心思想是將數(shù)據(jù)映射到高維特征空間，并在該空間中尋找一個最優(yōu)的超平面來進(jìn)行分類。超平面是一個 n-1 維的線性子空間，其中 n 是特征的維數(shù)。SVM 在特征空間中選擇具有最大間隔（Margin）的超平面作為最優(yōu)分類邊界，以提高分類的魯棒性。

SVM 適用于二分類和多分類問題。它通過最大化間隔來尋找最優(yōu)分類超平面，并具有在高維空間中處理非線性問題的能力。在實踐中，選擇合適的核函數(shù)和參數(shù)設(shè)置對于 SVM 的性能至關(guān)重要。

6、前饋神經(jīng)網(wǎng)絡(luò)

這些基本上是多層邏輯回歸分類器。由非線性（sigmoid、tanh、relu + softmax 和很酷的新 selu）分隔的許多權(quán)重層。它們的另一個流行名稱是多層感知器。FFNN 可作為自動編碼器用于分類和無監(jiān)督特征學(xué)習(xí)。

多層感知器

FFNN 作為自動編碼器

FFNN 可用于訓(xùn)練分類器或提取特征作為自動編碼器

7、卷積神經(jīng)網(wǎng)絡(luò)（Convnets）

當(dāng)今世界上幾乎所有最先進(jìn)的基于視覺的機(jī)器學(xué)習(xí)結(jié)果都是使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的。它們可用于圖像分類、對象檢測甚至圖像分割。卷積網(wǎng)絡(luò)由 Yann Lecun 在 80 年代末至 90 年代初發(fā)明，其特征是卷積層充當(dāng)分層特征提取器。也可以在文本（甚至圖表）中使用它們。

使用卷積網(wǎng)絡(luò)進(jìn)行最先進(jìn)的圖像和文本分類、對象檢測、圖像分割。

8、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：

RNN 通過在時間 t 的聚合器狀態(tài)和時間 t 的輸入上遞歸應(yīng)用同一組權(quán)重來對序列進(jìn)行建模（假設(shè)序列在時間 0..t..T 具有輸入，并且在每個時間 t 有一個隱藏狀態(tài)）這是 RNN t-1 步驟的輸出）。純 RNN 現(xiàn)在很少使用，但其對應(yīng)的 LSTM 和 GRU 在大多數(shù)序列建模任務(wù)中都是最先進(jìn)的。

RNN（如果這里是一個密集連接的單元和一個非線性，那么現(xiàn)在 f 通常是 LSTM 或 GRU）。LSTM 單元用于代替純 RNN 中的普通密集層。

將 RNN 用于任何序列建模任務(wù)，特別是文本分類、機(jī)器翻譯、語言建模

9、條件隨機(jī)場（CRF）

CRF 可能是概率圖模型 (PGM) 系列中最常用的模型。它們用于像 RNN 一樣的序列建模，也可以與 RNN 結(jié)合使用。在神經(jīng)機(jī)器翻譯系統(tǒng)出現(xiàn)之前，條件隨機(jī)場是最先進(jìn)的，在許多小數(shù)據(jù)集的序列標(biāo)記任務(wù)中，它們?nèi)匀槐刃枰罅繑?shù)據(jù)才能泛化的 RNN 學(xué)得更好。它們還可以用于其他結(jié)構(gòu)化預(yù)測任務(wù)，例如圖像分割等。CRF 對序列的每個元素（例如句子）進(jìn)行建模，以便鄰居影響序列中組件的標(biāo)簽，而不是所有標(biāo)簽彼此獨(dú)立。

使用 CRF 來標(biāo)記序列（文本、圖像、時間序列、DNA 等）

10、決策樹

它是一種基于樹結(jié)構(gòu)的分類和回歸算法。它通過對特征進(jìn)行分割來構(gòu)建一個樹形模型，每個內(nèi)部節(jié)點(diǎn)表示一個特征，每個葉節(jié)點(diǎn)表示一個類別或一個數(shù)值。決策樹通過對特征進(jìn)行逐層的判斷和分割，以最終得到一個預(yù)測結(jié)果。

舉一個簡單的例子來解釋決策樹的工作原理。假設(shè)我們有一個二分類問題，要根據(jù)一個人的性別、年齡和教育水平來預(yù)測他們是否購買某個產(chǎn)品。首先，我們從根節(jié)點(diǎn)開始，選擇一個特征進(jìn)行分割，比如選擇性別作為第一個分割點(diǎn)。我們可以根據(jù)性別將數(shù)據(jù)分為男性和女性兩個分支。然后，我們進(jìn)一步選擇一個特征進(jìn)行分割，比如選擇年齡。在男性分支中，我們可以將數(shù)據(jù)分為年齡小于等于30歲和大于30歲的兩個子分支；在女性分支中，我們也可以進(jìn)行類似的分割。接著，我們再選擇一個特征進(jìn)行分割，比如選擇教育水平。在每個年齡分支中，我們可以將數(shù)據(jù)進(jìn)一步分為高教育水平和低教育水平兩個子分支。

這樣不斷進(jìn)行特征的選擇和分割，直到滿足停止條件。停止條件可以是達(dá)到預(yù)定的樹的深度、節(jié)點(diǎn)中的樣本數(shù)小于某個閾值或不再有可分割的特征。

最終，我們得到了一棵決策樹，每個葉節(jié)點(diǎn)表示一個類別。對于新的未知樣本，我們可以沿著樹的分支進(jìn)行判斷，最終到達(dá)一個葉節(jié)點(diǎn)，并根據(jù)葉節(jié)點(diǎn)的類別進(jìn)行預(yù)測。

目前使用的兩種常見決策樹算法是隨機(jī)森林（Random Forests）和提升樹（Boosting trees），前者在屬性的隨機(jī)子集上構(gòu)建不同的分類器，并將它們組合起來進(jìn)行輸出。

決策樹可用于對數(shù)據(jù)點(diǎn)進(jìn)行分類（甚至回歸）

TD 算法（時間差分法）

如果仍然想知道上述方法如何解決像 DeepMind 那樣擊敗圍棋世界冠軍這樣的任務(wù)，那么它們不能。上面討論的所有 10 種算法都是模式識別，而不是策略學(xué)習(xí)器。為了學(xué)習(xí)解決多步驟問題的策略，例如阿爾法GO贏得一場國際象棋比賽、ChatGPT語音機(jī)器人。這種類型的機(jī)器學(xué)習(xí)稱為強(qiáng)化學(xué)習(xí)。該領(lǐng)域最近取得的許多（不是全部）成功都是將卷積網(wǎng)絡(luò)或 LSTM 的感知能力與一組稱為時間差分學(xué)習(xí)的算法相結(jié)合的結(jié)果。其中包括 Q-Learning、SARSA 、DQN等等其他一些變體。

總結(jié)

這些是 10 種機(jī)器學(xué)習(xí)算法，先作為入門的一些了解，心里有大模型算法這個概念。后面會針對每種算法進(jìn)行深入分析研究。