超強(qiáng)！深度學(xué)習(xí)中必知的 79 個(gè)重要概念

作者：程序員小寒 2024-08-09 09:09:14

人工智能深度學(xué)習(xí)

擴(kuò)張卷積是一種改進(jìn)的卷積操作，通過在卷積核之間插入空洞，使得卷積核能夠覆蓋更大的感受野，從而提取更多的上下文信息，常用于圖像分割任務(wù)。

大家好，我是小寒。

今天給大家分享你必須知道的 79 個(gè)深度學(xué)習(xí)術(shù)語。

1.人工神經(jīng)網(wǎng)絡(luò)（ANN）

人工神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元結(jié)構(gòu)和功能的計(jì)算模型，用于處理復(fù)雜的計(jì)算和模式識(shí)別任務(wù)。

它由多個(gè)神經(jīng)元（節(jié)點(diǎn)）組成，這些神經(jīng)元通過連接權(quán)重相互連接，可以通過調(diào)整這些權(quán)重來學(xué)習(xí)和適應(yīng)不同的任務(wù)。

2.激活函數(shù)

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一個(gè)函數(shù)，用于引入非線性，使得神經(jīng)網(wǎng)絡(luò)可以表示復(fù)雜的模式和關(guān)系。

常見的激活函數(shù)包括ReLU（修正線性單元）、Sigmoid（S型函數(shù)）和Tanh（雙曲正切函數(shù)）。

3.反向傳播

反向傳播是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法，通過計(jì)算損失函數(shù)的梯度并更新網(wǎng)絡(luò)中的權(quán)重，使得模型的預(yù)測(cè)結(jié)果更加準(zhǔn)確。

反向傳播通常使用梯度下降法來優(yōu)化權(quán)重。

4.卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)是一種專門用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過使用卷積層、池化層和全連接層來提取和學(xué)習(xí)圖像的特征。

它在圖像分類、目標(biāo)檢測(cè)和圖像分割等任務(wù)中表現(xiàn)出色。

5.深度學(xué)習(xí)

深度學(xué)習(xí)是一種基于多層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，通過構(gòu)建和訓(xùn)練深度模型來自動(dòng)學(xué)習(xí)數(shù)據(jù)的復(fù)雜特征和模式。

深度學(xué)習(xí)在圖像處理、自然語言處理和語音識(shí)別等領(lǐng)域取得了顯著的成果。

6.epoch

一個(gè)epoch指的是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中遍歷整個(gè)訓(xùn)練數(shù)據(jù)集一次。

多個(gè)epoch可以提高模型的準(zhǔn)確性和穩(wěn)定性，但過多的epoch可能導(dǎo)致過擬合。

7.特征提取

特征提取是從原始數(shù)據(jù)中提取有用特征的過程，這些特征可以幫助模型更好地理解和預(yù)測(cè)數(shù)據(jù)的模式。

特征提取可以是手工設(shè)計(jì)的，也可以是通過深度學(xué)習(xí)模型自動(dòng)學(xué)習(xí)的。

8.梯度下降

梯度下降是一種優(yōu)化算法，用于最小化損失函數(shù)。

通過計(jì)算損失函數(shù)相對(duì)于模型參數(shù)的梯度，并沿著梯度的反方向更新參數(shù)，使得損失函數(shù)逐漸減小。

9.損失函數(shù)

損失函數(shù)用于衡量模型預(yù)測(cè)值與真實(shí)值之間的差異。

常見的損失函數(shù)包括均方誤差（MSE）、交叉熵?fù)p失（cross-entropy loss）等。

10.循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它通過在網(wǎng)絡(luò)中引入循環(huán)連接，使得模型能夠記住之前的輸入信息，并用于后續(xù)的預(yù)測(cè)和決策。

11.遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種將一個(gè)任務(wù)中學(xué)到的知識(shí)應(yīng)用到另一個(gè)相關(guān)任務(wù)中的方法。

通過遷移學(xué)習(xí)，可以利用預(yù)訓(xùn)練模型的權(quán)重和特征，減少新任務(wù)的訓(xùn)練時(shí)間和數(shù)據(jù)需求。

12.權(quán)重

權(quán)重是神經(jīng)網(wǎng)絡(luò)中連接各個(gè)神經(jīng)元的參數(shù)，用于調(diào)節(jié)輸入信號(hào)的強(qiáng)度。

通過訓(xùn)練過程，權(quán)重會(huì)不斷調(diào)整，以使得模型的預(yù)測(cè)結(jié)果更加準(zhǔn)確。

13.偏置

偏置是神經(jīng)網(wǎng)絡(luò)中的一個(gè)附加參數(shù)，它與權(quán)重一起用于調(diào)整模型的輸出。

偏置可以幫助模型在沒有輸入信號(hào)的情況下也能產(chǎn)生輸出，從而提高模型的靈活性和準(zhǔn)確性。

14.過擬合

過擬合是指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在測(cè)試數(shù)據(jù)上表現(xiàn)不佳的情況。

過擬合通常是由于模型過于復(fù)雜，捕捉到了訓(xùn)練數(shù)據(jù)中的噪聲和細(xì)節(jié)，導(dǎo)致其泛化能力下降。

15.欠擬合

欠擬合是指模型在訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)上都表現(xiàn)不佳的情況。

這通常是由于模型過于簡(jiǎn)單，無法捕捉數(shù)據(jù)中的重要模式和關(guān)系。

16.正則化

正則化是一種防止過擬合的方法，通過在損失函數(shù)中加入懲罰項(xiàng)，限制模型的復(fù)雜度，使得模型能夠更好地泛化到未見過的數(shù)據(jù)。

常見的正則化方法包括L1正則化和L2正則化。

17.Dropout

Dropout 是一種正則化技術(shù)，通過在訓(xùn)練過程中隨機(jī)丟棄一部分神經(jīng)元及其連接，使得模型更具魯棒性，防止過擬合。

18.批量標(biāo)準(zhǔn)化

批量標(biāo)準(zhǔn)化是一種加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練并提高穩(wěn)定性的方法，通過在每一層對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使得數(shù)據(jù)的均值為 0，方差為1，從而減少內(nèi)層協(xié)變量偏移。

19.自動(dòng)編碼器

自動(dòng)編碼器是一種用于無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過將輸入數(shù)據(jù)編碼為低維表示（編碼器）并從低維表示重建原始數(shù)據(jù)（解碼器），自動(dòng)編碼器可以用于數(shù)據(jù)降維、特征提取和異常檢測(cè)。

20.生成對(duì)抗網(wǎng)絡(luò)（GAN）

生成對(duì)抗網(wǎng)絡(luò)是一種用于生成新數(shù)據(jù)的模型，由生成器和判別器兩個(gè)部分組成。

生成器生成偽造數(shù)據(jù)，判別器判斷數(shù)據(jù)的真假，兩者相互競(jìng)爭(zhēng)，最終生成器可以生成逼真的數(shù)據(jù)。

21.注意力機(jī)制

注意力機(jī)制是一種提高模型處理長(zhǎng)序列數(shù)據(jù)能力的方法，通過為每個(gè)輸入元素分配不同的權(quán)重，使得模型能夠更關(guān)注重要的信息，廣泛應(yīng)用于自然語言處理和圖像處理任務(wù)。

22.嵌入層

嵌入層是一種將高維離散數(shù)據(jù)（如單詞）映射到低維連續(xù)向量空間的技術(shù)，用于捕捉數(shù)據(jù)之間的語義關(guān)系，常用于自然語言處理任務(wù)中的詞向量表示。

23.多層感知器（MLP）

多層感知器是一種基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由輸入層、隱藏層和輸出層組成。

每層的神經(jīng)元通過權(quán)重連接，MLP可以用于分類和回歸任務(wù)。

24.規(guī)范化

規(guī)范化是將數(shù)據(jù)按比例縮放到特定范圍的方法，常見的規(guī)范化方法包括最小-最大規(guī)范化和z-score規(guī)范化。

規(guī)范化有助于加速模型的訓(xùn)練并提高模型的性能。

25.池化層

池化層是一種用于減少特征圖尺寸的層，通過取鄰近區(qū)域的最大值或平均值，減少參數(shù)數(shù)量和計(jì)算量，同時(shí)保留重要特征，常用于卷積神經(jīng)網(wǎng)絡(luò)中。

26.序列到序列模型

序列到序列模型是一種用于處理序列數(shù)據(jù)的模型結(jié)構(gòu)，通過編碼器將輸入序列編碼為固定長(zhǎng)度的向量，再通過解碼器將向量解碼為輸出序列，廣泛應(yīng)用于機(jī)器翻譯和文本生成等任務(wù)。

27.張量

張量是深度學(xué)習(xí)中用于表示數(shù)據(jù)的多維數(shù)組。

張量可以是標(biāo)量、向量、矩陣或更高維度的數(shù)據(jù)結(jié)構(gòu)，是構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本數(shù)據(jù)單元。

28.骨干網(wǎng)絡(luò)

骨干網(wǎng)絡(luò)（Backbone）是深度學(xué)習(xí)中用于特征提取的主要網(wǎng)絡(luò)結(jié)構(gòu)。它通常是一個(gè)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，用于從輸入數(shù)據(jù)中提取高層次的特征表示。這些特征然后被用作下游任務(wù)（如分類、檢測(cè)、分割等）的輸入。

29.微調(diào)

微調(diào)是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，對(duì)特定任務(wù)進(jìn)行進(jìn)一步訓(xùn)練和調(diào)整，使模型更適應(yīng)新的任務(wù)。

微調(diào)可以減少訓(xùn)練時(shí)間和數(shù)據(jù)需求，提高模型的性能。

30.超參數(shù)

超參數(shù)是模型訓(xùn)練前設(shè)置的參數(shù)，不會(huì)在訓(xùn)練過程中更新。

常見的超參數(shù)包括學(xué)習(xí)率、批次大小、網(wǎng)絡(luò)層數(shù)等。

超參數(shù)的選擇對(duì)模型的性能有重要影響。

31.學(xué)習(xí)率

學(xué)習(xí)率是梯度下降法中的一個(gè)重要參數(shù)，決定了每次更新權(quán)重的步長(zhǎng)大小。

學(xué)習(xí)率過大會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定，學(xué)習(xí)率過小會(huì)導(dǎo)致訓(xùn)練速度慢。

32.Softmax 函數(shù)

Softmax 函數(shù)是一種歸一化函數(shù)，將輸入的實(shí)數(shù)向量轉(zhuǎn)換為概率分布，使得輸出的所有元素之和為1，常用于多分類任務(wù)的輸出層。

33.長(zhǎng)短期記憶（LSTM）

長(zhǎng)短期記憶是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過引入記憶單元和門機(jī)制，解決了標(biāo)準(zhǔn)RNN的梯度消失和梯度爆炸問題，能夠更好地捕捉序列數(shù)據(jù)中的長(zhǎng)依賴關(guān)系。

34.梯度消失問題

梯度消失問題是指在深度神經(jīng)網(wǎng)絡(luò)中，隨著反向傳播過程中梯度逐層傳遞，梯度值會(huì)變得非常小，導(dǎo)致前幾層的權(quán)重幾乎無法更新，影響模型的訓(xùn)練效果。

35.梯度爆炸問題

梯度爆炸問題是指在深度神經(jīng)網(wǎng)絡(luò)中，隨著反向傳播過程中梯度逐層傳遞，梯度值會(huì)變得非常大，導(dǎo)致權(quán)重更新過度，影響模型的穩(wěn)定性。

36.數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種通過對(duì)原始數(shù)據(jù)進(jìn)行隨機(jī)變換（如旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪等）來生成更多訓(xùn)練數(shù)據(jù)的方法，以提高模型的泛化能力和魯棒性。

37.批次大小

批次大小是指在一次迭代中用于訓(xùn)練模型的數(shù)據(jù)樣本數(shù)量。

較大的批次大小可以加速訓(xùn)練過程，但需要更多的內(nèi)存；較小的批次大小則更具噪聲，可能導(dǎo)致訓(xùn)練不穩(wěn)定。

38.優(yōu)化器

優(yōu)化器是用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的算法，根據(jù)損失函數(shù)的梯度計(jì)算權(quán)重的更新值。

常見的優(yōu)化器包括SGD（隨機(jī)梯度下降）、Adam、RMSprop等。

39.F1-score

F1-score 是用于衡量分類模型性能的指標(biāo)，是精準(zhǔn)率和召回率的調(diào)和平均值。

F1-score 的值介于0和1之間，值越大表示模型性能越好。

40.精準(zhǔn)

精準(zhǔn)率是指在所有被預(yù)測(cè)為正類的樣本中，實(shí)際為正類的樣本所占的比例。

它衡量了模型預(yù)測(cè)結(jié)果的準(zhǔn)確性。

41.召回

召回率是指在所有實(shí)際為正類的樣本中，被正確預(yù)測(cè)為正類的樣本所占的比例。

它衡量了模型對(duì)正類樣本的識(shí)別能力。

42.ROC 曲線

ROC曲線（接收者操作特征曲線）是一種用于評(píng)價(jià)分類模型性能的圖形，通過繪制真陽性率和假陽性率之間的關(guān)系來展示模型在不同閾值下的表現(xiàn)。

43.曲線下面積（AUC）

AUC是ROC曲線下的面積，用于衡量分類模型的整體性能。AUC值介于0和1之間，值越大表示模型性能越好。

44.提前停止

提前停止是一種正則化技術(shù)，通過在驗(yàn)證集上監(jiān)控模型的性能，如果性能不再提升或開始下降，提前停止訓(xùn)練，以防止過擬合。

45.特征縮放

特征縮放是將特征數(shù)據(jù)按比例縮放到特定范圍的方法，常見的特征縮放方法包括標(biāo)準(zhǔn)化和歸一化。

特征縮放有助于加速模型的訓(xùn)練并提高模型的性能。

46.生成模型

生成模型是指通過學(xué)習(xí)數(shù)據(jù)的分布來生成新數(shù)據(jù)的模型。

常見的生成模型包括GAN、變分自編碼器（VAE）等。

47.判別模型

判別模型是指通過學(xué)習(xí)數(shù)據(jù)的決策邊界來進(jìn)行分類或回歸的模型。

常見的判別模型包括邏輯回歸、支持向量機(jī)（SVM）等。

48.數(shù)據(jù)不平衡

數(shù)據(jù)不平衡是指訓(xùn)練數(shù)據(jù)中不同類別樣本數(shù)量差異較大的情況，可能導(dǎo)致模型偏向多數(shù)類樣本，影響分類性能。

49.降維

降維是將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)的過程，以減少數(shù)據(jù)的維度，降低計(jì)算復(fù)雜度，同時(shí)保留數(shù)據(jù)的主要特征。

常見的降維方法包括PCA、t-SNE等。

50.主成分分析（PCA）

主成分分析是一種線性降維方法，通過尋找數(shù)據(jù)中方差最大的方向，將數(shù)據(jù)投影到低維空間，以保留數(shù)據(jù)的主要特征。

51.非線性激活函數(shù)

非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一種函數(shù)，用于引入非線性，使得神經(jīng)網(wǎng)絡(luò)能夠表示復(fù)雜的模式和關(guān)系。

常見的非線性激活函數(shù)包括ReLU、Sigmoid、Tanh等。

52.批量訓(xùn)練

批量訓(xùn)練是指在訓(xùn)練過程中將數(shù)據(jù)分成多個(gè)小批次，每次使用一個(gè)批次的數(shù)據(jù)來更新模型的參數(shù)。

這種方法可以加速訓(xùn)練過程并提高模型的穩(wěn)定性。

53.隨機(jī)梯度下降（SGD）

隨機(jī)梯度下降是一種優(yōu)化算法，通過對(duì)每個(gè)樣本或小批次樣本計(jì)算梯度并更新模型參數(shù)，以最小化損失函數(shù)。

SGD 在大規(guī)模數(shù)據(jù)訓(xùn)練中表現(xiàn)良好。

54.注意層

注意層是一種用于提高模型處理長(zhǎng)序列數(shù)據(jù)能力的層，通過為每個(gè)輸入元素分配不同的權(quán)重，使得模型能夠更關(guān)注重要的信息，廣泛應(yīng)用于自然語言處理和圖像處理任務(wù)。

55.跳過連接

跳過連接是指在深度神經(jīng)網(wǎng)絡(luò)中通過增加跨層連接，使得輸入信號(hào)可以直接傳遞到后面的層，緩解梯度消失問題，提高模型的訓(xùn)練效果。

ResNet是典型的應(yīng)用跳過連接的模型。

56.自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)是一種通過生成和利用數(shù)據(jù)中的內(nèi)在結(jié)構(gòu)和關(guān)系進(jìn)行訓(xùn)練的方法，不需要大量的標(biāo)注數(shù)據(jù)，常用于圖像、文本和音頻等領(lǐng)域。

57.交叉熵?fù)p失

交叉熵?fù)p失是一種用于分類任務(wù)的損失函數(shù)，通過衡量模型預(yù)測(cè)的概率分布與真實(shí)分布之間的差異，來指導(dǎo)模型參數(shù)的更新。

58.序列建模

序列建模是指通過模型來捕捉和預(yù)測(cè)序列數(shù)據(jù)中的模式和關(guān)系，常用于時(shí)間序列分析、自然語言處理和音頻信號(hào)處理等任務(wù)。

59.知識(shí)蒸餾

知識(shí)蒸餾是一種通過將大模型（教師模型）的知識(shí)傳遞給小模型（學(xué)生模型）的方法，使得小模型能夠在保持較高性能的同時(shí)減少參數(shù)數(shù)量和計(jì)算量。

60. 神經(jīng)風(fēng)格遷移

神經(jīng)風(fēng)格遷移是一種通過深度學(xué)習(xí)模型將一種圖像的風(fēng)格應(yīng)用到另一種圖像上的技術(shù)，常用于圖像生成和藝術(shù)創(chuàng)作。

61. 標(biāo)簽平滑

標(biāo)簽平滑是一種正則化技術(shù)，通過在訓(xùn)練過程中將真實(shí)標(biāo)簽分布進(jìn)行平滑，使得模型的預(yù)測(cè)更加魯棒，減少過擬合的風(fēng)險(xiǎn)。

62.T-SNE

T-SNE 是一種用于數(shù)據(jù)可視化的降維方法，通過將高維數(shù)據(jù)嵌入到低維空間中，保留數(shù)據(jù)點(diǎn)之間的相對(duì)距離和結(jié)構(gòu)，以便于觀察和分析。

63.梯度剪切

梯度剪切是一種防止梯度爆炸的方法，通過將超過閾值的梯度進(jìn)行剪裁，使得梯度保持在合理范圍內(nèi)，提高模型的訓(xùn)練穩(wěn)定性。

64.元學(xué)習(xí)

元學(xué)習(xí)是一種學(xué)習(xí)如何學(xué)習(xí)的技術(shù)，通過在多個(gè)任務(wù)上進(jìn)行訓(xùn)練，使得模型能夠更快地適應(yīng)新任務(wù)和新數(shù)據(jù)，提高學(xué)習(xí)效率和泛化能力。

65.量化

量化是將神經(jīng)網(wǎng)絡(luò)中的權(quán)重和激活值從浮點(diǎn)數(shù)表示轉(zhuǎn)換為低精度表示（如整數(shù)），以減少模型的計(jì)算量和存儲(chǔ)需求，提高模型的運(yùn)行效率。

66.自注意力

自注意力是一種用于捕捉序列數(shù)據(jù)中各元素之間依賴關(guān)系的機(jī)制，通過計(jì)算序列中各元素對(duì)其他元素的注意力權(quán)重，使得模型能夠更好地理解和處理長(zhǎng)序列數(shù)據(jù)。

67.Transformer 模型

Transformer 模型是一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，廣泛應(yīng)用于自然語言處理任務(wù)，如機(jī)器翻譯、文本生成等。

Transformer 模型通過并行計(jì)算和全局依賴關(guān)系捕捉，顯著提高了模型的性能和訓(xùn)練效率。

68.BERT

BERT（Bidirectional Encoder Representations from Transformers）是一種基于Transformer的預(yù)訓(xùn)練語言模型，通過雙向編碼器捕捉句子中的上下文信息，廣泛應(yīng)用于各種自然語言處理任務(wù)。

69.詞嵌入

詞嵌入是一種將詞語表示為連續(xù)向量的方法，通過捕捉詞語之間的語義關(guān)系，使得詞語能夠在低維向量空間中進(jìn)行計(jì)算和比較。

常見的詞嵌入方法包括Word2Vec、GloVe等。

70.位置編碼

位置編碼是一種在 Transformer 模型中用于表示序列中每個(gè)元素位置的信息，使得模型能夠捕捉序列數(shù)據(jù)中的順序關(guān)系，常用的方式包括正弦和余弦函數(shù)編碼。

71.圖神經(jīng)網(wǎng)絡(luò)（GNN）

圖神經(jīng)網(wǎng)絡(luò)是一種用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，通過對(duì)圖中節(jié)點(diǎn)和邊的信息進(jìn)行傳遞和聚合，使得模型能夠捕捉圖結(jié)構(gòu)中的關(guān)系和模式，應(yīng)用于社交網(wǎng)絡(luò)分析、推薦系統(tǒng)等任務(wù)。

72.強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是一種通過與環(huán)境互動(dòng)來學(xué)習(xí)最優(yōu)策略的機(jī)器學(xué)習(xí)方法，通過獎(jiǎng)勵(lì)和懲罰信號(hào)指導(dǎo)智能體的行為選擇，應(yīng)用于游戲、機(jī)器人控制等領(lǐng)域。