在《神經(jīng)網(wǎng)絡(luò)中常見的激活函數(shù)》一文中對激活函數(shù)進(jìn)行了回顧，下圖是激活函數(shù)的一個子集——

而在神經(jīng)網(wǎng)絡(luò)領(lǐng)域中的另一類重要的函數(shù)就是損失函數(shù)，那么，什么是損失函數(shù)呢？

損失函數(shù)是將隨機(jī)事件或其有關(guān)隨機(jī)變量的取值映射為非負(fù)實數(shù)以表示該隨機(jī)事件的“風(fēng)險”或“損失”的函數(shù)，用于衡量預(yù)測值與實際值的偏離程度。在機(jī)器學(xué)習(xí)中，損失函數(shù)是代價函數(shù)的一部分，而代價函數(shù)是目標(biāo)函數(shù)的一種類型。在應(yīng)用中，損失函數(shù)通常作為學(xué)習(xí)準(zhǔn)則與優(yōu)化問題相聯(lián)系，即通過最小化損失函數(shù)求解和評估模型。

這里簡要回顧一些常見的損失函數(shù)及其簡明用例。為了便于理解，將損失函數(shù)分為兩類：面向分類的損失函數(shù)和面向回歸的損失函數(shù)。 為了便于不同損失函數(shù)的比較，常將其表示為單變量的函數(shù)，在回歸問題中這個變量為y?f(x)，在分類問題中則為yf(x)。

面向分類的損失函數(shù)

對于二分類問題，y∈{?1,+1}，損失函數(shù)常表示為關(guān)于yf(x)的單調(diào)遞減形式。yf(x)被稱為margin，最小化損失函數(shù)也可以看作是最大化 margin 的過程，任何合格的分類損失函數(shù)都應(yīng)該對 margin<0 的樣本施以較大的懲罰。

Cross Entropy Loss 損失函數(shù)

物理學(xué)上的熵表示一個熱力學(xué)系統(tǒng)的無序程度。為了解決對信息的量化度量問題，香農(nóng)在1948年提出了“信息熵”的概念，使用對數(shù)函數(shù)表示對不確定性的測量。熵越高，表示能傳輸?shù)男畔⒃蕉啵卦缴伲硎緜鬏數(shù)男畔⒃缴伲梢灾苯訉㈧乩斫鉃樾畔⒘俊?/p>

交叉熵(cross-entropy，CE)刻畫了兩個概率分布之間的距離，更適合用在分類問題上，因為交叉熵表達(dá)預(yù)測輸入樣本屬于某一類的概率。

Cross Entropy loss損失函數(shù)，或負(fù)對數(shù)損失，衡量輸出為0到1之間的概率值的分類模型的性能，常用于二分類和多分類問題中。交叉熵?fù)p失隨著預(yù)測的概率值遠(yuǎn)離實際標(biāo)簽而增加。一個完美的模型將會是0損失，因為預(yù)測的值將會匹配實際的值。

對二分類，交叉熵?fù)p失的公式如下：

在多分類任務(wù)中，經(jīng)常采用 softmax 激活函數(shù)+交叉熵?fù)p失函數(shù)，因為交叉熵描述了兩個概率分布的差異，然而神經(jīng)網(wǎng)絡(luò)輸出的是向量，并不是概率分布的形式。所以需要 softmax激活函數(shù)將一個向量進(jìn)行“歸一化”成概率分布的形式，再采用交叉熵?fù)p失函數(shù)計算 loss。

對于多分類，交叉熵?fù)p失的公式如下：

Focal Loss 損失函數(shù)

Focal loss 損失函數(shù)是為了解決 one-stage 目標(biāo)檢測中正負(fù)樣本極度不平衡的問題，是一個密集目標(biāo)檢測的損失函數(shù)。在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)解決目標(biāo)檢測和分類問題時，這是最常見的選擇之一。

Focal loss損失函數(shù)是基于二分類交叉熵的，通過一個動態(tài)縮放因子，可以動態(tài)降低訓(xùn)練過程中易區(qū)分樣本的權(quán)重，從而將重心快速聚焦在那些難區(qū)分的樣本。那些樣本有可能是正樣本，也有可能是負(fù)樣本，但都是對訓(xùn)練網(wǎng)絡(luò)有幫助的樣本。

Focal loss損失函數(shù)計算一個動態(tài)縮放的交叉熵?fù)p失，如果其中的比例因子衰減為零，作為正確的類的置信度增加。

Polyloss 損失函數(shù)

Cross-entropy loss損失函數(shù)和 focal loss損失函數(shù)是深層神經(jīng)網(wǎng)絡(luò)分類問題訓(xùn)練中最常用的選擇。然而，一般來說，一個好的損失函數(shù)可以采取更加靈活的形式，應(yīng)該為不同的任務(wù)和數(shù)據(jù)集量身定制。

可以將損失函數(shù)視為多項式函數(shù)的線性組合，并通過泰勒展開來近似函數(shù)。在多項式展開下，F(xiàn)ocal Loss是多項式系數(shù)相對于Cross-entropy loss的水平位移。如果垂直修改多項式系數(shù)，則得到了Polyloss的計算公式：

Polyloss是Cross-entropy loss損失函數(shù)的一種廣義形式。

Hinge Loss 損失函數(shù)

Hinge loss損失函數(shù)通常適用于二分類的場景中，可以用來解決間隔最大化的問題，常應(yīng)用于著名的SVM算法中。

Hinge 損失函數(shù)是一個凸函數(shù)，擅長“最大余量”分類，因此許多機(jī)器學(xué)習(xí)中常用的凸優(yōu)化器都可以利用它。

Hinge 損失函數(shù)將與分類邊界之間的差值或距離納入成本計算。即使新的觀察結(jié)果被正確分類，如果決策邊界的差距不夠大，它們也會受到懲罰，損失呈線性增加。

Generalized End-to-End Loss 損失函數(shù)

Generalized End-to-End 損失函數(shù)（簡稱GE2E）用于說話人驗證的廣義端到端損失函數(shù)。

說話人驗證是指驗證輸入的一段語音是否屬于一個特定音箱的任務(wù)，這里有兩個概念：enrollment utterance和verification utterance，前者可以理解為預(yù)留的“聲紋”，而后者則是用于驗證的語音。進(jìn)一步細(xì)分為兩種任務(wù)：text-dependent speaker verification (TD-SV)和text-independent verification (TI-SV)。TD-SV對用于驗證的語音的內(nèi)容有一定的限制，一個比較常見的例子是Siri，這個時候需要說出一個固定的句子“Hey, siri”。相反，TI-SV則不對語音的內(nèi)容有任何限制。

GE2E 使說話人驗證模型的訓(xùn)練比tuple-based end-to-end (TE2E) loss 損失函數(shù)更有效率，具有收斂速度快、實現(xiàn)簡單等優(yōu)點。

GE2E會使得網(wǎng)絡(luò)在更新參數(shù)的時候注重于那些不容易被區(qū)分開的數(shù)據(jù)，且不需要在訓(xùn)練之前進(jìn)行示例選擇。此外，GE2E Loss不需要初始階段的示例選擇。

Additive Angular Margin Loss 損失函數(shù)

Additive Angular Margin Loss（AAM）主要用于人臉識別，但也在語音識別等其他領(lǐng)域得到了應(yīng)用。

利用深層卷積神經(jīng)網(wǎng)絡(luò)(DCNN)進(jìn)行大規(guī)模人臉識別的特征學(xué)習(xí)面臨的主要挑戰(zhàn)之一是如何設(shè)計合適的損失函數(shù)來提高識別能力。中心損失懲罰了深部特征與其在歐氏空間中相應(yīng)的類中心之間的距離，以實現(xiàn)類內(nèi)緊湊性。假設(shè)最后一個完全連通層中的線性映射矩陣可以用來表示角度空間中的類中心，并以乘法的方式懲罰深層特征及其相應(yīng)權(quán)重之間的角度。一個流行的研究方向是將預(yù)留邊緣納入已建立的損失函數(shù)，以最大限度地提高人臉的可分性。

AAM Loss(ArcFace)由于與超球面上的測地距離精確對應(yīng)，獲得了具有清晰幾何解釋(優(yōu)于其他損失函數(shù))的高度區(qū)分特征。ArcFace 的性能始終優(yōu)于最先進(jìn)的技術(shù)，并且可以輕松實現(xiàn)，計算開銷可以忽略不計。

具體來說，提出的弧面 cos (θ + m)基于 L2歸一化權(quán)重和特征，直接最大化角(弧)空間的決策邊界。

Triplet Loss 損失函數(shù)

Triplet Loss最初用于學(xué)習(xí)同一人在不同姿勢和角度下的人臉識別。Triplet Loss是機(jī)器學(xué)習(xí)算法的一種損失函數(shù)，其中一個參考輸入(稱為錨)與一個匹配輸入(稱為正值)和一個非匹配輸入(稱為負(fù)值)進(jìn)行比較。

考慮訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別人臉的任務(wù)(例如進(jìn)入高安全區(qū)域)。每當(dāng)一個新的人加入到人臉數(shù)據(jù)庫時，訓(xùn)練有素的分類器就必須重新訓(xùn)練。這可以通過將問題作為一個相似性學(xué)習(xí)問題而不是一個分類問題來避免。這里，網(wǎng)絡(luò)被訓(xùn)練(使用對比度損失)輸出一個距離，如果圖像屬于一個已知的人，這個距離是小的，如果圖像屬于一個未知的人，這個距離是大的。但是，如果我們想輸出最接近給定圖像的圖像，我們希望了解一個排名，而不僅僅是相似性。在這種情況下使用了三重?fù)p失。

其中d 表示距離函數(shù)，一般指在Embedding下的歐式距離計算。很顯然，Triplet-Loss是希望讓a和p的距離盡可能小，而a和n的距離盡可能大。

在訓(xùn)練中使用Triplet loss的一個重要選擇就是我們需要對負(fù)樣本進(jìn)行挑選，稱之為負(fù)樣本選擇或者三元組采集。選擇的策略會對訓(xùn)練效率和最終性能結(jié)果有著重要的影響。一個明顯的策略就是：簡單的三元組應(yīng)該盡可能被避免采樣到，因為其loss為0，對優(yōu)化并沒有任何幫助。

InfoNCE Loss 損失函數(shù)

InfoNCE Loss損失函數(shù)是基于對比度的一個損失函數(shù)，是由NCE Loss損失函數(shù)演變而來的。

NCE是基于采樣的方法，將多分類問題轉(zhuǎn)為二分類問題。以語言模型為例，利用NCE可將從詞表中預(yù)測某個詞的多分類問題，轉(zhuǎn)為從噪音詞中區(qū)分出目標(biāo)詞的二分類問題，一個類是數(shù)據(jù)類別 data sample，另一個類是噪聲類別 noisy sample，通過學(xué)習(xí)數(shù)據(jù)樣本和噪聲樣本之間的區(qū)別，將數(shù)據(jù)樣本去和噪聲樣本做對比，也就是“噪聲對比（noise contrastive）”，從而發(fā)現(xiàn)數(shù)據(jù)中的一些特性。

Info NCE loss是NCE的一個簡單變體，它認(rèn)為如果你只把問題看作是一個二分類，只有數(shù)據(jù)樣本和噪聲樣本的話，可能對模型學(xué)習(xí)不友好，因為很多噪聲樣本可能本就不是一個類，因此還是把它看成一個多分類問題比較合理。

InfoNCE 代表噪聲對比估計，是一種用于自我監(jiān)督學(xué)習(xí)的對比損失函數(shù)，使用分類交叉熵?fù)p失來識別一組不相關(guān)的噪聲樣本中的正樣本。InfoNCE Loss是為了將N個樣本分到K個類中，而不是NCE Loss的二分類或者交叉熵?fù)p失函數(shù)的完全分類。

Dice Loss 損失函數(shù)

Dice 損失函數(shù)來源于 S?rensen-Dice系數(shù)，這是一個發(fā)展于1940年代的統(tǒng)計方法，用來衡量兩個樣本之間的相似性。Dice系數(shù)的值越大意味著這兩個樣本越相似。

Dice Loss常用于語義分割問題中，對于二分類分割問題，真實分割標(biāo)簽只有0，1兩個值。對于多分類分割問題，Dice Loss是直接優(yōu)化F1 score而來的，是對F1 score的高度抽象。

2016年，Milletari 等人將其引入計算機(jī)視覺社區(qū)，用于三維醫(yī)療圖像分割。為了防止分母項為0，一般我們會在分子和分母處同時加入一個很小的數(shù)作為平滑系數(shù)，也稱為拉普拉斯平滑項。Dice Loss有以下主要特性：

• 有益于正負(fù)樣本不均衡的情況，側(cè)重于對前景的挖掘；
• 訓(xùn)練過程中，在有較多小目標(biāo)的情況下容易出現(xiàn)振蕩；
• 極端情況下會出現(xiàn)梯度飽和的情況。

從集合論的角度來看，DSC是兩個集合之間重疊的度量。例如，如果兩個集合 A 和 B 完全重疊，Dice系數(shù) 的最大值為1。否則，Dice系數(shù)開始減小，如果兩個集合完全不重疊，則 Dice系數(shù)的最小值為0。

因此，DSC 的范圍在0-1之間，越大越好。因此，我們可以使用1-DSC 作為骰子損失，以最大限度地提高兩個集之間的重疊。

Margin Ranking Loss 損失函數(shù)

顧名思義，Margin Ranking Loss損失函數(shù)主要用于排名問題，也應(yīng)用于對抗網(wǎng)絡(luò)中。Margin Ranking Loss計算輸入為 X1、 X2以及包含1或 -1的標(biāo)簽張量 y 的損失。當(dāng) y 的值為1時，第一個輸入將被假設(shè)為較大的值，并將排名高于第二個輸入。類似地，如果 y =-1，第二個輸入將被排序得更高。

Margin Ranking Loss 計算一個標(biāo)準(zhǔn)來預(yù)測輸入之間的相對距離。這不同于其他損失函數(shù)，例如 MSE 或交叉熵，它們學(xué)習(xí)直接從一組給定的輸入進(jìn)行預(yù)測。

Contrastive Loss 損失函數(shù)

鑒于學(xué)習(xí)不變映射的降維需求，對比損失是一個交叉熵的替代損失函數(shù)，它可以更有效地利用標(biāo)簽信息。

在孿生神經(jīng)網(wǎng)絡(luò)（siamese network）中，其采用的損失函數(shù)是contrastive loss，這種損失函數(shù)可以有效的處理孿生神經(jīng)網(wǎng)絡(luò)中的paired data的關(guān)系，形式上并不一定是兩個Net，也可以是一個Net兩個Out。

在嵌入空間中，同一類的點簇被拉在一起，同時推開不同類的樣本簇。Contrastive以網(wǎng)絡(luò)的輸出為正樣本，計算網(wǎng)絡(luò)到同類實例的距離，并與網(wǎng)絡(luò)到負(fù)類實例的距離進(jìn)行對比。對比損失計算正例(同類的例子)和負(fù)例(不同類的例子)之間的距離。因此，如果正面例子被編碼(在這個嵌入空間中)到相似的例子中，而負(fù)面例子被進(jìn)一步編碼到不同的表示中，那么損失可以預(yù)期是低的。

Multiple Negative Ranking Loss 損失函數(shù)

句表示領(lǐng)域中的核心其實是隱性的規(guī)定負(fù)例，例如只有錨定語句和一個正例，同一批次中的其他語句則為負(fù)例，或者指定一組錨定語句、正例、困難負(fù)例，同一批次的其他語句皆為負(fù)例等，使用的損失函數(shù)主要是Multiple Negative Ranking Loss，數(shù)學(xué)上的表達(dá)式為：

這個丟失函數(shù)可以很好地訓(xùn)練嵌入，以便在檢索設(shè)置中使用正對(例如 query，relevant _ doc) ，因為它將在每批 n-1負(fù)文檔中隨機(jī)抽樣。性能通常隨著批量的增加而提高。

在高效句子嵌入問題中，使用Multiple Negative Ranking Loss 損失函數(shù)訓(xùn)練的模型具有一定的優(yōu)勢。

面向回歸的損失函數(shù)

回歸問題中y和f(x)皆為實數(shù)∈R，因此用殘差 y?f(x)來度量二者的不一致程度。殘差 (的絕對值) 越大，則損失函數(shù)越大，學(xué)習(xí)出來的模型效果就越差（這里不考慮正則化問題）。

MAE 或 L1 Loss 損失函數(shù)

顧名思義，平均絕對誤差（Mean Average Error，MAE） 取實際值和預(yù)測值之間絕對差的平均和，也叫做“L1 損失函數(shù)”。它在一組預(yù)測中衡量誤差的平均大小，而不考慮誤差的方向。如果也考慮方向，那將被稱為平均偏差（Mean Bias Error,MBE），它是殘差或誤差之和，其損失范圍也是0到∞。

由于存在異常值(與其他數(shù)據(jù)非常不同的值) ，回歸問題可能有本質(zhì)上不是嚴(yán)格高斯的變量。在這種情況下，平均絕對誤差將是一個理想的選擇，因為它沒有考慮到異常值的方向(不切實際的高正值或負(fù)值)。

L1損失函數(shù)用于最小化誤差，是以絕對誤差作為距離。L1不受離群值的影響，因此，如果數(shù)據(jù)集包含離群值，則 L1更可取。另外，其收斂速度快，能夠?qū)μ荻冉o予合適的懲罰權(quán)重，而不是“一視同仁”，使梯度更新的方向可以更加精確。

MSE 或 L2 Loss 損失函數(shù)

均方差（Mean Squared Error，MSE）是實際值和預(yù)測值之間的平方差的平均值，是最常用的回歸損失函數(shù)，也叫做“L2 損失函數(shù)”。MSE是目標(biāo)變量與預(yù)測值之間距離平方之和。

L2損失函數(shù)用來最小化誤差，也是比 L1更優(yōu)先的損失函數(shù)。但是，當(dāng)數(shù)據(jù)集中存在異常值時，L2的性能不會很好，因為平方差會導(dǎo)致更大的錯誤。

簡而言之，使用L2更容易求解，但使用L1對離群點更加魯棒。

Huber Loss 損失函數(shù)

Huber Loss 是一種將 MSE 與 MAE 結(jié)合起來，取兩者優(yōu)點的損失函數(shù)，也被稱作 Smooth Mean Absolute Error Loss（Smooth L1 損失）。Huber Loss 也是回歸中使用的一種損失函數(shù)，它對數(shù)據(jù)中的異常值不如誤差平方損失那么敏感。它具有對異常點不敏感和極小可微的特點，使得損失函數(shù)具有良好的性質(zhì)。

當(dāng)誤差較小時，利用 Huber Loss的 MSE 部分，當(dāng)誤差較大時，利用 Huber 損失的 MAE 部分。引入了一種新的超參數(shù) δ，它告訴損失函數(shù)從 MSE 到 MAE 的切換位置。在損失函數(shù)中引入 δ 項，使 MSE 向 MAE 的轉(zhuǎn)變趨于平滑。Huber 損失函數(shù)描述了由估算過程產(chǎn)生的損失 F Huber 損失分段定義損失函數(shù):

這個函數(shù)是二次函數(shù)，具有相等的值和斜率的不同部分在兩個點 ‖ a ‖ = δ 變量 a 通常指的是殘差，即觀測值和預(yù)測值之間的差值 A = y-f (x) 因此，前者可以擴(kuò)展到:

總之，Huber Loss 增強了MSE的離群點魯棒性，減小了對離群點的敏感度問題。當(dāng)誤差較大時 ，使用MAE可降低異常值影響，使得訓(xùn)練更加健壯。其下降速度介于MAE與MSE之間，彌補了MAE在Loss下降速度慢的問題，而更接近MSE。

小結(jié)

在神經(jīng)網(wǎng)絡(luò)中，損失函數(shù)是神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出與實際輸出之間差異的度量，計算當(dāng)前輸出和預(yù)期輸出之間的距離。這是一種評估如何建模數(shù)據(jù)的方法，提供了神經(jīng)網(wǎng)絡(luò)表現(xiàn)如何的度量，并被用作訓(xùn)練期間優(yōu)化的目標(biāo)。損失函數(shù)越小，一般就代表模型的魯棒性越好，正是損失函數(shù)指導(dǎo)了模型的學(xué)習(xí)。

【參考資料與關(guān)聯(lián)閱讀】

• PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions ，https://arxiv.org/abs/2204.12511
• Focal Loss for Dense Object Detection ，https://arxiv.org/abs/1708.02002
• Generalized End-to-End Loss for Speaker Verification ，https://arxiv.org/abs/1710.10467
• ArcFace: Additive Angular Margin Loss for Deep Face Recognition ，https://arxiv.org/abs/1801.07698
• FaceNet: A Unified Embedding for Face Recognition and Clustering，https://arxiv.org/abs/1503.03832
• Contrastive Predictive Coding，https://arxiv.org/pdf/1807.03748v2.pdf
• Rethinking Dice Loss for Medical Image Segmentation，https://ieeexplore.ieee.org/document/9338261
• Adaptive Margin Ranking Loss for Knowledge Graph Embeddings via a Correntropy Objective Function，https://arxiv.org/pdf/1907.05336.pdf
• Multiple Negative Ranking Loss，https://arxiv.org/pdf/1705.00652.pdf
• Contrastive Loss，http://yann.lecun.com/exdb/publis/pdf/hadsell-chopra-lecun-06.pdf