RMSprop（RootMeanSquarePropagation）算法是一種自適應學習率的優(yōu)化算法，它由Adagrad算法改進而來，引入指數(shù)加權(quán)移動平均方法替代梯度平方累加，動態(tài)調(diào)整每個參數(shù)的學習率，解決了傳統(tǒng)梯度下降法中的震蕩和收斂慢問題。本文將從Adagrad算法的局限性出發(fā)，解析RMSprop算法的原理與推導過程，揭示其是如何突破優(yōu)化后期學習率衰減過大的問題。1.算法背景與發(fā)展動機(1)Adagrad算法的局限性：在AdaGrad算法中，由于梯度分量的直接...

動量法通過引入歷史梯度信息顯著提升了收斂效率，卻難以擺脫路徑震蕩與局部最優(yōu)的桎梏。當梯度方向突變時，傳統(tǒng)動量法如同盲目前行的旅人，只能依賴當前腳步調(diào)整方向，卻常因慣性陷入反復震蕩的困局。而Nesterov動量法的“前瞻機制”，猶如為優(yōu)化過程裝上預判未來的羅盤——它先沿歷史動量方向跨出試探性一步，在預估位置重新校準梯度，實現(xiàn)對路徑的動態(tài)修正。本文將深入解析動量法的局限性與Nesterov的破局之道，揭示其如何通...

梯度下降法是僅使用梯度信息的一階優(yōu)化算法，忽略了曲率信息，計算簡單且可能收斂慢。因此，牛頓法使用Hessian矩陣結(jié)合了局部曲率信息，自適應地調(diào)整更新步長，進一步加速收斂。本文將從梯度下降法的局限性出發(fā)，詳細介紹牛頓法的數(shù)學推導過程。（全文1300余字，感興趣可點贊、推薦、轉(zhuǎn)發(fā)、關注，將持續(xù)更新?。。。?、梯度下降法的局限性(1)梯度下降法沿參數(shù)空間中某一點處的???負梯度方向???進行參數(shù)更新。同時，???...

批歸一化（BatchNormalization）和層歸一化（LayerNormalization）是深度學習中廣泛應用的兩種數(shù)據(jù)歸一化方法，用于改善神經(jīng)網(wǎng)絡的訓練性能。本文將從提出這兩種技術(shù)的原論文出發(fā)，詳細闡述技術(shù)背景、原理及基于Pytorch的實現(xiàn)方式。1.批歸一化（BatchNormalization）批歸一化由谷歌的SergeyIoffe和ChristianSzegedy于2015年在論文“BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift”中提...

對模型的泛化性能進行評估，不僅需要有效可行的試驗估計方法，還需要具有衡量模型泛化能力的評價標準，即性能度量。且在不同的任務中對比模型的性能時，使用不同的性能度量往往會導致不同的評判結(jié)果。在分類任務中，最常用的性能度量有錯誤率、精度、查準率、查全率、F1分數(shù)及AUCROC曲線。01錯誤率與精度(1)錯誤率(errorrate)是分類錯誤的樣本數(shù)占樣本總數(shù)（m）的比例。計算公式可表示為：(2)精度(accuracy)是分類正確的樣本數(shù)...

對模型的泛化性能進行評估，不僅需要有效可行的試驗估計方法，還需要具有衡量模型泛化能力的評價標準，即性能度量。且在不同的任務中對比模型的性能時，使用不同的性能度量往往會導致不同的評判結(jié)果。在分類任務中，最常用的性能度量有錯誤率、精度、查準率、查全率、F1分數(shù)及AUCROC曲線。本文將首先介紹錯誤率、精度、查準率、查全率、PR曲線與平衡點及F1分數(shù)的詳細原理。1.錯誤率與精度(1)錯誤率(errorrate)是分類錯誤的樣本...

阿里的Ma等人于2018年在論文《EntireSpaceMultiTaskModel:AnEffectiveApproachforEstimatingPostClickConversionRate》中提出了ESMM模型，用于建模電商推薦系統(tǒng)中點擊后轉(zhuǎn)化率的預估問題，同時有效緩解了樣本選擇偏差和數(shù)據(jù)稀疏問題。本文將從ESMM模型提出的背景、問題建模、模型原理及損失函數(shù)涉及方面進行詳細的闡述。1.ESMM模型背景（1）在電商推薦系統(tǒng)中，用戶的行為一般遵循“曝光點擊轉(zhuǎn)化”的順序，ESSM主要用于建模點擊...

Transformer模型的時間復雜度主要由其核心模塊自注意力機制和前饋神經(jīng)網(wǎng)絡決定，其中自注意力機制的計算復雜度占主導地位。本文將從單個矩陣乘法的時間復雜度計算出發(fā)，分析自注意力機制、多頭注意力機制、前饋神經(jīng)網(wǎng)絡的時間復雜度，從而得到整個Transformer模型的時間復雜度，并說明優(yōu)化方法。1.單個矩陣乘法的時間復雜度2.自注意力機制的時間復雜度3.多頭自注意力機制的時間復雜度4.前饋神經(jīng)網(wǎng)絡的時間復雜度5.Transformer模...

位置編碼（PostitionalEncoding）是Transformer架構(gòu)中的關鍵技術(shù)之一。不同于卷積神經(jīng)網(wǎng)絡利用局部感受野、共享權(quán)重和池化操作等機制，可以自然地感受輸入數(shù)據(jù)的空間位置信息，也不同于循環(huán)神經(jīng)網(wǎng)絡憑借循環(huán)結(jié)構(gòu)和隱藏狀態(tài)的記憶與更新機制，能夠隱式地捕捉輸入序列中的時間順序信息，Tranformer架構(gòu)并未顯式地建模輸入序列中的絕對或相對位置信息，故需通過位置編碼技術(shù)顯式地注入位置信息，以使模型能更好地理解序列中不同位...

快手的Chang等人于2023年在論文《PEPNet:ParameterandEmbeddingPersonalizedNetworkforInfusingwithPersonalizedPriorInformation》中正式提出了PEPNet模型，用于建模推薦系統(tǒng)中的多任務多領域問題。本文將從PEPNet模型提出的動機、問題建模、模型結(jié)構(gòu)及工程優(yōu)化策略方面進行詳細的闡述。1.PEPNet模型的提出動機（1）多任務學習：出發(fā)點是不同的任務之間存在稀疏性和依賴性。但由于不同任務具有獨特的稀疏性和相互影響，很難在...

MMOE模型由谷歌研究團隊于2018年在論文《ModelingTaskRelationshipsinMultitaskLearningwithMultigateMixtureofExperts》中提出，是一種新穎的多任務學習框架，廣泛應用于推薦系統(tǒng)中。本文從技術(shù)背景、演化過程、計算原理、關鍵問題解析以及基于PyTorch的代碼實現(xiàn)方面對MMoE架構(gòu)進行深入探究。1.技術(shù)背景（1）多任務學習的本質(zhì)是共享表示以及相關任務的相互影響，多任務學習模型并不總是在所有任務上都優(yōu)于相應的單任務模型。（...

圖1DeepSeekV2&DeepSeekV3基本架構(gòu)。DeepSeekMoE架構(gòu)的提出源于DeepSeek發(fā)表的論文《DeepSeekMoE:TowardsUltimateExpertSpecializationinMixtureofExpertsLanguageModels》，在DeepSeekV2、V3及R1中得到了更好的應用。1.DeepSeekMoE關鍵技術(shù)（1）DeepSeekMoE架構(gòu)有兩個關鍵思想：細粒度專家劃分和共享專家隔離。細粒度專家細分以實現(xiàn)更高的專家專業(yè)化程度和更準確的知識獲取，共享專家隔離以減少專家之間的知識冗余。圖2DeepSee...

?DeepSeek的基本架構(gòu)仍然在Transformer框架內(nèi)，每個Transformer模塊由一個注意力模塊和一個前饋網(wǎng)絡組成。為實現(xiàn)更高效的推理和更經(jīng)濟的訓練，在注意力和前饋網(wǎng)絡部分，設計并使用了創(chuàng)新的MLA（MultiHeadLatentAttention）和DeepSeekMoE架構(gòu)。本文將從MLA的提出背景、技術(shù)原理、解耦RoPE策略及MHA與MLA的緩存對比方面進行詳細闡述。MLA是對多頭自注意力機制（MHA）的改進，其核心是對鍵（Keys）和值（Values）進行低秩聯(lián)合壓縮...