一句話總結，神經網絡的基本思想就是一個曲線曲面擬合器。?????圖片中的左上角的綠色曲線是我們想要通過神經網絡擬合的曲線。圖片右下角藍色和橙色的曲線就是神經網絡擬合過程。假設我們在Dosage輸入一個點0，我們看藍色這條線。經過wx+b得到一個線性變換的數值。其中，w是34.4，b是2.14，x是0，wx+b2.14。線性變換在神經網絡中的作用是什么呢？在神經網絡中，線性變換主要有以下作用：首先，線性變換可以對輸入數據進行特...

就像無數人從敲下“HelloWorld”開始代碼之旅一樣，許多研究員從“MNIST數據集”開啟了人工智能的探索之路。MNIST數據集（MixedNationalInstituteofStandardsandTechnologydatabase）是一個用來訓練各種圖像處理系統的二進制圖像數據集，廣泛應用于機器學習中的訓練和測試。MNIST數據集共有70000張圖像，其中訓練集60000張，測試集10000張。所有圖像都是28×28的灰度圖像，每張圖像包含一個手寫數字。每張圖像都有標注。共10個...

我們將到我們將要求解目標函數：在這里我們對min后面的式子進行放縮。之前我們認為：該式大于等于0。現在我們對該式進行放縮，我們知道當x>1時，2x>2。所以我們總有辦法使進行此放縮的目的是為了化簡。當該式大于等于1時，它的最小值就是1。所以目標函數可以化簡成：所以目標函數就變成了當遇到求極大值問題時，我們將其轉換成求極小值問題，所以我們只需要求w的極小值就可以。為了方便后續化簡，我們將w變成w的平方，并乘以12...

大家好！我是小A！今天我們接著上一篇，為大家講解多元線性回歸是怎么一回事。何為多元？當我們的輸入x只有一維屬性時，我們稱之為一元。就像我們判斷人胖瘦，只需了解體重這一個屬性，我們就可以辨識。當x包含n個屬性，由n個屬性進行描述時，我們稱之為多元。比如我們判斷一個西瓜是好瓜還是壞瓜，我們需要了解的信息就多了，我們需要知道瓜的生產日期，瓜的顏色，瓜敲起來聲響如何等等，綜合上述多種屬性才能判斷瓜的成色。這...

LSTM即longshorttermmemory，是RNN神經網絡的改進版本。它與RNN的不同之處就在于，它引入了細胞狀態這樣一種概念，不同于RNN只考慮最近的狀態，LSTM的細胞狀態會決定哪些狀態留下來，哪些狀態被遺忘。這樣即使很久以前的狀態也會對下一步的預測作出影響，很大程度上的彌補了RNN的缺陷。不同于RNN單一神經網絡層，LSTM有四個神經網絡層，如下圖所示：首先先熟悉一下上圖中圖標的含義在上面的圖例中，每一條黑線傳輸著一整個向量...

LSTM的關鍵在于它的“記憶單元”，能夠選擇性地記住或者忘記信息。其核心組件包括三個門和一個記憶單元：1.遺忘門（ForgetGate）：決定應該丟棄哪些信息。2.輸入門（InputGate）：決定更新哪些新的信息。3.輸出門（OutputGate）：決定當前狀態如何影響輸出。數學公式解釋遺忘門：ftσ(Wf?[ht?1,xt]+bf)遺忘門決定了上一時刻的狀態Ct?1中，哪些信息需要保留，哪些需要丟棄。值域為[0,1]，1表示完全保留，0表示完全丟棄。輸入...

XGBoost是華盛頓大學博士陳天奇創造的一個梯度提升（GradientBoosting）的開源框架。至今可以算是各種數據比賽中的大殺器，被大家廣泛地運用。接下來，就詳細介紹一下XGBoost的原理和公式推導。XGBoost其實是一個樹集成模型，他將K（樹的個數）個樹的結果進行求和，作為最終的預測值。好比接下來有兩顆決策樹：tree1和tree2。小男孩的回歸預測分數是tree1葉子結點的權重和tree2葉子結點的權重相加：2+0.92.9。爺爺的預測分數同...

作為機器學習的入門課程，線性回歸是我們必須要學習的第一個算法。今天我們就來詳細的講解一下線性回歸。在講解之前，我們先來解釋以下幾個問題。可為線性？線性是指自變量x和因變量y之間是線性的關系，即圖像是一條直線，叫做線性。何為回歸？百度百科的解釋是：指研究一組隨機變量(Y1，Y2，…，Yi)和另一組(X1，X2，…，Xk)變量之間關系的統計分析方法，又稱多重回歸分析。通俗的講就是我們研究一個函數，當我們輸入自變量x時...

神經網絡為什么可以做到智能分類，回歸預測？他是如何做到的呢？讓我們先來看一個回歸預測問題，請看下面這張圖：解釋一下上圖中的要素：藍色曲線為真實數據，紅色為神經網絡預測曲線。其中紅色曲線由三段直線構成，【01】區間內斜率k1；【12】區間內斜率k1；【2∞】區間內斜率k1。實際上神經網絡預測曲線y^可以由以下三個函數構成：??????解釋一下上圖中的要素：其中y1x，區間【0∞】；y20，區間【01】，y22x+2，區間【1...

從本篇開始我將會給大家詳細的講解神經網絡以及最經典的卷積神經網絡。我們都知道神經網絡是機器學習的一個分支，而神經網絡的延伸和豐富又形成了一個新的學科：深度學習。深度學習目前主要應用在計算機視覺領域，也就是對圖片的識別檢測和分類。但是既然是圖像處理，處理結果就會受到一下幾個因素的影響：1.照射角度改變拍照的角度，改變物體的位置，要求能夠識別????2.光照強度上圖中亮度強的白貓可以一眼識別，而亮度低...

fwx+b，再經由sigmoid(f)或者softmax(f)得到的概率與樣本實際值y(x)是有偏差的，怎樣能使預測值無限接近樣本實際值呢？這時就需要用到反向傳播來更新神經網絡參數。反向傳播主要是通過計算損失函數對網絡參數的梯度，然后利用梯度下降等優化方法來更新參數，從而使網絡逐步優化，降低預測誤差。。反向傳播流程如下所示：1.前向傳播（ForwardPropagation）首先，對輸入數據進行前向傳播計算，得到網絡的輸出。這包括以下步驟：輸...

很多課程都會通過公式來說明Transformer，但是沒有給你算過數，也沒讓你明白一件更重要的事：“自注意力給出來的輸出，實際上表示了什么？”本文就想用一個質化、好懂、可實際運算的例子，帶你真正看懂SelfAttention是怎么工作的，并解釋它的輸出真正意義!1.讓我們再來回顧下什么是“注意力機制”？你看一段文字時，總會下意識的想：我要看哪些詞？哪些字是我目前理解這句話的關鍵？注意力機制就是這樣一種方法，它允許模型根據...

LightGBM是一個快速、高效的梯度提升框架，他由微軟開發，在數據挖掘和機器學習領域應用廣泛。接下來詳細介紹下他的原理1.梯度提升框架：LightGBM基于梯度提升決策樹（GBDT）算法，通過迭代地訓練決策樹來逐步減少預測誤差。它將弱學習器（如決策樹）組合成一個強學習器，不斷地根據之前模型的誤差來調整新模型的訓練，從而提高整體模型的準確性。舉例：假設有一個預測房價的任務，我們有一些房屋的特征數據，如面積、房間數、...

循環神經網絡（RNN）是一類能夠處理序列數據的神經網絡，它在處理自然語言處理、語音識別、時間序列分析等任務中表現出色。RNN的獨特之處在于它能夠捕捉序列中的時間依賴關系，這使得它與傳統的前饋神經網絡（如MLP）有著顯著的不同。RNN的基本原理在標準的前饋神經網絡中，輸入和輸出之間的映射是靜態的：輸入通過一組層的線性變換和非線性激活函數，然后生成輸出。而RNN引入了循環的概念：在處理序列數據時，RNN不僅考慮當前...

在深度學習飛速發展的當下，Transformer架構無疑是閃耀的明星，被廣泛應用于自然語言處理、計算機視覺等多個領域。而Transformer的“智慧源泉”，正是自注意力機制。今天，就讓我們深入剖析這一神奇機制，揭開它的神秘面紗。首先要明白一個概念：為什么需要自注意力機制？傳統的神經網絡，如循環神經網絡（RNN）在處理序列數據時，按順序依次處理每個元素，對于長距離依賴的捕捉能力欠佳，會出現梯度消失或梯度爆炸問題。卷積神...

今天我們來講一講神經網絡的參數到底是如何更新的！我們先來看看如下神經網絡中的最后一個參數b3是怎樣進行更新的。后面的章節再來講w1w2w3b1b2是如何更新的。我們先假設w1w2w3b1b2參數均已得到最優解，分別如上圖中綠色數據所示。假設我們要擬合的曲線如下圖所示：我們先給b3賦一個默認的初始值0。假設最上面的綠色曲線是我們要擬合的真實曲線，最下面的綠色曲線是當前的預測曲線。我們先來求一個殘差平方和，即對于所有的輸入...

ReLU（RectifiedLinearUnit）函數詳細講解ReLU（修正線性單元）是一種在深度學習中非常流行的激活函數，它主要用于神經網絡中的隱藏層。ReLU的設計簡單而高效，能夠有效地處理梯度消失問題，使深度神經網絡得以訓練。1.ReLU函數的定義ReLU的數學表達式非常簡潔：f(x)max?(0,x)意思是：當輸入值x大于0時，輸出值就是輸入值x。當輸入值x小于或等于0時，輸出值是0。2.ReLU函數的圖形ReLU函數的圖形形狀呈現為分段線性函數，在輸入...

梯度消失（VanishingGradient）與梯度爆炸（ExplodingGradient）梯度消失和梯度爆炸是深度神經網絡訓練中經常遇到的兩個重要問題，尤其是在訓練較深的網絡時。這兩個問題都會影響網絡的訓練效率，甚至導致訓練失敗。下面小A將詳細講解這兩個問題。一.梯度消失概念梯度消失是指在訓練深度神經網絡時，反向傳播過程中的梯度逐漸變小，最終導致梯度接近于零的現象。這使得神經網絡的權重更新非常緩慢，甚至導致某些層的權重根本不...

今天我們要講解的算法是Word2vec。Word2vec（wordtovector）顧名思義，這是一個將單詞轉換成向量形式的工具。通過轉換，可以把對文本內容的處理簡化為向量空間中的向量運算，計算出向量空間上的相似度，來表示文本語義上的相似度。Word2vec主要分為CBOW（ContinuousBagofWords）又叫連續詞袋和SkipGram兩種模式，今天我們主要講解的就是CBOW，接下來我們將從頭到尾的詳細講解Word2vec算法流程。先來講解一個背景知識：onehot向...

今天我們來講一講神經網絡的參數到底是如何更新的！我們先來看看如下神經網絡中的最后一個參數b3是怎樣進行更新的。后面的章節再來講w1w2w3b1b2是如何更新的。我們先假設w1w2w3b1b2參數均已得到最優解，分別如上圖中綠色數據所示。假設我們要擬合的曲線如下圖所示：我們先給b3賦一個默認的初始值0。假設最上面的綠色曲線是我們要擬合的真實曲線，最下面的綠色曲線是當前的預測曲線。我們先來求一個殘差平方和，即對于所有的輸入...