在搭建神經網絡時，各個網絡層的維度信息是網絡設計和優化的關鍵，它們共同決定了模型的表達能力、計算效率以及訓練效果。以下從輸入層、隱藏層、輸出層三個維度展開分析，并給出維度設計的通用原則：

圖片

一、輸入層維度

輸入層是神經網絡的起點，負責接收外界的輸入信息，并將其轉化為神經網絡可處理的格式。其維度通常由輸入數據的特征數量決定。

• 圖像處理：若輸入為圖像，輸入層維度通常為圖像的像素值展開后的向量長度。例如，對于一張32×32的RGB圖像，輸入層維度為32×32×3=3072。
• 文本處理：若輸入為文本，輸入層維度可能為詞向量的維度或字符/詞的數量。例如，使用詞嵌入技術時，輸入層維度可能為100（假設詞向量維度為100）。
• 通用規則：輸入層維度應與輸入數據的特征數量嚴格匹配，以確保數據能夠正確進入網絡。

二、隱藏層維度

隱藏層是神經網絡的核心部分，負責數據的內部處理。其維度（即每層神經元的數量）決定了模型的表達能力、參數量和計算開銷。

• 維度選擇原則：

任務復雜度：任務越復雜，需要的“表達能力”越強，網絡就要更寬（更多神經元）或更深（更多層）。例如，MNIST手寫數字識別等簡單任務，每層64~128個神經元即可；而人臉識別、圖像生成等復雜任務，可能需要每層256、512甚至上千個神經元。

避免信息瓶頸：若某一層維度過小（如從1024突降到10），會造成信息瓶頸，丟失重要特征；若每層維度都很大（如4096），則會造成參數爆炸，容易過擬合，且訓練速度慢。

經典結構參考：全連接網絡（MLP）可采用逐層減半的設計（如輸入層→256→128→64→輸出層）；圖像分類CNN則可在每個空間下采樣后，將通道數翻倍（如64→128→256）。

• 維度計算示例：

假設輸入層維度為3（即輸入數據有3個特征），隱藏層有2個神經元，則隱藏層的權重矩陣W[1]維度為2×3，偏置向量b[1]維度為2×1。

隱藏層輸出a[1]的計算公式為：a[1]=σ(W[1]x+b[1])，其中σ為激活函數。由于W[1]x的維度為2×1，b[1]的維度也為2×1，因此a[1]的維度同樣為2×1。

三、輸出層維度

輸出層是神經網絡的終點，負責將隱藏層的處理結果轉化為最終的輸出結果。其維度取決于任務的類型和要求。

• 分類任務：

二元分類：輸出層使用單個神經元，配合Sigmoid激活函數，輸出介于0和1之間的概率值。

多類分類：輸出層神經元數量與類別數匹配，配合Softmax激活函數，輸出每個類別的概率分布。例如，對于10類分類任務，輸出層維度為10。

• 回歸任務：

輸出層使用單個神經元，無激活函數（或使用線性激活函數），輸出連續值。例如，預測房價時，輸出層維度為1。

• 多輸出任務：

對于具有多個輸出的場景（如同時預測物體的位置和類別），輸出層維度應與輸出數量匹配。例如，若需同時輸出4個坐標值和1個類別標簽，則輸出層維度為5，并根據任務要求自定義激活函數（如坐標輸出使用線性激活函數，類別輸出使用Softmax激活函數）。

本文轉載自??每天五分鐘玩轉人工智能??，作者：幻風magic