反向傳播

一、反向傳播的本質

前向傳播（Forward Propagation）：前向傳播是神經網絡通過層級結構和參數，將輸入數據逐步轉換為預測結果的過程，實現輸入與輸出之間的復雜映射。

前向傳播

• 輸入層：
  • 輸入層接收訓練集中的樣本數據。
  • 每個樣本數據包含多個特征，這些特征被傳遞給輸入層的神經元。
  • 通常，還會添加一個偏置單元來輔助計算。
• 隱藏層：
  • 隱藏層的每個神經元接收來自輸入層神經元的信號。
  • 這些信號與對應的權重相乘后求和，并加上偏置。
  • 然后，通過激活函數（如sigmoid）處理這個求和結果，得到隱藏層的輸出。
• 輸出層：
  • 輸出層從隱藏層接收信號，并進行類似的加權求和與偏置操作。
  • 根據問題的類型，輸出層可以直接輸出這些值（回歸問題），或者通過激活函數（如softmax）轉換為概率分布（分類問題）。

反向傳播（Back Propagation）：反向傳播算法利用鏈式法則，通過從輸出層向輸入層逐層計算誤差梯度，高效求解神經網絡參數的偏導數，以實現網絡參數的優化和損失函數的最小化。

反向傳播

• 利用鏈式法則：反向傳播算法基于微積分中的鏈式法則，通過逐層計算梯度來求解神經網絡中參數的偏導數。
• 從輸出層向輸入層傳播：算法從輸出層開始，根據損失函數計算輸出層的誤差，然后將誤差信息反向傳播到隱藏層，逐層計算每個神經元的誤差梯度。
• 計算權重和偏置的梯度：利用計算得到的誤差梯度，可以進一步計算每個權重和偏置參數對于損失函數的梯度。
• 參數更新：根據計算得到的梯度信息，使用梯度下降或其他優化算法來更新網絡中的權重和偏置參數，以最小化損失函數。

二、反向傳播的原理

鏈式法則（Chain Rule）：鏈式法則是微積分中的一個基本定理，用于計算復合函數的導數。如果一個函數是由多個函數復合而成，那么該復合函數的導數可以通過各個簡單函數導數的乘積來計算。

鏈式法則

• 簡化梯度計算：在神經網絡中，損失函數通常是一個復合函數，由多個層的輸出和激活函數組合而成。鏈式法則允許我們將這個復雜的復合函數的梯度計算分解為一系列簡單的局部梯度計算，從而簡化了梯度計算的過程。
• 高效計算梯度：通過鏈式法則，我們可以從輸出層開始，逐層向前計算每個參數的梯度。這種逐層計算的方式避免了重復計算，提高了梯度計算的效率。
• 支持多層網絡結構：鏈式法則不僅適用于簡單的兩層神經網絡，還可以擴展到具有任意多層結構的深度神經網絡。這使得我們能夠訓練和優化更加復雜的模型。

偏導數：偏導數是多元函數中對單一變量求導的結果，它在

反向傳播中用于量化損失函數隨參數變化的敏感度，從而指導參數優化。

偏導數

• 偏導數的定義：
  • 偏導數是指在多元函數中，對其中一個變量求導，而將其余變量視為常數的導數。
  • 在神經網絡中，偏導數用于量化損失函數相對于模型參數（如權重和偏置）的變化率。
• 反向傳播的目標：
  • 反向傳播的目標是計算損失函數相對于每個參數的偏導數，以便使用優化算法（如梯度下降）來更新參數。
  • 這些偏導數構成了梯度，指導了參數更新的方向和幅度。
• 計算過程：
  • 輸出層偏導數：首先計算損失函數相對于輸出層神經元輸出的偏導數。這通常直接依賴于所選的損失函數。
  • 隱藏層偏導數：使用鏈式法則，將輸出層的偏導數向后傳播到隱藏層。對于隱藏層中的每個神經元，計算其輸出相對于下一層神經元輸入的偏導數，并與下一層傳回的偏導數相乘，累積得到該神經元對損失函數的總偏導數。
  • 參數偏導數：在計算了輸出層和隱藏層的偏導數之后，我們需要進一步計算損失函數相對于網絡參數的偏導數，即權重和偏置的偏導數。

三、反向傳播的案例：簡單神經網絡

1. 網絡結構

• 假設我們有一個簡單的兩層神經網絡，結構如下：
• 輸入層：2個神經元（輸入特征 x1 和 x2）
• 隱藏層：2個神經元（帶有激活函數 sigmoid）
• 輸出層：1個神經元（帶有激活函數 sigmoid）
• 網絡的權重和偏置如下（這些值是隨機初始化的，實際情況中會使用隨機初始化）：
• 輸入層到隱藏層的權重矩陣 W1：[[0.5, 0.3], [0.2, 0.4]]
• 隱藏層到輸出層的權重向量 W2：[0.6, 0.7]
• 隱藏層的偏置向量 b1：[0.1, 0.2]
• 輸出層的偏置 b2：0.3

2. 前向傳播

• 給定輸入 [0.5, 0.3]，進行前向傳播：
• 隱藏層輸入：[0.5*0.5 + 0.3*0.2 + 0.1, 0.5*0.3 + 0.3*0.4 + 0.2] = [0.31, 0.29]
• 隱藏層輸出（經過 sigmoid 激活函數）：[sigmoid(0.31), sigmoid(0.29)] ≈ [0.57, 0.57]
• 輸出層輸入：0.6*0.57 + 0.7*0.57 + 0.3 = 0.71
• 輸出層輸出（預測值，經過 sigmoid 激活函數）：sigmoid(0.71) ≈ 0.67

3. 損失計算

• 假設真實標簽是 0.8，使用均方誤差（MSE）計算損失：
• 損失 = (0.8 - 0.67)^2 ≈ 0.017

4. 反向傳播：計算損失函數相對于網絡參數的偏導數，并從輸出層開始反向傳播誤差。

• 輸出層偏導數：
  • 損失函數對輸出層輸入的偏導數（δ2）：2 * (0.67 - 0.8) * sigmoid_derivative(0.71) ≈ -0.05
  • sigmoid 函數的導數：sigmoid(x) * (1 - sigmoid(x))
• 隱藏層偏導數：
  • 損失函數對隱藏層每個神經元輸出的偏導數（δ1）：[δ2 * 0.6 * sigmoid_derivative(0.31), δ2 * 0.7 * sigmoid_derivative(0.29)]
  • 計算后得到 δ1 ≈ [-0.01, -0.01]（這里簡化了計算，實際值可能有所不同）
• 參數偏導數：
  • 對于權重 W2：[δ2 * 隱藏層輸出1, δ2 * 隱藏層輸出2] = [-0.03, -0.04]
  • 對于偏置 b2：δ2 = -0.05
  • 對于權重 W1 和 偏置 b1，需要更復雜的計算，因為它們影響到隱藏層的輸出，進而影響到輸出層的輸入和最終的損失。這些偏導數依賴于 δ1 和輸入層的值。

5. 參數更新

• 使用梯度下降更新參數（學習率設為 0.1）：
• 更新 W2：W2 - 學習率 * 參數偏導數
• 更新 b2：b2 - 學習率 * 參數偏導數
• 同樣地更新 W1 和 b1

6. 迭代

• 重復步驟 2-5，直到網絡收斂或達到預設的迭代次數。

本文章轉載微信公眾號@架構師帶你玩轉AI