損失函數

一、損失函數的本質

機器學習“三板斧”：選擇模型家族，定義損失函數量化預測誤差，通過優化算法找到最小化損失的最優模型參數。

機器學習 vs 人類學習

• 定義一個函數集合（模型選擇）
  • 目標：確定一個合適的假設空間或模型家族。
  • 示例：線性回歸、邏輯回歸、神經網絡、決策樹等。
  • 考慮因素：問題的復雜性、數據的性質、計算資源等。
• 判斷函數的好壞（損失函數）
  • 目標：量化模型預測與真實結果之間的差異。
  • 示例：均方誤差（MSE）用于回歸；交叉熵損失用于分類。
  • 考慮因素：損失的性質（凸性、可微性等）、易于優化、對異常值的魯棒性等。
• 選擇最好的函數（優化算法）
  • 目標：在函數集合中找到最小化損失函數的模型參數。
  • 主要方法：梯度下降及其變種（隨機梯度下降、批量梯度下降、Adam等）。
  • 考慮因素：收斂速度、計算效率、參數調整的復雜性等。

損失函數的本質：量化模型預測與真實結果之間的差異。

損失函數的本質

• 一、損失函數的概念：
• 損失函數用于量化模型預測與真實值之間的差異。
• 它是預測值與真實值之間差距的計算方法，并通過深度學習框架（如PyTorch、TensorFlow）進行封裝。
• 二、損失函數的重要性：
• 在機器學習中，目標是使預測值盡可能接近真實值，因此需要通過最小化預測值和真實值之間的差異來實現。
• 損失函數的選擇對于模型的訓練速度和效果至關重要，因為不同的損失函數會導致不同的梯度下降速度。
• 三、損失函數的位置：
• 損失函數位于機器學習模型的向前傳播和向后傳播之間。
• 在向前傳播階段，模型根據輸入特征生成預測值。
• 損失函數接收這些預測值，并計算與真實值之間的差異。
• 這個差異隨后被用于向后傳播階段，以更新模型的參數并減少未來的預測誤差。

損失函數的位置

二、損失函數的原理

誤差反映單個數據點的預測偏差，損失則是整體數據集的預測偏差總和。損失函數運用這兩者原理，聚合誤差以優化模型，降低總體預測偏差。

誤差（Error）：對單個數據點預測結果與真實值之間的差異，用于評估模型在特定數據點上的預測準確性。

• 定義：誤差是指模型在對單個數據點進行預測時，其預測結果與真實值之間的差異或偏離程度。這種差異反映了模型預測的不準確性或偏差。
• 計算：誤差可以通過多種數學公式來計算。其中，絕對誤差是預測值與真實值之間差值的絕對值，用于量化預測偏離真實值的實際大小；平方誤差則是預測值與真實值之間差值的平方，常用于平方損失函數中，以便更顯著地突出較大的誤差。
• 誤差棒：誤差棒通常以線條或矩形的形式出現在數據點的上方、下方或兩側，其長度或大小代表了誤差的量級。這種可視化方法有助于識別潛在的問題區域，并指導進一步的模型改進或數據分析。

誤差棒

損失（Loss）：損失是衡量機器學習模型在整個數據集上預測不準確性的總體指標，通過最小化損失可以優化模型參數并改進預測性能。

• 定義：損失是衡量機器學習模型在整個數據集上預測的總體不準確性的指標。它反映了模型預測與真實值之間的差異，并將這些差異進行聚合，以提供一個標量值來表示預測的總體不準確性。
• 計算：損失的具體計算是通過損失函數來完成的。損失函數接受模型的預測值和真實值作為輸入，并輸出一個標量值，即損失值，表示模型在整個數據集上的總體預測誤差。
• 損失曲線：損失曲線直觀地呈現了模型在訓練過程中損失值的變化趨勢。通過繪制訓練損失和驗證損失隨迭代次數的變化，我們能夠洞察模型是否遭遇過擬合或欠擬合等問題，進而調整模型結構和訓練策略。

損失曲線

三、損失函數的算法

損失函數的算法

均方差損失函數（MSE）：通過計算模型預測值與真實值之間差值的平方的平均值，衡量回歸任務中預測結果的準確性，旨在使預測值盡可能接近真實值。

均方差損失函數（MSE）

• 應用場景：主要用于回歸問題，即預測連續值的任務。
• 公式：

均方差損失函數（MSE）公式

• 特點：
• 當預測值接近真實值時，損失值較小。
• 當預測值與真實值差距較大時，損失值迅速增大。
• 由于其梯度形式簡單，易于優化。
• 優化目標：最小化均方差損失，使得模型的預測值盡可能接近真實值。

交叉熵損失函數（CE）：用于衡量分類任務中模型預測的概率分布與真實標簽之間的差異，旨在通過最小化損失來使模型預測更加接近真實類別。

交叉熵損失函數（CE）

• 應用場景：主要用于分類問題，尤其是多分類問題。
• 公式：

交叉熵損失函數（CE）公式

• 特點：
• 當預測概率分布與真實概率分布相近時，損失值較小。
• 對預測概率的微小變化非常敏感，尤其當真實標簽的概率接近0或1時。
• 適用于概率輸出的模型，如邏輯回歸、softmax分類器等。
• 優化目標：最小化交叉熵損失，使得模型對于每個類別的預測概率盡可能接近真實概率分布。

本文章轉載微信公眾號@架構師帶你玩轉AI