其中：其中：
KL散度衡量的是用分布 Q 來近似分布 P 時所損失的信息量。它可以理解為：
需要注意的是，KL散度是非對稱的，即 DKL?(P∥Q)=DKL?(Q∥P)。因此，KL散度不滿足距離度量的對稱性要求。
KL散度具有以下重要性質：
KL散度始終非負：
當且僅當 P = Q 時，KL散度為 0。
KL散度是非對稱的：
### 3.3 不滿足三角不等式
KL散度不滿足距離度量的三角不等式，因此不能嚴格稱為“距離”。
KL散度與交叉熵 H(P, Q) 和熵 H(P) 的關系為：
其中：
## 4. KL散度的計算方法
以下通過具體示例說明KL散度的計算過程。
假設有兩個離散概率分布 P 和 Q ：
KL散度計算如下：
計算每一項：
最終結果：
### 4.2 連續概率分布示例
假設有兩個正態分布