勵志

勵志人生知識庫

交叉熵公式

交叉熵公式可以表示為:

對於二分類問題,交叉熵損失函式可以表示為:

\[ L = - [ y * \log(p) + (1 - y) * \log(1 - p) ] \]

其中,\( y \) 表示真實標籤,取值為 0 或 1;\( p \) 表示模型預測為正類的機率。

對於多類別分類問題,交叉熵損失函式可以表示為:

\[ L = - \sum_i (y_i * \log(p_i)) \]

其中,\( y_i \) 表示真實標籤中第 \( i \) 類的取值,取值為 0 或 1;\( p_i \) 表示模型預測第 \( i \) 類的機率。求和是對所有類別進行的。

交叉熵 \( H(p, q) \) 的計算公式為:

\[ H(p, q) = \sum_{i=1}^n p(x) \log q(x) \]

其中,\( p \) 表示真實分布,\( q \) 表示預測分布。交叉熵衡量的是在真實分布 \( p \) 下,期望的平均對數信息長度,即 \( p \) 分布的自信息對 \( q \) 分布的期望。

交叉熵損失函式的值越小,表示模型預測與真實標籤之間的差異越小,即模型的性能越好。