勵志

勵志人生知識庫

二元交叉熵

二元交叉熵(Binary Cross-Entropy),也稱為對數損失,是一種在機器學習中常用的損失函式,特別是在處理二分類問題時。它的目的是測量模型預測的機率分布和真實標籤的機率分布之間的差異。在二分類問題中,模型的目標是預測一個機率值,表示給定輸入屬於某個類別的機率。

數學表達式:

\[ L(y, \hat{y}) = -\frac{1}{N} \sum_{i=1}^{N} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)] \]

\(L\) 是損失函式

\(N\) 是樣本的數量

\(y_i\) 是第 \(i\) 個樣本的真實標籤(0或1)

\(\hat{y}_i\) 是第 \(i\) 個樣本的預測機率

主要作用:

衡量精度:提供了一種衡量模型預測準確性的方式。損失越低,表示模型的預測結果與實際標籤越接近。

梯度最佳化:在機器學習中,通過最小化損失函式來最佳化模型的參數。二元交叉熵損失函式適合於梯度下降等最佳化算法。

機率預測:它適用於機率輸出,能夠提供關於預測確信度的信息。

特性:

當真實標籤為1且預測機率趨近於1時,損失函式值趨近於0。

當真實標籤為0且預測機率趨近於0時,損失函式值趨近於正無窮。

這表明,當預測與真實標籤接近時,損失函式值較小;反之,如果兩者偏差較大,損失函式值會變得很大。

總結:

二元交叉熵是評估二分類模型性能的重要工具,有助於模型學習從輸入數據中區分兩個類別。它通過對錯誤的預測進行懲罰,確保模型能夠更好地學習如何區分不同的類別。