勵志

勵志人生知識庫

二元交叉熵是什麼

損失函式

二元交叉熵是一種在二分類問題中常用的損失函式,用於評估二分類模型預測結果的好壞程度。其數學表達式為:

\[ Loss = - \frac{1}{N} \sum_{i=1}^{N} y_i \cdot \log(p(y_i)) + (1 - y_i) \cdot \log(1 - p(y_i)) \]

其中,\( y_i \) 是樣本 \( i \) 的真實標籤(0或1),\( p(y_i) \) 是模型對於樣本 \( i \) 屬於正類(例如標籤為1)的機率預測值。損失函式的目標是最小化預測機率與真實標籤之間的差異。當預測正確時,即真實標籤為1且預測機率接近1,或真實標籤為0且預測機率接近0時,損失函式值接近0;而當預測錯誤時,損失函式值會增大。例如,如果真實標籤為1但預測機率接近0,損失函式值會趨近正無窮;反之,如果真實標籤為0但預測機率接近1,損失函式值同樣會趨近正無窮。這種設計使得二元交叉熵能夠有效地懲罰錯誤的預測,並促進模型向正確方向最佳化。