交叉熵是什麼

資訊理論中的一個重要概念

交叉熵（Cross Entropy）是資訊理論中的一個重要概念，主要用於度量兩個機率分布之間的差異性。

在機器學習中，交叉熵常被用作損失函式，用於衡量真實機率分布與預測機率分布之間的差異，進而評估分類模型的性能。交叉熵越小，表示預測分布越接近真實分布，模型的性能越好。在訓練分類模型時，交叉熵損失函式可以通過反向傳播算法更新網路參數，從而最佳化模型。

此外，交叉熵也具有平滑性和凸性質，能夠保證最佳化過程的穩定性和收斂性。