交叉熵（Cross Entropy）是資訊理論中的一個重要概念，主要用於度量兩個機率分布之間的差異性。在機器學習和自然語言處理（NLP）等領域，交叉熵被廣泛用作損失函式，以衡量模型預測的機率分布與實際機率分布之間的相似性。交叉熵的概念和作用如下：
概念。交叉熵是指在相同的一組事件中，使用一個非真實的機率分布（如模型預測的分布）來表示某個事件發生的平均比特數。在機器學習中，這通常涉及到使用模型預測的機率分布與實際的數據機率分布。
作用。交叉熵作為損失函式時，可以通過反向傳播算法調整模型參數，以減小預測機率分布與實際機率分布之間的差異，從而提升模型的準確性。例如，在分類問題中，交叉熵可以用來衡量模型對每個類別的預測機率與真實標籤之間的差異。
此外，交叉熵也可以用來評估語言模型的性能，通過計算複雜度（perplexity），即使用語言模型對文本的編碼難度來進行評估。交叉熵的值越小，表示兩個機率分布越接近。