勵志

勵志人生知識庫

最大熵公式

最大熵公式是機率分布熵的定義,其公式為:

H(P) = -∑ x ∈ X P(x) log P(x)

這裡的P(x)表示隨機變數X取值為x的機率。熵H(P)是衡量隨機變數不確定性的度量,表示所有可能發生事件的信息量的期望。當機率分布為均勻分布時,熵取得最大值。例如,如果有四個狀態{a,b,c,d},每個狀態的機率為1/4,則熵H(X) = -4×1/4 log2(1/4) = 2 bits。這表明在給定條件下,這些狀態的不確定性最大。