勵志

勵志人生知識庫

互信息量公式

互信息量可以通過以下公式計算:

I(X;Y) = ΣΣ p(x, y) * log(p(x, y) / (p(x) * p(y)))

I(X;Y) 表示變數 X 和 Y 之間的互信息。

p(x, y) 表示變數 X 和 Y 同時發生的機率。

p(x) 和 p(y) 分別表示變數 X 和 Y 各自發生的機率。

互信息的值越大,表示兩個變數之間的相關性越強;值為零表示兩個變數之間沒有相關性;值為負表示兩個變數之間存在一定的反相關性。

另外,互信息也可以表示為:

I(X;Y) = H(X) - H(X|Y)

H(X) 表示變數 X 的信息熵,即 X 的不確定性。

H(X|Y) 表示在知道 Y 的情況下,X 的條件熵,即 X 的不確定性減少量。

因此,互信息量可以理解為在知道 Y 的情況下,X 的不確定性減少的程度。