互信息量可以通過以下公式計算:
I(X;Y) = ΣΣ p(x, y) * log(p(x, y) / (p(x) * p(y)))
I(X;Y) 表示變數 X 和 Y 之間的互信息。
p(x, y) 表示變數 X 和 Y 同時發生的機率。
p(x) 和 p(y) 分別表示變數 X 和 Y 各自發生的機率。
互信息的值越大,表示兩個變數之間的相關性越強;值為零表示兩個變數之間沒有相關性;值為負表示兩個變數之間存在一定的反相關性。
另外,互信息也可以表示為:
I(X;Y) = H(X) - H(X|Y)
H(X) 表示變數 X 的信息熵,即 X 的不確定性。
H(X|Y) 表示在知道 Y 的情況下,X 的條件熵,即 X 的不確定性減少量。
因此,互信息量可以理解為在知道 Y 的情況下,X 的不確定性減少的程度。