勵志

勵志人生知識庫

互信息mi

互信息Mutual Information,MI)是資訊理論中的一個重要概念,用於度量兩個系統或隨機變數之間的相關性。它表示一個隨機變數中包含的關於另一個隨機變數的信息量,也可以看作是由於知道了另一個隨機變數的值而減少的不確定性。

互信息的計算公式為\(I(X; Y) = \sum_{x \in X} \sum_{y \in Y} p(x, y) \log \frac{p(x, y)}{p(x)p(y)}\),其中\(p(x, y)\)是\(X\)和\(Y\)的聯合機率密度函式,而\(p(x)\)和\(p(y)\)分別是\(X\)和\(Y\)的邊緣機率密度函式。如果\(X\)和\(Y\)之間完全不相關,則互信息為0;如果\(X\)和\(Y\)之間存在相關性,則互信息大於0,且其值隨著\(X\)和\(Y\)之間相關性的增強而增加。

互信息的套用非常廣泛,例如在圖像配準信號處理機器學習等領域都有套用。在圖像配準中,互信息可以用來衡量兩幅圖像之間的相似性和重疊程度。