互信息

互信息(Mutual Information)是資訊理論中的一種信息度量，表示兩個隨機變數之間的相關性和相互依賴性。它可以理解為一個隨機變數中包含的關於另一個隨機變數的信息量，或者是一個隨機變數由於已知另一個隨機變數而減少的不確定性。互信息的值越大，說明兩個隨機變數之間的關係越密切；互信息的值為0時，表示兩個隨機變數是獨立的，即它們之間沒有信息共享或相互依賴關係。此外，互信息具有對稱性、非負性和可加性等性質，在圖像處理、信號處理、機器學習等領域有廣泛套用，如圖像配準、特徵選擇、分類器設計等。