勵志

勵志人生知識庫

信息度量的方法

信息度量的方法主要包括以下幾種:

基於數據量的信息測度。這種方法主要用於計算機信息處理工作,通過反映信息內容數量的數據所占計算機存儲裝置空間大小來衡量信息量的大小。對於非計算機處理的信息,則直接用發行種類、發行量或文本字數來進行測度。

基於Shannon熵的信息量測度。這種方法主要用於隨機型語法信息量計算。信息是事物運動的狀態及其變化方式,事物的狀態及其變化一般具有一定的不確定性,但有一類變化具有一定統計規律,可以通過大量重複性試驗得到穩定的發生機率,從而可以用機率計算消除這類不確定性的信息量。

事件的自信息量。事件A的自信息量為:IA=-logPA。若一個試驗(信源)有m個結果(事件),則事件給出的平均信息量為:H=-∑P(i)·logP(i),其中i=1~m。人們一般從事件(及時性、新穎性)、形式(詳盡性、表達形式)和內容(準確性、相關性、完整性)三個方面來衡量信息的價值,這三個方面構成了信息的維度。

熵和信息增益。熵是信息理論中常用的衡量信息量的方法,描述了系統的不確定性程度,熵越高,系統的不確定性越大,信息量也就越大。信息增益是在決策樹算法中常用的一種衡量信息的方法,衡量了一個特徵對於分類任務的貢獻程度,信息增益越大,該特徵對於分類任務的貢獻越大,包含的信息量也就越多。

相對熵(KL散度)。相對熵用於衡量兩個機率分布之間的差異性,它衡量了一個機率分布相對於另一個機率分布的信息損失,相對熵越大,差異性越大。