勵志

勵志人生知識庫

自信息量

自信息量資訊理論中的一個重要概念,用來度量一個事件的信息量或不確定性的大小。其定義和特性如下:

定義。自信息量定義為事件發生機率的對數負值,即I(x)=-log(p),其中p是事件發生的機率。自信息量是一個非負數,事件的機率越大,自信息量越小,表示信息越確定或重要;相反,事件的機率越小,自信息量越大,表示信息越不確定或重要。

單位。自信息量的單位通常使用比特(bit),因為使用一個底為2的對數計算出來的結果最直接地表示了信息的二進制位數。

特性。自信息量的一個重要特性是它越大,表示事件越罕見或意外,提供的信息量越大。例如,當一個非常罕見的事件發生時,它的自信息量會比較大,因為它提供了一些非常有用和重要的信息。

此外,自信息量還具有可加性,若乾獨立事件的信息量等於它們各自信息量的和。在信息傳輸、編碼和存儲等問題中,自信息量提供了理解和量化信息的不確定性和平均量的關鍵。