勵志

勵志人生知識庫

信源熵

信源熵是資訊理論中的一個重要概念,用於衡量信源信息量的有序化程度。信源熵值與信源的有序化程度成反比,有序度越高,信源熵值越低,反之亦然。

信源熵的定義為信源各個離散訊息的自信息量的數學期望,即機率加權的統計平均值。其單位是Bit/sign。如果一個離散信源包含n個符號,每個符號ai的取值為p(ai),則該信源的熵為。當信源中的每個符號的取值機率相等時,信源熵達到最大值log2n,這意味著信源的隨機程度最高。

此外,還有高斯信源熵,這是指高斯信源的一種量度,其中高斯信源是指信源輸出的一維隨機變數X的機率密度分布是常態分配。