信息熵的單位

bit

信息熵的單位是bit。在資訊理論中，熵（Entropy）被用作不確定性的度量單位。當使用以2為底的對數計算熵時，其單位是比特（bit），這與計算機使用的二進制系統相一致。熵表示為消除不確定性所需的信息量，因此消除1bit的熵需要1bit的信息。在機率分布最均勻的情況下，熵達到最大值，此時消除不確定性所需的信息量也達到最大。相反，如果某個事件的機率分布非常集中，即某個結果非常確定，那麼其熵接近於0，表明不需要太多信息就能確定結果。