信息熵越大意味著隨機變數的不確定性越大，信息量也越大。 信息熵是衡量系統混亂程度或不確定性的一種方式，當信息熵較大時，表明系統中的信息分布較為均勻，每個可能的事件發生的不確定性都較大，反之，信息熵較小則表明系統較為有序，某些事件發生的不確定性較小。