吉布斯不等式是由約西亞·吉布斯在19世紀提出的。在資訊理論和機率論中，它能夠套用於Fano不等式和訊號源編碼定理的證明。該不等式表述為：若\( p_i, q_i \in (0,1] \) 且 \( i = 1, 2, \ldots, n \)，則有
\[ \sum_{i=1}^{n} p_i \log \left( \frac{p_i}{q_i} \right) \geq 0 \]
等號成立若且唯若\( p_i = q_i \) 對所有\( i \) 成立。這個不等式在資訊理論中用於衡量兩個機率分布之間的差異，特別是在計算相對熵（Kullback-Leibler divergence）時發揮作用。