信息增益是衡量在一個特定特徵存在與否對整體系統或集合影響程度的一個指標。它表示使用某個特徵進行數據劃分後，數據集的不確定性（熵）減少的程度。信息增益越大，意味著使用該特徵進行劃分能夠獲得更多的信息，從而更好地區分不同的類別。
信息增益的計算公式為：
信息增益 = 分類前的總體熵 - 分類後的信息熵
其中，總體熵（Ent(X)）是指在決策樹中根節點處的熵，表示樣本集合中類別的混亂程度。分類後的信息熵（Ent(X|A)）是指在根據屬性A進行劃分後的熵，表示劃分後各個子集中類別的混亂程度。因此，信息增益（Gain(X,A)）就是通過屬性A的劃分，數據集的不確定性減少了多少。
信息熵是衡量事件不確定性的指標，而條件熵是在給定某個特徵條件下，對分類結果不確定性的度量。條件熵越小，說明在給定該特徵的情況下，樣本的分類結果越趨向於一致，即樣本的混亂程度越低。
通過使用信息增益，可以在決策樹學習過程中選擇最佳的劃分屬性，以最大化分類的確定性和純度。信息增益率則是為了糾正信息增益偏向於值個數多的屬性的缺陷而提出的。