殘差在數理統計中定義爲實際觀察值與估計值（或擬合值）之間的差。
殘差是衡量觀測值與基於特定模型（如迴歸模型）預測值之間差異的指標，它反映了觀測值中的隨機誤差對理論計算值的影響，在進行迴歸分析時，殘差可以幫助評估模型的適用性和數據的可靠性，如果迴歸模型是正確的，殘差可以看作是誤差的觀測值，它們應該符合模型的假設條件，例如，殘差應該呈現正態分佈。
殘差的計算和分析對於統計模型的驗證和改進至關重要，在迴歸分析中，可以通過殘差分析來檢查模型是否符合預設的假設條件，如果發現模型與數據之間存在較大偏差，可能需要對模型進行修正或採用其他統計方法來改進擬合效果。