梯度提升算法(Gradient Boosting)是機器學習中Boosting算法的一種，它通過連續地添加新模型來改進現有模型，從而降低訓練集的損失函式。
在梯度提升算法中，每個新模型都專注於糾正前一個模型的錯誤，這些模型通常是弱分類器，如決策樹、神經網路和支持向量機等。新模型的學習是基於前一個模型的預測與實際值之間的殘差，這些殘差可以看作是預測錯誤的度量，新模型通過擬合這些殘差來提高預測性能。
梯度提升算法的核心在於，每次疊代都是通過最佳化損失函式關於當前模型的負梯度來進行的，這使得模型在每次疊代後都能更好地適應數據，從而降低整體的預測誤差。