梯度下降法（Gradient Descent）是一種用於最佳化目標函式（通常是損失函式）的疊代算法，它通過不斷沿著目標函式在當前點處梯度的反方向更新參數，以逐步降低目標函式的值，從而達到最佳化目的。
梯度下降法的基本原理是基於泰勒級數展開，通過在當前點處對目標函式進行一階泰勒展開，忽略高階項，從而將目標函式的最佳化問題簡化為尋找使函式值下降最快的方向。在每一輪疊代中，梯度下降法計算目標函式在當前參數值處的梯度，然後按照負梯度方向更新參數，通過這種方式，算法能夠逐步接近目標函式的全局最小值。
梯度下降法有多種變種，包括批量梯度下降法（Batch Gradient Descent）、隨機梯度下降法（Stochastic Gradient Descent）和小批量梯度下降法（Mini-Batch Gradient Descent）。這些方法的主要區別在於每次更新參數時使用的樣本數量。批量梯度下降法使用整個訓練集計算梯度，隨機梯度下降法每次使用一個樣本，而小批量梯度下降法每次使用一個小批量的樣本。
總的來說，梯度下降法是一種通過不斷調整參數來最小化目標函式值的算法，它在機器學習和深度學習中被廣泛套用，用於訓練模型和最佳化模型參數。