梯度下降法（Gradient Descent）是一種用於找到函式局部極小值的最佳化算法。它通過向函式上當前點對應梯度的反方向疊代搜尋，以尋找最小值。如果相反地向梯度正方向疊代搜尋，則會接近函式的局部極大值點，這個過程被稱為梯度上升法。
梯度下降法在機器學習和人工智慧中有著廣泛的套用，特別是在求解最小二乘問題和無約束最佳化問題時。它通過計算損失函式（或代價函式）的梯度，並按照負梯度方向更新模型參數（如線性回歸中的參數w和b），以達到減少損失函式值的目的。
梯度下降算法的步驟包括：
初始化參數，通常隨機初始化。
計算損失函式（或代價函式）。
計算損失函式相對於模型參數的梯度。
根據梯度更新模型參數，通常使用學習率（learning rate）來控制每次更新的步長。
重複上述步驟，直到達到收斂條件，如設定的最大疊代次數或損失函式的變化小於某個閾值。
梯度下降法的基本思想可以類比為下山過程，即在每一步疊代中，沿著函式梯度的反方向（即最陡峭的方向）移動一定的距離，以期達到或接近函式的最小值。在實際套用中，為了提高算法的效率和穩定性，通常會使用批量梯度下降、隨機梯度下降等最佳化方法來改進基本的梯度下降算法。