梯度下降是一種用於最佳化損失函式（或目標函式）的算法，它通過疊代地更新模型參數來最小化損失函式。根據使用的數據樣本數量，梯度下降算法可以分為幾種不同的方法：
批量梯度下降算法（Batch Gradient Descent）：
在每次疊代中，使用整個訓練數據集來計算梯度。
優點包括較快的收斂速度。
缺點是對於大規模數據集，計算梯度的時間和空間複雜度較高。
隨機梯度下降算法（Stochastic Gradient Descent）：
在每次疊代中，隨機選擇一個樣本計算梯度。
優點是計算效率較高，適用於處理大規模數據集。
缺點是收斂速度較慢，可能會出現震盪現象。
小批量梯度下降算法（Mini-Batch Gradient Descent）：
在每次疊代中，使用一小部分樣本計算梯度。
結合了批量梯度下降和隨機梯度下降的優點，具有較低的計算複雜度和較快的收斂速度。
動量梯度下降算法（Momentum Gradient Descent）：
利用之前的梯度信息來調整當前的梯度方向，以加速收斂。
可以克服梯度下降在凸函式中的震盪現象，但可能導致過度調整。
自適應梯度下降算法（Adaptive Gradient Descent）：
通過調整學習率來適應不同的梯度情況，以加速收斂。
優點是能夠自動調節學習率，但可能導致過度調整。
梯度下降算法的基本原理是在每一步疊代中，沿著損失函式的梯度方向移動一定的距離，從而逐漸接近函式的最小值。在套用梯度下降算法時，通常需要設定學習率來控制每次更新的步長，以及設定收斂條件（如最大疊代次數或損失函式變化小於某個閾值）來終止疊代。