隨機梯度下降法（Stochastic Gradient Descent，簡稱SGD）是一種用於最佳化機器學習模型參數的算法。它的基本思想是在每次疊代中，僅使用一個樣本的梯度來更新模型參數，而不是像傳統的梯度下降法（Batch Gradient Descent）那樣使用所有樣本的梯度。這種方法特別適合於處理大規模數據集，因為它可以減少計算資源和記憶體的需求，同時由於每次更新基於單個樣本，引入了一定的噪聲，這有助於算法跳出局部最優解，從而可能找到更好的全局最優解。
隨機梯度下降法是一種線上學習算法，它通過不斷調整模型參數來最小化損失函式。與批梯度下降相比，隨機梯度下降在每次疊代時只處理一個樣本，這使得它在處理大數據集時更加高效。此外，隨機梯度下降法也常用於支持向量機、邏輯回歸等線性分類器的學習。
梯度下降算法是一種最佳化技術，它通過計算損失函式關於模型參數的梯度，並沿著梯度下降的方向更新參數，以最小化損失函式。在機器學習中，梯度下降算法被廣泛用於求解最佳模型參數。