梯度方法是一類最佳化算法，主要用於尋找函式的最小值或最大值。在機器學習和深度學習中，梯度方法常用於參數最佳化，特別是在神經網路訓練中。梯度方法的核心思想是利用目標函式（損失函式）的梯度信息來指導搜尋方向。
梯度的定義：梯度是一個向量，表示函式在某點處沿著哪個方向變化最快。梯度的方向是函式值減少最多的方向，而梯度的模表示這個方向上的變化率。
梯度方法的套用：在最佳化問題中，梯度方法從當前位置沿著梯度方向前進一定距離，然後重新計算梯度，並再次前進，如此循環直至找到函式的最小值或最大值。這種方法在尋找最小值時被稱為梯度下降法，而在尋找最大值時被稱為梯度上升法。
梯度方法的分類：梯度方法分為一階方法和二階方法。一階方法主要關注目標函式的一階導數（即梯度），而二階方法則涉及二階導數。一階方法包括隨機梯度下降（SGD）、Adagrad、Adadelta、Adam等，而二階方法包括牛頓法和擬牛頓法等。
梯度方法的改進：為了改善梯度方法的性能，一些變體方法被提出，如動量方法、Adadelta和RMSprop等。這些方法通過引入動量或使用滑動平均來平滑梯度，從而提高訓練的穩定性和效率。
總結來說，梯度方法是基於目標函式的梯度信息來最佳化參數的一種算法，它通過不斷沿著梯度方向更新參數來尋找函式的最優值。這些方法在機器學習和深度學習中發揮著重要作用。