次梯度法是一種用於求解凸最佳化問題的疊代算法，特別適用於目標函式不可微或非光滑的情況。其核心思想及特點如下：
核心思想。次梯度法通過利用目標函式在某一點的次梯度（即方嚮導數的下界）來指導疊代過程，尋找最小值。這種方法擴展了傳統的梯度下降法，後者適用於可微分的凸函式。
特點。次梯度法的一個顯著特點是其步長的選擇。與標準梯度下降法不同，次梯度法的步長是在算法執行前確定的，不依賴於算法運行過程中產生的任何數據。這導致了其在處理某些問題時可能比梯度下降法更穩定。
性能。雖然次梯度法在處理不可微分的凸函式時非常有效，但其收斂速度通常比梯度下降法和內點法慢。然而，它能夠直接套用於更廣泛的問題，並且只需要較少的存儲需求。
套用。次梯度法廣泛套用於機器學習、信號處理和圖像處理等領域。例如，在支持向量機（SVM）和邏輯回歸等模型中，目標函式通常包含不可微分的正則化項或損失函式，次梯度法能夠有效地處理這類問題。
擴展。次梯度法的基本形式適用於無約束最佳化問題。通過結合分解技術和投影技術，可以開發出適用於有約束最佳化問題和不等式約束問題的擴展版本。
總的來說，次梯度法是一種強大且靈活的工具，適用於處理具有非光滑或不可微分特性的凸最佳化問題。