勵志

勵志人生知識庫

梯度下降公式

梯度下降的公式可以表示為:

θ = θ - α × ∂J(θ) / ∂θ

其中:

θ 是模型參數。

α 是學習率(Learning Rate),它決定了每次參數更新的步長大小。

∂J(θ) / ∂θ 是損失函式J(θ)關於參數θ的偏導數,它指示了參數更新的方向和大小。

這個公式是梯度下降算法的核心,用於在參數空間中尋找損失函式的最小值。