勵志

勵志人生知識庫

牛頓法是什麼

牛頓-拉夫遜方法

牛頓法,又稱爲牛頓-拉夫遜方法(Newton-Raphson method),是一種在實數域和複數域上近似求解方程的方法。

牛頓法基於泰勒級數展開,通過不斷逼近函數的根或極小值點來尋找函數的最優解[優化領域有廣泛的應用。牛頓法的基本思想是利用迭代點處的一階導數(梯度)和二階導數(Hessen矩陣)對目標函數進行二次函數近似,然後將二次模型的極小點作爲新的迭代點,不斷重複這一過程,直至求得滿足精度的近似極小值。

牛頓法的速度很快,能高度逼近最優值,但它要求初始點足夠“靠近”極小點,否則可能導致算法不收斂。爲了解決這個問題,有全局牛頓法,它基於Armijo的搜索,滿足Armijo準則。