牛頓-拉夫遜方法
牛頓法，又稱爲牛頓-拉夫遜方法（Newton-Raphson method），是一種在實數域和複數域上近似求解方程的方法。
牛頓法最初由艾薩克·牛頓於1736年提出，但其基本思想已經由Joseph Raphson於1690年提出，牛頓法的基本思想是利用函數f(x)的泰勒級數的前面幾項來尋找方程f(x)=0的根。在優化問題中，牛頓法通過迭代方式求解目標函數的極值，這基於這樣的觀察：在極值點附近，目標函數可以用其二階泰勒多項式近似表示，通過求解這個近似函數的極值點，可以獲得目標函數極值點的更好估計。
牛頓法相比於一階方法（如梯度下降法）具有更快的收斂速度，但在高維情況下，計算目標函數的二階偏導數可能導致計算複雜度高，且在某些情況下，目標函數的海森矩陣可能無法保持正定，從而不存在逆矩陣，此時牛頓法將不再適用。因此，人們提出了擬牛頓法，這是一種不需要二階偏導數的方法，而是通過構造一箇近似海森矩陣或其逆矩陣來優化目標函數。