正規方程，也被稱為Normal Equation，是一種基於最小二乘原理的線性代數方程組，用於求解線性回歸問題中的參數估計值。它的定義可以表示為：
\[ (XT)^T * (XT)^{-1} * Y = 0 \]
其中，X是特徵向量矩陣，X^T表示矩陣X的轉置，(XT)^T是矩陣X的轉置矩陣和它相乘得到的新的矩陣，(XT)^{-1}表示這個新矩陣的逆矩陣，Y是訓練集中結果矩陣。
正規方程與梯度下降算法不同，梯度下降算法是通過對代價函式關於每個參數求偏導數，然後通過疊代算法一步一步進行同步更新，直到收斂到全局最小值，從而得到最優參數值。而正規方程則是通過數學方法一次性求得最優解，不需要採用特徵值縮放，也不需要選擇學習率，也不需要疊代很多次，因此在計算的繁瑣程度上優於梯度下降算法。但是，正規方程的計算複雜度較高，當特徵數量n很大時，其複雜度會變得很大，因此更加耗時。在實踐中，當n超過10000時，可以考慮選擇梯度下降算法。