最小二乘法是一種數學最佳化技術，主要用於解決曲線擬合和回歸分析問題。它通過最小化誤差的平方和來尋找最佳函式匹配，從而找到一組數據的最優模型。這種方法在統計學和機器學習中非常常見，尤其是在處理線性回歸問題時。
最小二乘法的目標是最小化預測值與實際值之間的平方誤差，具體形式為Σ(觀測值-理論值)²。在多元線性回歸中，最小二乘法試圖找到最佳參數θ，使得預測值與實際值之間的誤差平方和最小。可以通過對參數θ求偏導數並令其等於零來找到這些參數的最優值。
最小二乘法有線性最小二乘法和非線性最小二乘法兩種形式。線性最小二乘法適用於預測變數與回響變數之間呈線性關係的情況，而非線性最小二乘法則適用於更複雜的關係。
該方法的主要優點包括計算簡單性和無偏性，但在處理具有大量特徵的數據集時，可能會遇到計算效率問題。此外，最小二乘法假設誤差項具有零均值和同方差性，這在實際套用中可能不總是成立。