偏最小二乘原理是一種數學最佳化技術，它通過最小化誤差的平方和找到一組數據的最佳函式匹配。這種方法可以套用於多元線性回歸分析、典型相關分析和主成分分析。偏最小二乘法的一個特點是，它允許在樣本點個數少於變數個數的條件下進行回歸建模。此外，在偏最小二乘回歸模型中，每一個自變數的回歸係數將更容易解釋。
在計算方差和協方差時，求和號前面的係數有兩種取法：當樣本點集合是隨機抽取得到時，應該取1/(n-1)；如果不是隨機抽取的，這個係數可取1/n。方差膨脹因子診斷法也是偏最小二乘法中的一種重要工具，用於診斷數據是否適合使用偏最小二乘法。
最小二乘法原理的解析過程可以通過一個簡單的例子來說明。假設我們已知三個數據點（1,2）、（2,1）、（2,3），想要通過最小二乘法擬合出一條直線。設直線方程為y=kx+b，則有如下方程組：2=k+b1=2k+b3=2k+b。最小二乘法即求得一條直線，使所有數據點到該直線的距離平方和最小。因此只要求得如下函式的極小值對應的直線方程參數即可。對函式s(k,b)分別求關於k、b的偏導數，並使其等於0，得到如下方程組：求解得出k=0，b=2。因此通過最小二乘法擬合得到的直線為y=2。