勵志

勵志人生知識庫

嶺迴歸是什麼

嶺迴歸(Ridge Regression),也稱爲Tikhonov正則化,是一種處理共線性數據和病態數據的技術,它通過在最小二乘法的代價函數中加入一箇對迴歸係數的L2範數懲罰項來工作。

這種方法的目的是通過增加額外的懲罰來防止過擬合,從而使得模型在保持一定精度的同時,能夠提供更符合實際的迴歸係數。嶺迴歸通過在參數估計中引入偏差(即放棄最小二乘法的無偏性),以損失部分信息爲代價,從而獲得更可靠的估計。它適用於特徵數量接近或超過樣本數量的情況,以及存在多重共線性的數據集。嶺迴歸通過在係數向量的L2範數上施加懲罰,使得係數向量的長度減小,從而防止其過度增長。這種方法與LASSO迴歸(使用L1範數懲罰)和彈性網絡不同,它不會將任何係數精確設置爲零,但會縮小所有係數的值。