FTRL（Follow-the-regularized-leader）算法是一種用於線上學習和機器學習套用的最佳化算法，它結合了FOBOS（Forward-Backward Splitting）和RDA（Regularized Dual Averaging）算法的優點。FTRL算法特別適用於處理大規模數據和稀疏特徵問題，常用於線上CTR（點擊率）預估模型中。
FTRL算法的核心思想是將RDA-L1的梯度累加思想套用於FOBOS-L1上，並加入一個L2正則項。這樣做的效果包括：
累積加和：限制新的疊代結果不要離已疊代過的解太遠，從而保證每次找到的是讓之前所有損失函式之和最小的參數。
累積梯度：保護重要特徵，即使某一次疊代使某個特徵權重約束為0，但如果該特徵後面變得重要，其權重又會變為非0。
自適應學習率：FTRL使用自適應學習率，其思想與Adagrad Optimizer類似。如果特徵稀疏，學習率就大一點；如果特徵稠密，學習率就小一點。
FTRL算法的特點包括：
稀疏性：通過L1正則控制模型的稀疏度，使得不重要特徵的權重趨向於0。
收斂速度：在處理帶非光滑正則項的凸最佳化問題上表現優秀，收斂速度快。
靈活性：FTRL可以適應不同的損失函式和正則項，使其適用於多種機器學習任務。
FTRL算法的這些特性使其成為處理大規模線上學習和推薦系統等套用中的理想選擇。