nadam算法

Nadam算法是一種結合了Adam（Adaptive Moment Estimation）和NAG（Nesterov Accelerated Gradient）兩種算法的梯度下降最佳化算法。它通過引入Nesterov動量法的臨時梯度思想，改進了自適應矩估計算法，旨在提高最佳化算法的性能。Nadam算法在每次對梯度進行計算時，先獲得一個參數臨時更新量，對參數進行臨時更新後計算獲得臨時梯度，然後利用臨時梯度對一階矩與二階矩進行估計，並使用這些估計值來計算參數的最終更新量。