梯度爆炸是什麼

梯度爆炸是深度學習訓練過程中的一種問題，它發生在神經網路訓練過程中，梯度值變得非常大，超出了網路的處理範圍。

這通常發生在深層神經網路中，特別是當網路的層數較多、網路結構複雜時，或者使用了不合適的激活函式、初始化方法或最佳化算法。梯度爆炸會導致權重更新變得不穩定甚至不收斂，權重和參數的更新變得異常大，可能導致數值溢出、計算錯誤和訓練失敗。這種現象會導致模型無法正常收斂或者訓練過程變得極其不穩定，使得模型無法有效學習或得到準確的預測結果。