梯度爆炸是什麼意思

梯度爆炸是深度學習中的一個常見問題，發生在神經網路訓練過程中，參數的梯度值變得非常大，導致模型參數更新過大，影響模型的收斂穩定性的現象。

梯度爆炸可能導致模型不穩定，難以訓練，甚至使模型無法從訓練數據中正常學習。其原因通常包括深層網路結構和權值初始化值太大，或者使用了不適當的損失函式，如sigmoid。這些問題會導致梯度在反向傳播過程中不斷累積，變得越來越大，最終導致梯度爆炸。