梯度消失問題是指在神經網絡訓練過程中，特別是深層神經網絡，用於更新網絡權重的梯度變得非常小，以至於幾乎不對權重產生任何顯著的更新。這種現象通常發生在網絡的較低層，即靠近輸入層的層。梯度消失會導致深層網絡的參數無法得到有效更新，使得網絡無法學習到有效的特徵表示。梯度消失的原因包括激活函數的選擇、權重初始化、深層網絡結構等因素。例如，某些激活函數（如sigmoid、tanh）在輸入較大或較小的情況下，梯度會非常接近於零，從而導致梯度消失。此外，如果網絡的權重初始化過大或過小，也會導致梯度消失問題。深層網絡中，梯度需要通過多箇層傳播，每一層都會引入一定的誤差，這些誤差會累積導致梯度消失。