常用的激活函數包括：
Sigmoid：其函數圖像呈S形，輸出範圍是0到1，適用於將神經元的輸出歸一化，常用於概率輸出。但Sigmoid函數存在梯度消失的問題，並且在輸入值較大或較小時，梯度接近於0，導致訓練效率降低。
Tanh：雙曲正切函數，其圖像也是S形，輸出範圍是-1到1。Tanh相比Sigmoid的優勢在於其輸出以0爲中心，這有助於提高權重更新的效率。然而，它同樣存在梯度消失的問題。
ReLU (Rectified Linear Unit)：ReLU函數在輸入值大於0時輸出該值，小於0時輸出0。這種激活函數有助於網絡更快地收斂，因爲它不會飽和，可以對抗梯度消失問題，並且計算效率高。
Leaky ReLU：Leaky ReLU是ReLU的一種變體，它在負輸入區域也賦予了一箇小的正斜率，從而避免了ReLU在負數區域的梯度消失問題。
ELU (Exponential Linear Unit)：ELU函數在負輸入區域有一箇指數形式的斜率，使得它在訓練初期更加穩定。
GELU (Gaussian Error Linear Unit)：GELU是一種基於正態分佈的激活函數，它通過將ReLU的參數化爲正態分佈來改進性能。
GLU (Gated Linear Unit)：GLU是一種門控激活函數，它結合了門控機制和線性變換。
HardSigmoid：HardSigmoid是Sigmoid的一種快速近似，它在速度上比標準的Sigmoid更快。
HardTanh：HardTanh函數在輸入值超出一定範圍時會飽和，這有助於控制梯度的流動。
選擇激活函數時需要考慮其特性，例如是否以0爲中心、是否會導致梯度消失、計算效率等，以及它們對網絡訓練和性能的影響。