勵志

勵志人生知識庫

什麼是sigmoid激活函數

Sigmoid激活函式是一種常見的連續、平滑的「S」型激活函式,廣泛套用於人工神經網路中。

Sigmoid函式的數學表達式為y=1/(1+e^-x),其輸出範圍為(0,1),通常用於將神經網路的輸出轉換為機率值,例如在邏輯回歸中。Sigmoid函式的優點包括能夠將輸出映射到(0,1)之間,以及引入非線性,有助於提高神經網路的表達能力。然而,Sigmoid函式也有一些缺點,比如計算量大,在反向傳播時容易產生梯度消失問題,這會影響深層網路的訓練。

此外,Sigmoid函式的輸出不是以零為中心的,這可能導致權值更新時只能朝一個方向更新,從而影響網路的收斂速度。