勵志

勵志人生知識庫

激活函數激勵函數

“激活函式”和“激勵函式”是深度學習中的兩個重要概念。

激活函式(Activation Function)是用於改善前向傳播函式的,能使神經網路單元激發激活。簡單來說,它就是控制神經網路是否可以自我激發的開關函式。常見的激活函式包括Sigmoid、Tanh、ReLU等。激活函式的主要作用是增強模型表達能力、防止梯度消失或爆炸,並使得模型更易於訓練。

而“激勵函式”通常在特定的上下文和場景中使用,一般指的是具有特定性質的函式,如能使輸出在某些點達到或接近0的同時,在其他點不為0,從而激勵模型在某些特定情況下做出反應。

以上信息僅供參考,如果需要更多信息,建議請教深度學習專業人士。