激活函數是人工神經網絡中神經元上運行的函數，其作用是將神經元的輸入映射到輸出端。激活函數的主要目的是爲網絡提供非線性建模能力。沒有激活函數，網絡只能表達線性映射，即使有多箇隱藏層，其能力也與單層網絡相當。因此，激活函數使得深度神經網絡能夠進行分層的非線性映射學習。
激活函數的特點包括：
非線性：激活函數能夠將線性模型轉化爲非線性模型，從而解決更復雜的問題。
迴歸與分類：激活函數可以用於將回歸結果轉換成分類結果，尤其是在神經網絡中，輸出層通常用於分類，而隱藏層則用於迴歸。
連續可導：爲了便於數值求解和模型訓練的穩定性，激活函數通常是連續且可導的，尤其是對於深度學習中的反向傳播算法。
常見的激活函數包括Sigmoid、Tanh、ReLU（Rectified Linear Unit）、Leaky ReLU、ELU（Exponential Linear Unit）等。這些函數具有不同的數學形式和特性，適用於不同的任務和模型結構。