在神經網路中，激勵函式的作用是引入非線性因素，使得神經網路能夠更好地解決複雜的問題。每個神經元本身是一個線性函式，但通過加入激活函式，可以使神經元變為非線性，從而更好地模擬現實世界中的非線性現象。如果神經網路中沒有激活函式，那麼無論網路多麼複雜，其輸出都只能是輸入的線性組合，這樣的線性組合無法解決許多實際問題。因此，激勵函式是神經網路中非線性的來源，它使得神經網路可以逼近任何的非線性函式，從而能夠處理更多的非線性模型。
簡而言之，激勵函式的存在是為了解決現實生活中無法用線性方程概括的問題。它可以將人工神經網路轉化為數學模型，使得網路能夠處理非線性問題。例如，sigmoid函式可以將一個實數壓縮至0到1之間，這樣的輸出可以看作是分類的機率，從而用於分類任務。激勵函式的選擇應該是可微分的，以便在誤差反向傳播時能夠將誤差傳遞迴去。在網路層數不多時，可以選擇多種激勵函式；但在層數較多時，需要注意選擇合適的激活函式。