勵志

勵志人生知識庫

bp算法的基本思想

BP算法(反向傳播算法)的基本思想是學習過程由信號的正向傳播和誤差的反向傳播兩個過程組成。具體如下:

信號的正向傳播。當輸入樣本從輸入層傳入,經過各隱藏層逐層處理後,傳向輸出層,如果輸出層的實際輸出與期望的輸出(教師信號)不符,則開始誤差的反向傳播階段。

誤差的反向傳播。誤差反傳是將輸出誤差以某種形式通過隱藏層向輸入層逐層反傳,並將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,這個誤差信號就作為修正各單元權值的依據。

權值調整。這種信號正向傳播與誤差反向傳播的各層權值調整過程是周而復始地進行的,權值不斷調整的過程就是網路的學習訓練過程,此過程一直進行到網路輸出的誤差減少到可接受的程度,或進行到預先設定的學習次數為止。

BP算法是基於梯度下降的最佳化算法,其核心思想是不斷地調整網路中各個神經元之間的權值和偏置,以使得網路的預測輸出與實際輸出之間的誤差最小化。