勵志

勵志人生知識庫

殘差網路

殘差網路(Residual Network,簡稱ResNet)是由來自Microsoft Research的4位學者提出的卷積神經網路,在2015年的ImageNet大規模視覺識別競賽中獲得了圖像分類和物體識別的優勝。

殘差網路的特點是容易最佳化,並且能夠通過增加相當的深度來提高準確率。其內部的殘差塊使用了跳躍連線(skip

connection或shortcut),可以緩解深度神經網路中增加深度帶來的梯度消失問題,從而使網路能夠達到更深的層次,提升準確率。

殘差網路主要解決的是深度神經網路的「退化」問題。隨著網路層數的增加,深度網路一般越難訓練,準確率會達到飽和甚至下降,這是由於梯度消失和梯度爆炸現象造成的。殘差網路通過引入殘差塊結構,即增加一個identity

mapping(恆等映射),將當前輸出直接傳輸給下一層網路,相當於走了一個捷徑,跳過了本層運算,從而在後向傳播過程中,將下一層網路的梯度直接傳遞給上一層網路,有效地解決了深層網路的梯度消失問題。

總的來說,殘差網路因其簡單又實用的優點,在圖像分類、目標檢測、識別等領域被廣泛套用,是過去幾年計算機視覺和深度學習領域最具開創性的工作之一。