勵志

勵志人生知識庫

延拓法

延拓法(continuation method)是一種最佳化策略,主要用於解決非凸最佳化問題。其基本思想是通過最佳化目標函式的平滑版本,逐漸降低平滑程度,以此來揭示原問題的總體輪廓。這種方法可以確保局部最佳化過程在表現良好的空間內花費大部分時間,從而有助於找到全局最小點。

延拓法通過構造一系列具有相同參數的目標函式來實現這一目的。這些目標函式的難度逐步提高,其中最容易最小化的函式是J(0),而最難的是J(n),真正的代價函式驅動整個過程。當J(i)比J(i+1)更容易時,意味著它在更多的θ空間上表現良好。隨機初始化通常能夠落入局部下降可以成功最小化代價函式的區域,因為這些區域的良好區域更大。因此,延拓法首先解決一個簡單的問題,然後逐步改進解以解決更難的問題,直到找到原問題的解。

傳統上,延拓法主要用於克服局部極小值的問題,特別是在有很多局部極小值的情況下,求解一個全局最小點。這些連續方法會通過「模糊」原來的代價函式來構建更容易的代價函式。課程學習(curriculum learning)或者塑造(shaping)的方法可以被視為延拓法的一種套用,它們基於規劃學習過程的想法,首先學習簡單的概念,然後逐步學習依賴於這些簡化概念的複雜概念。