勵志

勵志人生知識庫

馬爾可夫鏈

馬爾可夫鏈(Markov Chain, MC)是機率論和數理統計中的一個重要概念,它描述了一種狀態序列,其中每個狀態的值取決於前面有限個狀態。馬爾可夫鏈是具有馬爾可夫性質的隨機過程,這種性質指的是,在給定當前狀態下,過去的所有信息都被忽略,即下一狀態的機率分布僅由當前狀態決定。

馬爾可夫鏈的狀態空間是離散的,而狀態的變化稱為轉移。與不同狀態轉移相關的機率稱為轉移機率。例如,隨機漫步是一種馬爾可夫鏈,其中每一步的狀態可以是圖形中的點,每一步可以移動到任何一個相鄰的點,移動到每個點的機率都是相同的。

馬爾可夫鏈可以通過轉移矩陣和轉移圖定義。除了馬爾可夫性外,馬爾可夫鏈還可能具有不可約性、常返性、周期性和遍歷性。一個不可約和正常返的馬爾可夫鏈是嚴格平穩的,擁有唯一的平穩分布。遍歷馬爾可夫鏈的極限分布收斂於其平穩分布。

馬爾可夫鏈在多個領域有廣泛的套用,包括蒙特卡羅方法、動力系統、化學反應、排隊論、市場行為和信息檢索的數學建模。此外,作為結構最簡單的馬爾可夫模型,一些機器學習算法,如隱馬爾可夫模型(Hidden Markov Model, HMM)、馬爾可夫隨機場(Markov Random Field, MRF)和馬爾可夫決策過程(Markov Decision Process, MDP)都以馬爾可夫鏈為理論基礎。