POMDP（部分可觀察馬爾可夫決策過程）是一種數學模型，用於在部分可知環境下進行決策。它是對MDP（馬爾可夫決策過程）的一般化擴展，其中環境的狀態是未知的，智慧型體無法直接觀察到這些狀態。POMDP通過觀測來推斷狀態分布，並基於這些信息選擇行動以最大化預期未來折扣獎勵。
一個POMDP可以被定義為以下元組：
S：狀態空間
A：動作空間
T：狀態轉移模型，描述環境在給定狀態下採取行動後可能進入的狀態
R：獎勵函式，衡量採取某個行動後獲得的獎勵
O：觀測空間，智慧型體可以觀察到的環境狀態
Z：觀測模型，描述智慧型體觀察到環境狀態的機率
γ：折扣因子，用於權衡當前和未來獎勵
在每個時間步驟，環境處於某種狀態，智慧型體根據當前狀態和觀測信息選擇行動，以期望最大化未來獎勵的總和。POMDP模型廣泛套用於機器人導航、機械維護和不確定性規劃等領域，因為它能夠模擬連續過程，具有較高的通用性和實用性。