困惑度（perplexity）是衡量語言模型性能的一個指標，它表示語言模型對測試集的預測能力。困惑度的計算公式可以表示為：
\[ P(W) = \exp \left( - \frac{1}{N} \sum_{i=1}^{N} \log(P(y_i|x_i)) \right) \]
其中 \( N \) 是測試集中的序列數量，\( \sum_{i=1}^{N} \log(P(y_i|x_i)) \) 是對所有測試樣本的預測機率取對數後的和。困惑度的值越低，表示模型對測試集的預測越準確，模型的語言建模能力越好。
需要注意的是，困惑度與信息熵是相反的概念。信息熵是表示一個隨機變數的不確定性的度量，其計算公式為：
\[ H(X) = - \sum_{x \in X} P(x) \log(P(x)) \]
其中 \( P(x) \) 是事件 \( x \) 發生的機率。