困惑度

困惑度（英文：perplexity，$PP$）反映一個概率分佈「有幾能夠預測個樣本」，一個離散概率分佈 $p$ 嘅困惑度計法如下－

${\mathit {PP}}(p):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}$，當中

$H(p)$ 係個概率分佈嘅資訊熵。簡單講，困惑度愈高，就反映個概率分佈愈做唔到肯定嘅預測（所以困惑度愈高，表示個概率分佈愈係差）。

自然語言處理好興用「個程式對每隻字嘅困惑度」嚟做量度「個模型有幾掂」嘅基準。

睇埋

• 資訊熵
• 概率論
• 自然語言處理