條件熵

假如家吓有兩個隨機變數 X 同 Y，而收訊息嗰個人知道 X 同 Y 唔係獨立，而係有相關嘅－即係 Y 嘅數值係乜能夠一定程度上預測 X 嘅數值係乜。喺呢種情況下，假設而家嗰個人經已知道咗 Y 嘅數值，但要預測 X 嘅未知數值（predicting X given the value of Y），呢種情況下嘅訊息熵就係所謂嘅條件熵（conditional entropy），而喺知道 Y 嘅數值之下預測 X 嘅訊息熵就係「X 喺 Y 上嘅條件熵」（conditional entropy over Y）。