聯合熵

出自維基百科,自由嘅百科全書
跳去導覽 跳去搵嘢

聯合熵粵拼lyun4 hap6 soeng1英文joint entropy;符號:)係指兩個隨機變數 X 同 Y 嘅共同訊息熵(information entropy)。條式係噉嘅[1]

當中 係指「X 數值等如 x 而同時 Y 數值等如 y 嘅機會率」,而成條式道理同基本嗰條訊息熵式道理一樣,都係諗嗮所有可能性,將每個可能性嘅機率乘以個機率嘅對數,跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立(independent;其中一個數值係乜唔會影響另一個數值係乜)嘅,佢哋嘅聯合熵會等同佢哋各自嘅訊息熵相加,噉係因為當兩件事件係獨立嗰陣,以下呢條式會成立[1]

;喺數學上已知,所以綜合呢兩條式,

[編輯]

  1. 1.0 1.1 MacKay, David J. C. Information Theory, Inference, and Learning Algorithms. Cambridge: Cambridge University Press, 2003. p. 141.