聯合熵 （粵拼 ：lyun4 hap6 soeng1 英文 ：joint entropy
S
(
X
,
Y
)
{\displaystyle S(X,Y)}
隨機 變數 X 同 Y 嘅共同訊息熵 。條式係噉嘅[ 1]
S
(
X
,
Y
)
=
E
X
,
Y
[
−
log
p
(
x
,
y
)
]
=
{\displaystyle S(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=}
−
∑
x
,
y
p
(
x
,
y
)
log
p
(
x
,
y
)
{\displaystyle -\sum _{x,y}p(x,y)\log p(x,y)}
當中
p
(
x
,
y
)
{\displaystyle p(x,y)}
機會率 」，而成條式道理同基本嗰條訊息熵式道理一樣，都係諗嗮所有可能性，將每個可能性嘅機率乘以個機率嘅對數，跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立 （其中一個數值係乜唔會影響另一個數值係乜）嘅，佢哋嘅聯合熵會等同佢哋各自嘅訊息熵相加，噉係因為當兩件事件係獨立嗰陣，以下呢條式會成立[ 1]
p
(
x
,
y
)
=
p
(
x
)
p
(
y
)
{\displaystyle p(x,y)=p(x)p(y)}
log
a
b
=
log
a
+
log
b
{\displaystyle \log ab=\log a+\log b}
數學 上已知，所以綜合呢兩條式，
log
p
(
x
,
y
)
=
log
p
(
x
)
+
log
p
(
y
)
{\displaystyle \log p(x,y)=\log p(x)+\log p(y)}
↑ 1.0 1.1 MacKay, David J. C. Information Theory, Inference, and Learning Algorithms . Cambridge: Cambridge University Press, 2003. p. 141.
![{\displaystyle S(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e19517393fd3d0ec1e93a7191d29c555cb47aaf1)
