相互資訊

喺數學上，兩個變數一個作 X 一個作 Y，兩者間嘅關係可以用好似噉嘅座標圖嚟圖像化。兩個數成一定關係就表示，知道 X 就能夠預測 Y，反之亦然。而噉就表示佢哋能夠提供有關對方嘅資訊。

相互資訊（參見英文：mutual information）係資訊理論入便一個重要概念，可以大致理解為兩樣嘢之間，能夠共享幾多資訊：設兩個隨機變數 X 同 Y，佢哋之間嘅相互資訊，係指緊假如知道咗佢哋其中一個嘅數值，對另外嗰個嘅值嘅不確定性會減少幾多。兩個變數間嘅相互資訊，反映佢哋有幾夠預測對方嘅值，即係反映緊佢哋之間嘅統計依賴程度有幾高。

相互資訊呢個概念，好多科學領域都會用到。譬如係神經科學上研究大規模腦網絡，就會用到相互資訊嚟界定邊啲腦區之間算係有聯結。

基本計法

内文：資訊理論

睇埋：概率論同隨機變數

計相互資訊，會用到好多概率論上常用嘅概念同數學符號，好似係加總同埋表示機率嘅 p(.) 呀噉。

假想有兩個隨機變數 X 同 Y，X 相對於 Y 嘅相互資訊 $I(X;Y)$ 如下：

$I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=$

$\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}$；$[2]$

呢條式有以下呢啲特性：

• 當 X 同 Y 係完全概率上無關，即係 p(x, y) = p(x)p(y)，嗰陣，[2] 嗰條式計到嘅結果會係 0，即係話當兩個變數完全唔啦更嗰陣時，觀察其中一個變數唔會幫到手預測另外嗰個。
• $I(X;Y)=S(X)-S(X|Y)$，所以傳送有關 X 嘅訊號嗰陣，知道 Y 嘅數值平均可以慳返 I(X;Y) 咁多位元。
• 條式係對稱嘅：

  $I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)$

而假如啲變數係連續嘅，條式就會使用雙積嘅概念：

$\operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy$,

對比相關

睇埋：統計相關

統計相關呢個概念，同相互資訊有啲相似，但兩者有重要、不可忽略嘅差異。

統計相關都能夠一定程度上反映統計依賴：如果兩個隨機變數之間無統計依賴性，佢哋之間實冇相關，但係兩者之間冇相關，都唔表示佢哋實冇統計依賴，噉係因為無統計依賴呢種條件比無相關更加「強」，講緊兩個變數之間冇任何條件概率上嘅關聯。舉例說明，假想有個隨機變數 X 佢均勻噉分佈喺 -1 同 1 之間，而依家設

$Y=X^{2}$

• 由於 X 同 Y 嘅關係成平方，當 X 為極正或極負嗰時，Y 都會有同樣嘅值。
• 因此 X 同 Y 嘅協方差係零，即係冇線性嘅統計相關。
• 不過，佢哋仍然有統計依賴性：知道咗 Y 嘅值，就可以縮窄 X 嘅可能範圍，對 X 嘅值作出預測。

譬如話，下圖顯示咗喺唔同嘅 X–Y 分佈之下，計出嚟嘅相關值。當 X 同 Y 之間完全冇統計關係嘅時候，佢哋嘅分佈會係完全雜亂無章（最上行中間嗰幅相關值為 0 嘅圖），X 唔能夠預測 Y，Y 亦都唔能夠預測 X。不過，由最下行嗰幾幅圖可以睇到，就算 X 同 Y 之間明顯有依賴關係，計出嚟嘅相關值都可以係 0。

另見

• 資訊理論
• 統計依賴
• 決策樹學習