資訊理論

喺 2005 年互聯網某一部份嘅地圖；每一個節點代表咗一個 IP 位址，每條線代表咗兩個 IP 之間有傳資訊，條線嘅長度代表咗兩個 IP 之間嘅延遲。

資訊理論（粵拼：seon³ sik¹ leon⁶；英文：information theory）係一個研究資訊（又叫「訊息」）要點樣量化、儲起同傳達嘅數學理論。呢個理論由美國數學家兼電機工程師克勞迪山農（Claude E. Shannon）喺 1948 年諗出嚟，嗰陣時山農喺度研究訊號處理，跟手出咗佢篇著名論文《A Mathematical Theory of Communication》（粵文：通訊嘅數學理論），喺篇文當中提出咗呢個理論。自從嗰時開始，資訊理論就有一路發展，仲俾人廣泛噉用落去好多領域嗰度，好似係「啲數據要點壓縮」同埋頻道容量等嘅研究課題都會用到資訊理論。包括 CD、手機、互聯網、語言研究同對黑洞嘅理解等嘅多種技術同理論都係有資訊理論先至搞得成嘅。

資訊理論嘅核心概念係所謂嘅熵（entropy）。同物理學上所講嘅熵唔同，資訊理論當中嘅「熵」係一個指標，用嚟量度一個有隨機性喺入面嘅變數或者過程當中帶有幾多不確定性（uncertainty）喺入面。舉個例說明，想像家吓掟一個銀仔同擲一粒六面嘅骰仔，假設個銀仔同粒骰仔係冇出千嘅：

• 掟銀仔（$i$ 表示掟銀仔結果；0 代表公、1 代表字）：

  $p(i)={\begin{cases}{\frac {1}{2}}&{\text{if }}i=0,\\{\frac {1}{2}}&{\text{if }}i=1.\end{cases}}$

• 擲骰仔（$i$ 表示擲到嘅數字）：

  $p(i)={\begin{cases}{\frac {1}{6}}&{\text{if }}i=1,\\{\frac {1}{6}}&{\text{if }}i=2,\\{\frac {1}{6}}&{\text{if }}i=3,\\...\end{cases}}$

掟一個銀仔有 2 個可能結果，而擲一粒六面骰有 6 個可能結果。擲骰仔當中有更多可能性喺度，所以不確定性亦都更加大－有更多嘅資訊熵；當一個人知道咗一次掟銀仔或者擲骰仔嘅結果嗰陣，佢會清楚知道結果－資訊熵變成 0。對比兩個情況，「話俾人知掟銀仔嘅結果」俾到嘅資訊－消除嘅資訊熵－少過「話俾人知擲骰仔嘅結果」所俾嘅。由呢個例子可見，資訊理論做到將「資訊」呢一個概念量化，令到資訊成為一個喺科學上可以被研究嘅對象。

資訊理論呢個研究領域處於數學、統計學、電腦科學、物理學、電子工程、神經科學同人工智能等領域嘅交界，亦都有俾科學家應用落去做推論統計學、自然語言處理同密碼學等嘅領域嗰度。而且廿一世紀嘅資訊理論仲發展咗多個子領域出嚟，成為咗一個獨立嘅專門領域。

基本定義

山農嘅相

內文：資訊 同 訊號

資訊理論研究資訊（information）嘅傳遞、處理、提取、同運用。抽象啲講，資訊可以定義為「不確定性嘅減少」（reduction of uncertainty），山農佢係噉諗嘅：佢提議將資訊諗做一個包含咗多種可能性嘅集（set），傳資訊嘅人會用某啲訊號（signal）將資訊經由有雜音（noise）嘅管道傳出去；收資訊嗰個人跟手要由收到嘅訊號嗰度按照佢對嗰種訊號嘅理解重新建構返傳資訊嗰個人想表達嘅內容出嚟；同時，管道嘅雜音會搞到收資訊嗰個人唔能夠完完全全肯定佢收到嘅訊號真係完美反映傳資訊嗰個人想表達嘅內容，頂嗮櫳都只係做到盡力令出錯嘅機率有咁低得咁低。

例子

舉個例說明，想像家陣有一個黑盒，個盒裝住啲嘢，A 君唔知個盒裝咗乜（有不確定性），但佢識 B 君，而 B 君睇過個盒嘅內容；而又想像家陣 B 君用口講俾 A 君聽個盒裝咗啲乜，喺呢個過程當中，B 君要將自己嘅所思所想轉化做訊號－講嘢嘅聲（將資訊用訊號表達），而啲聲會由佢把口傳過去 A 君對耳仔嗰度，A 君個腦就會由聽到嘅聲嗰度解讀返 B 君想表達嘅內容出嚟（重新建構）；假設 B 君係靠得住嘅，A 君就可以透過收佢嘅訊號嚟到判斷嗰個盒嘅內容係乜（不確定性減少）。B 君講嘢向 A 君傳遞咗資訊，但係喺現實裏面，呢種做法好多時都係唔完全靠得住嘅（有雜音），例如可能佢哋兩個周圍嘅環境好嘈，搞到 A 君聽錯。

同樣嘅概念可以用嚟理解好多領域嘅研究：

• 喺做通訊嗰陣，傳訊嘅人會以某啲方法（好似係文字訊號或者摩斯碼呀噉）向收訊嘅人傳達訊號（將資訊用訊號表達），收訊嘅人收到訊號之後要按照佢對嗰種訊號嘅認識解讀傳訊嘅人想講嘅嘢（重新建構），並且知道對方想表達啲乜（不確定性減少）；
• 又或者用神經科學嚟做例子，對眼嘅視網膜上面每一粒感光細胞喺受到外界嘅光刺激嗰陣，會向個腦嘅視覺區域射神經訊號，而個訊號嘅物理性質（例如係頻率）會按照佢感覺到嘅光嘅屬性而有所不同－例如係光嘅強度同射訊號嘅頻率成簡單正比，$f=\beta I$，當中 $f$ 係訊號嘅頻率，$\beta$ 係一個固定嘅常數，而 $I$ 係光嘅強度（將資訊用訊號表達），呢啲訊號跟住會上腦，話俾個腦知佢睇到啲乜（可能有雜音嘅管道），而個腦本來唔知眼前有啲乜嘅（不確定性），但佢由感光細胞嗰度收到神經訊號，知道 $f$，再解讀個訊號得知 $I$（重新建構），就知眼前有啲乜嘢（不確定性減少）。

資訊量

資訊理論建基於統計學，尤其係概率論（probability theory）。作為一個科學理論，資訊理論首要做嘅嘢係將「資訊」呢個核心概念量化。首先，如果話一個過程俾出某啲資訊嘅話，噉啲資訊所描述嘅事件一定係帶有隨機性嘅。冇隨機性嘅事性係唔使要資訊嘅，因為呢啲事件嘅或然率等如一，即係話結果係唔使估都知嘅。因為噉，用嚟量度資訊嘅指標都會涉及份資訊所描述嘅事件嘅機會率同機會率分佈：例如頭先提到嘅資訊熵噉，資訊熵量度一個有隨機性喺入面嘅變數當中含有幾多資訊。資訊熵係個隨機變數嘅概率分佈嘅一個特性，限制住由個獨立樣本所產生嘅數據嘅壓縮率可以有幾高，而相互資訊係兩個隨機變數嘅共同概率分佈嘅一個特性，反映喺一個有雜音嘅管道當中可靠溝通嘅最大可能率（詳情睇下文）。呢啲量度資訊嘅指標令到資訊理論成為一個嚴謹嘅科學理論。

喺以下嘅內容當中，$(0)\log(0)$ 會按照慣例當做 0，因為無論對數（$\log$）基數係幾多，$\lim _{p\rightarrow 0+}p\log p=0$ 都會成立（詳情睇對數）。

資訊熵

想像家吓掟一個銀仔，幅圖嘅 Y 軸係資訊熵，而 X 軸係「公」嘅機率。由幅圖睇得出，資訊熵喺個銀仔冇出千（公同字機率相同，都係 50%）嗰時會最大化。

內文：資訊熵

算式

俾是但一個變數，佢會有一啲可能數值，例如「某年某月某日某刻掟某一個銀仔」嘅可能數值大致上有兩個－「公」同「字」。每個數值都會有一定嘅機會率出現，而描述每一個可能數值出現嘅機會率嘅就係所謂嘅概率質量函數（probability mass function）。知道咗某一件事件嘅概率質量函數之後，件事件所帶有嘅資訊熵（information entropy；數學符號係「$S$」）可以用以下呢條式計算：

$S=-\sum _{i}p_{i}\log _{2}(p_{i})$；$[1]$

喺呢條式當中，$p_{i}$ 係指第 i 個可能性發生嘅機會率，而 $\log _{2}(p_{i})$ 係 $p_{i}$ 以 2 做基數嘅對數。成條式用文字解釋就係：考慮一件事件嘅所有可能性，將每一個可能性嘅機會率乘嗰個可能性嘅機會率以 2 做基數嘅對數，再將呢啲得出嘅數加埋嗮一齊，再將個答案乘負一變成正數，就會得出件事件所包含嘅資訊熵。用呢條式計嘅話，「掟一粒冇出千嘅銀仔」（即係話公」同「字」嘅機會率都係 50%）呢件事件當中帶嘅資訊熵（$S(X)$）係：

$S(X)=-({\frac {1}{2}}\log _{2}({\frac {1}{2}})+{\frac {1}{2}}\log _{2}({\frac {1}{2}}))=1$；

喺直覺上，呢條式係喺度量度緊件事件含有嘅不確定性。科學家之所以會揀用呢條式嚟計資訊熵，係因為喺可能嘅算式當中，得呢條符合佢哋心目中「一條計不確定性嘅算式應有嘅特性」：例如一件肯定嘅事件係理應冇資訊熵嘅－而如果其中一個可能性機會率等如「1」（即係其他可能性機會率冚唪唥等如「0」），$[1]$ 呢條式會俾出「0」；而另一方面，喺每個可能性機會率都一樣（不確定性最大化）嗰陣，$[1]$ 俾嘅數值會最大化。

重要特徵

• 資訊熵嘅單位係位元（bit）。有啲研究者會用 2 以外嘅數做上面條式個對數嘅基數嘅，不過道理都一樣，例如用 2⁸ = 256 做基數嘅話，條式就會俾出以位元組（byte）作為單位嘅資訊熵。
• 資訊熵算式嘅一個特殊情況涉及一個得兩個可能數值嘅隨機變數，例如「掟銀仔嘅結果」就屬於呢種變數。喺呢個情況下，兩個可能性嘅機率加埋實會等如 1（$p_{1}+p_{2}=1$，當中 $p_{1}$ 同 $p_{2}$ 係兩個可能情況分別嘅機率），而呢件事件條資訊熵式就係所謂嘅二元熵函數（binary entropy function）。條式係噉樣嘅：

$S_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$－係將 $[1]$ 應用落去「得兩個可能性」嘅情況嘅樣。

• 想像家吓有一個資訊源，佢傳送一連串有 N 個符號嘅資訊，而每個符號都係獨立同分佈（independent and identically distributed；iid）－指一個符號係乜唔會影響嗰串嘢入面第啲符號係乜，但每個符號嘅概率分佈相同，例如一連串互不相干，每個都係隨機噉揀嘅英文字母－呢串嘢嘅資訊熵係 $NS_{i}$（當中 $S_{i}$ 係每一個個別符號嘅資訊熵）咁多位元；而如果呢串嘢係同分佈（每個符號概率分佈相同）但係唔獨立（一個符號係乜可以影響第啲符號係乜嘅機率）－例如係一篇用英文寫嘅文章噉，如果佢某一橛係「information」呢個字嘅話，噉呢橛嘅下一格好大可能係一個空位－喺呢種情況下，串嘢嘅資訊熵會細過 $NS_{i}$。
• 如果有個人傳遞 1,000 位元（0 同 1）長嘅數碼訊號，而收訊號嗰個人喺訊號傳出去之前經已完全噉知道嗮每一個位元係「1」定「0」，噉傳訊號嗰個人冇傳達到任何新資訊－因為收訊號嗰個人喺收到訊號前後嘅資訊熵都係「0」，所以呢串訊號嘅傳遞並冇消除任何資訊熵。但如果喺收訊號嗰個人眼中嗰 1,000 個位元每一個都係 50% 機率係「1」、50% 機率係「0」嘅話，噉用 $[1]$ 嚟計，佢透過接收呢串訊號會收到 1,000 位元嘅資訊。

聯合熵

內文：聯合熵

聯合熵（joint entropy；$S(X,Y)$）係指兩個隨機變數 X 同 Y 嘅共同資訊熵。條式係噉嘅：

$S(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=$

$-\sum _{x,y}p(x,y)\log p(x,y)$；

當中 $p(x,y)$ 係指「X 數值等如 x 而同時 Y 數值等如 y 嘅機會率」，而成條式道理同基本嗰條資訊熵式道理一樣，都係諗嗮所有可能性，將每個可能性嘅機率乘以個機率嘅對數，跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立（independent；其中一個數值係乜唔會影響另一個數值係乜）嘅，佢哋嘅聯合熵會等同佢哋各自嘅資訊熵相加，噉係因為當兩件事件係獨立嗰陣，以下呢條式會成立：

$p(x,y)=p(x)p(y)$；

$\log ab=\log a+\log b$；喺數學上已知，所以綜合呢兩條式，

$\log p(x,y)=\log p(x)+\log p(y)$；

條件熵

內文：條件熵

假如家吓有兩個隨機變數 X 同 Y，而收資訊嗰個人知道 X 同 Y 唔係獨立，而係有相關嘅－即係 Y 嘅數值係乜能夠一定程度上預測 X 嘅數值係乜。喺呢種情況下，假設而家嗰個人經已知道咗 Y 嘅數值，但要預測 X 嘅未知數值（predicting X given the value of Y），呢種情況下嘅熵就係所謂嘅條件熵（conditional entropy），而喺知道 Y 嘅數值之下預測 X 嘅資訊熵就係「X 喺 Y 上嘅條件熵」（conditional entropy over Y）。舉個例子說明，家吓個人面前有一隻狼，佢想預測隻狼有冇食佢落肚嘅意慾：根據佢對狼嘅認識，佢知道如果隻狼個樣係「慢慢噉行緊埋嚟，而且開始流口水」嘅話，「隻狼想食我落肚」嘅機率會比較大；而如果隻狼個樣係「打緊喊露，眼尾睄咗我一吓就冇再望」，噉「隻狼想食我落肚」嘅機率會比較細，所以「隻狼個樣」能夠預測「隻狼想食我嘅意慾」。喺呢個情況下，「隻狼想食我嘅意慾」呢個變數嘅資訊熵就係所謂嘅條件熵。

要計條件熵，就會用到條件概率（conditional probability），例如「Y 數值係 y 之下，X 數值係 x 嘅條件概率」（$p(x)$ given $Y=y$）係指當 Y 嘅數值係 y，X 數值係 x 嘅機會率。呢個條件熵嘅計法如下：

$S(X|Y)=\mathbb {E} _{Y}[H(X|y)]=$

$-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=$

$-\sum _{x,y}p(x,y)\log p(x|y)$；

當中 $p(x|y)$ 係指「當 Y 數值等如 y 嗰陣，X 數值等如 x 嘅機會率」。呢條式嘅第二行係指「考慮 Y 嘅每個可能數值，再考慮喺每個 Y 可能數值下嘅 X 嘅可能數值，加埋嗮喺嗰個 Y 數值之下每個 X 嘅可能性嘅條件概率乘條件概率對數，跟手再加埋嗮喺 Y 唔同可能數值當中得到嘅呢個值」，而第二行嗰條式之所以可以變做第三行嗰條，係因為條件概率條式：

$p(x|y)={\frac {p(x,y)}{p(y)}}$；

同時：

$S(X|Y)=S(X,Y)-S(Y)$；

相互資訊

內文：相互資訊

喺考慮兩個隨機變數嗰陣時，相互資訊（mutual information）指嘅係透過觀察第一個變數能夠得知嘅有關第二個變數嘅資訊。呢個數字可以幫手計點將傳訊號同收訊號嗰時傳到嘅資訊量最大化。假想家吓有兩個隨機變數 X 同 Y，X 相對於 Y 嘅相互資訊係噉計嘅：

$I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=$

$\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}$；$[2]$

呢條式有以下呢啲特性：

• 當 X 同 Y 係完全獨立（$p(x,y)=p(x)p(y)$）嗰陣，$[2]$ 所計到嘅結果係「0」，即係話當兩個變數完全唔啦更嗰時，睇其中一個變數唔會幫到手預測另外嗰個。
• $I(X;Y)=S(X)-S(X|Y)$，所以喺傳有關 X 嘅訊號嗰陣，知道 Y 嘅數值平均可以慳返 $I(X;Y)$ 咁多位元。
• 條式係對稱（symmetric）嘅：

$I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)$

相對熵

內文：相對熵

相對熵（relative entropy；英文又有叫 Kullback–Leibler divergence）係一種用嚟比較兩個分佈嘅方法：想像家吓有個生物學家研究狼嘅重量，隻隻狼嘅重量都唔同，所以「狼」呢個總體當中喺「重量」上有一個概率分佈－假如有（例如）30% 嘅狼重量介乎喺 80 至 85 公斤之間，有 20% 嘅狼重量介乎於 85 至 90 公斤之間... 等等，噉是但抽一隻狼嚟睇，佢會有 30% 機率係重量處於 80 至 85 公斤之間嘅。個生物學家手上嘅數據會顯示出一個概率分佈（$q(X)$），但呢個分佈未必會等同真實嗰個分佈（$p(X)$）。想像而家個生物學上想將佢手上啲數據壓縮（等柞數據易儲啲），個相對熵（$D_{\mathrm {KL} }(p(X)\|q(X))$）量度緊嗰兩個分佈之間有幾大差異，條式係噉嘅：

$D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=$

$\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}$；

當中 $q(x)$ 係指「根據 $q(X)$，X 數值係 x 嘅機率」。相對熵可以按照「平均嚟講知道個真相會做成幾大嘅驚訝」嚟到理解：想像有一個帶有隨機性嘅變數 X，佢真實嘅概率分佈係 $p(X)$，而家係噉抽 X 嘅數值，如果 A 君知道 $p(X)$ 嘅樣，而 B 君心目中嘅分佈係 $q(X)$，噉平均嚟講 B 君會有更多嘅驚訝（更加成日會估錯 X 嘅數值）。所以相對熵條式可以話係反映咗 B 君嘅驚訝減 A 君嘅驚訝。

其他重要概念

資訊源

資訊源（information source）係指一個曉係噉傳送訊號嘅過程，大致上可以分做無記憶同有記憶兩種：無記憶嘅資訊源唔曉用任何方式記住佢自己過去傳過嘅資訊，所以佢喺是但一個時間點所傳嘅訊號唔會受過去傳過嘅訊號影響，佢射嘅訊號係獨立同埋符合某個分佈嘅；相對嚟講，有記憶嘅資訊源能夠用某啲方式記住佢過去傳過嘅資訊，令到過去嘅資訊能夠影響未來嘅資訊。

熵率

熵率（entropy rate；$r$）係指個資訊源傳送嘅每一個符號嘅平均熵。喺無記憶嘅資訊源當中，呢個數只係每一個符號各自嘅資訊熵（每個符號都有一啲可能數值，而每個數值都有一定機率出現，可以用返 $[1]$ 嚟計）。而當個資訊源係有記憶嗰陣（假設佢嘅概率分佈唔會隨時間改變），就要用以下呢條式計：

$r=\lim _{n\to \infty }S(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots )$；

即係知道咗個資訊源之前傳過乜嘢訊號之後，嚟緊個訊號係乜乜嘅條件概率。呢條式廣義化（generalize）啲嘅話可以變做：

$r=\lim _{n\to \infty }{\frac {1}{n}}S(X_{1},X_{2},\dots X_{n})$；

編碼理論

內文：編碼理論

編碼理論（coding theory）係資訊理論嘅一個子領域，專門研究點樣喺將資訊編碼做訊號嗰陣令效率最大化同令誤差最少化。舉個例說明，「我睇緊維基文」（漢字）、「ngo⁵ tai² gan² wai⁴ gei¹ man²」（粵拼）、同「ngóh tái gán wàih gēi màhn」（耶魯拼音）都係表達緊同一句廣東話句子，不過用咗唔同方法將佢寫低，而呢啲唔同方法喺唔同時地可能效率會唔同，例如如果傳訊嗰個人唔熟漢字輸入法嘅話，要佢用漢字表達嗰句嘢效率就可能會低啲。除咗噉，數據壓縮同錯誤檢測等都係編碼理論上重要嘅課題。

數據壓縮

內文：數據壓縮

數據壓縮（data compression）涉及傳資訊嘅人嘗試將佢個資訊用少啲位元嚟表達。舉個例說明，家陣 A 君想遠距離向 B 君傳送「wikipedia」呢個字，佢部電腦嘅做法可以係每一個拉丁字母都俾個 5 個位嘅二進制代碼佢，要部電腦內部將個字用一個 45 個位長嘅代碼嚟表達，跟手再傳呢段代碼俾 B 君部電腦，而 B 君部電腦會解讀呢段碼，再顯示出嗰個字；另一方面，A 君部電腦又可以用一個聰明啲嘅方法，常用嘅字母（例如係啲響音）就用 2 至 3 個位長嘅代碼表達，而冇咁常用嗰啲先用 5 個位長嘅代碼，噉傳「wikipedia」呢個字嗰段代碼實會短過 45 個位－用唔同嘅方法入碼能夠幫到手喺傳送訊號嗰陣用少啲位元，喺傳一個單字嗰陣會慳幾個位元，傳幾千幾萬字長嘅文章嗰陣就會慳數以萬計嘅位元，而事實係，現代嘅家用電腦入面閒閒地有幾百幾千個呢啲噉嘅檔案，所以數據壓縮法幫手慳咗好多位元。

頻道模型

通訊頻道可以按照結構分做好多唔同種，例如係：

• 一條二元對稱頻道（binary symmetric channel；BSC）係指一條頻道每個符號得兩個可能數值，而收到嘅每個符號都有 p 咁大機率會同傳出嘅符號唔同。例如係數碼電腦噉，一部數碼電腦會傳一大柞「0」同「1」做訊號，而收到訊號嘅另一部電腦會解讀呢啲碼，再將收到嘅資訊顯示俾個用家睇，一般嚟講 p 嘅數值低得好緊要，所以大多數時間收到嘅訊號都會同傳出嘅訊號一樣。

• 一條二元消除頻道（binary erasure channel；BEC）係指一條頻道每個符號得兩個可能數值，而收到嘅每個符號都有 p 咁大機率會消失咗，收資訊嗰一方收到嘅每個符號都有三個可能數值：1、0、同 e 呢三款，而 e 代表「消失咗」噉解。「消失咗」（erased）代表有關嗰個符號嘅資訊完全消失唔見咗。

頻道容量

內文：頻道容量

喺通訊上，傳遞訊號實會用到某啲頻道，例如係將電腦連上互聯網嘅電線又或者係 Wi-Fi 呀噉，但係由現實生活觀察都知，呢啲頻道好多時都唔係完全靠得住嘅，會有雜音干擾到佢哋所傳嘅訊號，令到傳訊變得唔準。所以資訊頻道嘅運作係資訊理論實用研究上嘅一環。

家吓想像有人用一條離散嘅頻道做緊通訊。成個過程可以想像為以下呢個模型：

喺呢個模型入面，X 代表所傳嘅資訊嘅空間，而 Y 代表喺一個單位時間之內透過條頻道所收到嘅資訊嘅空間。而家將 $p(y|x)$ 設為「如果 X 係 x 嘅話，Y 係 y 嘅機率」，$p(y|x)$ 可以想像做條頻道嘅一個固定特徵，代表咗條頻道有幾多雜音干擾：一條頻道雜音愈少，收資訊嘅人理應更肯定佢收到嘅資訊真係表達緊傳訊人想表達嘅內容。喺呢個情況下，研究者想要令到資訊（或者訊號）嘅傳送率最大化，會用 X 同 Y 嘅相互資訊嚟量度資訊傳送率。如果 X 同 Y 係獨立嘅，噉相互資訊會係 0，亦即係話收件人完全估唔到傳訊人講咗啲乜，而相反，如果 X 同 Y 嘅相互資訊數值高，就表示 Y 能夠準確噉話到俾人聽 X 係乜。一個頻道嘅最大傳送率叫做「頻道容量」（channel capacity），可以用以下呢條式表達：

$C=\max _{f}I(X;Y)$

頻道容量有以下嘅一個特性：假定一個細過 C 嘅資訊率 R 而編碼誤差有 $\epsilon$ 咁多（$\epsilon$ > 0）；只要 N 夠大，噉就實會有一段 N 咁多位元長嘅碼、大過 R 嘅資訊率、同埋解碼演算法能夠將出錯嘅機會率減到 $\epsilon$ 以下。簡單啲講就係，只要傳緊嘅資訊率細過 C 就實有方法可以將出錯率變到有咁細得咁細。

應用

呢張電腦卡內置咗能夠產生擬亂數嘅硬件。

擬亂數

內文：擬亂數產生

擬亂數產生（pseudorandom number generation）喺密碼學上係一個重要課題，指啲人嘗試用電腦產生一啲類似隨機嘅數。呢一個課題喺密碼設計上好緊要，因為完全隨機嘅數字串係最難預測嘅（資訊熵最大），攞嚟做密碼最安全。但喺現實世界當中，電腦產生嘅嗰啲所謂隨機數字唔係真係隨機嘅，例如有好多電腦程式會噉樣做：個程式內置咗一條複雜嘅方程式，當用家要求佢產生一個隨機數字嗰陣，個程式會攞嗰一刻嘅時間做條方程式嘅輸入，再俾返所計出嚟個數做輸出。如果條方程式夠複雜，佢所產生嘅數列望落會好似隨機嘅噉，但實際上呢串數字依然係跟住一啲決定性嘅法則運行嘅，做唔到真正嘅隨機。亦都有一啲程式會運用隨機種子（random seed）做輸入，但就算係噉都仲係做唔到真正嘅隨機。

因為噉，密碼學家同電腦科學家有好多都致力研究要點樣先至可以令產生擬亂數嗰時盡可能隨機。佢哋喺做呢啲研究嗰陣，會以令資訊熵最大化為目標－資訊熵值高表示產生出嚟嘅數列帶有最多嘅不確定性。資訊熵成為咗一種有用嘅指標，等啲科學家可以量度產生擬亂數嘅演算法嘅表現。

語言學

語言（language）係人類用嚟互相溝通（互相傳達資訊）嘅一種重要工具，所以有唔少語言學家都著力思考點樣運用資訊理論上嘅概念了解語言學上嘅一啲現象。例如呢個世界上有好多語言喺組句子嗰陣都係跟主語行先、再有動詞、最後係賓語（subject-verb-object）噉嘅，例如係廣東話同英文都跟呢個做法：

阿明郁腳踢阿松。

A-ming kicks A-chung.

而唔係好似（例如）日文噉用「主語－賓語－動詞」（subject-object-verb）：

私は（我）彼を（佢）蹴る（郁腳踢）。

分析呢個問題嘅語言學家指出，資訊理論可以解釋點解日文嘅主語同賓語後面要駁唔同介詞（は、を），但廣東話同埋英文唔使。想像家吓有兩個人喺一個好嘈嘅環境下向對方講嘢，講嘅嘢受到雜音干擾，搞到聽嗰個人聽唔清楚句句子嘅主語同賓語其中一個，如果佢哋用嘅語言係「主語－動詞－賓語」嘅話，聽嗰個人會聽到「阿明郁腳踢」或者「郁腳踢阿松」。如果佢哋用嘅語言係「主語－賓語－動詞」嘅話，聽嗰個人會聽到「阿明郁腳踢」或者「阿松郁腳踢」。喺前者嘅情況之下，聽嗰個人淨係靠語序就判斷到郁腳嘅係邊個人，更加能夠準確噉得到資訊。另一方面，用「主語－賓語－動詞」嘅語言就要用介詞嚟標記主語同賓語嘅分別，同時又另外搵啲方法提升自己嘅效率，等用佢哋嘅人有得準確噉傳達資訊，例如日文就有強烈嘅上下文（context；打前或者打後嗰句會影響一句句子嘅意思）使用。以上嘅例子顯示咗，資訊理論嘅概念幫到語言學嘅手。

神經科學

神經科學呢個領域專門研究神經系統，其中一個重要嘅課題係有關個腦點樣處理資訊，令到有腦嘅動物（好似係人類）曉判斷身邊有啲乜嘢。

廿一世紀初有神經科學家做咗個假說，運用進階資訊理論當中嘅資訊最大化原則（Infomax principle）提倡話，個腦查實識得按照收到嘅輸入嚟自我調節，嘗試令到唔同感覺器官（眼耳口鼻等）所俾嘅資訊最大化：喺神經科學當中，用單純嘅統計相關（statistical correlation）好多時都冇法子準確噉描述神經細胞嘅活動，因為一粒神經細胞嘅反應會同個外界刺激嘅某個特性之間有住直接嘅相關，又會同嗰個外界刺激嘅第啲特性有局部相關，關係好少可會係簡單嘅線性（linear；指簡單嘅正反比），所以淨係探測得到線性關係嘅相關冇乜用。

發光嗰幾個腦區係預設模式網絡（default mode network）；好多時，多個距離遠嘅腦區硬係會同時啟動，又或者一個啟動嗰陣另一個硬係會關閉，呢啲腦區就係一個具有某啲共同功能嘅網絡。如果兩個腦區屬同一網絡，噉佢哋之間理應會有相當嘅相互資訊。

於是有神經科學家就改用資訊理論當嘅相互資訊嚟做量度指標（邊個邊個外界刺激有幾預測得到邊粒邊粒神經細胞嘅活動）－相互資訊能夠探測到非線性嘅關係，幫到手研究一粒神經細胞嘅活動同個外界刺激嘅各種特性之間嘅關係。有研究者用相互資訊做指標發現，神經細胞所射嘅動作電位（簡單講就係電訊號）會按照感官所探測到嘅外界刺激有所改變，而且改變嘅方法係傾向令到傳達嘅資訊量最大化－資訊理論當中嗰啲量度資訊量嘅概念幫咗手將神經科學研究嘅對象量化，令到神經科學研究變得更精確嚴謹。

睇埋

• 訊號對雜訊比例
• 貝葉斯推論
• 密碼學
• 認知科學
• 電腦科學
• 模控學
• 統計學
• 賭錢

參考文獻

經典

• Shannon, C.E. (1948), "A Mathematical Theory of Communication" (PDF), Bell System Technical Journal, 27, pp. 379–423 & 623–656, July & October, 1948. Notes and other formats.
• R.V.L. Hartley, "Transmission of Information" (PDF), Bell System Technical Journal, July 1928
• Andrey Kolmogorov (1968), "Three approaches to the quantitative definition of information" in International Journal of Computer Mathematics.

出名論文

• J. L. Kelly, Jr., Betbubbles.com, "A New Interpretation of Information Rate" Bell System Technical Journal, Vol. 35, July 1956, pp. 917–26.
• R. Landauer, IEEE.org, "Information is Physical" Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
• R. Landauer, IBM.com, "Irreversibility and Heat Generation in the Computing Process" IBM J. Res. Dev. Vol. 5, No. 3, 1961
• Timme, N., Alford, W., Flecker, B., & Beggs, J. M. (2011). Multivariate information measures: an experimentalist's perspective. arXiv preprint arXiv:1111.6857.

教科書

• Arndt, C. Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0
• Ash, RB. Information Theory. New York: Interscience, 1965. ISBN 0-470-03445-9. New York: Dover 1990. ISBN 0-486-66521-6
• Gallager, R. Information Theory and Reliable Communication. New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
• Goldman, S. Information Theory. New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Cover, Thomas; Thomas, Joy A. (2006). Elements of information theory (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
• Csiszar, I, Korner, J. Information Theory: Coding Theorems for Discrete Memoryless Systems Akademiai Kiado: 2nd edition, 1997. ISBN 963-05-7440-3
• MacKay, David J. C. Information Theory, Inference, and Learning Algorithms. Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Mansuripur, M. Introduction to Information Theory. New York: Prentice Hall, 1987. ISBN 0-13-484668-0
• McEliece, R. The Theory of Information and Coding. Cambridge, 2002. ISBN 978-0521831857
• Pierce, JR. An introduction to information theory: symbols, signals and noise. Dover (2nd Edition). 1961 (reprinted by Dover 1980).
• Reza, F. An Introduction to Information Theory. New York: McGraw-Hill 1961. New York: Dover 1994. ISBN 0-486-68210-2
• Shannon, Claude; Weaver, Warren (1949). The Mathematical Theory of Communication (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
• Stone, JV. Chapter 1 of book "Information Theory: A Tutorial Introduction", University of Sheffield, England, 2014. ISBN 978-0956372857.
• Yeung, RW. A First Course in Information Theory. Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7.
• Yeung, RW. Information Theory and Network Coding. Springer 2008, 2002. ISBN 978-0-387-79233-0.

第啲書

• Leon Brillouin, Science and Information Theory. Mineola, N.Y.: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
• James Gleick, The Information: A History, a Theory, a Flood. New York: Pantheon, 2011. ISBN 978-0-375-42372-7
• A. I. Khinchin, Mathematical Foundations of Information Theory. New York: Dover, 1957. ISBN 0-486-60434-9
• H. S. Leff and A. F. Rex, Editors, Maxwell's Demon: Entropy, Information, Computing. Princeton University Press, Princeton, New Jersey (1990). ISBN 0-691-08727-X
• Robert K. Logan. What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere. Toronto: DEMO Publishing.
• Tom Siegfried, The Bit and the Pendulum, Wiley, 2000. ISBN 0-471-32174-5
• Charles Seife, Decoding the Universe, Viking, 2006. ISBN 0-670-03441-X
• Jeremy Campbell, Grammatical Man. Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
• Henri Theil, Economics and Information Theory. Rand McNally & Company - Chicago, 1967.
• Escolano, Suau, Bonev, Information Theory in Computer Vision and Pattern Recognition. Springer, 2009. ISBN 978-1-84882-296-2
• Vlatko Vedral, Decoding Reality: The Universe as Quantum Information, Oxford University Press 2010. ISBN 0-19-923769-7

拎

• Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education.
• IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews.