受限玻茲曼機

一個有 3 粒輸入層細胞同 4 粒隱藏層細胞嘅 RBM

受限玻茲曼機（restricted Boltzmann machine，RBM）係玻茲曼機嘅一個變種。一部受限玻茲曼機同一般嘅玻茲曼機一樣，分隱藏細胞（hidden units）同可見細胞（visible units），重點在於受限玻茲曼機嗰啲細胞之間嘅連繫「受限制」－隱藏細胞彼此之間唔可以有連繫，而可見細胞之間亦都唔可以有連繫，每一條連繫都係連接住一粒隱藏細胞同埋一粒可見細胞嘅；每粒可見細胞都同所有隱藏細胞有連繫。

用途

睇埋：深度學習

想像而家一個研究者噉做：佢俾一柞輸入落去柞可見細胞嗰度，可見細胞狀態成 $\mathbf {v} _{0}$，再等柞隱藏細胞按 $\mathbf {v} _{0}$ 同權重啟動成狀態 $\mathbf {h} _{0}$（向前傳遞；forward pass）；然後第二步係做重構（reconstruction）－將隱藏細胞嘅狀態 $\mathbf {h} _{0}$ 做輸入，等可見細胞按呢柞輸入同權重變成狀態 $\mathbf {v} _{1}$；因為啲權重一般會喺初始化嗰陣設做隨機數值，所以 $\mathbf {v} _{1}$ 同 $\mathbf {v} _{0}$ 之間嘅差異（重構誤差）會相當大－「重構原初輸入」嘅工作失敗；喺呢個過程當中，部受限玻茲曼機會俾出兩樣資訊：

• 喺向前傳遞途中，個網絡可以俾有關 $\Pr(\mathbf {h} _{0}|\mathbf {v} _{0})$ 嘅資訊（由 $\mathbf {v} _{0}$ 估 $\mathbf {h} _{0}$ 嘅概率分佈）；而
• 喺重構途中，個網絡就可以俾有關 $\Pr(\mathbf {v} _{1}|\mathbf {h} _{0})$ 嘅資訊（由 $\mathbf {h} _{0}$ 估 $\mathbf {v} _{1}$ 嘅概率分佈）。

受限玻茲曼機可以攞嚟做深度學習（deep learning）：想像而家行咗學習演算法，部受限玻茲曼機能夠可靠噉重構原初輸入，每次都係 $\mathbf {v} _{1}$ ≈ $\mathbf {v} _{0}$（可以睇埋自編碼器）；呢部受限玻茲曼機嘅輸入係一幅有若干像素嘅圖像（$\mathbf {v}$），而隱藏層嘅細胞（$\mathbf {h}$）表示嘅係「幅圖入面有啲乜嘢身體部位」；下一步，研究者再用隱藏層 $\mathbf {h}$ 做輸入，砌多個隱藏層（$\mathbf {\text{new h}}$）上去，$\mathbf {\text{new h}}$ 表示嘅係「幅圖係乜嘢動物」。而最後得出呢個網絡能夠做到以下嘅嘢：

• 準確噉計 $\Pr(\mathbf {h} _{0}|\mathbf {v} _{0})$ 等同「見到呢幅圖，估幅圖入面有邊啲身體部位」；
• 準確噉計 $\Pr(\mathbf {v} _{1}|\mathbf {h} _{0})$ 等同「諗到呢啲身體部位，幅圖大致會係點嘅樣」；
• 準確噉計 $\Pr(\mathbf {\text{new h}} _{0}|\mathbf {h} _{0})$ 等同「按照幅圖入面有嘅身體部位，估計幅圖係乜嘢動物」（例：如果幅圖有四隻腳，噉嗰隻嘢應該唔會係昆蟲）；
• 準確噉計 $\Pr(\mathbf {h} _{0}|\mathbf {\text{new h}} _{0})$ 等同「已知手上有呢種動物，呢種動物有乜身體部位」

－呢一個網絡成功做到分層嘅知識表示嘅效果。

睇埋

• 遞迴神經網絡
• 玻茲曼機
• 深度學習
• 深度信念網絡