受限玻茲曼機

受限玻茲曼機（restricted Boltzmann machine，RBM）係玻茲曼機嘅一個變種。一部受限玻茲曼機同一般嘅玻茲曼機一樣，分隱藏細胞（hidden units）同可見細胞（visible units），重點在於受限玻茲曼機嗰啲細胞之間嘅連繫「受限制」－隱藏細胞彼此之間唔可以有連繫，而可見細胞之間亦都唔可以有連繫，每一條連繫都係連接住一粒隱藏細胞同埋一粒可見細胞嘅；每粒可見細胞都同所有隱藏細胞有連繫^[1]^[2]。

用途

想像而家一個研究者噉做：佢俾一柞輸入落去柞可見細胞嗰度，可見細胞狀態成 $\mathbf {v} _{0}$ ，再等柞隱藏細胞按 $\mathbf {v} _{0}$ 同權重啟動成狀態 $\mathbf {h} _{0}$ （向前傳遞；forward pass）；然後第二步係做重構（reconstruction）－將隱藏細胞嘅狀態 $\mathbf {h} _{0}$ 做輸入，等可見細胞按呢柞輸入同權重變成狀態 $\mathbf {v} _{1}$ ；因為啲權重一般會喺初始化嗰陣設做隨機數值，所以 $\mathbf {v} _{1}$ 同 $\mathbf {v} _{0}$ 之間嘅差異（重構誤差）會相當大－「重構原初輸入」嘅工作失敗；喺呢個過程當中，部受限玻茲曼機會俾出兩樣資訊^[1]^[3]：

喺向前傳遞途中，個網絡可以俾有關 $\Pr(\mathbf {h} _{0}|\mathbf {v} _{0})$ 嘅資訊（由 $\mathbf {v} _{0}$ 估 $\mathbf {h} _{0}$ 嘅概率分佈）；而
喺重構途中，個網絡就可以俾有關 $\Pr(\mathbf {v} _{1}|\mathbf {h} _{0})$ 嘅資訊（由 $\mathbf {h} _{0}$ 估 $\mathbf {v} _{1}$ 嘅概率分佈）。

受限玻茲曼機可以攞嚟做深度學習（deep learning）：想像而家行咗學習演算法，部受限玻茲曼機能夠可靠噉重構原初輸入，每次都係 $\mathbf {v} _{1}$ ≈ $\mathbf {v} _{0}$ （可以睇埋自編碼器）；呢部受限玻茲曼機嘅輸入係一幅有若干像素嘅圖像（ $\mathbf {v}$ ），而隱藏層嘅細胞（ $\mathbf {h}$ ）表示嘅係「幅圖入面有啲乜嘢身體部位」；下一步，研究者再用隱藏層 $\mathbf {h}$ 做輸入，砌多個隱藏層（ $\mathbf {\text{new h}}$ ）上去， $\mathbf {\text{new h}}$ 表示嘅係「幅圖係乜嘢動物」。而最後得出呢個網絡能夠做到以下嘅嘢：

準確噉計 $\Pr(\mathbf {h} _{0}|\mathbf {v} _{0})$ 等同「見到呢幅圖，估幅圖入面有邊啲身體部位」；
準確噉計 $\Pr(\mathbf {v} _{1}|\mathbf {h} _{0})$ 等同「諗到呢啲身體部位，幅圖大致會係點嘅樣」；
準確噉計 $\Pr(\mathbf {\text{new h}} _{0}|\mathbf {h} _{0})$ 等同「按照幅圖入面有嘅身體部位，估計幅圖係乜嘢動物」（例：如果幅圖有四隻腳，噉嗰隻嘢應該唔會係昆蟲）；
準確噉計 $\Pr(\mathbf {h} _{0}|\mathbf {\text{new h}} _{0})$ 等同「已知手上有呢種動物，呢種動物有乜身體部位」

－呢一個網絡成功做到分層嘅知識表示嘅效果^[3]^[4]。

睇埋

攷

↑ ^1.0 ^1.1 A Beginner's Guide to Restricted Boltzmann Machines (RBMs). Pathmind.
↑ Larochelle, H.; Bengio, Y. (2008). Classification using discriminative restricted Boltzmann machines (PDF). Proceedings of the 25th international conference on Machine learning - ICML '08.
↑ ^3.0 ^3.1 Restricted Boltzmann Machines - Simplified. Towards Data Science.
↑ Bengio, Y. (2009). "Learning Deep Architectures for AI". Foundations and Trends in Machine Learning. 2 (1): 1–127.

[pathmindRBM-1] 1.0 ^1.1 A Beginner's Guide to Restricted Boltzmann Machines (RBMs). Pathmind.

[2] Larochelle, H.; Bengio, Y. (2008). Classification using discriminative restricted Boltzmann machines (PDF). Proceedings of the 25th international conference on Machine learning - ICML '08.

[RBMtowardsDS-3] 3.0 ^3.1 Restricted Boltzmann Machines - Simplified. Towards Data Science.

[4] Bengio, Y. (2009). "Learning Deep Architectures for AI". Foundations and Trends in Machine Learning. 2 (1): 1–127.

[1]

[2]

[3]

[4]