受限玻茲曼機

出自維基百科,自由嘅百科全書
跳去導覽 跳去搵嘢
一個有 3 粒輸入層細胞同 4 粒隱藏層細胞嘅 RBM

受限玻茲曼機restricted Boltzmann machineRBM)係玻茲曼機嘅一個變種。一部受限玻茲曼機同一般嘅玻茲曼機一樣,分隱藏細胞(hidden units)同可見細胞(visible units),重點在於受限玻茲曼機嗰啲細胞之間嘅連繫「受限制」-隱藏細胞彼此之間唔可以有連繫,而可見細胞之間亦都唔可以有連繫,每一條連繫都係連接住一粒隱藏細胞同埋一粒可見細胞嘅;每粒可見細胞都同所有隱藏細胞有連繫[1][2]

用途[編輯]

睇埋:深度學習

想像而家一個研究者噉做:佢俾一柞輸入落去柞可見細胞嗰度,可見細胞狀態成 ,再等柞隱藏細胞按 同權重啟動成狀態 (向前傳遞;forward pass);然後第二步係做重構(reconstruction)-將隱藏細胞嘅狀態 做輸入,等可見細胞按呢柞輸入同權重變成狀態 ;因為啲權重一般會喺初始化嗰陣設做隨機數值,所以 之間嘅差異(重構誤差)會相當大-「重構原初輸入」嘅工作失敗;喺呢個過程當中,部受限玻茲曼機會俾出兩樣資訊[1][3]

  • 喺向前傳遞途中,個網絡可以俾有關 嘅資訊(由 概率分佈);而
  • 喺重構途中,個網絡就可以俾有關 嘅資訊(由 嘅概率分佈)。

受限玻茲曼機可以攞嚟做深度學習(deep learning):想像而家行咗學習演算法,部受限玻茲曼機能夠可靠噉重構原初輸入,每次都係 (可以睇埋自編碼器);呢部受限玻茲曼機嘅輸入係一幅有若干像素圖像),而隱藏層嘅細胞(表示嘅係「幅圖入面有啲乜嘢身體部位」;下一步,研究者再用隱藏層 做輸入,砌多個隱藏層()上去, 表示嘅係「幅圖係乜嘢動物」。而最後得出呢個網絡能夠做到以下嘅嘢:

  • 準確噉計 等同「見到呢幅圖,估幅圖入面有邊啲身體部位」;
  • 準確噉計 等同「諗到呢啲身體部位,幅圖大致會係點嘅樣」;
  • 準確噉計 等同「按照幅圖入面有嘅身體部位,估計幅圖係乜嘢動物」(例:如果幅圖有四隻腳,噉嗰隻嘢應該唔會係昆蟲);
  • 準確噉計 等同「已知手上有呢種動物,呢種動物有乜身體部位」

-呢一個網絡成功做到分層嘅知識表示嘅效果[3][4]

睇埋[編輯]

[編輯]

  1. 1.0 1.1 A Beginner's Guide to Restricted Boltzmann Machines (RBMs). Pathmind.
  2. Larochelle, H.; Bengio, Y. (2008). Classification using discriminative restricted Boltzmann machines (PDF). Proceedings of the 25th international conference on Machine learning - ICML '08.
  3. 3.0 3.1 Restricted Boltzmann Machines - Simplified. Towards Data Science.
  4. Bengio, Y. (2009). "Learning Deep Architectures for AI". Foundations and Trends in Machine Learning. 2 (1): 1–127.