跳去內容

玻茲曼機

出自維基百科,自由嘅百科全書
一部有 7 粒細胞嘅玻茲曼機;呢部玻茲曼機有 3 粒隱藏細胞(柞 )同 4 粒隱藏細胞(柞 )。

玻茲曼機粵拼bo1 zi1 maan6 gei1英文Boltzmann machine)係一種隨機性遞迴神經網絡(stochastic recurrent neural network)。一部玻茲曼機啲細胞之間有對稱性連繫,而每一粒細胞都會用帶有隨機性演算法決定係咪要啟動[1][2]。即係話[3]

[註 1]

當中 係第 粒神經細胞收到嘅輸入值;偏向(bias;細胞 本身嘅啟動偏向); 係第啲細胞當中第 粒嘅狀態(數值只可以係 1 或者 0),而 係由細胞 去細胞 嘅權重。 係指「(細胞 嘅狀態)等如 1 嘅機會率」,而根據 數值取決於 [1]

有唔少理論性嘅認知科學(cognitive science)研究者都對玻茲曼機嘅行為同特性感興趣:玻茲曼機嘅訓練演算法通常會跟從海伯定律(Hebb's rule)-簡單講就係邊對細胞愈傾向同時啟動,兩者之間嘅權重就會愈強,而且玻茲曼機並唔似得一般人工神經網絡噉吓吓都分層;呢啲特性令到玻茲曼機(同一般嘅人工神經網絡比)更加似生物神經網絡,所以有唔少認知科學會用玻茲曼機嚟模擬心靈相關嘅現象(睇埋聯結主義),進行理論性嘅研究[4]

另一方面,玻茲曼機都有實用價值:雖然啲人對玻茲曼機嘅興趣好多時集中於玻茲曼機嘅理論特性,但機械學習(machine learning)上嘅研究說明咗,只要有適當嘅訓練演算法,玻茲曼機亦都有可以有足夠嘅效率,有可能攞嚟做某啲實際嘅應用[5][6]

結構

[編輯]

玻茲曼機嘅構造可以用四條式總括[1][3]

-是但搵部玻茲曼機入面嘅一粒細胞 ,佢嘅輸入值()由佢嘅偏向值(;可以喺初始化嗰陣設做隨機數值)以及第啲細胞()嘅狀態話事。

-嗰粒細胞跟住落嚟狀態變成「啟動」( 變成 1)嘅機會率()係個輸入值()嘅函數

-設 做代表嗰個網絡喺某一時間點嘅狀態嘅向量[註 2],而 係指細胞 之下嘅狀態。 所具有嘅「能量」(energy;)就等如條式右手邊嗰個數。

-如果個網絡啲細胞係噉以任何次序更新,而次序唔受佢哋嘅總輸入影響,個網絡最終會達致一個平衡情況(equilibrium;可以睇埋玻茲曼分佈);喺呢個情況當中,任何一個可能嘅狀態向量 出現嘅機會率由「 嘅能量」同「所有其他可能狀態向量()嘅能量嘅總和」呢兩個數之間嘅比例話事[3]

註釋

[編輯]
  1. 係指「所有 加埋」。
  2. 即係 包含咗若干個數值,每個數值描述有關個網絡嘅一個變數,所以 就表達咗個網絡嘅狀態。

睇埋

[編輯]

參考文獻

[編輯]

[編輯]
  1. 1.0 1.1 1.2 Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), "A learning algorithm for Boltzmann machines" (PDF), Cognitive Science, 9 (1): 147–169,
  2. Boltzmann Machines (PDF).
  3. 3.0 3.1 3.2 Boltzmann machine. Scholarpedia.
  4. Aarts, E. H., & Korst, J. H. (1989). Boltzmann machines for travelling salesman problems[失咗效嘅鏈] (PDF). European Journal of Operational Research, 39(1), 79-95.
  5. Hjelm, R. D., Calhoun, V. D., Salakhutdinov, R., Allen, E. A., Adali, T., & Plis, S. M. (2014). Restricted Boltzmann machines for neuroimaging: an application in identifying intrinsic networks. NeuroImage, 96, 245-260.
  6. Sui, C., Bennamoun, M., & Togneri, R. (2015). Listening with your eyes: Towards a practical visual speech recognition system using deep boltzmann machines (PDF). In Proceedings of the IEEE International Conference on Computer Vision (pp. 154-162).

[編輯]