User:Dr. Greywolf/Sandbox2

出自維基百科,自由嘅百科全書
Jump to navigation Jump to search

人工神經網絡種類一覽
人工神經網絡artificial neural network,簡稱「ANN」)係指一啲模仿生物神經網絡(即係動物中樞神經系統,尤其係個)嘅結構同功能嘅數學模型:一隻(例如)靈長目動物嘅腦閒閒地有斷百億計嘅神經細胞(neuron),一粒神經細胞喺俾化學物訊號刺激到嗰陣,會跟住以電或者化學物嚟傳新訊號,所以當一粒神經細胞射訊號嗰陣可以引起連鎖反應,將訊息(information)喺成個神經網絡度傳開去[1];而人工神經網絡主要係以電腦程式嘅方法嚟模擬呢個過程-

  • 設定網絡結構:個網絡會有若干個虛擬物體,每個物體有返個數值代表佢嘅啟動程度,而每個啟動程度數值就取決於同佢相連嗰啲物體嘅啟動程度;
  • 設定學習方法:個網絡初頭嘅行為望落近乎隨機,但會有某啲演算法教佢根據經驗改變自己啲細胞之間嘅連繫同行為,令佢好似曉學習噉

如果順利嘅話,噉做會令個神經網絡程式出現一啲好似動物神經系統噉嘅行為[2][3]。而人工神經網絡可以按結構等嘅特性分做好多種類[4]

前饋[編輯]

內文: 前饋神經網絡

前饋神經網絡(feedforward network),指訊號淨係由輸入到輸出一個方向流動嘅神經網絡-冇任何人工神經細胞能夠影響自己前排嗰啲人工神經細胞。舉個例說明,例如家吓搵個前饋神經網絡入面某一粒人工神經細胞集中睇佢,佢會有返個數字嚟反映佢嘅啟動程度,而呢個數字取決於佢前面嗰排嗰啲人工神經細胞嘅啟動程度-即係話 foreach 人工神經細胞,個程式會有一條類似噉樣嘅算式[5]

;(啟動函數

喺條式當中, 代表粒神經細胞嘅啟動程度, 代表前一排嘅神經細胞當中第 粒嘅啟動程度,而 就係其他神經細胞當中第 粒嘅權重(指嗰粒神經細胞有幾影響到 )。而最簡單嗰種前饋神經網絡浸輸出層嘅啟動程度數值會直接噉由輸入層嘅決定,即係話結構如下:

SingleLayerNeuralNetwork english.png

當中左手邊黑點代表輸入層嘅人工神經細胞。呢種簡單神經網絡嘅缺點係,佢哋所模擬嘅輸入同輸出之間嘅關係唔會太複雜-而一旦個設計者需要個輸入同輸出之間嘅關係唔係簡單嘅線性(linear)嗰陣,單層嘅人工神經網絡好多時就會搞唔掂[6][7]。所以主流應用嘅人工神經細胞多數都會有隱藏層(hidden layer;指一啲唔會直接由外界攞輸入或者直接向外界俾輸出嘅人工神經細胞層)[8][9]

圖入面每個圓圈都係一粒人工神經細胞,而箭咀指就表示後面嗰粒細胞嘅啟動程度受前面嗰粒嘅影響。

遞迴[編輯]

內文: 遞迴神經網絡

遞迴神經網絡(recurrent network)係指啲訊號會喺個網絡之內「遞迴」嘅神經網絡,即係話個神經網絡啲人工神經細胞當中,有至少一部份嘅會有能力影響佢哋之前嗰幾層嘅人工神經細胞嘅啟動程度[10]。因為佢哋呢種結構上嘅特徵,佢哋識得處理喺時間上前後倚賴嘅訊息,例如係人口講嘅嘢噉[11]:一個人講一句嘢嗰陣,句嘢嘅第二個字會影響到第一個字嘅意思(例如「家吓」同「家庭」嘅意思就唔同嗮),所以喺分析喺時間點 聽到嘅字嗰陣,要考慮埋喺打前嗰啲時間點聽到嘅字先可以理解到嗮成個意思-遞迴神經網絡比起前饋神經網絡更加能夠做到呢一點。而事實係喺廿一世紀初,已經有科學家成功噉運用遞迴神經網絡嚟令到電腦學識處理人類用自然語言(natural language;指好似廣東話閩南話呢啲日常傾偈用嘅語言)講嘅嘢(睇埋機械翻譯[11]

下圖就係一個遞迴神經網絡嘅抽象化圖解:

Recurrent neural network unfold.svg

喺上圖當中, 代表個神經網絡喺時間點 嘅狀態、 代表個神經網絡喺時間點 嘅輸出、 代表個神經網絡喺時間點 由外界收到嘅輸入;一個遞迴神經網絡嘅唔單止會喺每單位時間接收外界嚟嘅輸入,仲會以自己之前出嘅輸出做新嘅輸入。

相關詞彙[編輯]

  • 啟動函數(activation function):一粒人工神經細胞會有嘅屬性,指一個定義「呢粒人工神經細胞有噉樣嘅輸入就會俾噉樣嘅輸出」嘅函數,想像有粒人工神經細胞 ,當中 就係 嘅啟動函數[12]
  • 反向傳播算法(backpropagation):一種用嚟計個神經網絡啲權重值要點樣調整嘅方法;每次當個神經網絡俾出佢嘅運算結果 嗰陣,就可以計個結果同正確數值差幾遠(誤差值 ),而 跟住可以用嚟做計個模型嘅參數要點改變,例如係確率勾配降下法(stochastic gradient descent)噉,就會運用以下呢條算式嚟計出每個權重值要點變[13]
    ;當中
    係指喺時間點 嘅權重值
    係學習率;
    隨住 偏導數(partial derivative);
    係一個隨機(stochastic)嘅數值。
  • 如果一個以電腦程式寫嘅神經網絡跟呢條式(或者係類似嘅式)嚟行嘅話,佢喺計完每一個個案之後,都會計出佢裏面嘅權重值要點樣改變,並且將呢個「每個權重應該要點變」嘅訊息傳返去個網絡嗰度(所以就叫「反向傳播」)。而每次有個權重值改變嗰陣,佢嘅改變幅度會同「誤差值」有一定嘅關係,而且佢對計個輸出嘅參與愈大,佢嘅改變幅度會愈大-個神經網絡會一路計個案一路變,變到誤差值愈嚟愈接近零為止[14]
  • 海伯理論(Hebbian theory):神經科學上一個描述突觸可塑性(簡單講就係神經細胞之間嗰啲突觸進行學習,引致隻動物行為改變嘅能力)嘅理論;可以用以下呢條式表示:
    呢條式意思係權重 (指一粒神經細胞有幾影響到下一粒)嘅改變 等如學習率 乘以第 個輸入()同突觸後嗰粒細胞嘅反應 ;海伯理論條式可以用嚟改變神經細胞之間嘅權重[15]
  • 修剪法(pruning):泛指喺做完訓練之後,刪除個網絡嘅部份細胞,用意在於減低電腦嘅運算負擔;例如係設一個門檻值 foreach 對第啲細胞嘅影響(以權重值計)細過 嘅細胞,試吓將佢刪除,並且睇吓刪除咗會對個網絡嘅預測能力造成乜嘢影響,影響唔明顯嘅話就真係刪除嗰粒細胞[16]

睇埋[編輯]

[編輯]

  1. Russell, Stuart J.; Norvig, Peter (2010). Artificial Intelligence A Modern Approach. Prentice Hall. p. 578.
  2. Omidvar, O., & Elliott, D. L. (1997). Neural systems for control. Elsevier.
  3. Bryson, Arthur Earl (1969). Applied Optimal Control: Optimization, Estimation and Control. Blaisdell Publishing Company or Xerox College Publishing. p. 481.
  4. Gardner, M. W., & Dorling, S. R. (1998). Artificial neural networks (the multilayer perceptron)—a review of applications in the atmospheric sciences. Atmospheric environment, 32(14-15), 2627-2636.
  5. The mostly complete chart of Neural Networks, explained[失咗效嘅鏈]. Towards Data Science.
  6. Auer, Peter; Harald Burgsteiner; Wolfgang Maass (2008). "A learning rule for very simple universal approximators consisting of a single layer of perceptrons". Neural Networks. 21 (5): 786–795.
  7. "2.3.4 Single-Layer Network". 原著喺2018年9月15號歸檔. 喺2018年8月30號搵到.
  8. Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117.
  9. Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.
  10. Siegelmann, H.T.; Sontag, E.D. (1991). "Turing computability with neural nets" (PDF). Appl. Math. Lett. 4 (6): 77–80.
  11. 11.0 11.1 Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling 互聯網檔案館歸檔,歸檔日期2018年4月24號,." (PDF).
  12. Wu, Huaiqin (2009). "Global stability analysis of a general class of discontinuous neural networks with linear growth activation functions". Information Sciences. 179 (19): 3432–3441.
  13. The Maths behind Back Propagation. Towards Data Science.
  14. Dreyfus, Stuart (1973). "The computational solution of optimal control problems with time lag". IEEE Transactions on Automatic Control. 18 (4): 383–385.
  15. Shouval, Harel (2005-01-03). "The Physics of the Brain". The Synaptic basis for Learning and Memory: A theoretical approach. The University of Texas Health Science Center at Houston.
  16. WHAT IS NEURAL NETWORK PRUNING AND WHY IS IT IMPORTANT TODAY?.