人工神經細胞

人工神經細胞（粵拼：jan4 gung1 san4 ging1 sai3 baau1；英文：artificial neuron）係人工神經網絡嘅基本組成部件。一粒人工神經細胞係一個人造嘅物體，會好似動物神經細胞噉接收訊號、並且按照所收到嘅訊號改變自己內在嘅狀態，跟住再按照自己內在狀態，決定係咪要射新訊號以及要射點樣嘅新訊號－原理上同動物嘅神經細胞極之相似（但唔完全一樣）。當一大柞人工神經細胞互相連繫住，就會形成一個人工神經網絡，而每當研究者俾某啲輸入（input）數值落去其中一啲人工神經細胞嗰陣，佢哋就會帶動其他人工神經細胞跟住啟動，最後每一粒人工神經細胞都會達致某啲啟動值－即係話個網絡可以有一啲輸出（output）數值。實用嘅研究證實咗，一個人工神經網絡嘅輸出值同輸入值會成某啲特定嘅關係，呢點表示人工神經網絡可以攞嚟做一啲有用嘅運算（詳情睇下面）。

歷史

麥咭洛-皮茨細胞嘅示意圖

人工神經元嘅起源可以追溯返 1943 年嘅Warren McCulloch同Walter Pitts。佢哋指出，神經網絡嘅簡化模型（麥咭洛-皮茨細胞）可以計得到啲邏輯、算術函數。

Ramón y Cajal (1911) 描述到囓齒動物海馬體啲神經連接

海伯理論由當奴海伯喺 1949 年提出。個理論係基於桑地牙哥·拉蒙卡哈份醫學研究，份研究喺1911年就證明到啲突觸存在，而神經細胞之間啲主動連接就係按照個理論反覆噉加強。個理論嘅泛化喺而今啲學習過程裏便使用到。

1958 年有一項重要嘅工作得到發表，即關於感知機嘅收斂定理。當中，Frank Rosenblatt表明，通過指定到嘅學習過程，感知機學得到所有啲solutions係可以用個模型表示嘅。之不過喺1969 年，Marvin Minsky同Seymour Papert指出，單級感知機嘸表示得到XOR，因為 XOR 函數係線性嘸分離得嘅；只有等到後尾啲模型正彌補得到呢個缺陷。呢個建模當中顯示到嘅限制最初令到啲人對人工神經網絡嘅研究興趣下降，研究基金亦都取消唨。直至 1985 年 John Hopfield 公佈唨 Hopfield 網絡並表明啲網絡解決得到優化問題，譬如旅行商問題嗰陣，對人工神經網絡嘅興趣正返嚟。 David E. Rumelhart 、 Geoffrey E. Hinton同Ronald J. Williams喺1986年喺反向傳播算法上嘅工作亦都帶嚟唨復興潮畀啲網絡嘅研究。而今，噉嘅網絡得以用喺好多啲研究領域。

模型

一粒典型嘅人工神經細胞結構如下：

• $a_{1}$ 至 $a_{n}$ 係各個輸入嘅數值，啲輸入可以係嚟自外界嘅，但又可以嚟自同一個網絡入面嘅第啲人工神經細胞都得。
• $w_{1}$ 至 $w_{n}$ 係每個輸入嘅權重，代表咗嗰一個輸入對呢粒人工神經細胞嘅啟動程度有幾大影響力。
• $b$ 指偏向（bias），即係嗰粒神經細胞本身喺啟動上嘅傾向，例如如果有某一粒人工神經細胞嘅 $b$ 係正數而且數值大，佢就會傾向無論輸入係幾多都有強烈嘅啟動。
• ${\text{SUM}}$（以下簡稱「$S$」）指粒人工神經細胞嘅啟動程度（activation level），呢個數值由上面嗰柞因素話事，個函數如下：
  • $S(T+1)=f(S(T),a(T),\theta _{s})$；$[1]$
  • $S(T+1)$ 指粒細胞喺時間點 $T+1$ 嘅啟動程度，$S(T)$ 指粒細胞喺時間點 $T$ 嘅啟動程度，而 $a(T)$ 指喺時間點 $T$ 嗰柞輸入嘅數值。呢條式表示，$S(T+1)$ 嘅值由 $S(T)$、$a(T)$、同埋 $\theta _{s}$ 呢三個數值話事。
  • 好多人工神經細胞嘅啟動函數會包含 $\theta _{s}$ 呢個數值。呢個係所謂嘅門檻值（threshold value）：一粒典型嘅動物神經細胞係一定要所受到嘅刺激有返咁上下勁，先會射訊號嘅；如果佢受嘅刺激數值唔超過門檻值嘅話，佢就乜嘢訊號都唔會射；為咗要更加接近動物神經細胞，好多研究人員喺設計神經網絡嗰時會特登每粒人工神經細胞俾個門檻值佢，令個網絡嘅各粒人工神經細胞好似動物神經細胞噉，收到嘅輸入唔超過門檻值就完全唔射訊號。
  • $f_{act}$係激活函數，又叫傳遞函數。佢根據現時輸入總和 $a(T)$、往時激活水平 $S(T)$ 同埋門檻值 $\theta _{s}$ 計出新嘅激活水平。具體應用到嘅函數有好多種，譬如線性整流函數、單位階躍函數同埋比較經典嘅Sigmoid 函數。
• $f$ 係輸出函數（output function），係輸出前對$S$進行處理嘅函數，可以有多個款，但 $f$ 好多時會係一個恆等函數（identity function）－即係話個輸出值好多時同 $S$ 一樣。
• $t$ 係粒人工神經細胞最屘嘅輸出數值。

通過喺啲輸入同埋隻門檻度做一尐特別嘅設定，可以好容易使人工神經細胞嚟實現簡單嘅邏輯門。

睇埋

• 人工神經網絡