神經圖靈機

神經圖靈機（Neural Turing Machine，NTM）係一種起源於 2014 年嘅記憶增強（memory-augmented；指有連接住網絡外嘅記憶單位）遞迴神經網絡架構，一部神經圖靈機主要有幾個部份：

• 一個神經網絡控制器（controller）；呢個部份係一個多層感知機或者遞迴神經網絡，負責同外界互動（由外界攞向量輸入或者俾向量輸出去外界）同控制成個系統（會向系統其餘部份下指令）。
• 一個記憶（memory）；呢個部份負責儲住啲記憶。
• 一個或者多個記憶讀取器（read head）、同
• 一個或者多個記憶存寫器（write head）。

喺應用上，神經圖靈機可以攞嚟模擬工作記憶（working memory；記憶功能嘅一種，指個心靈暫時儲住要用嘅資訊）涉及嘅認知過程。

圖解

神經圖靈機嘅結構圖解如下：

記憶讀取

記憶讀取：將記憶想像成一個 $N\times M$ 嘅矩陣，當中 $N$ 係記憶位置嘅數量，而 $M$ 係每個記憶位置嘅維度（簡單講就係嗰個位置可以記住幾多個數值）。設 $\mathbf {M} _{t}$ 做呢個矩陣喺時間點 $t$ 嘅狀態，$\mathbf {w} _{t}$ 係一個由記憶讀取器去嗰 $N$ 個位置嘅權重向量，而且做咗標準化，即係話

$\sum _{i}w_{t}(i)=1,$

$0\leq w_{t}(i)\leq 1,\forall i$；

喺每次做記憶讀取嗰陣，個控制器都會攞到一個 $M$ 維嘅向量 $\mathbf {r} _{t}$，而

$\mathbf {r} _{t}\leftarrow \sum _{i}w_{t}(i)\mathbf {M} _{t}(i)$；

上述嘅嘢簡單講如下：記憶讀取器同記憶之間會有個權重，呢啲權重影響「當記憶讀取器要求提取記憶嗰陣，會有邊份記憶受到提取，而提取咗嗰份記憶就係 $\mathbf {r} _{t}$」。

記憶存寫

記憶存寫：一個記憶存寫有兩個部份－清除（erase）同添加（add）；喺每一個時間點 $t$，記憶存寫器都會俾出三個向量－

1. 一個 $N$ 維嘅權重向量 $\mathbf {w} _{t}$、
2. 一個 $M$ 維嘅清除向量 $\mathbf {e} _{t}$、同
3. 一個 $M$ 維嘅添加向量 $\mathbf {a} _{t}$。

每一個記憶向量 $\mathbf {M} _{t-1}(i)$ 都會受到清除向量改造：

${\text{temp}}\mathbf {M} _{t}(i)=\mathbf {M} _{t-1}(i)[\mathbf {1} -w_{t}(i)]\mathbf {e} _{t}$（$\mathbf {1}$ 係一個完全由 1 組成嘅向量）；

然後個添加向量就會做嘢：

$\mathbf {M} _{t}(i)={\text{temp}}\mathbf {M} _{t}(i)+w_{t}(i)\mathbf {a} _{t}$。

睇埋

• 遞迴神經網絡
• 圖靈機