自組織對映

一個二維 SOM 學習嘅動畫

自組織對映（self-organizing map，SOM）係一種用非監督式學習嚟行嘅特殊神經網絡，可以攞嚟做降維、聚類分析同數據視覺化等嘅工作。一個自組織對映會有兩浸細胞：輸入層同輸出層，當中輸出層係所謂嘅「特徵地圖」（feature map）。自組織對映用嘅係競爭性學習（competitive learning，指個網絡嘅細胞按某啲基準爭取「對個輸入俾反應」嘅地位），做法如下：當一個有若干個變數嘅個案進入輸入層，個網絡會計算呢個個案同每一粒細胞（喺 SOM 當中叫「權重」）之間嘅歐幾里得距離，而同嗰個個案最近嗰粒細胞係所謂嘅最合乎單位（best matching unit，BMU），跟住個網絡會調整 BMU 以及同 BMU 相近嘅細胞嘅權重，即係

$W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))$；當中

$s$ 係而家做緊第幾步，$t$ 係而家睇緊第幾個輸入，$u$ 係 $D(t)$ 呢個輸入相應嘅 BMU（指呢個 BMU 係第幾粒細胞），$\alpha (s)$ 係一個數值下降緊嘅學習系數，而 $\theta (u,v,s)$ 係所謂嘅鄰近函數（neighborhood function），會俾出喺第 $s$ 步嗰陣神經細胞 $v$ 同神經細胞 $u$ 之間嘅距離。

即係話自組織對映嘅訓練可以想像成以下噉嘅樣：X 軸同 Y 軸反應重點變數嘅數值，每粒細胞都喺呢個空間當中有個位置；藍色嗰笪表示訓練用數據嘅分佈，而嗰個方格係個 SOM，個方格每一條線表示兩粒神經細胞之間嘅連繫；喺學習嘅每一步當中，個程式都會搵出同嗰個個案（白色圓圈）最接近嗰粒細胞（BMU；個網絡俾黃色圓圈包住嗰個節點），然後改變粒 BMU 同相近細胞嘅參數；經過若干步之後，個網絡嘅參數會同原先嘅唔同咗。如果將呢個過程視覺化，可以想像成以下嘅圖解：