第四章 自組織神經網路
4.1 自組織神經網路(Self-Organizing Map, SOM)
自組織神經網路(Self-Organizing Map, SOM)最早是由 Teuvo Kohonen 在 1981 年提出[27],是一種競爭型神經網路,採用非監督式學習進行網路訓 練。作者藉由大腦皮質的神經網路啟發出 SOM 的研究發展,大腦皮質具有 一種自組織的特性,能夠自組織成“皮質地圖(cortical maps)”。雖然它的 靈感是來自於大腦皮質,但它的概念大部分還是從更廣泛的自組織特性研究 中為基礎所產生。SOM 廣泛地應用於分類、排序與樣本檢測等方面,下面主 要就 SOM 的基本形式做敘述。
4.1.1 Kohonen’s SOM 背景
在過去已經有許多對大腦組織進行深入的研究,在大腦皮質中的細胞群 存在著廣泛的自組織現象,將皮質劃分成不同的感知區域。處於不同區域的 神經元有不同的功能,例如,有些模組是專門負責處理視覺,有些處理聽覺,
有些則是處理身體的訊息處理。
每個區域對不同感官的輸入訊息具有敏感性,從而形成大腦中各種不同 的感知路徑,這些區域整齊地以拓撲方式排列在腦皮質裡,即相似功能的神 經元會安排在鄰近的區域裡,然後將皮質形成一塊一致性高的次區域,這些 在皮質內的次區域組織被稱為“皮質地圖(cortical maps)”[27],如圖 4
在每個人之間,皮質地圖的形成方式大致類似,但不完全相同,有些研 究表示組織皮質地圖的方式是由基因來做決定的,但是也有證據指出矛盾的 地方;例如,如果有一個病患遭受到腦部的外傷,大腦裡的某個部份失去作
20
用,但大腦內自組織的功能可以將受損部份的感知能力,重新移轉到別的區 域去。
Kohonen 解釋這種現象是一種神經可塑性,自組織特性並不完全來自於 遺傳,他用一些例子來證明自組織特性主要是受到感知訊息的控制,所以會 依照訊息來做組織的改變[27],而且有很大的程度是依賴後天的學習與訓 練。
圖 4:大腦皮質地圖
觀察大腦裡的皮質地圖與它們所具有的知識內容,是 Kohonen 原始理論 背後所要研究的動機,Kohonen 還提到,多年來他所研究的成果,讓他相信 同樣的自組織功能也可以應用到各種不同的訊息表示上。
4.1.2 完成自組織的要點
從 Kohonen 在 2001 年所出的“Self-Organizing Maps”一書中,我們提 出幾個在 SOM 上要完成自組織的重要條件[27]。
21
假設圖 5 是一個二維陣列的一組神經元,每一個神經元代表一組數值 𝑚𝑖 的集合,我們將這個集合稱為一個模組。每一個模組可以由它所接收到 的訊息修改數值,輸入的訊息為 𝑥。Kohonen 規定必須以下三個要點都有滿 足才能產生 SOM:
圖 5:一組二維陣列的神經元。陰影區域表示符合相近神 經元的範圍
1. 傳遞輸入訊號給各個神經元
2. 挑選勝出神經元(winning neuron)
3. 調整與勝出神經元之間相近的元素
詳細解說如下:
傳遞輸入訊號給各個神經元:每個神經元必須設定成可以在同一時間內,
接收相同的輸入訊號。
Input
……
Winning Neuron
22
挑選勝出神經元:在這裡必須設定一種機制,讓每個神經元可以在接收 到輸入訊號後開始互相競爭。其中最匹配輸入信號的神經元要有較強的反應,
並且要會抑制其它的元素,從而成為勝出神經元。競爭的機制、匹配的方式 與抑制的功能,可以用各種不同的方法來進行。舉例而言,匹配的方式可能 是一種簡單的歐氏幾何距離算法(Euclidean distance)或使用內積算法;而 抑制的機制可能是採用側抑制(lateral inhibition)或使用簡單的極大化函式
(maximization function)等等。
所謂的側抑制,簡單來說就是在某個神經元受到刺激而產生興奮時,再 刺激相近的神經元,而後者所發生的興奮會對刺激的神經元產生抑制的作用 [27]。如圖 6,每個神經元所受到的刺激不僅影響輸出,也影響其它周遭神 經元的輸出。以左側第二個神經元為例,雖然接收了強度 10 的光線輸入,但 因為其左右兩個神經元的側抑制作用,最後神經元的輸出變成強度 6。最常 見的現象就是眼睛的視覺錯覺,如圖 7,左邊的紅色感覺比右邊的鮮豔,或 左邊的黑比較右的還深,其實都是一樣的紅色。
圖 6:側抑制現象。左邊第二神經元雖然有強度 10 的光線 輸入,但側抑制後只剩下強度 6 的輸出
23
圖 7:左邊的紅色感覺比右邊的鮮豔,其實都是一樣的
調整與勝出神經元相近的元素:在勝出神經元附近的元素會被進行更新,
使這些元素的模組更接近當時輸入的訊號。一般常用的方式是以神經元間的 歐氏幾何距離來做為是否符合相近元素的標準。
有這些預設的要素條件後,神經元之間就會越來越像輸入的訊息。具有 拓撲關係的相近元素,也會開始彼此相似。