國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4
2. 文獻探討
2-1 自組織神經網路
自組織網路係由芬蘭學者 Kohonen 於 1982 年提出，為一種提供較為完整、
分類性能較好、具有將資料維度縮減，也就是說可以將樣本空間(Data space)轉換 到特徵空間(Feature space)，以較少之特徵描述原始資料之能力的非監督式學習 之網路學習模式。其目標在於要找出神經元之組合，使神經元之輸出排列能表現 出原始輸入樣本空間之相對關係。一般在設計輸出神經元以二維型態排列居多形 成正方形優先。以二維為例，每一神經元會由神經鏈連結到輸入向量之每一變數，
由連結之神經鏈值(或稱權重)映射樣本空間。所以必頇借由調整神經鍵值之大小 以提高網路系統對輸入樣本空間之拓樸順序(Topological order)靈敏度。由所有之 神經元彼此間競爭，以決定哪一個神經元將被赋予模擬之任務。競爭學習方式則 基於神經元神經鍵值向量是否相似於輸入向量，經過多次之訓練(Training)，獲勝 之神經元，其神經鍵值向量會逐漸地相似於輸入向量。[中央大學商業智慧中心，2010]
Kohonen 指出 SOM 能將高維度資料序列分佈以映射方式轉化成有規律的低 維度網格呈現。如圖 2-1 和圖 2-2 之 Kohonen 模型，亦即 SOM 能夠轉換複雜、
非線性統計關聯的高維度資料轉化成簡單低維度之幾何型態。SOM 通常由二維 有規律的網格節點組成，每一個節點之間都是由一些有相似關聯觀察資料組成的 模型其鄰近節點值都非常相似，SOM 計算此模型使其能最佳的描述觀察值(離散 性或連續性)的值域概率分佈，最終模型自動組織成有意義的二維度排序網格，
具有相似的特徵值相較不相似的特徵值彼此之間會組成緊緊相連的聚類圖 (Kohonen et al. 2002)。
圖 2-1 一維 Kohonen 模型 [Kohonen, 2001]
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
5
圖 2-2 二維 Kohonen 模型 [Kohonen, 2001]
[Kohonen, 2001]
2-1-1 Kohonen 競爭式學習
在類神經網路中，對於其輸入樣本、輸入模式和輸入樣本模式這類術語經常 混用，只要涉及辨識、分類性問題時，常常運用到輸入模式的概念。而模式是指 對某些感興趣客體的定量描述或結構描述，模式類則是指具有某些共同特徵的集 合。分類是指在監督式學習演算法進行類別辨識時，其類別知識取得監督訊號後，
將待識別的輸入模式對應到各自所屬的模式類中。而非監督式學習演算法進行類 別辨識稱作聚類(Clustering)，聚類的目的是將相似的模式樣本歸劃成同類，而將 不相似的模式樣本分離，結果實現了模式樣本的類別內相似性和類別間分離性。
非監督式學習的訓練樣本不含期望輸出，對於某一輸入模式樣本應歸屬於哪一類 別並沒有任何事先已驗證的知識可供參考依據。所以對於一組輸入模式，僅能依 據輸入模式之間的相似度分成若干種類，因此相似性是輸入模式的聚類依據。
輸入模式以向量表示，比較兩個不同模式的相似性可轉化比較兩個向量之間 的距離，然後依據兩個向量距離作為聚類判斷。常用有歐氏最小距離和餘弦法。
(1) 歐氏最小距離: Euclidean(X,Y) = || Xi-Yi || =
當計算得出的歐氏距離最小，兩向量愈接近，則兩模式愈相似。若兩模式完 全相同，則歐氏距離為零。因此可以設定屬於同類別的門檻值 T。如果 Euclidean (X,Y)<T，則歸為相同聚類，即向量 X 和 Y 屬於同一類別。如果 Euclidean (X,Y)>T，
則歸為不同聚類，即 X 和 Y 屬於不同類別。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6
(2) 餘弦法:
若兩模式向量愈接近，夾角愈小，餘弦愈大。當兩個模式向量方向完全相同 時，其餘弦等於 1。因此可以設定同一類別歸屬的門檻值角度為最大夾角 α。如 果 <α，則向量 X 和 Y 屬於相同聚類。反之，如果 α，則向量 X 和 Y 為 不同聚類(Kohonen et al. 2002)。
[Kohonen, Somervuo, 2002]
由於不同向量的長短並不一致，所以實際上我們會對向量進行正規化 (normalization)。即對一已知向量建構其同方向之單位向量，所以其向量長度為 1。
二維和三維單位向量即可在單位圖和單位球體上展示， 表正規化後之單位向量，
向量正規化公式如下所示:
=
,…,
假設在輸入神經元間存在某種形態的競爭，而在競爭群體中，只有一個神經 元會被激發成活化狀態(Active State)，即輸出為 1，而其他神經元會被抑制成休 止狀態(Inactive State)，即出為 0。競爭完成之後，只有獲勝神經元會進行學習調 整，落敗神經元則保持不變。競爭學習法又稱「贏家全拿」(Winner-take-all)。網 格上的神經元會彼此競爭而只有對輸入最有反應的神經元取的活化的機會，也就 是輸出值最大者為贏家，其鏈結值會被調整，以便更增加其與此時輸入之間的相 似性。因此，利用側抑制(Lateral Inhibition)來達成「贏家全拿」目的，主要是藉 由輸出神經元交互作用找出最大值;由圖 2-3 得知，每個輸出神經元會產生自我 激發訊號(+)，並試圖抑制其他神經元的活動(-)，只有獲勝者才能繼續活動。
圖 2-3 側抑制(Lateral Inhibition)競爭 [Kosko, 1991]
特徵映射圖形成的原因，除了非監督式學習是個重要關鍵之外，“側向聯結”
也是不可或缺的要素之一。在許多生物的腦部組織中會有大量的神經元，彼此之 間有側向聯接，側向聯結的回饋量，通常是以「墨西哥帽函數」來代表 。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
7
圖 2-4 墨西哥帽函數 [Kosko, 1991]
(1)具有一個短距離的側向激發作用區域，圖 2-4 中標示為 1 區域。
(2)具有一個較大的側向抑制作用區域，圖 2-4 中標示為 2 區域。
(3)一個強度較小的激發作用區域，其涵蓋區域包圍著抑制區域，圖 2-4 中標示為 3 區域。
位在半徑 r1 之內的神經元，將受到比較大的激勵作用，而且這個激勵作用 會隨著神經元距離的增加而減少。而位在半徑 r1 和 r2 之間的神經元，將受到 負向的抑制作用。至於半徑 r2 以外的神經元，則只能感受到很小的激勵作用。
側向聯結作用不再只是一種單純的競爭關係，而是一種競爭（抑制作用）加上合 作（激發作用）的關係。
Kohonen 提出了一種簡化的非監督式類神經網路來模擬上述神經元間之側 向聯結作用：
(1) 我們可以簡化墨西哥帽函數的側向聯結作用。也就是說我們可以用被激發類 神經元的「鄰近區域」的概念來取代側向聯結作用，他假設在「鄰近區域」
內的交互作用具有相同的振幅如圖 2-5 所示。
(2) 對側向聯結鏈結值的修正則以可改變的 「鄰近區域」 來取代；也就說，當 鄰近區域設定的越大就表示側向聯結的正向回授越強，相反地，當鄰近區域 設定的越小也就表示側向聯結的負向回授越強。
(3) 可將被激發類神經元 j 的輸出轉化下列法則，其中 1 為活化函數之極限值：
其中 Winj (yj)為勝利輸出神經元，x 代表輸入向量，mj代表在輸出網格上第 j 個神經元之權重值，
mk則代表輸出網格上之第 k 個勝利神經元權重值。
圖 2-5 簡化之墨西哥帽函數 [Kosko, 1991]
[Kosko, 1991]
‧
2-1-2 競爭式贏家全拿(Winner-take-all)學習策略
「贏家全拿」(Winner-take-all)的策略可分成三個步驟。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
2-1-3 內星學習(Instar learning)規則與 Kohonen 學習規則
自組織競爭神經網路經常採用用內星學習(Instar learning)規則發展而來的 Kohonen 學習規則。因為內星學習規則是由 S.Grossber 所發展出來的一種用來訓 練辨認一個向量的競爭式學習法結構。
圖 2-7 內星神經元 [14]
假設圖 2-7 中共有 n 個輸入單元，若干個輸入值 xi組成輸入向量 X，而 X 又 和權重向量 W 對應，多個輸入單元 xi通向並指向單一輸出單元。內星輸入和輸 出的轉換函數(Transfer function)是使用硬限函數(Hard limiter function)。經過學習 規則訓練，使的某一神經元只對特定的輸入向量產生影響，借由調整網路權重向 量 W 使之近似於輸入向量 X。其網路學習規則如下公式:
其 j=1,2,…,n，其內星權值為 W，而 wj為 W 的第 j 個元素，xj為第 j 個輸入向 量元素， 表示學習速率。因此，可看出 wj的 變化和輸出成正比關係。內星 網路的硬限函數 輸出為 1 或 0，分別表示高值和低值。如果 輸出能 一直保持高值時，就可透過學習使變化量 逐漸減少， 逐步接近 ，最後 ，內星權重向量 W 因此能對輸入向量 X 進行識別。如果 輸出一直 保持低值則網路權重學習過程可能無法進行。
假設有兩個輸入向量 X1,X2進入同一內星網路時，而此內星權重向量為 W。
可先對兩向量 X1,X2進行向量正規化處理。先將第一個向量 X1輸入內星網路進行 訓練使其權重得到 W = X1，然後再輸入第二個向量 X2。使兩向量進行內積計算，
加權輸入和，如下列公式所示:
=
更新後的加權向量 ，為新輸入向量 X2和原輸入向量 X1的內積，因為兩 向量已進行正規化兩輸入向量之內積為 1，加權輸入即為兩輸入向量之餘弦夾角。
內星加權輸入可分成三種情況:
情況 1: ，兩夾角 ，為同向單位向量，內星加權輸入和為 1。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
10
情況 2: ，隨著 X2向著遠離 X1的方向移動，內星加權輸入和會逐漸減小，
直到 為止，即 ，而內星加權輸入和為 0。
情況 3: ，即 ，內星加權輸入和達最小，其值為-1。
內星會獲得值為 1 之加權輸入;如果輸入為和訓練樣本不相同向量，產生的 加權輸入和小於 1。硬限函數對於已學習之輸入向量，內星之輸出為 1，其他則 為 0。權重向量 W 和輸入向量 X 的內積，反應了輸入向量 X 和權重向量 W 的相 似度。因此當多個相似輸入向量 X 進入內星時，最後的訓練結果使網路權重接近 多個相似輸入向量 X 的帄均值。內星網路相似度由偏差 b 控制，相似度值為-0.95，
即輸入向量 X 權重向量 W 之間夾角小於 ′。
Kohonen 學習規則是由內星規則發展而來，只對競爭中勝出的神經元進行調 整。
其中 p(q)為輸入向量，q 為迭代次數， 為調整係數，其範圍值介於 0~1，w 代表每個輸入所對應之權重值，Kohonen 的權重向量可以透過學習一個輸入向量 達到模式辨識。經過學習後，距離輸入向量最近的神經元的權重向量將會更加接 近輸入向量(見下圖 2-8)。隨著輸入向量的增加，競爭層中每個距離這一組輸入 向量最近的神經元權重將會向著這些輸入向量的方向調整。最後，如果有夠多的 神經元，每一個類似的輸入向量將會令一個神經元產生 1 活化狀態，而其他神經
其中 p(q)為輸入向量，q 為迭代次數， 為調整係數，其範圍值介於 0~1，w 代表每個輸入所對應之權重值，Kohonen 的權重向量可以透過學習一個輸入向量 達到模式辨識。經過學習後，距離輸入向量最近的神經元的權重向量將會更加接 近輸入向量(見下圖 2-8)。隨著輸入向量的增加，競爭層中每個距離這一組輸入 向量最近的神經元權重將會向著這些輸入向量的方向調整。最後，如果有夠多的 神經元，每一個類似的輸入向量將會令一個神經元產生 1 活化狀態，而其他神經