GHSOM訓練

影像與註解之特徵向量分別經由上述步驟進行計算完成，本節將說明影像及註解資 料之訓練與分群過程。影像資料數量龐大，如何資料之分群效率與易於辨識程度變成為 資料分群法之選擇重點。目前採用各式分群對應方法中，以類神經網路之 SOM[11]最可 達到需求。SOM 之目的是希望將任意維度資料透過群聚與分群方式，映射至一維或二 維之拓樸結構上，並將資料彼此之拓樸關係映射於特徵圖上，如此便可取得資料所屬之 分群特性。後有學者接續研究發現資料之間應還存在有一些階層性的關聯，SOM 只可 將資料以二維拓樸結構方式呈現，卻無法呈現出資料與資料間隱含之階層性的關係，且 其各群集之大小固定，往往無法得到最適當之分群拓樸與結果，因此 Rauber 等學者便 提出改良 SOM 之 GHSOM[17]，其目的在於解決 SOM 無法展現內容間階層性的關係以 及分群大小固定之缺失，本研究亦採用其做為資料分群方法，以下將分別針對 SOM 與 GHSOM 進行說明。

3.2.1 SOM

SOM 主要由下列三項元素所組成[1]：

輸入層：用以表示網路的輸入變數，即訓練範例的輸入向量，或稱特徵向量，其處理單 元數目依問題而定。

輸出層：用以表現網路的輸出變數，即訓練範例的群集，其處理單元數目依問題而定。

網路連結：每個輸出單元與輸入層處理相連結的加權值所構成的向量。當網路學習完畢 後，其輸出處理單元相鄰近者會具有相似的連結加權值。

資料經由SOM訓練過後可得到一個以二維結構呈現之輸出結果，內容為資料分佈狀 況，輸入之資料則將憑藉資料間相關程度與分佈情形而自行聚集成為相關聯之群集與分 佈，亦即將自動調整輸出層各資料間鄰近關係。資料間之相鄰關係是指輸出層中各資料 相互連結之情形，資料在學習與訓練過程中會依據各自資料特性與輸入之資料特性調整 其鄰近距離，而使得輸出拓樸得以反映輸入資料之特徵。SOM對於大量且高維度資料具 有良好處理能力，可將高維度資料結合空間概念投影於二維平面上，便於使用者觀察資 料間相關性與群集等特性。SOM之輸出層拓樸大小須事先固定，且在訓練前不易得知最 佳資料群集數。同時SOM利用二維平面方式呈現資料有著資料之間關聯過度簡化之缺 點。

3.2.2 GHSOM

在大量資料中，資料間往往存在著多重關聯性，若可發現此中關聯，對於資料利可 有更好的利用率，並可有更深入的研究，因此Rauber等學者[17]提出了GHSOM來克服 SOM固定架構且無法表達層級組織的限制，其架構地圖類似樹狀階層架構，如下圖3-2-1 所示：

圖 3-2-1 GHSOM 的階層架構圖

主要參數有學習速率(learning rate)、鄰近距離(neighborhood)與地圖大小(map size)。學習

速率是用來控制權重調整的參數，鄰近距離指的是最贏向量影響範圍，地圖大小可以自 動調整。

GHSOM 為根基於 SOM 進行發展之一種類神經網路模式，GHSOM 中各階層中之 輸出拓樸結構均為單一 SOM，而每一拓樸架構當中的每個單元均視其輸入向量分群狀 況，決定是否繼續分群並產生另一 SOM，除了可將大量資料以二維空間方式呈現，並 且針對資料與資料間隱含之關聯進行資料分析與探索之外，GHSOM 除了可根據資料內 容與資料群聚程度動態決定資料階層生長，若群集中資料已然十分相似，則該群集便停 止訓練，若群集中尚存在有不同關聯的群集，則在進行進一步之訓練，直到各群集中資 料均為最相似方才停止，透過此方式，GHSOM 可反應資料內含彼此間階層關聯與架 構，並且透過其發展原則讓資料以階層式的方式呈現，GHSOM 可克服 SOM 之輸出拓 樸結構須事先設定與非階層式階層地圖之問題，依據資料內容進行地圖發展與階層架構 生長。

GHSOM 藉由量化誤差(quantization error)來引導整個訓練過程。它利用平均量化誤 差(mean quantization error, mqe)衡量輸入向量與神經元之間的相異性，並且控制整個成 長過程。因此對於單元i，其 mqe 計算方式如下式：

(10)

其中d代表輸入向量x之樣本數，wi表示神經元之權重值向量，而後續SOM是否繼續成長 之終止生長條件如下式(11)：

(11)

其中mqe0代表第 0 層之平均量化誤差，τ2代表輸入資料品質之控制參數，任意階層之輸 出神經元之mqe 均必須小於上一層之mqe。由於GHSOM的各階層均由數個獨立的SOM

所組成，因此訓練過程與SOM的演算法相同，但是第一層的拓樸大小初始值不能設太 大。對於所有未達整體終止準則的神經元而言，需要將更細部的資料表示，也就是需要 再擴張到下一層。在其成長過程需針對每一層級計算MQE如下式：

(12)

其中μ代表地圖m 階層中，獨立之 SOM 之數量。獨立之 SOM 成長的終止計算方式如下

式：

(13)

其中τ1代表控制GHSOM成長之參數。

GHSOM 演算法其學習過程中包括拓樸大小與階層成長兩個部份，其步驟如下：

1. 初始化設定

在訓練前，第 0 層只包含一個單元，以所有輸入向量的平均值初始化這個 單元的權重向量(w0)，並計算其平均量化誤差(mean quantization error, mqe0)。處 理單元i的mqei為其權重向量(wi)與所有對應至該單元的輸入向量們(xi)之間的平 均歐氏距離(Euclidean distance)。

2. 地圖的成長過程

在第 0 層之下建立一個 2x3 的 SOM 地圖（即第 1 層），第 1 層的地圖依據 前述的 SOM 演算法發展，在固定λ次訓練回合後，分析所有單元的 mqe 值，

高的 mqe 值表示輸入空間沒有被正確地分群，因此，需要加入新的單元，以增 進分群呈現的品質，擁有最高 mqe 值的單元，被選為誤差單元 e，一個新的列 或欄將被插入這個誤差單元和與它最不相似鄰居之間，新處理單元的權重向量 被初始化為與其鄰居的平均值。拓樸大小成長步驟如下：

步驟 1：計算第 0 層的平均量化誤差

步驟 3：找出錯誤單元(error unit) e 與最不相似鄰居(dissimilar neighbor unit) d。

步驟 4：在 e 與 d 之間插入新的一列或一行，如圖 3-2-2 所示。新的單元權重根 Insert a row

e d e d

Insert a column

圖 3-2-2 GHSOM 地圖成長方式

步驟 1：檢查拓樸中每個單元的mqei值，如果mqei >

τ

步驟 2：在新增加的子階層中，進行 SOM 的學習。

經由 GHSOM 訓練後，影像內容與註解文件將分別被分群與標記至具階層關聯之群 集中。透過將影像或註解特徵向量標記於 SOM 上，內容相似的註解或影像會藉由訓練 過程逐漸群聚在一起，藉此可以推論被分在同一群的文件具有某種程度上之相關性，此 時可得到已分群完成之影像內容與註解文件之兩個樹狀階層。