第三章 延展式區域三元化圖型
3.3 Spectral Clustering
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
根據表 3.1 與表 3.2，我們可以觀察到，用式 3.8 來定義相似度所得的分群結果，
其群內的平均距離較使用式 3.7 來定義相似度的分群結果要來的小，較為接近我們所 期望的結果。
在算 ELTP 的三元編碼時，根據 local statistics 來設定門檻，可避免像素受到雜訊 干擾而影響編碼的結果，若是所得的三元編碼受到雜訊的影響而改變了編碼的結果，
也可經由 spectral clustering 的分群降維，把受到干擾與未受到干擾的三元編碼分為同 一群，使得在統計特徵向量直方圖時不會受到影響。
3.3 Spectral Clustering
3.3.1 分群簡介
分群(Clustering)是一種常被用於資料分析的技術，從統計學、資訊科學、生物學、
社會科學到心理學等都有著廣泛的應用。簡單來說，分群是把一群相似的東西分到同 一組，和分類(Classification)不同的是，對於一個分類器(classifier) ，它必須從所得到 訓練樣本(Training sample)中進行學習，才能具備對未知數據進行分類的能力，這種提 供訓練樣本的過程我們稱為監督式學習(supervised learning)。而在分群時，我們並不 需要知道某一類別是什麼，我們要做的是把相似的東西分到一起，因此一個分群演算 法只需要知道如何計算相似度就可開始進行分群。因為分群並不需要使用訓練樣本進 行學習，又被稱為非監督式學習(unsupervised learning)。
分 群 的 方 法 大 概 可 分 為 階 層 式 (Hierarchical Clustering) 與 切 割 式 (Partitional
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
是透過一種階層式的架構，將資料反覆的進行聚合或分裂，如果採用聚合的方式，階 層式分群法可由樹狀結構的底部開始，將資料或群聚逐次合併，若是採用分裂的分式，
則由樹狀結構的頂端開始，將群聚逐次分裂。在使用分割式分群法時，我們必須先指 定分群的數目，然後藉著反覆疊代運算，逐次降低一個誤差目標函數的值，直到目標 函數不再變化，就達到分群的最後結果。
圖 3. 8 : 分群演算法的類型
3.3.2 Spectral Clustering 的概念
Spectral Clustering 是用圖論(Graph Theory)的角度來看分群，它把要分群的資料視 為一個有權重的無向圖(Undirected weight graph)，一個節點代表一筆資料，邊上的權 重代表資料間的相似度，分群就是要把圖形切成數個不相交的子圖(如圖 3.8)，讓同一 子圖內有著較高的權重值，而不同子圖間的權重值則較低。
圖 3. 9 : 圖形切割式意圖
‧
為了讓切割區域大小相對均勻，使用的目標函數(Objective function)多採用
‧
數求極值的問題轉化成了 Rayleigh Quotient 求極值的問題
x x3.3.3 Graph Laplacian Matrix
在 Spectral Clustering 中，Graph Laplacian Matrix 扮演著重要的角色，而 Graph Laplacian Matrix 又可分為 Unnormalized Graph Laplacian
W
與 normalized Graph Laplacian
‧
Graph Laplacian 有著下列重要的特性：
１.
n ２. L 為半正定的對稱矩陣(Symmetric Positive Semi-definite Matrix) ３. L 的最小特徵值為 0，而對應的特徵向量為１
４. L 有 n 個非負的實數特徵值，012 ...n
在 Graph Laplacian 中，其值為 0 的特徵值的數量等於圖形中連通單元(Connected Components)的數量。
3.3.4 Spectral Clustering 演算法
根據上述所介紹的特性與概念，我們可以了解到 Spectral Clustering 有哪些重要的 步驟(圖 3.10)，根據這些步驟，我們可以得到 Spectral Clustering 演算法的雛型。
圖 3. 11 : Spectral Clustering 流程圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
下面是三個較常被使用的 Spectral Clustering 演算法，分別是 Un-normalized Spectral Clustering(圖 3.11)、Normalized Spectral Clustering(圖 3.12)與 NJW algorithm(圖 3.13) [15]。
圖 3. 12 : Un-normalized Spectral Clustering 演算法
圖 3. 13 : Normalized Spectral Clustering 演算法
圖 3. 14 : NJW 演算法
‧
Normalized Spectral Clustering 演算法。
使用 2