空間特徵分類器支援向量機之研究

(1)

Volume 12, No.2, June 2007, pp. 145-163

空間特徵分類器支援向量機之研究

雷祖強

¹

周天穎

²

萬絢

³

楊龍士

⁴

許晉嘉

⁵

摘要

如何選用適當的分類器一直是影像處理問題中經常被討論的一個研究重點，然而隨著衛星影像資料複雜度與資料量的增加，傳統線性分類器（例如：最大概似法、最短距離法等）已經無法達到有效分離類別之目標，因此本研究利用資料挖掘理論當中的－支援向量機法(Support Vector Machine, SVM)，來做為探討遙測影像分類研究之新課題。本研究選擇了高解析度 QuickBird 衛星影像及紋理資訊(Texture Information)做為影像分類時之資料來源，並利用最大概似法與支援向量機法來達到分類的目的。研究成果顯示，影像透過多組紋理並進行分類後之成果，整體來說，是支援向量機的分類精度優於最大概似法，精準度值較高也較穩定，不會像最大概似法有高低震盪的情形發生。而且就影像個別類別區塊化的能力來說，也是以支援向量機的成果較佳，特別是在「水稻」這個類別上面。因此本研究特別發現以支援向量機分類方法處理加入紋理資訊的影像，整體精度將會是優於傳統最大概似分類法之結論。

關鍵詞：影像分類、紋理資訊、支援向量機

1. 前言

台灣地區地狹人稠，對於土地利用狀況的掌握為其主要的關鍵工作，如何發展一套妥善的監測機制，有效運用與管理土地資源，為目前重要的研究課題。往昔對於土地利用/土地覆蓋問題的判釋，經常利用衛星影像來達到分類目的（如：

Landsat、SPOT 等），因為衛星影像具有資料獲取週期短、涵蓋範圍廣、成本低與迅速掌握地表改變狀況等優點，因此最合適作為全面性與即時性之土地利用監測工具。

另一方面，紋理資訊是遙測影像分類問題時，一種有效且可改進影像分類精準度之方法。

所謂影像當中之紋理特性，就是影像中相同物體在群集時，會以某種規律的方式排列出現，而這種排列的方式，可認為是代表地物的某一種特性，而這種特性就是組織特徵 (Haralick and

Shaunmugam, 1973)。基本上計算影像紋理的法則可分為三類：組織結構 (Structure) 法、頻譜 (Spectral) 分析法及統計 (Statistical) 分析法等 (Chica-Olmo and Abarca-Hernandez, 2000)。所謂結構法就是將紋理視為主要的圖形，按一定規則重複排列的結果(He et al., 1987)。頻譜分析法是基於傅利葉轉換分析(Fourier Transform Analysis)的一種分析方式(Matsuyama, 1980)。而統計分析法是目前最主要的方法之一 (Chica-Olmo and Abarca-Hernandez, 2000)，統計法中又以灰階共伴隨矩陣(Gary Level Co-occurrence Matrix, GLCM) 法(Haralick and Shaunmugam, 1973)、碎形維度 (Fractal Dimension)值(Clarke, 1986)以及半變異元 (Semivariogram) 法為經常使用之影像組織量化法。基本上我們視這些紋理影像之結果，為一種描述影像內涵知識的資訊。

如果影像通過紋理分析後能獲得影像的內涵

1逢甲大學都市計畫學系助理教授

2逢甲大學地理資訊系統研究中心主任及土地管理學系教授

3嶺東科技大學資訊管理系助理教授

4逢甲大學土地管理學系教授及建設學院院長

5逢甲大學環境資訊科技研究所碩士

收到日期:民國 96 年 04 月 26 日修改日期:民國 96 年 06 月 29 日接受日期:民國 96 年 07 月 02 日

(2)

知識，那影像分類便是獲得地表覆蓋資訊最為重要之過程，其主要作法是將影像中的各個像元點分劃到給定的類別當中，而經常使用的方法則是統計法當中之最大概似分類法 (Maximum Likelihood Classifier, MLC)。所謂最大概似分類法是假設影像密度分佈，是以高斯常態分佈為母體假說，再以統計方式計算分類波譜的變方與相關性，其後再計算地表覆蓋物各類屬之平均向量 (Mean Vector) 與共變異數矩陣 (Covariance Matrix)，其後即可描述某一特定像元在一特定地表覆蓋物分類的統計機率，進而再將像元進行類別之歸類程序，這就是統計機率法則之分類器。

然而新世代高解析度衛星影像的不斷誕生，

影像空間解析度已大幅提昇，這也意味影像欲使用傳統分類器來獲得良好分類精準度之目標愈加困難，這是因為影像空間資訊量大幅增加，將會導致類別間混淆誤判之情況加劇。為解決上述問題，本研究使用空間資料挖掘(Data Mining)技術中的新方法－支援向量機(Support Vector Machine, SVM)，來進行衛星影像的知識探勘，進而說明此方法在遙測分類問題中之應用價值。支援向量機是由貝爾實驗室 Vapnik 博士於 1990 年依統計學習理論為基礎，所發展出來的機器學習系統 (Vapnik, 1998; Vapnik and Chapelle, 1999)，其具有分離非線性問題之能力，並可解決傳統分類器過度學習和維度轉換上的問題(Mahesh and Mather, 2003)。如今支援向量機已經被廣泛運用在各種不同的領域之中，例如：文字分類、影像識別、手寫字辨識、資料挖掘、生物資訊等多種應用。目前應用支援向量機在遙測領域的研究正在蓬勃的發展中，如：Gustavo 等人(2004)利用支援向量機法於高光譜影像分類問題，該研究透過特徵選取的方式，避免輸入空間中具有太高維度的問題，

之後再利用類神經網路、支援向量機法進行土地覆蓋類別的判釋，研究成果證明支援向量機法對於複雜空間的資訊，有較佳的分類效果。Mahesh 與 Mather(2004)於高光譜影像分類研究中提出，

透過增加影像波段的方式來進行影像分類，最後

研究成果顯示，使用最大概似法、決策樹、類神經網路和支援向量機四種方法，最後是以支援向量機法在精度上有較佳的表現。許晉嘉等人(2005) 則利用 Quickbird 衛星影像為研究材料，透過支援向量機理論中核函數性質之分析，來論證非線性可分支援向量機之參數分析策略。

由於台灣土地覆蓋的類別十分複雜，雖然透過高解析度衛星影像能提供良好的空間解析能力，但亦會增加影像判釋的複雜性。為獲得最佳的影像判釋成果，本研究之分析策略有二：首先是利用 Quickbird 衛星影像之光譜知識，以最大概似分類法與支援向量機法之分類結果來討論其不同的特性；其次再以紋理資訊的提供，作為改變評量兩種分類器的變因，進而再觀察兩種分類器所產生之差異性。最後本研究之目的，是希望進夠而更進一步了解支援向量機分類器，在高解析度影像上之應用價值。

2. 研究材料

2.1 QuickBird 衛星影像

圖 1 為本研究實証區與材料。圖 1(a)為實證區範圍，圖 1 (b)與(c)為 QuickBird 衛星多光譜影像與全色態影像，影像拍攝日期為 2003 年 10 月 25 日，影像地點位於台中市潭子鄉。該地區土地類別複雜，包括有水稻、林地、草地、道路與裸露地、建物、陰影與其他等七種主要類別，極適合探討分類器之應用價值。此外為提升 QuickBird 衛星影像之分類成效，本研究利用 ERDAS IMAGINE 8.6 軟體當中的主成份分析法(PCA)影像融合功能，將解析度為 2.8m 的多光譜影像，融合成 0.7m 解析度的影像，此結果將有助於影像分類之用(Pohl and Van Genderen, 1998)。最後本研究使用的融合後影像大小為 1024×1024 像元，換算成實地面積約為 51.4 公頃。

(3)

2.2 彩色正射航照

研究中首先使用 1/1000 比例之彩色正射航照資料進行衛星影像幾何校正，選取相同的 30 個地面控制點，利用二階多項式建立轉換模式，以最近鄰域法進行像元重選，校正後影像之均方根誤差 (Root Mean Square Error, RMSE)為 0.548m，基本上若以 1/5000 的製圖精度要求來看（其為 2.5m 誤差範圍），本研究之成果已符合需求。

2.3 耕地坵塊圖

本研究之地真資料是採用 GIS 檔案之耕地坵塊圖，該圖檔是行政院農業委員會農糧署所提供之 2003 年第二期稻作耕地坵塊向量檔，儲存方式是以 1/5000 圖幅範圍所分割之 GIS 數值檔。

2.4 軟硬體設備

在軟硬體設備方面，本研究使用 Microsoft Windows XP 系統平台之個人電腦。遙測分析軟體則使用 ERDAS IMAGINE 8.6 進行影像分析；利用 Arc View 3.3 作為圖形資料轉換之用；最後以 MATLAB 軟體撰寫支援向量機之程式。

(a) 實證地區圖（台中縣潭子鄉部分地區）

(b) 多光譜影像 (c) 全色態影像圖 1、本研究實證區與材料

²

•

(4)

2.5 訓練樣區選取

由於本研究所選用的分類方法為最大概似分類法和支援向量機法，兩者皆屬於監督式的分類法則，因此必須選取各類別之訓練樣區 (Training Site)，用來作為影像分類時的依據。圖 2 為多光譜衛星影像，從影像中直接選取各類別之訓練樣區，

並參考航空照片等資料，決定出各類別訓練樣區之選取位置。

圖 2、土地覆蓋類別訓練樣區選取

3. 研究方法與流程

3.1 影像紋理資訊

由於高解析度衛星影像擁有良好的空間解析能力，若能應用紋理資訊將會產生很大的效果，而紋理影像計算的方法很多，經常使用的有灰階共伴隨矩陣法 (GLCM)、碎形維度法以及半變異元法等。雷祖強等人(2006b)的研究指出，在半變異元法當中的直接半變異元紋理(Direct Semivarogram) 與交叉半變異元紋理(Cross Semivarogram)，對水稻田、草地與林地等地物類別的辨識上能獲得不錯效果。因此本研究考量以往分析經驗與成果，摒除一些成果較差之紋理特徵資訊，進而在本研究中選擇

「直接半變異元」、「交叉半變異元」以及灰階共伴隨矩陣法當中之「不相似度(Dissimilarity)」作為分析影像之紋理特徵來源，這些分析方法之定義與公

式意涵，請參考雷祖強等人（2006a 與 2006b）之相關研究。

3.2 支援向量機分類法

支援向量機分類法是在高維特徵空間中，使用線性函數並進行空間分劃區的學習系統，其根據有限的樣本在模型資訊的複雜性和在學習能力間尋求最佳折衷，以期獲得最好的分類能力 (Vapnik, 1998; Vapnik and Chapelle, 1999)。基本上支援向量機法於空間資料集的特性分類可分為下列三種：

（1）線性可分支援向量機。

（2）線性不可支援向量機。

（3）非線性可分支援向量機。

3.2.1 線性可分支援向量機（亦稱：

線性硬分割）

支援向量機的學理概念，基本上是由線性可分之最優分類超平面的條件下發展而來的。所謂最優分類超平面就是要求分類面不但能將兩類樣本正確分開，而且可使分類間隔為最大。若以一個 2 維空間上的分類問題來說明（如圖 3），如何決定一條合理的直線可將下圖的 2 類問題進行分割，首 先假定分劃直線的法向量 w 已經給定，圖 3 中的直 線l 就是一條以 w 為法方向且能夠正確分劃兩類₁ 的直線，但是這樣的直線並不唯一，對於l 與₂ l3而言，這兩條直線都能正確的分劃兩類，但似乎卻又不是最佳的分劃結果（可視為極端分類），若以客觀的立場來說，位於l 與₂ l3中間的 l 才是這個問題的最佳分界線。若是這樣的觀念成立的話，核心的 問題就是如何推求法向量 w，使其法向量 w 能在直 線l 與₂ l3的間隔中，獲得最大間隔的效果，也就是說產生最大隔離帶(Margin)。基本上的作法是使用目標函式的方法來達到此一目的，而這條分劃直線

l 的表達式如下：

b x w x

f( )=( • )+

∑ + =

= = l

i wixi b

1

0 (1) 式中： w 為超平面之法向量； b 為函數的起始值，

(5)

或是直線方程式的截距，亦即偏差值。

而對於分別描述兩類類別的直線l 與₂ l3的直線表達式如下：

⎩⎨

⎧

−

= +

•

+

= +

•

1 )

(

1 )

(

b x w

b x

w (2)

而其對應兩條極端直線的幾何間隔距離 m 為 w

m=2/ 。

圖 3、SVM 基本分群概念圖

因此上述兩類的分劃問題可以表達成下式：

b

Maxw ,

w 2 ，

. .t

S (3) 對所有y_i =+1的下標 i ，有(w•x_i)+b≥+1，對所有y_i =−1的下標 i ，有(w•x_i)+b≥−1，或

b w

Min

,

² 2 1 w ,

. .t

S (4)

{

( • )+

}

≥1

= w x b

y_i _i , i=1,2,3,...,l

由於(4)式為二次方程式，而其限制式為線性方程式，此型式是屬於典型的二次規劃問題，因此我們代入 Lagrange 乘子

α

來解決線性約束的二次規劃問題。而上述的問題就是我們所說的 Wolfe 對偶問題（同時推求極大與極小值），而 Wolfe 對偶

問題則是使用 Lagrange 函數優化問題之特例。由於使用 Lagrange 乘子

α

會有 Wolfe 對偶問題的存在，這個問題又分成強對偶與弱對偶問題，以及這個乘子

α

是否可得到原約束問題的解這兩項問題。經過其他學者的努力，基本上一個二次線性規劃的 Wolfe 對偶問題，可用在 Karush-Kuhn-Tucker 條件下得到這個問題的解(Karush, 1939; Kuhn and Tucker, 1951)，而這三個方法是支援向量機的理論 基礎。一般來說我們會透過(4)式來解算變量 w 與 b 的最優化問題，求得w 與^* b ，由此求出分劃超平^* 面之決策函數 f(x)=sgn

{

(w^*•x)+b^*

}

，基本上這個分劃超平面將是存在且唯一。

因此對於上述二次方程式的問題若使用 Lagrange 乘子

α

後可變成：

∑ • + −

−

=

= l

i i yi w xi b

w b

w L

1 2

] 1 ) (

[ 2 ) 1 , , (

α α

≥0

αi (5) 根據 Wolfe 對偶函數的定義，基本上就是先求 Lagrange 函數關於 w 與b 的極小值。也就是：

0

1

∑ =

−

∂ =

∂

= l

i iyixi

w w

L α (6)

∑ =

∂ =

∂

= l

i iyi

b L

1

α 0 (7)

其中當參數α_i為上式最佳解時，則所對應到每一筆訓練資料，即為支援向量機點，並會落在區分超平面的邊界上（如圖 4 所示）。最後再將αi代入(6)式則可求得w ，所以上述問題就可解出一系^* 列α^*=(α₁^*,...,α_i^*)^T的值，使我們得到w 與^* b 的解： ^*

=∑

= l

i i yixi

w

1

*

* α (8)

同時並利用 Fletcher 提出的 Karush-Kuhn-Tucker 條件求得 b 值 (Fletcher, ^* 1987)：

∑ •

−

= = l

i i i i j

i y x x

y b

1

*

* α ( ) j^∈

{

jα^*j ^>⁰

}

(9) w

Class 1

Class 2

l

1

l

²

l

3

l

w 2

b

(6)

Class 1

Class 2

Margin 最後便可得到最終的判別函數：

( )

_⎥⎦^⎤

⎢⎣⎡∑ • +

= = l

i iyi xi x b

x f

1

*

sgn *

)

( α (10)

當求得判別函數後，將測試資料代入時，如果 0

) (x >

f 則表示該資料與標註為 +1 的資料屬於

同一類；反之則屬於另一類。通常我們稱為 (10) 式之判別函數為線性硬間隔分類器。基本上這種分類器在某一種機率意義下，這種算法可說是一種最優策略。

3.2.2 線性不可分支援向量機機（亦稱：線性軟分割）

在處理不可區分的資料時，利用線性支援向量機進行分類，必然會有些樣本被錯誤分離，也就是說最大分離隔離帶不存在。但是如果可以保留最大隔離帶的基本架構，允許某些資料能進入隔離帶，

對錯誤的資料進行控制，此時分類最優超平面與最大分離隔離帶則有可能存在，因此 Cortes(1995)等人便提出了在限制式中加入了沈滯變數

ξ

_i(Slack Variables)的觀念，進而改進了此一問題（如圖 5）:

而此舉可得以弱化約束條件

{

i

}

i

i w x b

y = ( • )+ ≥1−ξ , ξ_i ≥0i=1,2,3,...,l (11) 則原本(4)式的限制式將變成：

(

w•x_i

)

+b≥+1−ξ_i →y_i =+1 (12)

(

w•x_i

)

+b≤−1+ξ_i →y_i =−1 (13)

由(11)與(12)、(13)式可知，當訓練資料在分類錯誤時，

ξ

_i就會大於零，因此在推求超平面的同時，則希望^∑

= l

i i

1

ξ越小越好。所以必須在目標函數中加入一項對錯誤分類要求的懲罰值C，來折衷考慮最大分類間隔和最少錯誤樣本，因此原本(4)式中的目標函數會變成：

ξ , ,b

Min w + ∑

= l

i i

C w

1 2

2

1 ξ ,

. .t

S (14)

{

i

}

i

i w x b

y = ( • )+ ≥1−ξ , i=1,2,3,...,l

≥ 0 ξ

i

式(14)就是支援向量機在線性不可分情形下之基本定義。其中懲罰值C是由使用者自行決定，

當C值愈大時表示錯誤發生時對目標函數的影響愈大，反之則影響愈小。

線性不可分支向機在使用時，不同於線性可分支向機之處，是 Lagrange 係數中多了懲罰值^C，圖 4、線性可分支援向量機分類示意圖

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

− +

= +

•

1 0

1 b x w _i

(7)

Margi w

Class

Class 2

w ξ

因此對於上述二次方程式的問題若使用 Lagrange 乘子後就可變成：

−∑

∑ • + − +

∑ − +

=

i

i i i

l

i i i i i

l

i i

b x w y

C w b

w L

1 1

1 2

] 1 ) (

[ 2 ) 1 , , , , (

ζ β ξ α

ξ β

α ξ

≥0

αi ^,β_i ≥0 (15) 根據 Wolfe 對偶的定義，就是推求 Lagrange 函數中關於 w 、ξ與 b 的極小值，也就是：

0

1

∑ =

−

∂ =

∂

= l

i iyixi

w w

L α (16)

=0

−

∂ =

∂

i

i r

L C α

ξ (17)

∑ =

∂ =

∂

= l

i iyi

b L

1

α 0 (18) 因此最佳化問題則轉換成：

Minα j i j i j j

i i

i αα y y xx

α ∑

∑ − 2,

1 ,

. .t

S (19)

∑ =

∂ =

∂

= l

i iyi

b L

1

α 0

≥0

≥ _i

C α , i=1,2,3,...,l

最後再將α_i代入(16)式則可求得w ，所以上述^* 問題就可解出一系列α^*=(α₁^*,...,α_i^*)^T的值，使我們得到w 與^* b 的解： ^*

=∑

= l

i i yixi

w

1

*

* α (20)

∑ •

−

= = l

i i i i j

i y x x

y b

1

*

* α ( ) j∈

{

jα^*_j >⁰

}

(21)

最後便可得到最終的分類函數：

( )

_⎥⎦^⎤

⎢⎣⎡∑ • +

= = l

i iyi xi x b

x f

1

sgn *

)

( α (22)

3.2.3 非線性支援向量機

當線性支援向量機用來設計處理二類資料時，是以一個線性函數來區分這二類不同的資料，

但是多數的資料可能無法完全用線性函數區分開來，此時就需考慮以非線性的方式來區分資料。根據 Boser(1992)等人針對非線性函數區分資料之研究，如果能將原始資料透過一個函數轉換到另一個較高維度的 Hilbert 特徵空間H，此時可將原本不

能以線性函數區分的資料，在高維度特徵空間中使用線性函數重新區分出類別（如圖 6 所示）。

也就是說：

( )

x X (x) R

x ⁿ φ φ

=

→

⊂

→

⊂ X H

x ： (23)

利用轉換函數φ

( )

^x，將原來的對應於輸入空間 Rn^的訓練集T=

{

(x₁,y₁),...,(x_i,y_l))

}

，轉換成對應於 Hilbert 空間 _H 的新訓練集圖 5、線性不可分支援向量機分類示意圖

(8)

{

(x₁,y₁),...,(x_l,y_l)

} {

(x₁,y₁),..., (x_l,y_l)

}

T= = φ φ ，然後在

空間_H中求出一個超平面(w•x)+b=0，而這個 超平面應能正確分劃訓練樣本集T ，並使得訓練樣 本集T 能建構出最大的幾何間隔區間。

因此對於在非線性可分的情況下，支援向量機方法通過非線性變換φ

( )

x 將輸入空間轉換到一個高維空間，在這個空間中求最優分類面，此時相應的分類函數為：

( )

_⎥⎦^⎤

⎢⎣⎡∑ +

= = l

i iyi xixj b

x f

1

sgn )

( α φ (24)

式中φ(x_i)⋅φ(x_j)的內積則可使用核函數 (Kernel Function)來取代，核函數的定義為：

(

xi xj

) ( ^{( )}

xi

( )

xj

)

K , = Φ ⋅Φ

(25)

x

i、

x

_j：樣本空間值

所以非線性支援向量機函式可改寫成：

( )

_⎥⎦^⎤

⎢⎣⎡∑ +

= = l

i iyik xixj b

x f

1

sgn )

( α (26)

其中核函數的選擇有非常多種，包括有線性核函數(Liner)、多項式核函數(Polynomial)、徑向基底核函數(Radial Basis Function, RBF)和多層感知器核函數(Multi-Layer Perception, MLP)等(Cristianini and Shawe-Taylor, 2000)，每種核函數對於資料轉換的方式都有所不同，使用者可以依據不同的資料進行選擇，另外 Keerthi(2003)等人證明了線性核函數和多項式核函數是 RBF 核函數的特殊情況。而根據文獻中指出，核函數的選擇應用最為廣泛，並且在沒有足夠的先驗知識進行選取核函數時，RBF 核函數是個合理的選擇(王景南，2002；杜樹新與吳鐵軍，2003；Keethi and Lin, 2003；孫建成等人，

2004；許晉嘉，2005)。因此本研究將利用 RBF 核函數作為在支援向量機分類時，非線性問題的轉換函數其公式如下：

(

x_i,x_j

)

=exp⎜⎝⎛−rx_i−x_j ²⎟⎠⎞

K (27)

γ

_{：寬度參數。}

x

_i、

x

_j：樣本空間值。

圖 6、當原始 2 維訓練樣本資料集在此條件下，並不容易由線性函數超平面分劃出類別，其後透過轉換函數φ

( )

x 移轉到 3 維特徵空間當中，此時原本易混淆的資料集將會由新的線性函數超平面清楚

的分離出來

3.2.4 參數選擇

在使用非線性支援向量機時，使用不同的核函數或不同的參數，將會造成不同的成果，因此在決定核函數之後，則必須在參數上有所定義，以保證最小錯誤率的發生。但是孫建成等人 (2004)的研

究指出，目前對於使用非線性支援向量機時參數模型的選擇仍然未有明確之定見。其中的問題有：多項式學習機器的階數問題、RBF 核函數中的寬度參數(^γ)以及懲罰參數(C)的訂定等，而最優的參數模型只是針對特定的應用而定。

目前參數選擇中最常使用的是 Holdout 和 X

) φ (x

X H

(9)

Cross-Validation 兩種方法（孫建成等人， 2004），然而由於衛星影像資料在選取多類別時，將代入大量的訓練資料，因此研究中將利用 Holdout 法來決定最佳的階數及寬度和懲罰參數，以達到時間及分類上之效益，此方法是將訓練集分成二個部份，分別稱為訓練資料和驗證資料。一般而言，訓練資料會佔整體資料的 2/3，剩下 1/3 的資料就當成驗證資料，並在訓練階段中找出區分平面，接著再利用驗證資料驗證其正確率，來決定出最佳的階數及寬度和懲罰參數等。此方法的好處是易於處理資料，

但是當資料量過小時則較不適用（孫建成等人，

2004）。

3.2.5 多類支向機分類策略

由於支援向量機是針對兩類問題所提出的方法，因此如何推廣到多分類的問題上，目前仍是正在進行的重要課題。常用的多類支向機策略包含有一對一（ One-against-one method ）、一對多

（One-against-all method）和 DAG 法（Directed Acyclic Graph）等，其中孫建成等人(2004)指出在使用多類支援向量機時，DAG 法在測試速度上比上述其它兩種方法來的快，因此更適合用於多類別的分類問題。故本研究在多類支援向量機的分類策略上，則是應用 DAG 多類支援向量機來達到影像分類之目的。

所謂 DAG 多類支援向量機是由處理二類問題 中所延伸出來的方法，此方法在處理 k 類別問題 時，每二類資料都會產生一個子分類器，所以會有

(

k−1

)

/2

k 個子分類器（與一對一相同），在訓練階段時會產生一個二元且無循環的有向樹狀圖，此圖有k

(

k−1

)

/2個內部節點和 k 個葉節點，每一個內 部節點都表示一個子分類器，k 個葉節點表示 k 類。再將未知類別資料（即測試資料 x）則由根節 點開始測試，依據該子節點決定下一層是左邊或右 邊的內部節點，最後到達的葉節點就是 x 之類別，

如圖 7 所示。

圖 7、DAG 多類支援向量機之分類策略

3.2.6 支援向量機分類法操作流程

總結上述支援向量機方法的介紹。本研究將依序討論支援向量機分類法的操作流程：（1）在獲得影像資訊後，必須先轉換格式。（2）在轉換的過程當中，必須注意到影像的來源中，像元的儲存方式是否相同，因此必須進行標準統一的格式化。（3）

建立影像資料的訓量樣區集。（4）非線性分類器中核函數的選擇（本研究是採用 RBF 核函數）。（5）

多類支援向量機分類策略模式的決定。（6）利用正確率評估（Holdout Method）找到最佳的參數，例如：多項式學習機器的階數問題、RBF 核函數中的寬度參數(γ)以及懲罰參數(C)。（7）參數決定後並進行訓練，得到非線性支援向量機的分類模型。

（8）進行影像分類，獲得影像分類成果；但是在此必須格外注意的是在（6）式當中所求得的參數，

必定有很多解，每一組解都有不同的影像分類成果，此作法會造成變數過多不易控制與分析討論的

(10)

困擾，由於本研究之目的在於分析比較不同空間特徵分類器之差異性，因此本研究還是必須透過使用者自行決定參數後方便後續研究之進行，為了得到更高的分類精準度，本研究經過多次以不同的寬度參數與懲罰參數組合，透過程式並反覆疊代後並調整參數值，以最高精準度的一組寬度參數與懲罰參數 γ ＝30、C＝300 之數據，作為後續分類時參數選擇時的依據。

3.3 研究流程

最後本研究之流程如圖 8 中所示。首先本研究之資訊來源為 QuickBird 高解析度衛星影像，並藉由台中市相片基本圖進行影像幾何校正，透過 ERDAS 軟體當中之 PCA 影像融合技術將多光譜影像從 2.8m 的空間解析度融合成 0.7m 的空間解析度

之 Pansharp 影像。然後分析的程序將可分成兩大部分，分別是「光譜影像分析程序」以及「光譜影像＋紋理影像分析程序」，至於分類器選擇方面，

本研究針對這兩種程序分別使用最大概似分類法以及支援向量機法進行影像判釋。在光譜資訊的部分，本研究使用 B、G、R、IR 四個波段作為影像分類的資訊來源。在光譜影像＋紋理資訊部分，由於全色態影像對於地物紋理反應顯著，因此本研究使用全色態影像作為紋理資訊時的資料來源。而在影像視窗大小部分，則是使用 3×3、5×5 與 7×7 等 3 種不同尺度大小之視窗，作為討論紋理資訊對兩種不同分類器效應之變數因子。其後再利用耕地坵塊圖與航照圖針對判釋成果進行精準度檢核，以探討各種紋理資訊對植生類別判釋成果之影響，最後提出本研究之結論。

圖 8、研究流程圖

(11)

4. 結果與討論

由於本研究為探討不同性質空間特徵分類器在影像上的應用，因此將藉由影像的光譜資訊和不同輔助資訊（紋理影像）的加入，來瞭解不同分類方法的影響性。本研究將影像分類的成果歸納成

「光譜影像分類」、「光譜影像＋紋理影像分類」二個部分。評估的作法則是採用兩種方式來呈現，首先是使用點檢核的方式來檢驗分類後圖資的正確性，但上述的方式仍不足以呈現完整的問題，其後再以分類後圖資結構完整來更進一步說明分類後之成果。點檢核的方式是利用 ERDAS 軟體，以整體精度(Overall Accuracy)與 Kappa 值為主，使用隨機選取類別之方式產生 256 個精準度檢核點，並配合所蒐集的航空照片，做為地面真實現況參考資料 (Reference Data)，進而評估分類後影像之準確性。

4.1 光譜影像分類成果

研究中利用最大概似法和支援向量機法進行原始影像判釋，判釋的成果如表 1 與圖 9 中所示。

表 1 為光譜影像分類之精準度統計表。由表中數據顯示，在本研究當中所要分離的「水稻」、「林地」、

「草地」、「道路」、「建物」、「其他」與「陰影」這七大類別當中，使用兩種分類器在這些類別的描述結果各有好壞；其中「草地」、「建物」與「其他」

這三種類別使用兩種分類器之結果類似，特別是在

「建物」與「其他」這兩種類別的分類結果都相當的好，顯示出這兩種分類器在判別光譜中不易混淆的類別時，是容易獲得滿意之分類精準度；其次在

「道路」這個類別當中，就以最大概似法比支援向量機法有較好的分類結果，特別是在生產者精度方面，兩者的數據有極大的落差（表 1 中方框處），

這個問題則是道路與陰影的混淆所造成之結果，而這個問題待會將與「陰影」共同討論；最後「水稻」、

「林地」與「陰影」這三個類別的分類結果，是以支援向量機法有較佳的分類成果，特別反應在「水稻」與「陰影」這兩個類別上面，由於「水稻」與

「陰影」這兩個類別在光譜波段的性質並不類似，

因此必須分開討論。首先是「水稻」這個類別，由於水稻在整幅影像當中，是面積最大的類別，因此可視為主要的分類對象，研究中可清楚的發現，透過支援向量機法對於「水稻」特性的描述就十分的清楚，尤其是生產者精度要比最大概似法高出約 20％的精度，雖然使用者精度稍降，但整體來說，

使用支援向量機法在本研究中之「水稻」這個類別上將會有良好的分離能力；另外在「陰影」之分類成果方面，由於「陰影」多是「建物」與「林地」

所造成，而引發混淆的影響就是「道路」的精準性，

所以這也就是為什麼使用支援向量機法雖然可提高「陰影」判釋的精度，但卻降低「道路」的精準性之主要原因。不論如何，回到整體精度與 Kappa 值數據表現方面，兩者的結果都顯示，使用支援向量機法的結果是高於最大概似法的。然而上述評斷是以點檢核的概念，並建立在統計隨機抽樣的結果，這樣的作法難免會有不足之處，因此我們再針對圖 9 之結果進行圖面差異之比較分析（這是面檢核的概念），由於「水稻」是本研究實證區主要的類別，由圖 9-(b)中可以清楚的看出，「水稻」的分類成果是以支援向量機法之成果較佳，相對於圖 9-(a)之結果，支援向量機法在「水稻」類別的描述上少了許多混淆誤判之現象（圖 9-( b)），而且在影像椒鹽效應(Salt and Pepper Effect)問題上，支援向量機法可改善原本由最大概似法所造成誤判的成果，水稻田之完整性也較容易描述。此外原本在表 1 中最令人在意的道路誤判問題，由圖 9-( b)中也可發現，若是判釋「陰影」面積的增加，確實會降低「道路」的精準性，而類似這樣不易分離的類別問題要如何改善？本研究相信可透過紋理資訊量的供給，擴大類別間的差異，可更進一步提升分類的成效，甚至對於非線性支援向量機法而言，其分析程序可更進一步激發影像分類的濳力，所以若能夠有效的增加特徵空間之資訊，其效能應要比最大概似法的結果為佳？因此本研究下一個階段就是討論，紋理資訊的加入對於兩種分類器之效能差異性為何？

(12)

表 1、光譜影像分類精準度評估

分類方法最大概似法支援向量機法

類別名稱

生產者精準度

使用者精準度

生產者精準度

使用者精準度

水稻 57.89% 93.62% 77.63% 90.77%

林地 75.00% 42.19% 75.00% 57.45%

草地 81.25% 68.42% 78.13% 67.57%

道路 80.49% 97.06% 63.41% 92.86%

建物 100.00% 94.74% 96.30% 86.67%

其他 83.33% 100.00% 83.33% 100.00%

陰影 57.14% 57.14% 85.71% 60.00%

總體精準度 76.59% 79.37%

Kappa 值 0.7133 0.7441

4.2 光譜影像＋紋理資訊後分類成果

本節將討論紋理資訊對於兩種分類器之影響性。由於本研究所使用之紋理增益資訊(Additional Information)是使用「直接半變異元」、「交叉半變異元」以及「不相似度」三種紋理，在影像紋理中視窗大小部分，本研究是使用 3×3、5×5 與 7×7 三種視窗大小作為分析資料的來源，而方向性問題則是採用等向性之結果，最後光譜影像＋紋理影像並使用兩種分類器之分類結果如表 2 中所示。在表 2 當中可以清楚的觀察出，不論是使用何種方式進行影像分類，整體來說，絕大部分的分類成果均優於原始影像的分類成果（如表 1），僅有使用最大概似法分類 7×7 視窗大小之光譜影像＋不相似度紋理影像之結果要略低於原始影像分類成果 1.19％

（請參考表 1）。此外回顧這兩種加入紋理資訊的分析成果中可更進一步得知，表 2 中最大概似法的分類整體精度是介於 75.40%到 83.73%之間，在精度上的跳動非常震盪，趨於較不穩定的分類效果，而多組的紋理特徵，對於最大概似分類法才有

一、兩組較佳的精度提升效果。但是對於支援向量機分類的成果而言，精度的表現就趨於平穩，且有相較於最大概似分類法更佳的分類精度，也就是說，支援向量機分類法在精度的提升上，只要預備了有意義的空間特徵描述，就能大幅的提升分類的精準性。表 2 中最佳分類精準度效果則是，以5×5 視窗中使用直接半變異元的成果，其中最大概似法的整體精度可達 83.73%，Kappa 值為 0.7994，

而支援向量機法的整體精度可更高達 87.3%，

Kappa 值為 0.8416，為本研究分類精度最高之成果。此外回顧表 1 中之兩種分類器之結果，紋理資訊的加入對支援向量機法之提升精度量為 7.93

％，也是略高於最大概似法的 7.14％，這也是證明支援向量機法之分類成果會優於最大概似法的另一證據。因此可更進一步的推論，透過紋理資訊的加入，對於支援向量機分類法而言，空間特徵維度的增加對其分類效能是有其實質的意義，除可有效降低雜訊內容，而且可更進一步的提高分類成果。

(13)

(a) 最大概似法

(b) 支援向量機法

圖 9、光譜影像之分類成果

■ 水稻 ■ 林地 ■ 草地 ■ 建物 ■ 道路與裸露地 ■ 陰影 ■ 其它

(14)

由於上述問題的評估方式是建立在統計點檢核之樣本抽樣結果，雖可說明成果之趨勢，但不易說明圖資結構的變化，再者本研究所使用支援向量機法之統計分類精度似乎並不顯著，所以本研究以圖面結構之變化形式，來進一步說明兩種分類器分類成果之差異性，本文分別是以圖 10 與圖 11 來說明。圖 10-(a) 為最大概似法分類結果; 圖 10-(b) 為支援向量機法分類結果。由圖 10-(a)與圖 10-(b)兩者比較就可清楚的發現，高解析度衛星影像若能有效的增加良好之特徵空間資訊，衛星影像的辨釋能力就能夠大幅提升，特別是原本在圖 9 當中影像分類後所產生之椒鹽效應問題，大部分都能藉由紋理影像進行問題的改善，圖 10 當中水稻田區塊的邊緣特性，也較能由此圖像中表達出來，這也顯示影像類別間區塊化的能力可被紋理資訊提升出來，整體而言由圖 10-(b)所獲得之結果，要比使用最大概似法所分類之成果為佳（如圖 10-(a)）。

為說明此部分細節，本研究再深入探究兩種分類器在分類後的差異性，本研究了挑選 3 個細節地區以說明問題的差異性（如圖 10-(a)中之區域），其結果如圖 11 中所示。A、B 兩區為水稻田被誤判

之情形，而 C 區則是道路被誤判之情形。根據航照地真資料顯示，在 A 區中的植生為水稻田，然而最大概似法判釋結果顯示其對於 A 區水稻田的解釋能力極差，類別辨識能力不佳，水稻田區塊破碎，也多是林地、草地類別之誤判，在水稻田邊緣區位，這個問題更為嚴重，反觀利用支援向量機法之分類成果極佳，水稻田區塊結構也較為整齊，是良好的分類成果。另外由 B 區的分類成果可以發現，圖中水稻田之區塊，又是以支援向量機法的分類成果為佳，區塊的完整性高，甚至在右方的水稻田區域，最大概似法分類成果就有引入部分草地的誤判。至於在 C 區的問題則是將應判別成道路的區域，在最大概似法判釋結果當中，造成了建物錯判的問題，而應用支援向量機法的分類成果，在描述道路資訊判別方面，就能發揮其應用成效。透過上述一系列的比較成果顯示，本研究所採用之支援向量機分析法，確實能有效的改進高解析度衛星影像之分類成果，不但在影像分割問題上能夠提高效果，在描述類別差異性問題方面，支援向量機法的效用，也確實的反映在本研究之成果當中。

表 2、光譜影像＋紋理影像分類精準度評估

最大概似法支援向量機法

紋理模式視窗總體精準度

（%） Kappa

總體精準度

（%） Kappa

3×3 79.31 0.7460 86.11 0.8257 5×5 83.73 0.7994 87.30 0.8416

Direct

7×7 83.33 0.7949 86.51 0.8321

3×3 78.57 0.7381 86.90 0.8374 5×5 78.17 0.7339 86.51 0.8316

Cross

7×7 76.98 0.7197 85.71 0.8219

3×3 81.75 0.7751 86.51 0.8320 5×5 78.17 0.7314 84.52 0.8072

光譜影像

Dissimilarity

7×7 75.40 0.6979 80.56 0.7580

(15)

(a) 最大概似法

(b) 支援向量機法

圖 10、光譜+紋理影像分類成果（使用 Direct Variogram 與視窗5×5大小之結果）

■ 水稻 ■ 林地 ■ 草地 ■ 建物 ■ 道路與裸露地 ■ 陰影 ■ 其它

B 區

C 區

A 區

(16)

圖 11、光譜影像+紋理影像部分分類成果（源自圖 10）

5. 結論與建議

本研究以 Quickbird 高解析度衛星影像為資料來源，透過兩種空間特徵分類器，進而探討分類器在影像上的成果應用，其結論如下：

本研究之結論如下。

1. 從影像的分類成果中可以發現，無論是光譜影像或光譜影像＋紋理特徵影像，支援向量機法在水稻的判釋成果上，有較不破碎之情形，而分類精度上也優於最大概似法的分類精度。

2. 在影像判釋中，若單純以光譜影像進行分類時，植生類別間皆有混淆之情形發生，但是在透過光譜影像＋紋理輔助資訊的加入時，

影像上的效果確實是能有效的提升，其中在最佳的判釋成果中，最大概似法分類精度從 76.59%提升至 83.73%，Kappa 值從 0.7133 到 0.7994，支援向量機法分類精度從 79.37%提升至 87.30%，Kappa 值從 0.7441 到 0.8416。

研究成果顯示，不論是使用何種資訊進行影像分類，支援向量機分類器在分離類別混淆的能力上，要比最大概似分類法擁有較佳的分類結果。

3. 透過本研究的實證分析後，以最大概似法進行影像分類時，由於輔助資訊不同將會使得分類精度，呈現起伏不穩定之情形；而相對於支援向量機法，其分類精準度呈現較為穩定之現象，而且分類精準度也比較高，這將衛星多光譜影像

（地真資料）

最大概似法支援向量機

水稻田

（A 區）

水稻田 (B 區)

建物與道路 (C 區)

(17)

再次說明支援向量機對 Quickbird 衛星影像資訊上的分離，有較佳的分類效果。

本研究之建議如下。

1. 由於支援向量機在進行非線性分類時，必須透過轉換函數將資料轉換至非線性高維度的空間中，再尋找、定義分割超平面 (Separating Hyper-plane)並進行資料的分類。

然而在轉換函數的參數上，目前並沒有統一的準則，因此建議在後續的研究上，可以朝向參數優化的方式來解決。

2. 紋理影像在進行分類時，類別間仍會有誤判的情形發生，其中影響的原因除了分類器的好壞外，如何表達正確的空間特徵也是另一門重要的學問，因此如何有效的萃取空間特徵，以及發展良好的紋理組合模式，是未來在研究上可以發展的另一個重要的方向。

3. 最後本研究在影像分類方法中，只使用兩種空間特徵分類器來進行比較，因此在後續的研究上，建議可以加入類神經網路等各種分析方法來更進一步探討影像分類後特性之差異性。

誌謝

感謝國家科學研究委員會提供研究經費 (95-2116-M-035-001)，特此致謝。

參考文獻

王景南，2002，多類支向機之研究，元智大學資訊管理學系研究所碩士論文。

杜樹新、吳鐵軍，2003，模式識別中的支持向量機法，浙江大學學報，第 37 卷，第 5 期，第 521-527 頁。

許晉嘉、雷祖強、周天穎，2005，支援向量機理論中核函數性質之研究－以高解析度衛星影像為例，2005 台灣地理資訊學會年會暨學術研討會。

孫建成、張太鎰、劉楓，2004，基於支持向量機的多類數字調制方式自動識別算法，西安交通大學學報，第 38 卷，第 6 期，第 619-622 頁。

雷祖強、周天穎、鄭丁元， 2006a ，運用 QuickBird 衛星影像於水稻田坵塊萃取之研究，航測與遙測學刊，第 11 卷，第 3 期，第 297-310 頁。

雷祖強、周天穎、鄭丁元，2006b，應用半變異元模式於 QuickBird 影像中植生類別分類特性之研究，航測與遙測學刊。（已接受）

魏玲、張文修，2003，基於支援向量機的決策系統知識發現，西安交通大學學報，第 37 卷，

第 10 期，第 995-998 頁。

Boser, B. E., Guyon, I. M. and V. Vapnik. 1992. A training algorithm for optimal margin classifiers.

In Fifth Annual Workshop on Computational Learning Theory, Pittsburgh, ACM.

Cristianini, N. and Shawe-Taylor, J., 2000, An Introduction to Support Vector Machines and Other Kernel–based Learning Methods, Cambridge University Press.

Chica-Olmo, M. and Abarca-Hernández, F., 2000, Computing geostatistical image texture for remotely sensed data classification, Computers

& Geosciences, 26(4): 373-383.

Clarke, K. C., 1986, Computation of the fractal dimension of topographic surfaces using the triangular prism surface area, Computer &

Geosciences, 12(5): 713-722.

Corts, C., Vapnik, V., 1995, Support vector networks.

Machine Learning, 20(3): 273-297.

Fletcher, R., 1987, Practical Method of Optimization, John Wiley and Sons. Inc.

Gustavo, C. V., Luis, G. C., Javier, C. M., Jose, David, M. G., Emilio, S. O., Luis, A. C., and Jose Moreno. 2004, Robust Support Vector Method for Hyperspectral Data Classification

(18)

and Knowledge Discovery, IEEE Transactions on Geoscience and Remote Sensing, Vol. 42, No.

7.

Haralick, R. M., Shaunmugam, K. and Dinstein, I., 1973, Textural features for image classification, IEEE Trans. on Syst., Man, and Cybern, 67:

786-804.

He, D. C., Wang, L. and Guibert, J., 1987, Texture discrimination based on an optimal utilization of texture features, Pattern Recognition, 2:

141-146.

Karush W., 1939, Minima of functions of several variables with inequalities as side constraints, Department of Mathematics, University of Chicago.

Keethi, S. S., Lin, C. J., 2003, Asymptotic behaviors of support vector machine with Gaussian kennel.

Neural Computation, 15(7): 1667-1689.

Kuhn H. and Tucker A., 1951, A nonlinear programming in: Proceedings of 2^nd Berkeley symposium on mathematical statistics and probabilistic, University of California Press.

481-492.

Mahesh, P. and Mather, P. M., 2003, Support vector classifiers for land cover classification. In Map India 2003 Image Processing and Interpretation.

Mahesh, P. and Mather, P. M., 2004, Assessment of the effectiveness of support vector machines for hyperspectral data, Future Generation Computer Systems, 20(7):. 1215 – 1225.

Matsuyama, T., 1980, Structural analysis of natural textures by Fourier transformation. Computer Vision, Graphics and Image Processing, 12:

286-308.

Pohl, C. and Van Genderen, J. L., 1998. Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications, Int. J. Remote Sensing, 19(5): 823- 854.

Vapnik. V., 1998, Statistical learning theory, Wiley Inc.

Vapnik. V. and Chapelle, O., 1999, Bounds on error expectation for SVM, MIT Press.

(19)

Space characteristic classifier of Support Vector Machine for satellite image classification

Tsu-Chiang Lei

¹

Tine-Yin Chou

²

Shiuan Wan

³

Long-She Yang

⁴

Jin-Jia Syu

⁵

ABSTRACT

It is of considerable interest to find an optimal classifier that has been discussed in the field of spatial information. In essence, there are many image classification methods, e.g. Maximum likelihood (MLH), K-nearest…. However, most of the linear classifiers are not capable of handling the complexity and the huge amount of the very high resolution image data. Thus, Support Vector Machine (SVM) is one of the powerful non-linear data mining classifier which is adopting to resolve the classification problems in this study. The high resolution QuickBird satellite images with additional texture information are the study material. The MLH method is used as a parallel study for the comparison on overall accuracy. The contribution of this study found that the overall accuracy of SVM is stable than that of MLH. More specifically, the overall accuracy of SVM is 87.3% (Kappa=

0.8416) which is apparently higher than that of MLH (overall accuracy of SVM is 83.73% with Kappa= 0.7994). On the other hand, SVM can display better classification outcomes in the image pattern of “paddy rice” than that of MLH. In fact, the additional texture information can deal with noise effectively. The study find out that SVM can potentially perform higher image classification ability than the conventional MLH method.

Key Words: Image Classification, Texture Information and Support Vector Machine

1 Assistant Professor, Department of Urban Planning, Feng Chia University

2 Professor and Director, GIS Research Center, Feng Chia University

3 Assistant Professor, Department of Information Management Ling Tung University.

4 Professor and Dean, College of Construct, Feng Chia University

5 Master of Engineering, Environmental and spatial information science and technology, Feng Chia University

Received Date: Apr. 26, 2007 Revised Date: Jun. 29, 2007 Accepted Date: Jul. 02, 2007

空間特徵分類器支援向量機之研究