一個應用於無線網路環境的影像分類平台之開發研究

(1)

一個應用於無線網路環境的影像分類平台之開發研究

李俊宏*、陳俊銘**

國立高雄應用科技大學電機工程系

E-mail : *leechung@mail.ee.kuas.edu.tw; **ht801978@sparqnet.net

摘要

近年來，由於科技的快速發展，數位影像資料的儲存與傳輸產品的進步，造成影像資料急劇增加，使得影像資料庫的管理變得更為重要。隨著無線網路的普及，網際網路的使用不再侷限於建築空間內有限的環境，而可以應用在戶外環境。在此應用環境下可經由數位錄影設備（DVR）取得相關之影像資訊，進行影像資料的分類管理。本研究以四種特徵選取方法包含有 Gabor、HSV（色相、飽和度、明度）、RGB 及 DCT，透過 Support Vector Machines（SVMs）分類器進行影像分類之實驗，並分析四種不同影像類別：汽車、機車、巴士及建築物的實驗結果。從影像分類的實驗過程中，透過 Recall、Precision 與 F1 三種不同的量測方式，比較不同特徵選取方法在影像分類上的效能，以驗證不同特徵於 SVMs 分類器效能之差異。

關鍵詞：網際網路（Internet）、無線網路（Wireless Network）、影像分類（Image Classification）

1 緒論

由於科技的發展，影像資料的儲存與傳輸的方式日新月異，過去影像資料常使用 VCR 錄影卡帶、傳統相機的底片，而現今大都使用電腦硬碟、DVD 光碟片等數位儲存裝置。傳統影像資料傳輸方式只以各種不同接頭的線路將影像資料輸出及備份，在無線傳輸技術的快速發展之下，透過標準規格之無線傳輸協定可以更便捷達成影像資料的傳輸。因此無線接取技術的普及化，帶動了全球網路基礎設施在多媒體（語音、視訊、文字）服務的需求[11]。當網路傳輸技術提升的同時，也帶動多媒體影像資料的增加，加上個人電腦的普及化的因素，使得大眾使用網際網路的機會變得更加頻繁，而透過無線網路環境的各種應用系統，人們可以享有更多、更好的資訊科技服務。資訊科技與通訊網路的結合帶動數位內容產業的蓬勃發展，基於無線網路裝置的可移動

(2)

性以及可隨處存取資料之優勢，影像分類技術將逐漸應用在無線網路的環境。由於目前網路連線速度的提昇，加上數位影像儲存設備的容量一直不斷擴增，越來越多的影音訊息環繞在我們的日常生活中，如何有效管理及使用數位影像資料將是一個不可忽視的問題。

影像資料的分類是一直是資訊檢索（Information Retrieval）中很重要的課題，主要的因素是我們可以從影像資料中找到許多有用的資訊，近來常用的方法，如以內容為基礎的影像檢索（Content-Base Image Retrieval, CBIR）技術，可以使影像資料的存取更為簡化。本文是研究影像特徵在分類上的表現，可對於相關影像內容的分類加以分析。而影像資料的儲存可結合無線網路環境之優點，達到相關影像資訊的查詢功能。

2. 相關研究探討

由於影像資料庫的應用層面很廣，例如：辦公室自動化、電腦輔助設計（CAD/CAM）、醫學影像擷取、指紋辨識系統、交通監視系統車輛偵測、…等等。在這些影像資料庫的應用，典型的查詢如找尋上市公司股價移動的相似性、找尋醫學 X 光照片中是否含有腫瘤（Tumor）的情形，尋找失竊車輛及相關車籍資訊。 2.1 資料前處理 影像資料在存入資料庫前，必須經過一些前處理的工作，才能成為實驗的資料，整理的目的是為了讓系統易於處理資料，這樣的分類才會有效果，這個步驟稱為資料前處理。本章節在介紹影像自動分類系統如何做適當的前處理，使得影像資料可以導入機器學習（Machine Learning）演算法中進行處理。影像物件包含了 N 組資料在經過資料前處理過程（Pre- processing）後，以特徵選取方式經由分類器可將影像資料分成 K 個類別，此過程為影像分類處理流程，如圖 1 所示：圖 1 影像分類處理流程物件前處理特徵選取分類器 k-NN SVMs

Class 1 Class 2 _… Class K

N 資料 M 特徵

(3)

影像資料取得之後，在影像中選取各個元素來代表影像內容之特徵，而一般影像可分為低階特徵（Low-level Feature）及高階特徵（High-level Feature）來表示此內容意義。舉例說明，如：一張圖內容為車子、房子等圖像，這裡低階特徵只能以色彩、紋理、形狀來表達一輛車子、一棟房子，而高階特徵則為一張圖的語意描述（Semantic Expression），像是汽車與建築物的名稱，一般要描述高階特徵是一項艱難的工作，低階與高階特徵之間存在相當大的差距，因此有些影像分類系統除了加上影像之外，也會對該影像作所謂的文字描述註解。例如在高階特徵的例子是，Szummer[6]以 1343 張照片去分類是屬於室內或室外拍攝的影像，其分類系統效能大約在百分之 75 至 86 之間。

2.2 Support Vector Machines 理論

SVMs 是一種以機械學習為核心的技術，文獻上已經有許多的應用，如手寫數字辨識、物件辨識（Object Recognition）、文件分類（Text Classification）及生物資訊（Bioinformatics）等等。SVMs 主要優點是可透過所採用鬆弛變數（Slack Variable）和不同核心函數（Kernel Function）的方法，解決線性不可分割問題。並且將 SVMs 方法應用於影像資料上的分類，透過影像資料的自動化及精確性的分類可以使得影像資料庫更有效的管理。

SVMs 起源於統計學習理論方法中的結構風險最小化（Structural Risk Minimization： SRM），在 1995 年由 Vapnik 及其團隊於 AT&T 的貝爾實驗室（Bell Lab）所發展出來的[9][10]， Vapnik 透過統計方法證明 SVMs 在資料量趨近無限大時，亦可以在有限的次數中找到最佳解。 2.3 線性 SVMs SVMs 是利用現有的二元（Binary）資料為訓練分類器進行未知的資料之判斷，這些已知的資料稱為訓練資料（Training Data），從訓練資料中剔除某些極端的資料，挑選出支持向量（Support Vector）來代表整體的訓練資料集合，然後將這些支持向量包裝成判斷模型，對未知類別屬目之資料進行分類處理。首先我們必須先假設存在一組訓練樣本集合_S如下： } 1 , 1 { , )}, , ( , ), , ( ), , ( ), , {( 1 1 2 2 3 3 ⋅⋅⋅ ∈ ∈ + − = n _i i l l y x R y x y x y x y x S , fori=1,⋅ ⋅⋅,l. (2.1) 其中l _{代表訓練集合}S _{之樣本個數，}n_{為訓練樣本向量之維度，存在一個超平面} （Hyperplane）能將二類訓練樣本完全分隔，該平面描述為： , ) ( ) (x w x b f_H = ⋅ + (2.2) 上式(2.2)中ω代表超平面法向量，根據(2.2)式之決策函數（Decision Function）將二類訓練樣

(4)

本xi分隔， ⎩ ⎨ ⎧ − + = + ⋅ = , 1 , 1 ) ( ) (x sign w x b fD i i _if if , 1 , 1 − = + = i i y y (2.3) 此處 n R w∈ 且b∈R；如果存在(w, )使得所有的樣本b xi均滿足(2.3)不等式之情況下，我們可以將此訓練樣本集合_S稱作可被線性分割。 l i y if y if b x w x f i i i i D 1,2,3, , , 1 , 1 , 1 , 1 ) ( = _L ⎩ ⎨ ⎧ − = − ≤ + = + ≥ + ⋅ = _(2.4) SVMs 分類器由超平面在其最大邊界（Maximal Margin）下將二元訓練樣本完全分隔。所有落在超平面一邊的向量用-1 標示，其它落在另一邊的向量用+1 標示，這些訓練資料存在一個超平面將二元訓練樣本完全分隔，這個超平面向量稱為支持向量。當 SVM 分類器成功的將訓練樣本分成二類後，並且未必是最佳分類結果（Optimal Solution）。SVMs 分類器沿著超平面的垂直方向將二類別邊界（Margin：ρ(w,b)）擴展至最大，使得分類錯誤可能性降到最低，得到唯一最佳解，如圖 2 所示[9]。 w w b x w w b x w b w y x y x 2 ) , (

_min

_max

} 1 : { } 1 : { = + ⋅ − + ⋅ = − = = ρ _(2.5) 圖 2 SVMs 分類器架構[9] Support Vector Margin： w 2 Hyperplane f x( )=(w xr r⋅ + =) b 0 ( ') f x wr

'

x

2 L = f x( )=(w x⋅ + =i b) 1 r r 1

L

= f x( )=(w xr r⋅ +_j b)= −1

(5)

其中w代表超平面法向量（Normal Vector），b代表超平面之偏移量（Bias），將(2.5)式中之最大邊界問題表現如下式： minimize w ⋅w 2 1 subject to yi(w⋅xi +b)≥1, i =1,2,3,L,l (2.6) 2.4 線性不可分割問題

在分類問題中不是所有分類資料集合（Data Set）都能藉由線性分割（Linear Separable）將其有效分割，對於這個問題，SVMs 提供了兩種解決的方法：一是柔性邊界（Soft Margin），另一個是非線性 SVMs。 2.4.1 柔性邊界 SVMs 分類器面對無法線性分割的分類問題時，Vapnik 和 Cotees 於 1995 年提出加入 Slack Variable 變數方法讓 SRM 中，可容許一些訓練上的錯誤來解決線性不可分割問題，如圖 3 所示。假如樣本集合_S在原始空間上無法被線性分割，在不更改原始 SVM 分類器的原則下，加入鬆弛變數ξi於(2.3)式中，其修改後不等式如下： l i y if y if b x w x f i i i i i i D 1,2,3, , , 1 , 1 , 1 , 1 ) ( = _L ⎩ ⎨ ⎧ − = − − ≤ + = − + ≥ + ⋅ = ξ ξ (2.7) 圖 3 加入鬆弛變數後之 SVM 分類器結構示意圖若資料集合中樣本x 在(2.3)式中處於不安定狀態，其對應的鬆弛變數i ξi則會以非零方式出現在(2.7)式中，將所有鬆弛函數加總後可以想像成某種錯誤分類上的測量，並將鬆弛

ξ

H H+ H- Margin

(6)

函數的總和

∑

l_i₌ _i

1ξ 導入線性分割問題(2.6)式，因此可處理線性無法分割的問題：

2.4.2 非線性核心函數

對於真實世界上的問題領域大部份都是屬於非線性結構之類別，如影像處理及文件分類上的問題，此時無法對資料做線性分割。SVMs 分類器在處理這個問題可將初始空間（Original Space）的資料透過向量映射（Mapping）至特徵空間（Feature Space），便可以使其分佈於特徵空間中的向量為線性可分割，如同處理線性可分割問題一樣，透過決策函數（Decision Function）得到一超平面並找出最大邊界，選擇支持向量來做訓練及運算，最後經由超平面將所有的訓練資料分成兩類。

3 研究方法與實驗設計

自動化辨識及分類在各種工程及科學上是很重要的問題，如生物學、心理學、醫學、電腦視覺、人工智慧及遠端感測。特徵是一種屬性、含糊的定義，例如：指紋影像、手寫的草書、人類的面孔或是聲音等。統計特徵辨識（Statistical Pattern Recognition）方法已經有一些成功設計在商業用途的辨識系統，其辨識系統以兩個數學模型來運算：一個是訓練（學習），另一個是分類（測試）[4]，如圖 4 所示：

圖 4 統計特徵辨識模型[4]

特徵選取（Feature Extraction）後的重要工作是將物件分類成幾個大類，可分成兩種分類方法：一種是教導型學習（Supervised Learning）方法，例如：決策樹（Decision Tree）及統計分類（Statistical Classification），另一種是無教導型學習（Unsupervised Learning）或是分群（Clustering）方法，例如：相似性量測（Similarity Measure）。經由 TCP/IP 網路協定來傳輸戶外攝影機所取得的監控影像到影像伺服器後，透過影像特徵選取將影像分類及分析，本論文的實驗是以特徵分類程式，將 Gabor、RGB、HSV 及 test pattern training pattern Feature Measurement Feature Extraction / Selection Classification Learning Preprocessing Preprocessing Classification Training

(7)

DCT 等之影像特徵數值經由 SVMdark 程式，進行 SVMs 影像分類分析。

4. 實驗結果與分析

本研究實驗是以不同的特徵選取以及調整不同之 C 值（Slack Variable）來比較 SVMs 分類器效能的差異性，實驗步驟是以汽車類影像分別與不同類別進行個別的分類，由數據探討出不同的特徵選取的效能差異。本研究使用資訊檢索理論當中所使用之精確度計算方法，分別為檢出率（Recall）、精確率（Precision）以及 F1 的測量作為效能上的指標。一般分類器效能的量測方法除了取決於系統運算能力之外，對於分類器在運算的正確率也是重要的效能評估指標，在資訊檢索領域中評估分類器效能的方法主要透過以下三個評估值來衡量：檢出率、精確率及 F1 量測值，而分類系統將資料分類的情況，如表 1 所示。表 1 分類系統可能之分類情況其中： A：分類正確之資料集合 B：符合分類要求，但是沒被系統擷取出的資料 C：不符合分類要求，但被系統納入正確類別之資料集合 D：不符合分類要求，且沒被系統擷取出的資料 Recall（檢出率）= A A+B (2.8) Precision（精確率）= A A C+ (2.9) 1 Precision Recall 2 ( ) Precision Recall F = × × + 測試值 (2.10) +1 －1 +1 －1 A B C D 系統分類實際資料

(8)

在影像類別的選擇過程，由於採用的影像資料是由交通路口的數位錄影影像檔中擷取出來的，其主要的影像物件為交通工具，因此採用人工方法取得圖形類別，共分為汽車、機車、巴士、空中鳥瞰（建築物）等四大類別。圖 5 至圖 7 採用汽車類與機車類之實驗數據在不同特徵選取時所表現的比較圖，其中參數 C 值為 1 至 100。從實驗的 Accuracy 數據（測試資料之總數量與分類正確數量的比率）可以了解 Gabor 特徵在分類的效果略比 HSV 及 RGB 特徵為佳，且 DCT 特徵的分類效果明顯較低。本研究在實驗圖表中也發現在不同的 C 值（Slack Variable）調整會造成分類效能的變化，並且當 C 值介於 1 與 10 之間時，分類效能的量測值會越好。圖 5 不同特徵上的 Precision 比較 Feature 50 60 70 80 90 100 110 1 10 50 100 C=1~100 R ecal l (% ) Gabor RGB HSV DCT 圖 6 不同特徵上的 Recall 比較 Feature 50 60 70 80 90 100 1 10 50 100 C=1~100 P reci si on (% ) _Gabor RGB HSV DCT

(9)

Feature 50 60 70 80 90 100 1 10 50 100 C=1~100 F1 ( % ) Gabor RGB HSV DCT 圖 7 不同特徵上的 F1 比較

5. 結論與討論

5.1 本研究與無線網路應用相關性 無線網路與有線網路最大的差異就在於傳輸媒介的不同，並且無線網路具有高移動性的優勢，可提昇網路建置的彈性。由於無線網路是透過無線電波在空氣中傳遞資訊，與有線網路相比較少了實體線路的成本，因此在影像傳輸相關應用上會基於傳輸成本的因素而採用無線網路之系統架構。在許多無線寬頻應用系統中常見的影像系統，如：環保生態監控、即時影像傳送及交通治安監控等系統，皆經由無線設備來傳輸影像資料。在治安保全應用方面，一般監視攝影機是警察機關、保全公司及住宅社區廣泛使用的監視器材，但因價格因素，多半屬於在重點監視的性質。由於 IP 網路攝影機的技術發展成熟，比起傳統的監視攝影機價格便宜許多，目前已廣泛應用在住宅社區保全上。近來在治安監控的需求因素之下，由工業局所推動的行動台灣計劃中，已經有數家保全公司共同參與此計劃，推動監控保全、行動照護等整合服務。影像系統可經由無線網路或有線網路設備來傳輸影像資料，兩者之差異在於影像系統對於傳輸及錄影之影像品質要求的不同，因此本研究以目前應用於無線網路環境之影像系統為研究架構，探討此應用環境下之影像分類的效能，進而分析影像分類在特徵選取時的策略。 5.2 研究結論 基於無線網路環境的特性，可以將影像儲存設備安置於公共設施的空間，除了可以取得多元類型的影像資料之外，並可透過區域網路取得即時的影像資訊。由於目前無線網路應用服務的發展仍屬於公共工程的建設，除了學術單位建立的校園網路之外，M-Taiwan 計畫也是各家資訊與通訊業者致力開拓的市場。網路系統建置的目的在於提供使用者相關的應用服

(10)

務，當多媒體應用服務越來越多後，也代表相關的影像資料量將會相對提昇，基於這方面實務應用上的需求，本研究探討影像資料的分類，有助於影像資料的分類管理。本研究提出影像分類之特徵選取方法，經實驗分析與討論後，其主要的貢獻如下： (1) 影像分類效能之比較本研究顯示影像分類之特徵選取策略及方法，如：Gabor、HSV、DCT 與 RGB 等，可以應用在交通監視影像資料的分類功能上，並研究不同特徵選取在 SVMs 分類演算法上的實驗結果。數據顯示 Gabor 的特徵選取較其它特徵之分類效能為佳，而 HSV 特徵與 RGB 特徵的分類效能相近，但 DCT 特徵的分類效能較低。本研究採用四種不同的特徵選取方式，因特徵選取方式的不同，所計算的特徵維度數量也會不同，例如 Gabor 轉換的特徵維度只需 4 組，而 HSV 色彩模型卻需達 256 組。因此，這將對於大型影像資料庫的特徵選取時，效能上會有明顯的差異。因 Gabor 轉換所需要使用的特徵向量較少的情況下，所以 Gabor 轉換的特徵選取方法常使用在解決人臉辨識及車輛偵測（Vehicle Detection）的問題領域上[8][15]。 (2) 無線網路環境之應用在無線網路環境下傳輸數位影像時，由於受限於網路傳輸頻寬不穩定的特性，因此在此應用環境與一般在有線網路環境下所取得的影像樣本不同，在影像品質上會因為影像失真而有所差異。以本研究的實驗為例，可以了解在影像品質不理想的情況下，仍可透過色彩或紋理特徵進行影像分類的工作，這樣的實驗結果有助於了解影像分類對於處理資料壓縮或失真影像的特徵選取與分類效能之特性。另一方面本研究以無線網路環境之交通監視影像做為個案研討，由於監視影像的資料隱含了許多交通方面的相關資訊，如果能探究其影像內容的真正意含，此將有助於應用在交通影像資料之分類管理。 5.3 未來研究方向 未來之研究方向如下： (1) 影像資料無線傳輸架構由於 WiFi 無線網路使用在 2.4GHz 波段，屬於低功率的開放（Unlicensed）頻段，因為相關的軟硬體設備發展成熟，是一種較低成本的軟體開發平台，由於無線網路具有低成本的傳輸建置費用的特性，此特性有助於提昇無線網路的涵蓋率。因此各家 WISP （Wireless Internet Service Provider）業者如中華電信、亞太寬頻電信及台灣固網等在各大都會地區建置了許多的 WiFi 無線上網熱點，由於使用時不需透過實體網路線路就可以連上網際網路，對於旅遊或是出差的使用者相當方便。

(11)

Interoperability for Microwave Access）無線寬頻上網服務，基於治安監控的需求以及考量無線網路低成本的頻寬因素之下，影像資料在無線傳輸的應用服務會漸漸增加，未來可以朝 WiMAX 無線寬頻系統架構做影像分類的研究。 (2) 影像過濾器經由各種不同影像特徵分類器的結合，可以更精確過濾出使用者希望找尋的影像資料，這方面的技術將可應用在影像資料庫的分類管理以及網路搜尋引擎後端的資訊過濾。 (3) 其他影像應用領域除了應用於交通治安維護的監視影像，SVMs 影像分類也可以應用於多媒體文件、指紋影像及醫學影像的辨識及分類上，而這方面的研究也符合影像資訊分類與辨識的應用範圍，未來將從這些方面著手來研究。

參考文獻

[1] Burges, C., “A tutorial on support vector machines for pattern recognition”, Data Mining and

Knowledge Discovery, Vol. 2, 1998, pp. 121–167.

[2] Goh, K.-S., E. Chang and K.-T. Cheng, “SVM Binary Classifier Ensembles for Image Classification”, Proceedings of the tenth international conference on Information and

knowledge management, 2001, pp. 395-402.

[3] Wang, J., J. Li, and G. Wiederhold, “Simplicity: Semantics-sensitive integrated matching for picture libraries”, ACM Multimedia Conference, 2000.

[4] Mao, J. D., “Statistical Pattern Recognition: A Review”, IEEE Tran. on Pattern Analysis and

Machine Intelligence, Jan. 2000.

[5] Deb, S. and Y. Zhang, “An Overview of Content-based Image Retrieval Techniques”, 18th

International Conference on Advanced Information Networking and Applications (AINA 2004), 2004, pp. 29-31.

[6] Szummer, M. and R. W. Picard, “Indoor-Outdoor Image Classification”, IEEE International

Workshop on Content-Based Access of Image and Video Databases, 1998, pp. 42-51,

[7] Manjunath, B. S. and W. Y. Ma, “Texture Features for Browsing and Retrieval of Image Data”,

IEEE Trans. On Pattern Analysis and Machine Learning, 1996.

[8] Yuan, X., Z. Sun, Y. Varol, and G. Bebis, “A Distributed Visual Surveillance System”, IEEE

Conference on Advanced Video and Signal Based Surveillance, 2003, pp.199-204. [9] Vapnik, V. N., “Statistical Learning Theory”, Wiley, 1998.

[10] Viadimir N. Vapnik, “An Overview of Statistical Learning Theory”, IEEE Trans. on Neural

Networks,Vol. 10, No. 5,Sept. 1999.

[11] Banerjee, N., W. Wu, S. K. Das, S. Dawkins and J. Ppthak, “Mobility Support In Wireless Internet”, IEEE Wireless Communications, 2003.

(12)

[12] Hermes, T., A. Miene and O. Moehrke, “Automatic Texture Classification by Visual Properties”, Classification and Information Processing at the Turn of the Millenium, pp. 219- 226, Bielefeld, Germany, March 2000.

[13] Manjunath, B. S., J. R. Ohm, V. V. Vasudevan and A. Yamada, “Color and Texture descriptors”,

IEEE Trans. Circuits and Systems for Video Technology, Vol. 11, Iss. 6, 2001, pp. 703-715. [14] Vidya V. and R. Vásquez, “Gabor Approach to Color and Texture Based Image Classification”,

Computing Research Conference, 2002.

[15] Sun, Z., G. Bebis, and R. Miller, “On-road Vehicle Detection Using Evolutionary Gabor Filter Optimization”, IEEE Transactions on Intelligent Transportation Systems, Vol. 6, No. 2, 2005, pp. 125-137.

[16] Zhang, D., A. Wong, M. Indrawan, and G. Lu, “Content-based Image Retrieval Using Gabor Texture Features”, IEEE First Pacific-Rim Conference on Multimedia, 2000, pp. 392-395. [17] 徐豐智，Support Vector Machines 分類技術應用於文件相關性量測之探討，高雄應用科技

大學電機工程系，碩士論文，2005 年。

[18] 洪金程，Support Vector Machines 技術應用於以 MPEG-7 為主的影像文件自動分類之探討，高雄應用科技大學電機工程系，碩士論文，2005 年。

一個應用於無線網路環境的影像分類平台之開發研究