使用部份區域特徵解決遮蔽物件的辨識系統

國 立 交 通 大 學

電機與控制工程研究所

碩 士 論 文

使用部份區域特徵解決遮蔽物件的

辨識系統

The Occluded Object Recognition System

Using Partial Shape Features

研 究 生： 陳 弘 齡

辨識系統

The Occluded Object Recognition System Using

Partial Shape Features

研 究 生：陳弘齡 Student： Hon-Lin Chen 指導教授：胡竹生 Advisor：Dr. Jwu-Shen Hu 國 立 交 通 大 學 電機與控制工程研究所 碩 士 論 文 A Thesis

Submitted to Department of Electrical and Control Engineering College of Electrical Engineering and Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical and Control Engineering

July 2007

Hsinchu, Taiwan, Republic of China

使用部份區域特徵解決遮蔽物件的辨識系統

研究生：陳弘齡 指導教授：胡竹生博士 國立交通大學 電機與控制工程研究所碩士班

摘要

在一般的生活情形下，物體遮蔽的問題總是發生在日常生活中，總是不易得到一完 整無缺的物件影像，在只得到遮蔽物件的情況下，本論文利用 2D 影像資訊為基礎解 決物遮蔽的辨識問題，進而了解受遮蔽的部份。此一系統利用混合高斯機率模型建 構背景模型，對目前影像做背景濾除以取得前景，並利用簡單的邊緣偵測法找出物 件的輪廓當其重要的資訊。在得到輪廓的資訊後，為了得到辨識遮蔽物件的能力， 必須將輪廓的完整資訊分割成多塊輪廓的部份資訊，如此便可克服部份輪廓被遮蔽 所受的影響。在此分析一些切割技術的理論與作法以及各方式的優缺點，以及說明 所選用的非參數顯著點偵測法經過改進後的效果。在物件辨識系統的辨識階段所採 用的方法，由於已經對輪廓進行切割，所以不再是一對一的做完整比對，而是要對 每一物件所切出來的多個特徵做階層式的比對。在辨識出正確物件後再進而找出哪 部份被遮蔽。最後以實驗結果說明此系統的效能，以及探討其優缺點和該改進的地

Shape Features

Student：Hon-Lin Chen Advisor：Dr. Jwu-Shen Hu Institute of Electrical and Control Engineering

National Chiao-Tung University

Abstract

In this thesis, an occluded object recognition system based on partial shape feature is proposed and implemented. The foreground image of object is acquired by the background model built by Gaussian Mixture Model method. We applied the simple Edge Detection to obtain the contour of the foreground as the input of the occluded object recognition system. In order to recognize the occluded object, we must split the complete contour to many partial contours. Hence we will overcome the effect of occlusion. We analyze some split technology and compare the advantage and drawback. We propose an improved non-parameter dominant point detection system and experiment. In the recognition stage, we will use hierarchical compared system. After recognize the correct object, we try to find the occluded part of object. Lastly, we list the results of experiments and discuss the advance of the system.

致謝

隨著本論文的完成，碩士兩年生涯亦即將結束。首先，感謝指導教授胡竹生博 士的指導，從老師身上深深感受到對研究的熱情與企圖心，並如何以不ㄧ樣的思維 來思考及解決問題的態度與方法，了解要為自己的研究負責，使得本論文得以順利 完成。 感謝有實驗室眾多學長姐、同學和學弟妹的陪伴與協助，使研究生活添加不少 回憶及成長。在此要特別感謝宗敏學長的帶領與教誨，要不是學長對進度的要求甚 嚴，否則現在的我應該為了如何畢業而苦惱著，雖然很多時候沒有達到學長的要求 而惹他生氣，但是我知道學長是為了我好而當起了黑臉的角色，真的是很感謝宗敏 學長對我的照顧以及辛勞。感謝維翰學長帶我進入重量訓練的世界，讓身我軟腳蝦 的我也能看起來很壯。感謝楷祥和 papa 教我打桌球，讓我對桌球產生了莫大的興 趣。感謝鏗元學姐讓我懂了一件事，原來冰了一星期的便當微波後還是可以吃的。 感謝佳興學長總是在我失志的時候給我鼓勵，希望未來你能像自己的名字一樣，不 斷加薪。再來要感謝實驗室的其他朋友們，大家總是能在我無助之時提供我寶貴意 見，或是我心情低落時帶給歡樂。不會忘記大家一起熬夜拼作業拼論文還有玩樂的 日子。謝謝這兩年大家給我的鼓勵與陪伴。 另外，深深感謝我最愛的家人ㄧ直給予我的鼓勵與關懷，讓我能無後顧之憂地 完成學業。感謝遠在美國的喬絲對我的支持，雖然你不在身邊，但是妳的一封信卻 是我走下去的最大精神支柱。兩年的交大生活，我收穫很多也很慶幸有如此的生活 經歷。最後，在此謹以本論文向所有幫助過我的人獻上最誠摯的謝意。

摘要... III ABSTRACT ... IV 致謝... V 目錄... VI 表目錄... VIII 圖目錄... IX 第一章 緒論...1 1.1 研究動機與背景...1 1.2 遮蔽對整體資訊的影響...1 1.3 相關研究回顧...2 1.4 論文主題與貢獻...6 1.5 章節概要...7 第二章 擷取 2D 影像中物件輪廓之方法 ...8 2.1 前背景分離...8 2.1.1 高斯混合模型的背景建立...8 2.1.2 以顏色為基礎之背景濾除[7]...9 2.1.3 以梯度為基礎的背景濾除...10 2.1.4 區域階層處理 ... 11 2.1.5 陰影濾除 ...12

2.2 邊緣偵測法(EDGE DETECTION) ...15

2.3 前處理...16

2.3.1 點數取樣 (Sample)與大小正規化 (Scale) ...16

2.3.2 點間距相等 (Equal Distance) ...17

第三章 顯著點偵測法之分析(DOMINANT POINTS DETECTION) ...20

3.1 直接曲率偵測法 (DIRECT CURVATURE ESTIMATION)...21

3.2 顯著量測演算法 (SIGNIFICANT MEASURE ALGORITHM)...22

3.3 顯著點偵測系統(DOMINANT POINTS DETECTION) ...24

3.3.1 支持範圍(Region of support) ...24

3.3.2 計算點的強度(Node strength)以及重新排列...25

3.3.3 形狀的覆蓋(Shape covering)...27

4.1 傅利葉運算子(FOURIER DESCRIPTORS)...33

4.2 幾何關係(GEOMETRY RELATION) ...34

4.3 角度和長度比(ANGLE AND RATIO OF LENGTH) ...36

第五章 辨識系統(RECOGNITION SYSTEM)...38 5.1 單一區塊的匹配(SEGMENT MATCHING)...38 5.2 團體匹配(GROUP MATCHING) ...39 5.3 遮蔽區域的標示...41 第六章 實驗流程與結果 ...43 6.1 實驗平台...43 6.2 系統架構...44 6.3 實驗結果...44 6.4 討論...52 第七章 討論與未來研究方法 ...54 參考文獻...55

表1.相同條件下的未知物件與資料庫的辨識率 ...46

表2.旋轉物件的辨識率 ...48

表3.輸入物件比例縮小的辨識率 ...49

表4.約 20%遮蔽的物件辨識率 ...51

圖目錄

圖 1.傅利葉運算子在(b)旋轉、(c)雜訊以及(d)遮蔽下的影響。 ...2 圖 2.完整的飛機影像輪廓以及部份切割後的飛機輪廓。...4 圖3.階數為 3 的類神經網路系統。 ...4 圖4.陰影濾除方法中，像素分類的示意圖 ...13 圖5.二維空間中根據斜率的關係做像素的分類 ...13 圖6.背景濾除系統架構圖 ...14 圖7.背景濾除的結果(a)原始影像(b)陰影濾除(藍色:前景,紅色:陰影,綠色: 強光)...15 圖8.影像處理中擴張(dilation)的說明例子。 ...15 圖9.影像處理中侵蝕(erosion)的說明例子。...15 圖10.邊緣擷取的說明圖。 ...16 圖11.輪廓平移示意圖。 ...17 圖12.點間距的三種可能內插模式。 ...19

圖13.(a)Freeman’s chain codes (b)利用 Freeman’s 系列碼偵測的分離點(白點)23 圖14.計算右邊支持範圍的例子。 ...25 圖15.計算 點強度的例子 ...26 圖16.花的圖形中，強度為前 20 的表示點 ...26 圖17.形狀覆蓋的程序說明 ...28 圖18.(a)正確的輪廓及偵測出的顯著點 (b)受雜訊影響的輪廓並誤判 p 點為 顯著點。...29 圖19.本論文顯著點偵測演算法與其它演算法的結果比較 ...30 圖20.本論文顯著點偵測演算法與其它演算法的結果比較 ...31 圖21.以本論文顯著點偵測法所偵測出的顯著點的範例 ...32 圖22.(a)完整的飛機影像輪廓以及(b)切割後的飛機輪廓。 ...34 圖23.連結方向的代碼 ...34 圖24.(a)原始輪廓(b)POL 特徵說明 ...35 圖25.角度與長度比的特徵說明 ...36 圖26.(a)單一區塊匹配的記錄範例(b)團體匹配範例(c)團體匹配範例...40 圖27.辨識系統的流程圖 ...41 圖28.偵測遮蔽區域的說明圖 ...42

圖29.左為 Sony EVI-D70 的 PTZ 攝影、右為 Leutron Vision 的影像擷取卡 Picprodigy...43

圖30.系統流程圖 ...44

圖35. 圖 34 經顯著點偵測法所偵測到的顯著點 ...47 圖36.利用不同拍攝距離取出的不同大小的範例圖 ...48 圖37. 圖 36 經顯著點偵測法所偵測到的顯著點 ...49 圖38.手動處理的遮蔽物件的例子 ...50 圖39. 圖 38 經顯著點偵測法所偵測到的顯著點 ...50 圖40. 圖 38 所偵測到的遮蔽部份 ...52

研究動機與背景

第一章 緒論

1.1 研究動機與背景

在現今社會中，由於生育率的降低以及高齡化社會的來臨，社會中老年人 越來越多，而中年人必須在外工作，並沒有太多的時間可以照顧家中老年人的， 此時家中如有老年人失足受傷而昏迷時，出門在外的家人一定無法得知家中有 事情發生。此時如果有個系統能辨識出家中老人處在不適當的狀態下，經過網 路通訊讓在外的家人得知消息而盡快回家，必能將傷害減至最低。此系統就是 數位家庭(Digital Home)中的一環重要技術。 就人而言是如何得知有人受傷而倒地的呢，當然是視覺所提供重要資訊。 在此就利用視覺的資訊為主要的輸入進行擷取特徵與辨識。但是在現實生活中 總是會遇到一個重要的問題，這問題就是＂遮蔽＂，在家中走動，人身體的某 部份總是會被家具或是牆壁遮擋掉部份，其遮蔽的情況又是無限多種，不可能 將所有的遮蔽情形都建成資料庫進行比對、判斷姿態。那麼如何利用完整的物 體建立資料庫，又能有效的辨識被遮蔽的物體狀況呢？這就是此篇論文的重點 了。 由於人體是屬於非剛體的，雖然是同一姿態卻不盡相同，在此先把問題簡 化至剛體進行辨識，在達到某一辨識效果時再應用於人體姿態的辨識上，所以 以下辨識的重點著重在剛體物件的辨識上。

1.2 遮蔽對整體資訊的影響

本實驗室之前所發展的人體姿態辨識系統[37]，先利用背景濾除技術取出 前景輪廓，再從整體輪廓中取等距離的N個坐標點轉傅利葉運算子(Fourier Descriptors)，再取頻域中的前後各 20 個係數當成特徵進行辨識，但是此系統無

說明。圖1(a)為一個原始飛機的圖以及利用完整輪廓計算出的傅利葉運算子， 圖1(b)(c)為原圖經過旋轉以及加入雜訊的圖，從圖中可看出傅利葉運算子可以 克服旋轉以及雜訊影響，但是在遮蔽的情況下(如圖 1(d))，利用完整輪廓所計算 出的傅利葉運算子已完全不同，所以遮蔽對於傅利葉運算子的影響甚大。其實 遮蔽不只對傅利葉運算子有影響，主要是因為本身輪廓已經變形，所以特徵的 擷取也跟著改變，既然遮蔽對特徵的影響是不可避免的，所以使用整體資訊為 特徵已無法克服遮蔽所帶來的影響。 (a) (b) (c) (d) 圖 1.傅利葉運算子在(b)旋轉、(c)雜訊以及(d)遮蔽下的影響。

1.3 相關研究回顧

在影像處理的辨識中，人們通常使用整體資訊(Global information)當特徵進 行辨識，但是使用整體資訊便已對此系統有了限制，那就是此系統不能工作於 物體被遮蔽的情況之下，當物體被遮蔽時，其擷取出的特徵必定變形，再與資 料庫比對必定出現錯誤的結果，大大降低了辨識率。那麼如何解決遮蔽的問題？ John W.[2]就提出了將整體資訊進行切割成多個部份資訊(Local information)進 行比對，因為切成多個部份特徵，所以運算量必定大於整體資訊的運算量，但 是部份特徵卻能解決遮蔽所帶來的問題，只要能忽略被遮蔽的資訊，將未被遮 蔽的部份資訊與資料庫相比(資料庫也是由區塊資訊所建構)，如此就能判斷出 正確的物件。雖然犧牲了計算量，但是確實讓系統更加的聰明與健全。所以再

相關研究回顧 來的重點是有哪些方法可以拿來辨識區塊資訊，以及哪些方法可以降低運算量 又兼顧辨識的準確性。 遮蔽解決方式的重點在於將特徵資訊區塊化，利用區塊特徵辨識取代全域 特徵的辨識，只要系統架構中是採用區域特徵(Local Feature)，那麼此系統對遮 蔽的問題就有基本的處理能力了。至於特徵的選用與辨識的方法便是眾說紛 紜，以下就敘述一些方式： 1. 傅利葉描述子(Fourier Descriptors)：

由John W. , O. Robert 所提出的方法[2]，他將擷取出的完整輪廓(contour)裁 剪成一堆輪廓的集合(如圖 2)，其作法是使用Ramer[3]所提出的方式，裁剪出 來的小輪廓皆是由兩個頂點以及一個角度所組成，因為角度是一個很重要的資 訊。下一步就是將這些小輪廓交給傅利葉描述子計算得到傅利葉描述子的係 數，這些係數便是辨識的依據。其傅利葉描述子係數的計算式子如下： 0 ] [ 4 1 ) / 2 ( ) / 2 ( 2 2 1 ≠ − Δ Δ =

∑

= − − − n e e t n T c K p t T n i t T n i p p n p p π π γ π (1-1) ) 2 1 ( 1 1 1 0 p K p p p t T c =

∑

Δ + Δ = − γ γ (1-2) 其中

∑

= = Δ = p i i p t t t 1 0 , 0 K是部份資訊的總數 k t T = 是輪廓的週期數 此作法的好處在於使用初始化(Normalize)的傅利葉描述子可以確保對影像 的大小(scale)、旋轉(rotation)、以及輪廓起始點(translation)的不變性，以及系統 本身對於旋轉有克制的能力，以上是本系統最大的優點。缺點是在資料的比對

運算量更是驚人[4] 圖 2.完整的飛機影像輪廓以及部份切割後的飛機輪廓。 2. 類神經網路(Neural Network)： 類神經網路本身便有一特性，便是多對一輸出的特性，此一特性正好符合 多個區域特徵的輸入，以及單一個辨識結果的輸出，如圖 3 所示。N. Zheng, Y. Li,[5]便是利用此特性，將類神經網路系統應用在遮蔽的物件辨識上。本篇論文 是利用線段和弧線的組成來近似所得到的輪廓，將組成後的角(corner)表示成一 個由 8 個成份組成的向量 a，a 由(a1…a8)所組成，將 a1…a8 當成類神經網路的 輸入(圖3 中的 layer1)

相關研究回顧 Layer1 所代表的意思是角特徵的輸入點，也就是 a 向量的輸入，所以圖中 的N=8 是固定的。將輸入與 M 中每個點的特徵比較取最小值，並將此最相近 的Mi點設為1，經過 P 次(一物件分 K 個部份)的計算後，可以得到 Layer2 的 資訊。Layer2 所代表的意思是資料庫中所有物件的角的特徵，也不會全部都列 進去，因為部份的角特徵太相近，可以當成一個特徵使用。Layer3 所代表的意 思就是最後的辨識結果，假設資料庫有8 個物件，那麼 C 就等於 8。Layer3 的 結果只有一個點(node)會顯示為 1，其餘皆顯示 0。判斷的依據是依 Layer2 中屬 於哪一個物件的旗標最多就是結果。優點為特徵與影像物件的位置(Location)以 及大小(Size)無關，而且對於旋轉(rotation)與轉移(translation)關係不大。缺點為 因為每個物件中的一個部份就要跟整個Layer2 比對，一個物件本身又有很多個 部份，所以運算量也是相當龐大。 3. 小波轉換(Wavelet)：

Tiehu Du, K. B. Lim 所提出的方法[6]，此作法跟傅利葉描述子類似，都是將 資訊轉換到頻域取係數當成辨識的依據，其使用的原始資訊是輪廓為基礎，將 切割後的輪廓由128 個點表示，其基本轉換與逆轉換如式(1-3)所示，再將 f(x)轉 換成式(1-4)的形式就可分出 scaling(C)和 wavelet(d)的係數。將得到的係數依 x, y 軸排列成如式(1-5)所示的形式，稱式(1-5)為特徵矩陣(Feature Matrix)，此 式(1-5)為 3 階的小波分解。此方法有個極大的好處在於此系統可以階層式 (hierarchical)比對，先比對每個部份的C，比對的方程式如式(1-6)所示，如果C 滿足才進而比對d。優點為經過一些前處理可以得到一些特性，像是轉移、旋 轉、比例(scaling)的不變性，最大的優點在於因為使用階層式比對，所以大大減 少辨識的次數，減少運算量。

∫

−∞∞ − = Γ dx s x x f s( ) ( ) *( ) τ ϕ τ (1-3)

∑

∑

∈ − − ∈ − − − − − − − − − − − − − − − − + + = + + + + = + + + = + + = + = z j j k k z j j k k k k k k k k k k k k k k k k k d c g g g g f g g g f g g f g f f ... , 4 4 , 4 4 1 2 3 4 4 1 2 3 3 1 2 2 1 1 ϕ φ (1-4) ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ny nx nx nx nx y x x x y x x x ny nx y x y x n d d d c d d d c d d d c d d d c d d d c d d d c F F F F F F F F F F 3 ny 2 ny 1 ny 1 3 2 1 1 2 3 2y 2 2y 1 2y 1 2 3 2 2 2 1 2x 1 1 3 1y 2 1y 1 1y 1 1 3 1 2 1 1 1x 1 2 2 1 1 2 1 M M M M M M (1-5)

∑

= − + − = − h j y k v k k v k v c c x c c c c 1 1 1 1 1 1 || (| | | | ) || (1-6) 整合以上幾個方法，都是需要一定的運算量，其系統中必定要有旋轉、轉 移、比例不變之特性，這些特性對於一個聰明且健全的系統是必要的。由於本 論文最後要找出物件遮蔽的方位，所以選擇了角度(angle)與長度比(ratio of length)當重要特徵，經過一些三角轉換以及與資料庫的比對可以找出被遮蔽的 區域。

1.4 論文主題與貢獻

本論文建立一個以影像形狀為基礎的物件辨識系統。此一系統利用混合高 斯機率模型建構背景模型，對原始影像做背景濾除以取得前景，再利用簡單方 法擷取物件輪廓當最初的特徵。此系統為了將一完整的輪廓切割成多個部份輪 廓資訊，而此切割動作也是此系統最重要的地方，所以列出了幾個顯著點偵測 法的理論與實驗結果以及優缺點的比較，最後提出經過改善的非參數顯著點偵

章節概要

測法，其抗雜訊的效能上也較佳。利用顯著點偵測法(dominant points detection) 找出輪廓中所有顯著的點，利用這些顯著點進行切割與組合得到進一步的區塊 特徵資訊(Local feature)進行資料庫的建立以及辨識的動作。其辨識階段不再是 物件一對一的做完整比對，而是要對每一物件經過切割後所得到的多個特徵做 階層式的比對(hierarchical matching)。 本論文利用完整無遮蔽的物件，經過分割後取其區域特徵資訊建立資料 庫，實現了當物件遭到不明物體遮蔽時必定失去了部份的重要資訊下，也能正 確的辨識出其正確的物體，並且抓出此物件被遮蔽的部份。

1.5 章節概要

本篇論文的組織架構簡述如下： 第二章：說明如何在一室內環境，藉由建構一動態背景模型以背景濾除演 算法來偵測前景區域，並對此前景區域以簡單的輪廓偵測法找出 所有輪廓的點，再經由正規化的前處理，以取得合理的物體輪廓 資訊，再將此資訊做進一步的處理。 第三章：討論有關輪廓切割的技術，也就是如何找到輪廓中顯著而重要的 表示點(轉角)。在此討論幾個切割的技術以及比較優缺點，還有 最後選擇的非參數顯著點偵測法效果以及改進的方法。 第四章：探討進行辨識所擷取的特徵，如何從切割後的輪廓得到這些特徵， 以及過去相關研究中所選取的特徵說明。 第五章：探討系統的辨識部份，利用不同特徵做階層式(hierarchical)的辨 識，降低運算量，提高效率。 第六章：提出實驗數據與結果進行討論。 第七章：對於本論文做總結，並提出未來可以繼續發展的方向。

第二章 擷取 2D 影像中物件輪廓之方法

2.1 前背景分離

為了偵測物體在環境中的位置，有一個很重要的前處理步驟，就是如何將 物件(前景)完整且有效率的從影像中分離出來，稱之為背景濾除(Background Subtraction)。[38]提出了一個完整的背景濾除系統，本實驗主題將沿用此背景 濾除架構下發展物件辨識，故詳細演算法請參閱[38]。此背景濾除架構主要針 對動態的環境變化，利用GMM 的方法建立背景的模型，且可以藉由連續影像 之間活動的程度，來調整更新背景模型的速度；在前景與背景的判斷部分，因 採用結合顏色與梯度的GMM 統計資訊，做階層式的處理，可降低單純以顏色 做判斷所造成的誤差。並提出了結合短期和長期模型的陰影濾除機制，減少因 光影變化造成的前景誤判，提高階層式處理的正確性。 2.1.1 高斯混合模型的背景建立 高斯混合模型(GMM)是背景濾除研究上一種常用來建立背景影像模型的 方法，因為影像的像素值是不固定的，一個高斯混合模型具有三個參數，分別 是混合加權值、平均值向量以及共變異矩陣，將這些參數集合起來並賦予新的 符號，如下所示： M i w i i i, , }, 1,2,..., { = = μ

∑

λ (2-1) 其中wi表示混合加權值，μi表示平均向量，

∑

_i 表示共變異矩陣，而 M 則是高斯 分佈的個數。若我們的資料XN ={X1,X2,...,Xn}在D 維空間中分佈，其高斯混合模 型的相似度表示如下：

∑

= = M i N i i N w g x x p 1 ) ( ) | ( λ ) ( ) ( 2 1 1 i i T i x x D=− −μ Σ− −μ (2-2) D i D i x e g _{/2 1/2} | | ) 2 ( 1 ) ( Σ = π

前背景分離 其中gi(x)為第i 個高斯分佈的密度函數，而混合加權值也必須滿足 1 1 =

∑

= M i i w 的條 件。GMM 建立的整個流程是先將 N 個資料點，經過 K 平均值分類法(K-means) 後得到初始的參數，再由EM 演算法進行參數的更新，並計算新的 likelihood 值，如此不斷地疊代，不斷地更新模型的參數，直到likelihood 的值已經沒什麼 變動，或是疊代的次數超過某個門檻值，才停止疊代。 2.1.2 以顏色為基礎之背景濾除[7] 當有一張新的影像進來，以像素為單位，與該像素點的高斯混合分佈進行 比對，判斷此像素是否為前景。首先要決定哪些高斯能代表目前的背景，不同 的高斯代表不同的顏色分佈，比重越大、變異數越小的高斯分佈，越能代表背 景的顏色分佈，因此定義一個特性叫fitness=(比重/變異數)，根據 fitness 的值， 由大到小重新排列高斯的分佈，並找出滿足下式的前B 個分佈，來代表目前的 背景： , , 1 arg

_min

( b t k ) i j b k B w T = =

∑

> (2-3) 上式中的T 代表背景佔整個高斯混合模型的最小比重，當 T 取的太小，則 背景可能只是單一模型(Uni-modal)，也就是說可能只取比重最大的高斯來當做 背景；相反地，T 取的越大，越多的高斯能併入背景，背景能容許的顏色分佈 就越多。決定好背景的分佈後，接下來將新的顏色向量 1 , t i j X + 依fitness 順序與背 景分佈一一進行比對，如果此向量代入高斯分佈所得到的機率值，大於它2.5 個標準差的機率值，表示此向量屬於這群分佈，屬於背景的一部分；如果都沒 有比對成功，表示它可能是前景，再將它與其它不屬於背景分佈的高斯進行比 對，如果還是沒有比對成功，表示此顏色是第一次出現，所以產生以 1 , t i j X + 為平均 向量、變異矩陣很大、比重很小的一個高斯分佈。詳細如何更新高斯混合模型 的參數及學習比率(Learning Rate)的調整請參閱[38][7]。

2.1.3 以梯度為基礎的背景濾除 首先，建立以梯度大小Δm和梯度方向Δd，所組成的梯度向量Δ 為特徵向量 的高斯背景模型，時間點t 像素位置( , )i j 的顏色向量 t_, [ , , ] i j x = R G B ，其灰階值 , t i j g 透 過 t_, i j g =αR+βG+γB獲得，若已知第k 群的背景參數(R,G,B 三個平均值和變異 數)，且在(R,G,B)三個顏色的分佈是互相獨立的前提下，因為 R,G,B 的分佈是 高斯，所以三個高斯分佈做線性組合的分佈亦是高斯分佈，我們可以得到灰階 值的分佈如下： ) ) ( , ( ~ , 2 , , , , , itkj k t j i k t j i N g μ σ _(2-4) B k t j i G k t j i R k t j i k t j i m m m , , , , , , , , , , , α β γ μ = + + , , 2 , 2 2 , , , 2 2 , , , 2 2 , , ) ( ) ( ) ( ) ( tkB j i G k t j i R k t j i k t j i α σ β σ γ σ σ = + + 0.299, 0.587, 0.114 α= β = γ = ，再定義灰階影像的梯度值， , , , , 1, , , , 1 , k t k t k k t k t k x i j i j y i j i j f =g+ −g f =g + −g ， 並假設影像中鄰近二個像素點，其灰階值的分佈彼此是不相關的前提下，得到 第k 群的兩個梯度分佈如下： ) ) ( , ( ~ ), ) ( , ( ~ 2 k 2 f k f k y k f k f k x N x x f N y y f μ σ μ σ k t j i k t j i f k t j i k t j i k fx y , , , 1 , , , , , 1 μ ,μ μ μ μ μ = + − = + − _(2-5) 2 , , 2 , 1 , 2 2 , , 2 , , 1 2 _{( ) ( ),( ) ( ) ( )} ) ( tk j i k t j i k f k t j i k t j i k fx σ σ σ y σ σ σ = + + = + + 已知fx和fy的分佈皆是高斯分佈，且兩個非互相獨立，根據標準的分佈轉 換方式[8]， 找出特徵向量[Δ Δ_m, _d]的分佈如下： ( ) m 2 2 , exp 2(1 ) 2 _{x y} 1 k m d _{k k} f f z F ρ σ σ ρ ⎛ ⎞ Δ Δ Δ = _⎜− _⎟ − ∏ − ⎝ ⎠ 2 2 sin cos _y x x y k k m d f m d f k k f f z μ μ σ σ ⎛Δ Δ − ⎞ ⎛Δ Δ − ⎞ ⎜ ⎟ =⎜_⎜ ⎟_⎟ +_{⎜ ⎟} ⎝ ⎠ ⎝ ⎠ ( cos )( sin ) 2 x y x y k k m d f m d f k k f f μ μ ρ σ σ Δ Δ − Δ Δ − − (2-6) 背景梯度的分佈如(2-6)式所示，式子中的所有參數皆可由之前建立的顏色

前背景分離 背景高斯分佈的平均向量和共變異矩陣得到，當有一個新的影像，先計算其特 徵向量Δ = Δ Δ_[ m, d_]，再將此特徵向量代入(2-6)式的背景梯度分佈方程式，若得到 的機率值小於T_g，則表示此像素不屬與該群，可能是前景，反之，機率值大於Tg， 則是背景。 2.1.4 區域階層處理 前二節是以像素為單位作顏色和梯度的背景濾除，得到各自的前景，本節 加入了區域的觀念，將顏色濾除的前景像素點巨集成一塊塊的前景區域，再由 梯度濾除的前景結果，來確認這些前景區域的有效性，即結合了顏色和梯度的 資訊，再做一次前景與背景的判斷。 在作區域階層處理之前，有一些前處理必須先做，首先用斷開(Opening) 運算子來消除前景之外的一些孤立雜點，再用閉合(Closing)運算子來填補前景 物件內部的空洞。再來是前景物件的區塊化，我們透過遞迴(Recursive)標記的 連結區塊法，來紀錄共有幾個前景區域，以及每個前景像素屬於哪一個區域。 在結合顏色和梯度背景濾除的資訊之前，先定義一些之後做判斷會用到的 符號： (1)C(i,j)=1_{Æ顏色濾除的前景像素點}( ji, )_。 (2) G(i,j)=1_{Æ梯度濾除的前景像素點}( ji, )_。 (3) Ra,1≤ ≤a MÆ在顏色濾除下 M 個前景區域。 (4) ∂R_aÆRa的所有邊界像素點 ) , ( ji _集合。 (5) ∂R_a Æ屬於∂Ra集合的個數。 (6) ∇IÆ用梯度的方法找出影像真實的邊緣。 以數學的形式來看，只要滿足下面式子的前景區域，皆判斷成真正的前景：

B a R j i P R j i G j i I a ≥ ∂ ∇

∑

∈∂ | | )) , ( ) , ( ( ) , ( (2-7) 它的基本觀念就是任何的前景區域相對於一個真實的物體，所以在它的邊 界點上會有很大的梯度差，所以真正屬於前景的區域R_b，其邊界點∂Rb在梯度濾 除中判斷成前景的機率很大；相對地，一些可能因為照度的改變，所造成誤判 成前景的區域Rb(例如手電筒的照射)，其邊界點∂Rb在梯度模型中的改變是很平 滑地，所以它判斷成前景的機率就很低。(2-7)式多考慮了影像的真實邊緣∇I資 訊，這是因為當背景物體移動時，原來位置的區域R_x和移位後的位置區域Ry， 都可能誤判成前景，但因R_x並沒有真正的邊緣，因而不屬於真正的前景。綜合 前面的數學公式與實際上的涵義，總而言之，一個真正的前景區域，它的邊界 點不只是在G I( )佔有較大的比率，且也必須是屬於真實影像的邊緣。 2.1.5 陰影濾除 由於移動的前景物體所造成的光影變化，在視覺監視系統中是很常發生 地，這些變化往往經過背景濾除的處理後，會被誤判成前景，而與實際的物體 結合在一起，所以陰影的偵測與濾除是必要的。其基本觀念是，背景模型中每 一群高斯分佈，在顏色空間中是以高斯的平均向量為中心，高斯的2.5 倍標準 差為三個軸，所形成的一個橢球空間，若新的向量落在此橢球的空間內，表示 它屬於背景的一部分，而落在與此橢球相切所形成的圓柱體內的向量，表示它 們與背景的顏色變化不大，只有亮度上的變化，所以比背景亮的即Highlight， 比較暗的即Shadow，其分佈的空間如圖 4 所示。

前背景分離 圖4.陰影濾除方法中，像素分類的示意圖 增加afa_low 邊界的原因，是避免暗的前景誤判成 Shadow，至於多加 afa_high 邊界，是因為在亮度大的地方，圓柱體的範圍變的很大，容易將屬於 前景的誤判Highlight，而這兩個邊界，可由高斯分佈的標準差大小來決定之。 因為RGB 各自的標準差不一樣，造成圓柱曲面與橢球中心向量的夾角都不 一樣，無法在三度空間中利用夾角來進行分類，所以我們將它們投影到二維的 空間，利用橢圓及切線的斜率來進行分類，下圖 5 是投影到[R,G]的示意圖： 圖5.二維空間中根據斜率的關係做像素的分類 以(μR,μG)為橢圓的中心，a=2.5*σR，b=2.5*σG分別是橢圓的長短軸，新的顏 色向量I=[I_R,I_G]，其斜率 R G I I m= ，若I 相對於背景 E 是 Shadow 或 Highlight，則 其斜率 m 必介於與橢圓相切的兩條切線斜率m_1,2之間，再投影到[G,B]、[B,R]， 三次的投影都符合上述的條件，則向量I 是 E 的光影變化，否則都算是前景。

向量長)，這個值所代表的函義就是相對背景的亮度，若afa 小於 1 且大於τ_{afa _low}

則是Shadow，若 afa 大於 1 且小於τ_{afa _high}則是Highlight，都不符合則是前景。 對高斯分佈而言，若資料點是落在距離平均值很大倍數的標準差之外，得 到的機率值幾乎是0，代表它非常不屬於此分佈，利用這個觀念，若新的向量 和(μ μR, G)的距離，超過其標準差一個很大倍數，表示它屬於此分佈的機率為0，

則它必定是前景，所以我們以(μ μR, G)為基準，往上、往下加減N 倍標準差(N 取

大於10 的值)得到的位置，來決定τ_{afa high_} 和τ_{afa low_} 。

下圖6 為一完整的背景濾除架構流程圖，而圖 7為執行背景濾除演算法所 偵測到的前景、陰影與強光部分並擷取出真正前景的部份。

邊緣偵測法(Edge Detection) (a) (b) (c) 圖7.背景濾除的結果(a)原始影像(b)陰影濾除(藍色:前景,紅色:陰影,綠色:強光)

2.2 邊緣偵測法(Edge Detection)

在影像處理中，偵測邊緣的方法有很多，傳統上有Sobel、Laplace、Prewitt… 等方法，但這些方法都有其各自的缺點，且須要相當大的運算量。由於邊緣偵 測並非本論文的重點，為了提高系統的速度，所以並沒有用以上說敘述之方法， 使用了影像中擴張(Dilation)和侵蝕(Erosion)特性的組合進行邊緣偵測的動作。 1.擴張(Dilation)： } ) ( | { Β ∩Α≠φ = Β ⊕ Α x ∧ x (2-8) 圖8.影像處理中擴張(dilation)的說明例子。 2.侵蝕(Erosion)： } ) ( | { Β ⊂Α = ΑΘΒ x x (2-9)

3.邊緣擷取(Boundary Extraction)： ) ( ) (Α =Α− ΑΘΒ β (2-10) 圖10.邊緣擷取的說明圖。 完成邊緣擷取後首要之事便是對所有輪廓的點進行編號(Linking)，以最左 上方的第一個輪廓點為第一點，然後按順時針進行編號，由於是一封閉式輪廓， 所以輪廓中的最後一點的下一個連接點為輪廓的起始點，將此有順序的輪廓以 及輪廓的座標當成重要的資訊再進行處理。

2.3 前處理

2.3.1 點數取樣 (Sample)與大小正規化 (Scale) 將上述經過編號的輪廓資訊重新均勻地取樣成N 點(2.3.2 中說明)，N點 座標

(

x ,i yi

)

做平移使其中心位於原點，其座標點的 x 軸與 y 軸各別處理。 1 0 ), , ( } { = − − ≤ ≤ − = z x x y y i N Z _{i i c i c} (2-11) 其中i是指在重新均勻取樣的輪廓裡第i個座標，

(

x ,_c y_c

)

則是由此N點座標

(

x ,i yi

)

得到的輪廓重心，其示意如下圖 11。

前處理 圖11.輪廓平移示意圖。 即使原始輪廓在影像中任意位置，經過平移轉換後即可使對其擷取的特徵 具有不變性。為了能得到與物體輪廓大小無關的性質，可從重新均勻地取樣的N 點算出的輪廓總長度L與自己設定的標準輪廓長度L_c，來對每一點z_i做正規 化，即下式，

{

}

⎭ ⎬ ⎫ ⎩ ⎨ ⎧ = = − − L L z L L z L L z z z z Z c i c N c N i 1 0 1 0, ,~, ,~ , , , , ~ ~ L L L L (2-12) 如此便能克服物體大小的問題。 但是由於此系統使用的特徵與大小無關，再加上此方式容易放大輪廓上的雜訊 而改變顯著點的偵測，所以在此不採用大小正規化系統。 2.3.2 點間距相等 (Equal Distance) 將所得的輪廓座標值作等間距的動作，使其使用於擷取特徵時具有合理 性。在此提出經由利用圓與直線的焦點，走最短路徑，以一定的間距內插出下 一個點座標。此方法將不會存在累積誤差，使其最後一點和初始點距離過大。 點間距相等化的過程如下： 1. 計算原始輪廓的總長，平均計算其等點間距的距離，並將圓的半徑設定為 此等間距r。 2. 以新偵測的點座標為圓心，判別此新偵測點座標離下一點i間的距離是否大 於r。 3. 若距離小於r，計算新偵測座標點與i+1點的距離，直到與i+m點的距離大

4. 利用新偵測的點座標與原第i+m的點座標形成一直線，並與圓相交兩點座 標，其一即為候選新偵測座標點(判斷與i+ m−1點較近者)。 5. 以向量夾角找到屬於該行進方向的新偵測座標點。並重複步驟 1~5，直到點 總數共為N 點。 下圖12 圖解其三種可能的點內插模式。 圖 12 (a)對原始輪廓產生多餘的 節點，圖 12(c)對原始輪廓產生平滑作用，而圖 12(b)仍維持原始輪廓形狀。由 於每次運算均以新偵測的點座標為圓心，等點間距離為半徑，以作為下一點新 偵測點座標的起始點，並計算與下一點間的距離，利用直線與圓的焦點，以最 短距離來決定下一新偵測點座標，故此不會將每次算出來的誤差累積使得最後 一點和起始點有過大的距離。利用此簡單幾何直線運算，達到等點間距的輪廓。

前處理 i-1 i+1 n i STEP ST EP 2 2 2 2 ( ) ( ) 1 y x y n x n r r − − _{+ =} ( , 1)i i ( , 1)i i y m= + x b+ + n1 n2 ( 0; ; ) ( ) ; ( ) 1 for i i last i if Step r break else Step r Calculate n = < + + < > + (a) i-1 i+1 n i STEP 2 2 2 2 ( ) (x nx) y ny ₁ r r − − _{+ =} ( 1, )i i ( 1, )i i y m= − x b+ − n1 n2 ( 0; ; ) ( ) ; ( ) 1 for i i last i if Step r break else Step r Calculate n = < + + < > + (b) i-1 i+1 n i STEPSTEP 2 2 2 2 ( ) ( ) 1 y x y n x n r r − − _{+ =} ( 3, 4)i i ( 3, 4)i i y=m+ + x b+ + + n1 n2 ( 0; ; ) ( ) ; ( ) 1 for i i last i if Step r break else Step r Calculate n = < + + < > + i+4 i+3 i+2 ST EP ST EP ST EP (c) 圖12.點間距的三種可能內插模式。

第三章 顯著點偵測法之分析(Dominant points

detection)

在影像辨識中，輪廓(contour)常常是物件辨識的重要資訊，而輪廓中的顯 著點更是其重要的資訊，像是書桌的桌角、飛機的機頭機翼…等等轉角變化劇 烈的地方，只要標示出這些顯著點並連接起來便足以代表原始的影像。其作用 在於可以降低資料量，也常應用於影像壓縮技術中。那麼如何找到這些顯著點， 就是本章節所要探討的。

現今顯著點偵測法可分成兩大類：(1)角偵測法(Corner detection approach)(2) 多邊形近似法(Polygonal approximation approach)。角偵測法是直接偵測圖形中 某區塊範圍中曲率變化最大的點，利用三角函數的轉換求得圖形的顯著點，而 此法的重點在於參考區塊範圍(region of support)的取決，一個大的區塊範圍就會 忽略了較細的部份，會失去重要的資訊，相對的，選用較小的區塊範圍會得到 過多的顯著點，在效用上也變的不佳。多邊形近似法則是利用一些多邊形模組 的組合來近似整個圖形，像是直線的線段或是圓弧線，主要分成三個步驟：(a) 分割(split)、(b)合併(merge)、(c)分割及合併(split and merge)，其詳細作法參考 [9]。其兩者各有其優缺點，在此只探討角偵測法。

角偵測法大至可分為幾種：(1)直接曲率估測法(Direct curvature estimation)(2) 經過平滑處理的曲率估測法(curvature estimation after smoothing)(3)比例空間程 序估測法(scale-space procedures)(4)使用一些顯著量測演算法(significant measure algorithm)。直接曲率估測法[14,28]就是直接偵測輪廓上角度的變化，可說是角 度偵測演算法，此方法必須事先設定支持的範圍(Region of Support)。經過平滑 處理的曲率估測法[29,30]因為先對輪廓進行平滑處理，可降低一些雜訊的影 響，相同的，顯著點也會被平滑處理，所以得到的輪廓顯著點也變的較為不實 際。比例空間程序估測法[31,32]將曲率轉換到高斯比例空間進行處理，抗雜訊

直接曲率偵測法 (Direct Curvature Estimation)

效果佳。顯著量測演算法[13,33,34,35,36]利用物件輪廓上的幾何關係自動找 出支持的範圍，並利用每個點的支持範圍與區域最大值找出顯著點，其支持範 圍是隨輸入影像而動態改變的，效果上也遠比其它方法來的好，所以本章以顯 著量測演算法為重點進行討論。

3.1 直接曲率偵測法 (Direct Curvature Estimation)

數位曲率的偵測存在著兩大問題，一是如何精準的定義離散曲率(discrete curvature)一是如何決定出一個合理的支持範圍(region of support)以計算出精準 的曲率。在實際的歐基里德空間(Eucliden plane)中，曲率的定義為一曲線斜率的 變化。假設一曲線的方程序為y= f(x)，那麼曲率的表示式為： 2 / 3 2 2 2 ] ) ( 1 [ dx dy dx y d + (3-1) 在數位影像的情形下，如果將曲率簡單得定義成式(3-1)的形式，那麼將會出現 很多問題，像是較小的斜率變化是無法表示的，因為數位影像中相鄰兩點的角 度變化為45 度的倍數，其解決的方法就是將相鄰參考點改成pi以及第pi+k點 (k >1)，在此k可以當作一平滑參數(smoothing parameter)，k的選擇將嚴重的影 響曲率偵測的效果，所以如何適當的選擇k是一大重點。 假設有一封閉輪廓C，其C為連續的n點坐標所組成，表示式如下： } , , 1 ), , ( {p x y i n C = i = i i = ⋅⋅⋅⋅ (3-2) 其中pi+1是pi的鄰居，pn+1 = p1。

z Rosenfeld-Johnston 角度偵測程序(angle detection procedure)[10]： (1)定義以pi為基準的k個向量

) , ( i i k i i k ik x x y y b _{− −} → − − = (3-4) 則在pi點上與第k點的餘弦(cosine)為 | || | cos _{→ →} → → ⋅ = ik ik ik ik ik b a b a (3-5)

已知−1≤cos_ik ≤1，所以cos_ik =1代表最尖銳的角度(0 度)，cos_ik =−1則代表一直 線(180 度) (2)選擇適當的平滑參數m(smoothing factor) ，計算每個pi點的 } , , 1 , cos { _ik k = ⋅⋅⋅⋅ m

(3)指定支持範圍hi (region of support)和曲率值cosi,hi給pi，找出最大h，使得

1 , , 1 , cos cos cos cos_im < _im− < ⋅⋅⋅⋅< _ihi ≥ _ihi− (3-6) (4)保留符合cosi,hi ≥cosj,hj，且所有 j符合(3-7) 的pi點當成曲率的最大值。 2 / | |i− j ≤hi (3-7)

3.2 顯著量測演算法 (Significant measure algorithm)

以上所介紹的方法都必須由使用者輸入一參數(支持範圍)，當成系統支持 範圍的參考，但是由於輸入的參數是固定的，並不能適用於各個物件中，所以 就算參數調的再好，遇到不同的輸入物件，整個結果也會跟著變調。在此使用 一種非參數顯著量測演算法，其重點就是要額外增加一系統去計算出每個點所 適合的支持範圍，如此支持範圍便可隨輸入的不同以及輪廓中細部與粗略的不 同而有所不同，再利用支持的範圍找出顯著點。在此列出幾個顯著量測方法並 簡述之。

由Wu[11]提出的方法中，使用適合的彎曲值(Adaptive bending value)當成主 要量測值。主要流程如下：

顯著量測演算法 (Significant measure algorithm)

步驟一：使用Freeman[12]所提出的系列碼(Freeman’s chain codes)找出所有分離 點(可能的顯著點)。如圖13(a)所示，利用輪廓上連續點的關係，使用數字 0~7 記錄點pi到點pi+1的方向關係，其關係用ci表示之。利用ci與ci+1可以判斷為直 線或是分離點，如果ci =ci+1，則表示此兩點關係為直線，顯著點不可能發生在 此，反之如果ci ≠ci+1，則表示此點為分離點，且此點有可能成為顯著點，參考 圖13(b)說明。 (a) (b)

圖13.(a)Freeman’s chain codes (b)利用 Freeman’s 系列碼偵測的分離點(白點)

步驟二：計算各個分離點的支持範圍ki(Region of support)。其演算法如式(3-8)， 其中K_min與K_max為作者選定的範圍。 n i for K K j if k

ki = , cosik =max{ cosij | = min,..., max }, =1,2,..., (3-8)

步驟三：計算曲率值cvi，可使用平均k−cosines表示。

∑

= = ki j ij i i k cv 1 cos 1 (3-9) 步驟四：移除部份分離點，找出顯著點。移除以下任一條件成立的分離點。 (a) cv_i <ε , ε為一門檻值

(c) cvi =cvi−1 and ki <ki−1 (d) cvi =cvi+1 and ki ≤ki+1 最後剩下的分離點及為顯著點。 此作法雖然是利用演算法找出支持範圍，但是還是要訂定K_min和K_max兩個 參考範圍，且在顯著點的偵測上還是使用了門檻值ε來移除部份的分離點，這 使的系統會被這些設定值所影響，且此系統易被雜訊所影響。

3.3 顯著點偵測系統(Dominant points detection)

在此介紹此論文所使用的顯著點偵測法，此方法類似M. Marji 及 P.Siy[13] 所提出的方法，不需要外來設定的支持範圍，是由系統計算出各個點的支持範 圍，再依最大支持範圍的點依序含蓋整個輪廓，找出最佳且最少的顯著點來涵 蓋整個輪廓。其作法不需要任何的輸入參數或是門檻值。 3.3.1 支持範圍(Region of support) 承接式(3-2)，要找出pi右邊及左邊的支持範圍，其步驟如下： (1) 右邊的支持範圍

(a) 初始化 k = j+2 且 F_old =0，F_old為判斷的主要依據

(b) 計算Ljk：表示pi與pk兩點之間的長度

(c) 計算Ejk：表示pi與pk之間所有點與此線段連線的垂直距離的總和

(d) 計算Fnew =Ljk −Ejk

(e) 如果Fnew <Fold 成立：則回傳pk−1當成pi右邊的支持端點

不成立：令Fold =Fnew，k = k+1，回到(b)

顯著點偵測系統(Dominant points detection) 圖14.計算右邊支持範圍的例子。 由圖14 進行說明，初始值的k =2，在圖14 (a)中F =2.036>0，所以k =2+1再執行。 在圖14(b)中F =3.452>2.036，所以k =3+1再執行。在圖14(c)中F =4.072>3.452， 所以k =4+1再執行。但執行到圖14(d)時，F =0.868<4.072，所以k =5−1，記錄p_j 點的右邊支持端點為點p_j+4。 3.3.2 計算點的強度(Node strength)以及重新排列 經過 3.3.1 的計算後，每一點pi都有右邊以及左邊的支持端點，我們專注 在這些支持的端點，因為這些端點極可能為輪廓中重要的轉折點，每當pi點的 支持端點為點pm時，則pm的強度就增加。舉例來說，假設點pi的右邊及左邊 支持的長度分別為m和n，則p_i+m和p_i−n會被當成一端點，且提高點p_i+m和點p_i−n 強度。其細部的說明如 圖15。圖中的數字代表每個點右邊以及左邊

為6 (j, k, l, m, n, o)，左邊支持長度為5 (h, g, f, e, d)。而左邊或右邊端點坐 落在i的所有點為(d, e, f, g, h)以及(j, k, l, m, n, o, p)，所以i點的強度為12。 在得到所有點的強度後，再依強度重新排列(Sorting nodes)組合出最佳的序 列，在此只考慮強度大於0 的所有點，因為強度為 0 的點為不重要的點，所以 並不考慮。 圖16 表示出強度為前 20 的點，且依強度編號，數字 1 代表 強度為最強。 圖15.計算 點強度的例子 圖16.花的圖形中，強度為前 20 的表示點

顯著點偵測系統(Dominant points detection) 3.3.3 形狀的覆蓋(Shape covering) 形狀的覆蓋起始於強度最強的點(已由 3.3.2 完成)，此做法在於找出一最 佳的子集合，能利用最少的點表示出最完整的圖形。其演算法如下： (1)初始化，將所有輪廓的點標示成非顯著點(non-dominant points)，以及未被覆 蓋的點(uncover)，分別以d =0以及c=0表示。 (2)依強度的順序對各端點執行以下動作： 如果此端點為未被覆蓋的點(c=0)或是此端點的左右鄰居為未被覆蓋的點，則 條件成立，執行： (a)將此端點設成顯著點(d =1)且將此點設成已被覆蓋(c=1) (b)開始於此端點，將所有屬於此端點的右邊支持範圍設定成已覆蓋(c=1)，如 果遇到已為覆蓋點(c=1)，則將此交錯點設成顯著點(d =1)。如果px為pi右邊 支持端點的下一點，且為已覆蓋，則將px設成顯著點(d =1)。 (c)重複執行以上動作以覆蓋左邊的支持範圍 最後利用圖17 說明以上的動作。圖 17(a)中，以pa為端點，且左右支持範 圍都為6，圖中的 x 代表此點被設成已覆蓋的點。 圖17 (b)說明上敘演算法中第二步驟中(b)部份的第一種情形。在此假設pa 的強度大於pb，所以pa會先被考慮，程序先覆蓋所有屬於pa的左右支持範圍(以 x 表示pa的覆蓋)，當進行到pb時，pb左邊支持範圍會遇到已覆蓋的點(以+表示 b p 的覆蓋)，將此交錯點設成顯著點。 圖17(c)說明上敘演算法中第二步驟中(b)部份的第二種情形。一樣假設pa 的強度大於pb，所以pa會先被考慮，程序先覆蓋所有屬於pa的左右支持範圍(以

的覆蓋)，其 py的下一點px為已覆蓋的點，所以將px設成顯著點(d =1) 圖17.形狀覆蓋的程序說明 在實作上，背景濾除必定存在著雜訊的影響，所以同一個物件其擷取出的 前景輪廓卻不盡相同。如圖18所示，假設點 s 與 q 點之間本為一完漂亮的直線， 但是因為雜訊的影響而在p 點凸出了一個像素(pixel)，在上述的顯著點偵測法 中會將p 點判斷為顯著點，這對切割系統的影響甚大，畢竟那是多餘的一個點。 所以在演算法中做了點改變，在 1.2.1 支持的範圍演算法中，將(e)小項修改成 (E)項，左邊的支持範圍也跟著修改。

(E) 如果Fnew <Fold成立連續兩次成立：則回傳pk−2當成pi右邊的支持端點

不成立：令Fold =Fnew，k = k+1，回到(b)

顯著點偵測系統(Dominant points detection) 克服雜訊所帶來的影響。 (a) (b) 圖18.(a)正確的輪廓及偵測出的顯著點 (b)受雜訊影響的輪廓並誤判 p 點為顯著點。 下圖19 以及圖 20 為 Teh-Chin[14], Ray-Ray[15],Wu[11],Majed-Pepe[13]以 及本論文的演算法在顯著點偵測上的比較，從圖中可看出Teh-Chin, Ray-Ray 以及 Wu 的方法找出了較多的顯著點，甚至存在著多餘的顯著點，而本論文以及 Majed-Pepe 的方法上則使用較少的顯著點，但是也相當完整的表示出一個輪 廓。由於使用較少的顯著點來呈現完整的輪廓，所以在後續的特徵擷取以及物 件辨識上可以降低運算量，提高效率。

Teh-Chin algorithm [14] Ray-Ray algorithm[15]

Wu algorithm[11] Majed-Pepe algorithm[13]

My algorithm

顯著點偵測系統(Dominant points detection)

Teh-Chin algorithm Ray-Ray algorithm

Wu algorithm Majed-Pepe algorithm

My algorithm

下圖21 為本論文提出的方法所找出的顯著點的範例。在效果上，對於曲率 變化較大的弧線可以標出較多的顯著點，在平滑的直線上就不會有顯著點的產 生，由於此系統不須要任何外在的輸入參數，所以可以同時找出物件輪廓中較 細的部份(曲率變化大)以及較粗略的部份(曲率變化小)的顯著點。 圖21.以本論文顯著點偵測法所偵測出的顯著點的範例

傅利葉運算子(Fourier Descriptors)

第四章 區域特徵的擷取(Extract the local features)

經過第三章的介紹，瞭解如何在一個完整的輪廓中找出顯著點(dominant points)，而這些顯著點就是完整輪廓的分割點，得到顯著點後不再對完整的原 始輪廓做處理了，而是只針對這些顯著點進行處理以及利用顯著點得到所有需 要的特徵資訊。在此假設將輪廓中的所有顯著點儲存於陣列D中。 } , , , {d₁ d₂ dn D= ⋅⋅ ⋅⋅ (4-1) 在特徵擷取的部份，各個作者[2,4,5,6 ,17]有著自己所定義的特徵，而選取 的特徵不單單影響到系統的效率，也影響到了階層式辨識系統(Hierarchical Recognition System)的設計。在本章節將介紹一些由顯著點所延伸出來的特徵以 及本篇論文所使用的特徵。

4.1 傅利葉運算子(Fourier Descriptors)

由W. Gorman 等[2]所提出的方法中，先將圖 22(a)切割成如圖 22(b)的多個 區塊，再計算各個區塊傅利葉運算子(Fourier Descriptor)，其傅利葉運算子公式 如下： 0 ] [ 4 1 1 ) / 2 ( ) / 2 ( 2 2 _Δ − ≠ Δ =

∑

= − − − n e e t n T c K p t T n i t T n i p p n p p π π γ π (4-2)

∑

= Δ − + Δ = K p p p p t T c 1 0 1) 2 1 ( 1 _{γ γ} (4-3) 其中

∑

= = Δ = p i i p t t t 1 0 0 , K代表此區段有多少點，T =t_k代表整個輪廓的週期 而Δrp及Δtp依圖 23 得知輪廓方向再配合下表可得。 1 1 1 1 1 1 : 7 6 5 4 3 2 1 0 : p i i i i i i a − − − − − + − + Δγ (4-4)

作者W. Gorman 的實驗中得知，過大的n會將運算量提高，但是效果卻只 有些微提高，而過小的n其還原的圖會過於平滑而失去了原有的資訊(角度資 訊)。當n=5時為最佳的傅利葉運算子轉換，可保留適度的細結，效率高。 但是在一個部份辨識系統中，已經將一個影像切割成m個區塊，而此方法 又將各個切割用6 個特徵參數表示 (c0, c1, ⋅⋅⋅, c5) ，再加上傅利葉運算子(式4-2, 4-3)已是高運算量，所以系統效能必定降低，其優點有旋轉、位移以及大小不 變性。 (a) (b) 圖22.(a)完整的飛機影像輪廓以及(b)切割後的飛機輪廓。 圖23.連結方向的代碼

4.2 幾何關係(Geometry relation)

由Stuart Meikle[17]等人所提出的方法中，將圖 24(a)用許多的直線表示(此 為多邊形近似法)，所以也就切割出很多的片段。假設共分成n個線段，那麼兩

幾何關係(Geometry relation) 線段的組合可表示成下式： } , 1 , 1 | , {l l a n b n b a p= _{a b} ≤ ≤ ≤ ≤ ≠ (4-5)

而作者Stuart Meikle 選用的特徵以圖 24(b)表示，其所有特徵的組合以POL表

示，其POL定義如下示： } , , , , , { → → → → = I T Isa Iea Isb Ieb POL (4-6) 其中I 代表兩線段的交點，T代表兩線段相交的角度， → a Is 為I點到線段a起始點 (sa)的向量表示式，相同的， → a Ie 為I點到線段a終點(e_a)的向量表示式。 其一完整的特徵表示式為： } , , ,

{POL₁ POL₂ POLm

M = ⋅⋅ ⋅⋅ (4-7) 在得到式(4-7)後，再利用門檻值移除不明顯的特徵，用於減少過多多餘的 特徵資訊，像是移除過小的角度(小於30 度)和過大的角度(大於 150 度)以及移 除過小的向量(小餘5)，最後得到進行辨識與建立資料庫的特徵。 由上述的方法中，每一個線段要跟其它n−1個線段比對計算特徵，計算量 也是相當龐大，在得到所有特徵後又利用門檻值過濾多餘的特徵，此門檻值的 選擇也嚴重的影響整體系統的優劣。 (a) (b)

4.3 角度和長度比(Angle and Ratio of Length)

為了解決遮蔽問題對系統的影響，所以使用部份資訊(partial feature)為解決 遮蔽問題的要點。假設將一個輪廓分割成n段，那麼一個物件的特徵數就會變 成n倍，所以部份資訊的辨識系統已是高運算量的系統，因此不可再使用過多 或複雜的特徵進行比對，所以本論文選用具有表示意義且容易得到的特徵，其 選用的特徵為兩相鄰線段的相交角度(Angle)以及長度比(Ratio of length)，其說 明如圖25 所示。於第三章說明顯著點偵測法，偵測出的顯著點會依輪廓而有順 序性(如式4-1 所示)，依每個顯著點所擷取出的特徵如下式(4-8)所示： 1 − = = m m m m m l l Ratio Angle

θ

(4-8) 其中θ 是以m lm−1線段為基礎，逆時針計算與線段lm的角度。圖中θ 大於 180 度。 m+1 || || ₁ 1 m m m d d l ₋ = ₋ 為兩點之間的距離。 圖25.角度與長度比的特徵說明 使用上述兩種資訊為主要特徵，其好處在於使用簡單的資訊確具有相當的 重要性，且一個物件的總特徵數為2n(n為顯著點的點數)，在特徵的數量上明 顯比上述的方法少很多，且特徵的求法不需高運算量。此兩種特徵同時擁有位

角度和長度比(Angle and Ratio of Length) 移，旋轉，大小的不變性。 其物件完整的特徵表示式為： n m Ratio Angle f f f f F m m m n ≤ ≤ = ⋅⋅ ⋅⋅ = 1 }, , { } , , , { _{1 2} (4-9) 其中n為顯著點的數目。

第五章 辨識系統(Recognition System)

在之前的章節中提出將一個完整輪廓切割成多個區塊的組合，在本章節提 出一辨識系統，其擁有位移(translation)、旋轉(rotation)以及大小(scale)不變性等 特性。此辨識系統同時考慮兩組特徵，一為資料庫所取出的比對特徵，另一個 是由影像輸入所得的等待辨識的物件特徵，由於使用多個區塊資訊特徵，所以 辨識不再是簡單的一對一比對記算偏差值。本論文的多區塊特徵辨識系統主要 程序分成兩個步驟，步驟一進行區塊對區塊的單一比對(segment matching)，找 出所有相匹配的區塊。步驟二將上個動作所匹配的所有結果再進行團體比對 (group matching)，找出正確的匹配團體。其方法類似[18]。其系統的所有參考特 徵如式4-9 所示。

5.1 單一區塊的匹配(segment matching)

單一區塊的匹配過程大至可分為以下幾個步驟： (a)由第三章已將一輪廓切割成可由多個有順序性的顯著點所連結的線段所表 示。 (b)計算角度(angle)資訊以及長度比(ratio of length)的資訊。 (c)利用由(b)所得到的資訊與資料庫的各個物件比對，設定一門檻值，比對兩物 件的特徵，判斷結果是否在門檻值之內，在門檻值以內則為匹配，記錄所有匹 配的組合。其比對方法如式(5-1)。 1 | | 1 1 T Ratio Ratio T and T Angle Angle D i O j O j D i ≤ ≤ ≤ − _θ (5-1) 其中T_θ 和T₁為門檻值，由使用者自行定義，當然，T_θ 和T₁的選擇影響了系統的 辨識率。本論文選用T_θ =30，T₁ =1.3。假設某物件單一區塊的辨識結果如圖26(a)

團體匹配(group matching) 所示，圖中說明某一物件的區塊會與資料庫中的多個區塊匹配，為一對多的匹 配。

5.2 團體匹配(group matching)

經過單一區塊的比對後，每個單一區塊可能會有多個相匹配的結果，就單 一區塊的角度來看，是無法分辨哪個才是正確的匹配，所以利用團體匹配找出 正確的匹配區塊，由圖 26(a)中可以觀察出匹配的連續性，利用此連續性找出正 確的匹配結果。由圖 26 說明了兩件事，第一件事說明了何謂團體匹配，其主要 動作就是找出連續區塊的匹配。從圖 26 可以發現另一個重點，就是團體匹配找 到了兩組連續匹配(圖 26(b)(c))，一組為輪廓 A 的區塊 3~10 與輪廓 B 的區塊 11~18 匹配，另一組為輪廓 A 的區塊 13~16 與輪廓 B 的區塊 23~26 匹配，由於 建立資料庫是使用未遮蔽的物件，所以此結果說明了輪廓A 的區塊 11~12 可能 有遮蔽的情況發生，由此資訊便可偵測出物體何處被遮蔽。

圖26.(a)單一區塊匹配的記錄範例(b)團體匹配範例(c)團體匹配範例 由於影像的擷取容易被亮度以及拍攝的角度所影響，所以同一物件其輪廓 不盡相同，難免會有些偏差，再加上經過背景濾除的結果，其擷取出的輪廓也 會有偏差，所以在顯著點的偵測上就跟著有所不同，由於以上的影響，一個未 受遮蔽的完美物件所擷取出的區塊特徵也有可能與資料庫區塊特徵不相匹配， 為了不讓系統誤判物體已被遮蔽，所以設定一個門檻值當成是否遮蔽的依據。 當判斷為遮蔽後，系統會進入尋找遮蔽區塊的程序，並標示出受遮蔽的部份。 下圖 27 為整個辨識系統的流程圖。 (a) (c) (b)

遮蔽區域的標示 圖27.辨識系統的流程圖

5.3 遮蔽區域的標示

此辨識系統會先找出未知物件與資料庫中最匹配的結果，再利用此辨識結 果當成是否被遮蔽的判斷資料。假設未知物件 I O 經辨識後所找出的匹配結果是 物件 D R O ，當下式(5-2)成立時，則判斷此物件有被遮蔽。 3 . 0 * _ _ D R D R N domi unmatch N > (5-2) D R unmatch N _ ：物件ORD中與 I O 不匹配的區塊數目。 D R domi N _ ：物件O_RD的顯著點總數。 當上式(5-2)成立時，則系統進入偵測遮蔽區域的程序中，利用兩物件之間 團體匹配的對應，找出團體匹配中不匹配的區塊，此區塊就是遮蔽的部份。如

頭顯著點A 以及結尾顯著點 B，再將此兩點之間的所有輪廓標示成遮蔽區域。

(a) 未知物件 I

O (b)資料庫的最佳匹配物件ORD

實驗平台

第六章 實驗流程與結果

在此章將說明整個實驗平台與物體遮蔽辨識的系統架構。根據各個物件不 同的輪廓所擷取出的不同特徵所建立的資料庫，資料庫會依輸入物件所擷取的 特徵與資料庫所有檔案是否匹配，如果匹配則表示資料庫也有此資訊，就不會 將此物件寫入資料庫中。從未知的輸入物件中取出區塊特徵後，與資料庫比對 測試此系統的辨識率，以實驗結果呈現並加以討論。

6.1 實驗平台

實驗的平台是在Intel CPU 2.8 GHz 的電腦上，Visual C++ 6.0 的環境下來完 成整個演算法，並透過Sony EVI-D70 的 PTZ 攝影機和 Leutron Vision 的影像擷 取卡 Picprodigy 擷取序列影像圖 29。影像大小是320 x 240，格式是 bmp 檔，顏 色的解析度是RGB 各 8bits 的影像。以每秒 30 張影像序列的模式拍攝 10 秒並 以其建立背景模型，並以動態影像擷取影像作資料庫的建立與測試。而實驗環 境為一虛擬環境，此虛擬環境假設在一個簡單的背景下，利用其擷取出的前景 效果較好，用較佳的前景物件輸入測試本系統在影像的切割以及辨識率上的效 果。最後會測試此系統使用在複雜背景，利用複雜背景的雜訊影響來測試此系 統的可靠性。

6.2 系統架構

下圖 30 為物件辨識系統的流程圖。整個系統架構分為兩個部份：建立資料 庫和物件辨識。而無論哪一部份，辨識系統建立於以輪廓形狀為基礎的特徵， 故找到物件的正確輪廓是極重要的步驟。利用具有陰影濾除的前景偵測系統找 到前景的初始輪廓，再將初始輪廓經過顯著點偵測演算法得到顯著點並進行分 割的動作，從分割後的各個輪廓中找出角度和長度比的特徵。利用得到的特徵 進行資料庫的建立或是物件的比對，最後依比對的結果找出被遮蔽的區域。 圖30.系統流程圖

6.3 實驗結果

實驗的測試總共使用8 種物件，所有物件如圖 31 所示。實驗中為了取得較 佳的完整輪廓，所以使用簡單背景進行拍攝，圖32 為這些物件經過背景濾除後 的結果，圖33 為圖 32 經過顯著點偵測法所找出的所有顯著點。整個實驗共分 成幾個部份，1.一般的物件辨識，2.旋轉物體的辨識(圖 34)，3.比例變化的辨 識(圖 36)，4.遮蔽物體的辨識(圖 38)，5.搜尋出物件的遮蔽部份。

實驗結果 1. 熊 2. 漏斗 3. 容器 4. 杯子 5. 電話 6. 膠帶座 7. 基底 8. 恐龍 圖31.實驗中選用的 8 個物件的原始影像 1. 熊 2. 漏斗 3. 容器 4. 杯子 5. 電話 6. 膠帶座 7. 基底 8. 恐龍 圖32.經背景濾除的結果