本論文架構如下:
第二章 研究動機與相關研究
規則性分布式樣偵測(detection of repetitive patterns)的研究已存在許久,
其主要目的為偵測出影像中是否存在具有規律性且重複出現的光影分佈,
圖 2.1 和 2.2 所示,分別為筆者先測試窗戶的影像圖在執行本系統後產 生之影像空間以及霍夫空間的樣貌,經過霍夫轉換之計算以及對霍夫空間 的直覺觀察,可推測在霍夫空間當中的亮點即為窗戶之水平以及垂直結構,
若把亮點群擷取並再經過計算轉換回影像空間中,即可獲得水平以及垂直 之結構,結果如圖 2.3 和圖 2.4 所示,此推測會在第三章當中作詳細介紹以 及驗證。
圖 2.1 窗戶影像原圖所示 圖 2.2 霍夫空間影像圖所示
圖 2.3 窗戶之水平結構結果圖 圖 2.4 窗戶之垂直結構結果圖
此外,在參考文獻[3]當中的系統,亦可偵測規則性分布式樣,然而文獻[3]
的系統的輸入影像要求非常嚴格,其規定影像需要為一個完整的大樓獨照,
或是只有窗戶等局部影像內容,不能包含任何的干擾因素,例如天空、馬 路等都不可存在於影像當中,並且窗戶、梁柱等細節需要清楚明顯。在本 論文當中所介紹之系統的測試影像圖皆為日常生活人物搭配各種服裝的樣 式,比上述所提複雜許多。因此以霍夫轉換的基本原理為主要工具,加以 應用整合其他自訂流程,完成偵測較複雜之影像裡的規則性分布式樣。以 下為文獻[3]之實驗結果圖。
除了霍夫空間轉換之應用以外,本論文亦在系統中加入一些門檻篩選機制。
其中,參考文獻[4]當中之 k-means 分群演算法,利用特徵分群的概念作門 檻篩選的機制,嘗試在霍夫空間轉換回影像空間後作一影像分群切割之技 術,分群切割之後的結果可再整合以擷取出規則性分布式樣。以下圖片分 別為參考文獻[4]當中之 k-means 標準演算過程示意圖與基本概念結果示意 圖。而下頁為筆者結合霍夫空間轉換之應用後實驗結果影像圖。
圖 2.6 參考文獻[4]之 k-means 標準演算過程示意圖
圖 2.7 參考文獻[4]基本概念結果示意圖
圖 2.8 分群演算結合霍夫轉換後結果圖之第一群
圖 2.9 分群演算結合霍夫轉換後結果圖之第二群
第三章 處理方法與流程
直線段之影像圖,同時呈現與觀察四個角度之直線段影像圖的結果;3.5 節 將把 3.4 節之直線段影像圖結果透過一分群機制處理,介紹其中所使用之分 群演算法以及筆者所訂之相關參數;最後 3.6 節將介紹筆者所訂之所有角度 整合機制,以及整合後所呈現之結果圖。
3.1 四角度之邊緣偵測與影像運算子之定義
目前在影像處理的領域當中,邊緣偵測的工具與技術相當多樣,其中 包含 canny edge detection, Laplacian, DOG, 以及 Sobel edge detection 等等,
然而有些並無法有效作單獨一方向角度之邊緣偵測。在 sobel edge detection 當中,可以單獨針對水平方向與垂直方向作影像之邊緣偵測,參考文獻[5]。
圖 3.1.1 為參考文獻[5]之個別垂直方向與水平方向 sobel convolution mask
然而,本論文所偵測影像圖中重複性服裝紋飾會出現較複雜之分佈,或 是在紋路上會出現不只水平與垂直分布的情況,故筆者經過觀察與考慮後,
決定除了上述的水平與垂直邊緣偵測以外,另外再加入 45 度角方向與 135 度角方向之邊緣偵測。由於在 sobel edge detection 當中並沒有特別針對 45 度角方向與 135 度角方向單獨作邊緣偵測,故筆者個別自訂兩個 mask 來 作 45 度角方向與 135 度角方向之影像邊緣偵測,其 mask 圖如下所示。
圖 3.1.2 為個別 45 度角方向(左)與 135 度角方向(右)之 mask
為了能在原本的影像圖當中擷取個別角度之邊緣偵測,其計算之方法
圖 3.1.3 分別為水平邊緣偵測(左)與垂直邊緣偵測(右)之結果
由上圖例觀察可以發現,在一張只有單一水平條紋結構之影像圖當中 若使用水平邊緣偵測進行運算,則可清楚偵測出水平邊緣結構;反之,若 使用垂直邊緣偵測進行運算,其結果會產生短線段、虛線的現象。
圖 3.1.4 為一服裝中同時具有水平結構與垂直結構的影像圖例,亦是 我們日常生活中的格紋服裝,原影像圖如下:
圖 3.1.4 為人物穿著格紋服裝之原彩色影像圖
圖 3.1.5 分別為水平邊緣偵測(左)與垂直邊緣偵測(右)之結果
圖 3.1.6 圖 3.1.7
由圖 3.1.6 與圖 3.1.7 可明顯觀察到,雖然人物穿著具水平條紋之服裝,
卻因為人物的姿勢與動作造成服裝並非全部皆為水平結構。圖中可明顯看 到具有約為 45 度角方向與 135 度角方向之結構。以下結果為分別針對上述 兩影像圖例作單獨 45 度角方向與 135 度角方向之邊緣偵測:
圖 3.1.8(45 度角方向) 圖 3.1.9(135 度角方向)
圖 3.1.10(45 度角方向) 圖 3.1.11(135 度角方向)
3.2 霍夫影像空間轉換
累增器(Accumulator)之引用:
由於 Hough transform 把每一個影像點(x,y)映射至多重的參數點(a,b),因 此,使用一個累增器來紀錄每一組(a,b)出現的次數,出現頻率最高的一組 (a,b),就是影像空間上最具代表性的一條直線。如下圖例所示:
圖 3.2.2 參考文獻[7] 與文獻[8]所示 Hough transform 演算法:(參考文獻[7] 與文獻[8])
1. 在影像空間上決定所有可能的特徵點,在本系統當中為二值化影像裡值 為 1 的點。
2. 尋找影像空間的一個特徵點(x,y),也就是值為 1 的點,計算:
2.1 對於方程式中每一個 a(a∈R),計算通過(x,y)之所有直線的(a’,b’)。
2.2 在 accumulator space(霍夫空間)的(a’,b’)位置上累加一次。
尋找下一個特徵點,重複步驟 2.1 和 2.2,直到所有特徵點都通過計 算為止。
極座標(Polar system)之使用:
圖 3.2.4 為相互映射示意圖,參考文獻[7][8]
如果在影像空間中同一直線上存在三個點,則(ρ, θ)參數空間之三條曲線 將交於一點,也就是 accumulator 在此一位置之累加值為 3。如圖 3.2.5:
圖 3.2.5 為相互映射示意圖,參考文獻[7][8]
上述為霍夫轉換之基本原理與演算流程,其目的在於偵測影像當中的 主要直線段或是最長線段。然而在文獻[7]與文獻[8]的前置邊緣偵測運算當 中,並沒有區分原影像之各角度方向的邊緣偵測,通常直接使用全域之邊
筆者在本論文當中則是把原影像先作四個角度方向之邊緣偵測處理,
再個別經過計算轉換到霍夫影像空間當中,因此,會個別產生四個相對應 之霍夫影像空間,其作此處理的原因與目的在於,一般日常生活之人物服 裝影像圖往往較多元與複雜,筆者觀察到為了在一張內容較為複雜的人物 服裝影像圖當中擷取偵測其服裝之重複性分布式樣,可先個別作其不同角 度方向之邊緣偵測處理,在觀察霍夫影像空間之現象也比較不過於零亂與 複雜,以下為針對圖例作四個角度方向的霍夫影像空間之觀察:
圖 3.2.6 為原人物服裝影像圖例,具單一水平條紋結構
圖 3.2.7 為水平邊緣偵測 圖 3.2.8 為垂直邊緣偵測
圖 3.2.9 為 45 度角方向邊緣偵測 圖 3.2.10 為 135 度角方向邊緣偵測 筆者在本系統實作霍夫空間當中是以左上角為原點,x 軸方向亦為角度θ,
其範圍為 0~180 度;y 軸方向(由上往下)為距離ρ,其範圍為:負原影像對
以下為將此四張角度方向之邊緣偵測影像圖經過計算轉換到霍夫影像空間 之四張影像圖例:
圖 3.2.11 為水平方向之霍夫影像空間 圖 3.2.12 為垂直方向之霍夫影像空間
圖 3.2.13 為 45 度方向 圖 3.2.14 為 135 度方向
之霍夫影像空間 之霍夫影像空間
由上面四張霍夫空間影像圖觀察:在水平方向之霍夫影像空間裡 0 度與 180 度左右的位置有許多亮點,在 90 度左右之位置亦有一區塊有亮點之現象;
其他三張霍夫空間影像圖之現象產生仿照水平方向之圖例。亮點為邊緣偵 測影像圖中之特徵點(值為 1)經過計算、累積與投票而產生之亮點,其每一
點亮度值與每一亮點位置代表特徵點在影像空間當中特定相對應角度方向
3.3 霍夫影像空間個別角度之擷取與篩選
由上述 3.2 節對霍夫影像空間之觀察與研究,本節將針對霍夫影像空間 進行個別角度之擷取以及篩選。四個霍夫影像空間個別在相對應之角度位 置作亮點之擷取,如下頁圖例所示:
圖 3.3.1 為原輸入影像圖例
圖 3.3.2 為圖 3.3.1 的水平方向 圖 3.3.3 為圖 3.3.1 的垂直方向
之霍夫影像空間 之霍夫影像空間
筆者根據霍夫影像空間之所有亮點值為參考依據,計算出每一個角度方向 的霍夫影像空間之所有亮點平均值與標準差,當作一門檻篩選條件,篩選
與擷取出投票亮點值大於平均值+標準差之亮點,其亮點位置根據相對應
3.4 各角度之霍夫直線段偵測與擷取
圖 3.4.2 水平邊緣偵測 圖 3.4.3 垂直邊緣偵測
圖 3.4.4 45 度角邊緣偵測 圖 3.4.5 135 度角邊緣偵測
下頁為將四個角度方向之邊緣偵測影像圖例經過霍夫轉換運算後之直線段 影像結果圖例。
圖 3.4.6 水平霍夫直線段 圖 3.4.7 垂直霍夫直線段
3.5 霍夫直線段權重分群法
K-means 分群法介紹:(參考文獻[9][10])
K-means 演算法:(參考文獻[9][10])
1. 隨機指派群集中心:(圖 3.5.1)
4. 變動群集邊界:(圖 3.5.4)
指派完新的質量中心後,再一次比較每一筆資料與新的群集中 心之間的距離,接著根據距離,再度重新分配每一個資料所屬 之群集
5. 持續反覆 3、4 步驟,直到群集的資料不再變動為止
圖 3.5.1 隨機指派群集中心 圖 3.5.2 產生初始群集
圖 3.5.3 產生新的質量中心 圖 3.5.4 變動群集邊界
筆者在本系統當中之初始設定群集數 k 為 3,霍夫直線段之權重值為將要分 群的參考資料值;本系統之初始群集中心並非隨機選派,而是先將霍夫直 線段之所有權重值作排序,再根據排序資料均勻指派 3 個點作為初始群集 中心,此目的在於可以減少執行分群演算法之重複步驟的次數。
圖 3.5.5 原影像輸入圖例 圖 3.5.6 水平霍夫直線段影像圖
圖 3.5.7 為水平霍夫直線段經過 K-means 分群後之分群分佈圖 其中白色部份為甲級權重值之區塊,黑色部份為乙級權重值區塊,灰色部 份為丙級權重值區塊。
圖 3.5.8 為甲級權重值之區塊結果
圖 3.5.9 為乙級權重值之區塊結果
由上頁結果影像圖例觀察可發現,在乙級權重值之區塊中的部份影像內容