霍夫空間轉換應用與服裝規律重複性飾紋之偵測

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文

霍夫空間轉換應用與服裝規律重複性飾紋之偵測

Detecting Repetitive Patterns on Fabrics by Hough Transform

研 究 生：蔡宗霖

指導教授：林正中 博士

霍夫空間轉換應用與服裝規律重複性飾紋之偵測 Detecting Repetitive Patterns on Fabrics by Hough Transform

研 究 生：蔡宗霖 Student：Tsung-Lin Tsai 指導教授：林正中 Advisor：Cheng-Chung Lin 國 立 交 通 大 學 多 媒 體 工 程 研 究 所 碩 士 論 文 A Thesis

Submitted to Institute of Computer Science and Engineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science

November 2014

霍夫空間轉換應用與服裝規律重複性飾紋之偵測

學生：蔡宗霖 指導教授：林正中 博士 國立交通大學多媒體工程研究所碩士班

摘 要

日常生活中，人們所穿著的服裝中經常出現各式各樣的重複性特徵， 例如橫條紋、直條紋、格紋以及千鳥格紋等等重複性圖案，不論是在街道 上或是在伸展台走秀中均可以看到這些影像。 本論文以前述之觀察為基礎，再利用霍夫空間轉換偵測影像中之直線 的特性加以應用，作一自動化偵測影像中人物服裝上之重複性特徵系統， 試擷取出影像中可能為服裝上重複性特徵之區塊。本系統運作略分為以下 幾個階段： (1) 以特定之水平、垂直、45 度以及 135 度方向作邊緣偵測，初步定出 四個角度的分布圖。 (2) 四個角度的邊緣偵測影像經過門檻篩選後，將影像經過計算轉換到 霍夫空間中。

(3) 在霍夫空間中，四個角度的影像分別針對各自角度作特定的門檻篩 選機制，把篩選過後的資料存起來。 (4) 在四個霍夫空間中經過篩選過後所存之資料，經過計算畫出相對應 之四組具特定方向的線段影像。 (5) 在四組線段中分別用特定機制加上權重，並且加以分群。四個線段 影像經過分群篩選後分出四個主要群組。 (6) 最後在四個主要群組中作整合的機制，完成重複性特徵區塊之標 定。 經由測試觀察，部分街道中人物服裝以及伸展台走秀人物服裝之重 複性特徵可由本系統擷取出來，驗證出霍夫空間轉換工具不僅僅偵 測影像中的直線段，其亦可作重複性特徵之偵測的相關應用。

Extracting Repeated Patterns on Daily Dressing by Hough Space

Transform

Student：Tsung-Lin Tsai Advisor：Cheng-Chung Lin

Institute of Computer Science and Engineering National Chiao Tung University

ABSTRACT

Perception of repetitive imagery patterns is a common experience to all in daily life, the detection of which is useful to many image-oriented applications, and as a result is chosen as the subject of this thesis.

It is noted that, in an edge-featured map derived from an image with contents of repetitive patterns, the fragments of edges associated with

repetitive-patterned areas appear to lie on the same “line”, which seems to be a general phenomenon through the examination on images in large amounts.

Based on such observations, a pilot system exploiting Hough transform for identifying those fragments of edges through which a common line may pass is established. The system operates in 5 steps as follows:

[1] Four edge-featured maps are derived from the input, each being with edges in specific orientation: 0゜, 90゜, 45゜, and 135゜.

[2] The four maps are transformed into Hough-space, where thresh-holding is taken to select well-responded areas. The transformation is devised in such a way that every image entity in Hough-space is associated with (x, y) coordinates of its counterpart in the image-space.

[3] Inverse transform the 4 Hough-space maps back to 4 maps in image-space, in which all in-line fragments are respectively recovered.

[4] Clustering of in-line fragments in each of the 4 image-space maps is

conducted, where a weighting process is devised so that regions of potential targets may be discerned from uninterested ones via k-mean clustering. [5] A final fusing of the 4 maps of in-lined oriented-fragments, where process

of congregating mutual supportive/antagonistic information among 4 maps is performed, concludes the entire process.

Initial experiment on a set of images shows encouraging results from the system when extracting repetitive-patterned dresses/fashion where in-lined fragments are relatively close to one another in testing images. As for images of buildings, it is found that refinement of weighting process in [4] is needed for the cases where in-lined fragments appear to be not so tightly located, as shown in such regular architectural structures as window frames and column-and-beam, etc..

目 錄

摘 要 ... i ABSRACT... iiii 目 錄 ... v 圖片目錄 ... vi 第一章 簡介 ... 1 第二章 相關研究 ... 3 第三章 實驗動機與處理方法 ... 8 3.1 四角度之邊緣偵測與影像運算子之定義 ... 10 3.2 霍夫影像空間轉換 ... 16 3.3 霍夫影像空間個別角度之擷取與篩選 ... 24 3.4 各角度之霍夫直線段偵測與擷取 ... 26 3.5 霍夫直線段權重分群法 ... 29 3.6 四個角度影像圖之整合機制………37 第四章 實驗結果 ... 40 第五章 結論 ... 75 參考文獻 ... 78

圖片目錄

圖 1.1 實驗簡介結果圖 ... 2 圖 2.1 窗戶影像原圖 ... 4 圖 2.2 霍夫空間影像圖 ... 4 圖 2.3 窗戶之水平結構結果圖 ... 4 圖 2.4 窗戶之垂直結構結果圖 ... 4 圖 2.5 文獻[3]實驗結果圖 ... 5 圖 2.6 文獻[4]之 k-means 標準演算過程示意圖 ... 6 圖 2.7 文獻[4]基本概念結果示意圖 ... 6 圖 2.8 分群演算結合霍夫轉換後結果圖之第一群 ... 7 圖 2.9 分群演算結合霍夫轉換後結果圖之第二群 ... 7 圖 2.10 分群演算結合霍夫轉換後結果圖之第三群 ... 7

圖 3.1.1 參考文獻[5]之個別垂直方向與水平方向 sobel convolution mask ... 10

圖 3.1.2 個別 45 度角方向(左)與 135 度角方向(右)之 mask ... 11

圖 3.1.3 水平邊緣偵測(左)與垂直邊緣偵測(右)之結果 ... 12

圖 3.1.4 人物穿著格紋服裝之原彩色影像圖 ... 12

圖 3.1.5 水平邊緣偵測(左)與垂直邊緣偵測(右)之結果 ... 13

圖 3.1.8 45 度角方向邊緣偵測 ... 14 圖 3.1.9 135 度角方向邊緣偵測 ... 14 圖 3.1.10 45 度角方向邊緣偵測 ... 15 圖 3.1.11 135 度角方向邊緣偵測 ... 15 圖 3.2.1 左為二維影像空間，右為二維參數空間，參考文獻[7][8] ... 16 圖 3.2.2 參考文獻[7] 與文獻[8] ... 17 圖 3.2.3 座標轉換示意圖，參考文獻[7][8] ... 18 圖 3.2.4 相互映射示意圖，參考文獻[7][8] ... 19 圖 3.2.5 相互映射示意圖，參考文獻[7][8] ... 19 圖 3.2.6 原人物服裝影像圖例，具單一水平條紋結構 ... 20 圖 3.2.7 水平邊緣偵測 ... 21 圖 3.2.8 垂直邊緣偵測 ... 21 圖 3.2.9 45 度角方向邊緣偵測 ... 21 圖 3.2.10 135 度角方向邊緣偵測 ... 21 圖 3.2.11 水平方向之霍夫影像空間 ... 22 圖 3.2.12 垂直方向之霍夫影像空間 ... 22 圖 3.2.13 45 度方向之霍夫影像空間 ... 22 圖 3.2.14 135 度方向之霍夫影像空間 ... 22 圖 3.2.15 霍夫空間產生之現象示意圖 ... 23

圖 3.3.1 原輸入影像圖例 ... 24 圖 3.3.2 水平方向之霍夫影像空間 ... 24 圖 3.3.3 垂直方向之霍夫影像空間 ... 24 圖 3.3.4 水平方向之篩選擷取結果 ... 25 圖 3.3.5 垂直方向之篩選擷取結果 ... 25 圖 3.4.1 原輸入影像圖例 ... 26 圖 3.4.2 水平邊緣偵測 ... 27 圖 3.4.3 垂直邊緣偵測 ... 27 圖 3.4.4 45 度角邊緣偵測 ... 27 圖 3.4.5 135 度角邊緣偵測 ... 27 圖 3.4.6 水平霍夫直線段 ... 28 圖 3.4.7 垂直霍夫直線段 ... 28 圖 3.4.8 45 度角霍夫直線段 ... 28 圖 3.4.9 135 度角霍夫直線段 ... 28 圖 3.5.1 隨機指派群集中心示意圖 ... 31 圖 3.5.2 產生初始群集示意圖 ... 31 圖 3.5.3 產生新的質量中心示意圖 ... 31 圖 3.5.4 變動群集邊界示意圖 ... 31

圖 3.5.6 水平霍夫直線段影像圖 ... 32 圖 3.5.7 水平霍夫直線段經過 K-means 分群後之分佈圖……….32 圖 3.5.8 甲級權重值之區塊結果………. ………..33 圖 3.5.9 乙級權重值之區塊結果………. ………..33 圖 3.5.10 丙級權重值之區塊結果………. ………33 圖 3.5.11 權重值較大之區塊………. ………34 圖 3.5.12 權重值較小之區塊………. ………34 圖 3.5.13 原影像輸入圖例………..35 圖 3.5.14 k-means 分三群之結果………35 圖 3.5.15 k-means 分兩群之結果………36 圖 3.6.1 部分背景之直線段影像的權重值過大而被分群到甲級權重區塊…37 圖 3.6.2 整合前之水平區塊………38 圖 3.6.3 整合前之垂直區塊………38 圖 3.6.4 整合前之 45 度角區塊………...……38 圖 3.6.5 整合前之 135 度角區塊………...…38 圖 3.6.6 整合後之實驗結果圖………...…39 圖 4.1 人物服裝原影像圖(1) 400*500………...40 圖 4.2 人物服裝實驗結果(1) 400*500………...40 圖 4.3 人物服裝原影像圖(2) 750*1125………..41

圖 4.4 人物服裝實驗結果(2) 750*1125………..41 圖 4.5 人物服裝原影像圖(3) 1000*1000………...42 圖 4.6 人物服裝實驗結果(3) 1000*1000………..42 圖 4.7 人物服裝原影像圖(4) 418*625……….………..43 圖 4.8 人物服裝實驗結果(4) 418*625……….………..43 圖 4.9 人物服裝原影像圖(5) 550*360………...44 圖 4.10 人物服裝實驗結果(5) 550*360……….44 圖 4.11 人物服裝原影像圖(6) 320*320……….45 圖 4.12 人物服裝實驗結果(6) 320*320……….45 圖 4.13 人物服裝原影像圖(7) 1000*1303……….46 圖 4.14 人物服裝實驗結果(7) 1000*1303……….46 圖 4.15 人物服裝原影像圖(8) 550*366……….47 圖 4.16 人物服裝實驗結果(8) 550*366……….47 圖 4.17 人物服裝原影像圖(9) 533*800……….48 圖 4.18 人物服裝實驗結果(9) 533*800……….48 圖 4.19 人物服裝原影像圖(10) 640*427………..….49 圖 4.20 人物服裝實驗結果(10) 640*427……….…..49 圖 4.21 人物服裝原影像圖(11) 428*642……….…..50

圖 4.23 人物服裝原影像圖(12) 640*930………..51 圖 4.24 人物服裝實驗結果(12) 640*930………..51 圖 4.25 人物服裝原影像圖(13) 800*800………...52 圖 4.26 人物服裝實驗結果(13) 800*800………...52 圖 4.27 人物服裝原影像圖(14) 750*1125………..53 圖 4.28 人物服裝實驗結果(14) 750*1125………..53 圖 4.29 人物服裝原影像圖(15) 400*599………...54 圖 4.30 人物服裝實驗結果(15) 400*599………...54 圖 4.31 人物服裝原影像圖(16) 752*779………...55 圖 4.32 人物服裝實驗結果(16) 752*779………...55 圖 4.33 人物服裝原影像圖(17) 500*500………...56 圖 4.34 人物服裝實驗結果(17) 500*500………...56 圖 4.35 人物服裝原影像圖(18) 500*466………...57 圖 4.36 人物服裝實驗結果(18) 500*466………...57 圖 4.37 人物服裝原影像圖(19) 389*600………...58 圖 4.38 人物服裝實驗結果(19) 389*600………...58 圖 4.39 人物服裝原影像圖(20) 600*900………...59 圖 4.40 人物服裝實驗結果(20) 600*900………...59 圖 4.41 人物服裝原影像圖(21) 500*642………...60

圖 4.42 人物服裝實驗結果(21) 500*642………...60 圖 4.43 人物服裝原影像圖(22) 400*400………...61 圖 4.44 人物服裝實驗結果(22) 400*400………...61 圖 4.45 人物服裝原影像圖(23) 500*500………...62 圖 4.46 人物服裝實驗結果(23) 500*500………...62 圖 4.47 人物服裝原影像圖(24) 500*500………...63 圖 4.48 人物服裝實驗結果(24) 500*500………...63 圖 4.49 人物服裝原影像圖(25) 500*333………...64 圖 4.50 人物服裝實驗結果(25) 500*333………...64 圖 4.51 人物服裝原影像圖(26) 414*586………...65 圖 4.52 人物服裝實驗結果(26) 414*586………...65 圖 4.53 人物服裝原影像圖(27) 500*500………...66 圖 4.54 人物服裝實驗結果(27) 500*500………...66 圖 4.55 人物服裝原影像圖(28) 500*717………...67 圖 4.56 人物服裝實驗結果(28) 500*717………...67 圖 4.57 人物服裝原影像圖(29) 451*514………...68 圖 4.58 人物服裝實驗結果(29) 451*514………...68 圖 4.59 人物服裝原影像圖(30) 612*918………...69

圖 4.61 人物服裝原影像圖(31) 521*820………...70 圖 4.62 人物服裝實驗結果(31) 521*820………...70 圖 4.63 人物服裝原影像圖(32) 721*479………...71 圖 4.64 人物服裝實驗結果(32) 721*479………...71 圖 4.65 建築物獨照圖例 717*609………...72 圖 4.66 建築物獨照圖例之實驗結果 717*609………72 圖 4.67 屋內樓梯圖例 600*940………...73 圖 4.68 屋內樓梯圖例之實驗結果 600*940………73 圖 4.69 水中的魚圖例 500*400………...74 圖 4.70 水中的魚圖例之實驗結果 500*400……….74 圖 5.1 服裝上之水平飾紋分佈不夠密集集中在一區塊中………...75 圖 5.2 服裝上之格子飾紋間隔過大導致實驗結果不完整………...76 圖 5.3 背景中之樓梯規律重複分佈影響其偵測結果………...77

第一章 簡介

日常生活中，人們所穿著的服裝、材質經常出現重複性的紋路，例如 在裙子上的橫條紋、襯衫上的格紋以及圍巾上的格紋等等，故本文以偵測 四個方向角度的線段為基礎，經過特殊篩選機制以及結合霍夫空間轉換的 應用，對於影像中有存在紋路之重複性特徵進行偵測，試圖使用此方法達 到偵測重複性紋路之區域目標。 在影像處理（image processing）的領域中，偵測影像中的直線經常會 使用一些邊緣偵測的工具作前置處理，例如：canny 或 DOG 等等，接著再 使用霍夫轉換來偵測影像中所存在的最長直線，或是所有存在之直線，然 而此過程並無法順利偵測出重複性特徵之區塊，故筆者在本文中自訂一邊 緣偵測的影像運算子，接著在霍夫空間中觀察各種現象並且加以應用，最 後利用分群演算法以及自訂的整合系統把期許的目標區塊擷取出來。 霍夫轉換在現今已有一些文獻以及相關研究，其最主要目標在於偵測 影像中存在之最長線段或是存在之所有線段等等。其先將影像轉換到霍夫 空間中，再透過霍夫空間中存在的各種特性進行觀察研究，擷取並經過計 算轉換回影像，找出直線或是線段。本文筆者亦在霍夫空間中進行各式各 樣的觀察以及測試，最後找出一套較適合偵測重複性特徵之區塊的演算流

本論文架構如下： 第二章：研究動機與相關研究 引用其他學者的文獻，加強筆者的論點或比較與探討其差異。 第三章：處理流程 敘述論文主要想法，及其實踐所需之流程、參數的擬定。 第四章：實驗結果 顯示實驗結果。 第五章：結論 說明結論以及未來研究方向。 原圖 結果圖 圖 1.1 實驗簡介結果圖

第二章 研究動機與相關研究

規則性分布式樣偵測(detection of repetitive patterns)的研究已存在許久， 其主要目的為偵測出影像中是否存在具有規律性且重複出現的光影分佈， 例如：馬路上重複出現的斑馬線、鐵絲網的交叉輪廓、佈滿基本圖形的衣 料結構、建築景物重複的窗戶或梁柱等等，其中又以日常生活經常在人群 的服裝中出現最多規律重複特徵紋路，像是橫條紋、直條紋、格紋等等。 筆者透過許多觀察，試作一系統擷取偵測規律重複特徵紋路之區塊。 此外，霍夫轉換這項工具在偵測影像中的直線至現今也有許多相關的 研究，如文獻[1]中所提，先把影像空間經過計算後轉換到霍夫空間中，再 觀察霍夫空間中的各種現象，把霍夫空間中投票數最高之亮點擷取出來再 經過計算轉換回影像空間中，即可獲得影像之存在最長線段；筆者在霍夫 空間中經過許多測試並觀察許多現象，決定在霍夫空間中藉由不同的角度 來切割並且分別作門檻篩選的處理，試以此對霍夫轉換作與其他文獻不同 之應用。經過筆者測試許多影像以及照片，認為此應用結合一些後置分群 處理與整合，可以有效偵測出一些影像中重複規則性特徵之區塊，其中又 以日常生活照片中，人類所穿著之服裝上的重複規則性紋路之效果最佳， 故此決定用霍夫空間轉換的應用系統測試與偵測一些影像和照片中存在有

圖 2.1 和 2.2 所示，分別為筆者先測試窗戶的影像圖在執行本系統後產 生之影像空間以及霍夫空間的樣貌，經過霍夫轉換之計算以及對霍夫空間 的直覺觀察，可推測在霍夫空間當中的亮點即為窗戶之水平以及垂直結構， 若把亮點群擷取並再經過計算轉換回影像空間中，即可獲得水平以及垂直 之結構，結果如圖 2.3 和圖 2.4 所示，此推測會在第三章當中作詳細介紹以 及驗證。 圖 2.1 窗戶影像原圖所示 圖 2.2 霍夫空間影像圖所示 圖 2.3 窗戶之水平結構結果圖 圖 2.4 窗戶之垂直結構結果圖

此外，在參考文獻[3]當中的系統，亦可偵測規則性分布式樣，然而文獻[3] 的系統的輸入影像要求非常嚴格，其規定影像需要為一個完整的大樓獨照， 或是只有窗戶等局部影像內容，不能包含任何的干擾因素，例如天空、馬 路等都不可存在於影像當中，並且窗戶、梁柱等細節需要清楚明顯。在本 論文當中所介紹之系統的測試影像圖皆為日常生活人物搭配各種服裝的樣 式，比上述所提複雜許多。因此以霍夫轉換的基本原理為主要工具，加以 應用整合其他自訂流程，完成偵測較複雜之影像裡的規則性分布式樣。以 下為文獻[3]之實驗結果圖。

除了霍夫空間轉換之應用以外，本論文亦在系統中加入一些門檻篩選機制。 其中，參考文獻[4]當中之 k-means 分群演算法，利用特徵分群的概念作門 檻篩選的機制，嘗試在霍夫空間轉換回影像空間後作一影像分群切割之技 術，分群切割之後的結果可再整合以擷取出規則性分布式樣。以下圖片分 別為參考文獻[4]當中之 k-means 標準演算過程示意圖與基本概念結果示意 圖。而下頁為筆者結合霍夫空間轉換之應用後實驗結果影像圖。 圖 2.6 參考文獻[4]之 k-means 標準演算過程示意圖 圖 2.7 參考文獻[4]基本概念結果示意圖

圖 2.8 分群演算結合霍夫轉換後結果圖之第一群

第三章 處理方法與流程

本章將介紹筆者觀察各種影像圖例之霍夫空間對照之後所產生的一些 直覺想法以及本論文實作系統運作的處理方法與流程，以及實驗中所使用 到的演算法、機制以及參數等等，皆會逐一詳細說明。 本論文實作規律性飾紋偵測系統運作流程基本上分為五個主要階段： 1. 四基本角度之邊緣偵測 2. 四組邊緣線段分別進行霍夫轉換，設定篩選門檻。 3. 四組霍夫空間通過篩選之點經過反運算，分別得四組影像空間相 關角度之直線分佈 4. 利用特定分群演算法將四組直線段影像空間個別作分群，得四組 個別相對應角度之主要分群結構 5. 透過特定整合機制，將四組主要分群結構整合並輸出最後結果 首先，會在 3.1 節介紹將原影像圖作四個基本角度方向的影像邊緣偵 測，包含所用到之運算子介紹以及門檻篩選機制；接著在 3.2 節會先針對 霍夫轉換工具作一基本原理介紹，以及把四個角度方向之影像轉換到霍夫 空間影像的相關運算，觀察在霍夫空間中所呈現之現象；3.3 節 將介紹並 詳細說明在霍夫空間中作個別角度的亮點投票結果之擷取並且作一門檻篩 選機制；3.4 節將介紹如何把霍夫空間當中所擷取之結果轉換回原影像空間

直線段之影像圖，同時呈現與觀察四個角度之直線段影像圖的結果；3.5 節 將把 3.4 節之直線段影像圖結果透過一分群機制處理，介紹其中所使用之分 群演算法以及筆者所訂之相關參數；最後 3.6 節將介紹筆者所訂之所有角度 整合機制，以及整合後所呈現之結果圖。

3.1 四角度之邊緣偵測與影像運算子之定義

目前在影像處理的領域當中，邊緣偵測的工具與技術相當多樣，其中 包含 canny edge detection, Laplacian, DOG, 以及 Sobel edge detection 等等， 然而有些並無法有效作單獨一方向角度之邊緣偵測。在 sobel edge detection 當中，可以單獨針對水平方向與垂直方向作影像之邊緣偵測，參考文獻[5]。

圖 3.1.1 為參考文獻[5]之個別垂直方向與水平方向 sobel convolution mask

然而，本論文所偵測影像圖中重複性服裝紋飾會出現較複雜之分佈，或 是在紋路上會出現不只水平與垂直分布的情況，故筆者經過觀察與考慮後， 決定除了上述的水平與垂直邊緣偵測以外，另外再加入 45 度角方向與 135 度角方向之邊緣偵測。由於在 sobel edge detection 當中並沒有特別針對 45 度角方向與 135 度角方向單獨作邊緣偵測，故筆者個別自訂兩個 mask 來 作 45 度角方向與 135 度角方向之影像邊緣偵測，其 mask 圖如下所示。

為了能在原本的影像圖當中擷取個別角度之邊緣偵測，其計算之方法 與定義參考文獻[5]，如下述所示： 其中 A 為原影像圖轉灰階後之矩陣形式，「＊」為一迴旋積運算，參考 文獻[6]，而 Gx 與 Gy 分別為垂直方向與水平方向之邊緣偵測影像圖的矩陣 形式，另外 45 度角方向與 135 度角方向之邊緣偵測仿照上述之計算方法， 即可得到 45 度角方向與 135 度角方向之邊緣偵測影像圖。 筆者在本系統中除了作上述之運算以外，最後在四個角度方向之邊緣 偵測影像圖中皆有作一標準化的處理，讓邊緣偵測影像圖更加顯而易見。 以下為筆者先把原影像圖轉換成灰階影像圖後，再經過各角度之邊緣偵測 運算後的結果，如下頁所示：

圖 3.1.3 分別為水平邊緣偵測(左)與垂直邊緣偵測(右)之結果 由上圖例觀察可以發現，在一張只有單一水平條紋結構之影像圖當中 若使用水平邊緣偵測進行運算，則可清楚偵測出水平邊緣結構；反之，若 使用垂直邊緣偵測進行運算，其結果會產生短線段、虛線的現象。 圖 3.1.4 為一服裝中同時具有水平結構與垂直結構的影像圖例，亦是 我們日常生活中的格紋服裝，原影像圖如下： 圖 3.1.4 為人物穿著格紋服裝之原彩色影像圖

圖 3.1.5 分別為水平邊緣偵測(左)與垂直邊緣偵測(右)之結果 由上圖例觀察可以發現，在一張同時具有水平與垂直結構之服裝影像 圖當中，若單獨使用水平邊緣偵測進行運算，則可清楚偵測出單獨水平邊 緣結構；同時，若單獨使用垂直邊緣偵測進行運算，則可清楚偵測出單獨 垂直邊緣結構。 然而，在一般人物服裝影像圖當中，往往在服裝上不單只有單純之水 平結構與垂直結構，縱使是橫條紋的衣服或是直條紋的衣服，也會因為人 物所擺的姿勢與動作造成條紋衣服上的結構並非水平與垂直。因此，筆者 在單獨角度方向邊緣偵測運算當中，亦額外作 45 度角方向與 135 度角方向 之邊緣偵測運算。下頁圖 3.1.6 與圖 3.1.7 所示為條紋衣服上具非單一水平 與垂直之結構：

圖 3.1.6 圖 3.1.7 由圖 3.1.6 與圖 3.1.7 可明顯觀察到，雖然人物穿著具水平條紋之服裝， 卻因為人物的姿勢與動作造成服裝並非全部皆為水平結構。圖中可明顯看 到具有約為 45 度角方向與 135 度角方向之結構。以下結果為分別針對上述 兩影像圖例作單獨 45 度角方向與 135 度角方向之邊緣偵測： 圖 3.1.8(45 度角方向) 圖 3.1.9(135 度角方向)

圖 3.1.10(45 度角方向) 圖 3.1.11(135 度角方向) 上述兩影像圖例邊緣偵測結果觀察，可明顯區分其人物服裝袖子上面之 45 度角方向與 135 度角方向的邊緣結構。 由於筆者在本系統的邊緣偵測運算後之影像結果為值介於 0~1 的灰階 影像圖（經標準化處理），而在轉換到霍夫影像空間之前，其輸入之影像圖 需要為二值化影像圖（其值為 0 或 1）。因此，筆者在此將上述之邊緣偵測 運算結果再作一影像二值化轉換步驟，其方法如下： 1. 計算灰階邊緣偵測影像之平均值與標準差 2. 將灰階邊緣偵測影像的平均值＋標準差為一門檻篩選條件，若大於其值 則將值設定為 1，反之，設定為 0

3.2 霍夫影像空間轉換

霍夫影像空間為一個二維影像空間，其 X 軸與 Y 軸分別為角度θ與距 離ρ。在本系統當中，距離ρ之基本單位為 pixel 個數。 參考文獻[7]與文獻[8]所述，將一個二值化影像轉換到霍夫影像空間 之計算與原理如下所述： 對於一個二值化影像上的任一點(x,y)，通過這一點的直線方程式可以表示 為：f(x,y) = y-ax-b = 0 ，其中 a 和 b 分別是直線的斜率和截距。把上述之 方程式視為相互限制條件(mutual constraint)的映射關係，由影像點(x,y)映射 至多重的參數(a,b)，或由參數(a,b)映射至多重的影像點(x,y)。也就是說，影 像空間上的一個點(x,y)，可以定義參數空間（霍夫空間）(a,b)上一條直線的 多重點(理論上無限多)；同樣情形，參數空間（霍夫空間）的一點(a,b)，也 可以定義出影像空間上一條直線的眾多點(x,y)，如圖 3.2.1 所示： 圖 3.2.1 左為二維影像空間，右為二維參數空間，參考文獻[7][8]

累增器(Accumulator)之引用：

由於 Hough transform 把每一個影像點(x,y)映射至多重的參數點(a,b)，因 此，使用一個累增器來紀錄每一組(a,b)出現的次數，出現頻率最高的一組 (a,b)，就是影像空間上最具代表性的一條直線。如下圖例所示： 圖 3.2.2 參考文獻[7] 與文獻[8]所示 Hough transform 演算法：(參考文獻[7] 與文獻[8]) 1. 在影像空間上決定所有可能的特徵點，在本系統當中為二值化影像裡值 為 1 的點。 2. 尋找影像空間的一個特徵點(x,y)，也就是值為 1 的點，計算： 2.1 對於方程式中每一個 a(a∈R)，計算通過(x,y)之所有直線的(a’,b’)。 2.2 在 accumulator space(霍夫空間)的(a’,b’)位置上累加一次。 尋找下一個特徵點，重複步驟 2.1 和 2.2，直到所有特徵點都通過計 算為止。

極座標(Polar system)之使用:

從系統實作的角度來看，使用 f(x,y) = y-ax-b = 0 並不可行，因為當影 像空間上的直線是一垂直線時，則斜率 a=∞，而無法納入有限的

accumulator。

因此，現今實用的 Hough transform 皆採用極座標(ρ, θ)來取代(a, b)，而

極座標與直角座標的轉換公式為： x cos(θ) + y sin(θ) = r 圖 3.2.3 為座標轉換示意圖，參考文獻[7][8] 影像空間上的每一條直線被映射到(ρ, θ)參數空間(霍夫空間)的一個點， 而影像空間上每一個點則被映射到(ρ, θ)參數空間(霍夫空間)的一條曲 線，如圖 3.2.4 所示：

圖 3.2.4 為相互映射示意圖，參考文獻[7][8] 如果在影像空間中同一直線上存在三個點，則(ρ, θ)參數空間之三條曲線 將交於一點，也就是 accumulator 在此一位置之累加值為 3。如圖 3.2.5： 圖 3.2.5 為相互映射示意圖，參考文獻[7][8] 上述為霍夫轉換之基本原理與演算流程，其目的在於偵測影像當中的 主要直線段或是最長線段。然而在文獻[7]與文獻[8]的前置邊緣偵測運算當 中，並沒有區分原影像之各角度方向的邊緣偵測，通常直接使用全域之邊

筆者在本論文當中則是把原影像先作四個角度方向之邊緣偵測處理， 再個別經過計算轉換到霍夫影像空間當中，因此，會個別產生四個相對應 之霍夫影像空間，其作此處理的原因與目的在於，一般日常生活之人物服 裝影像圖往往較多元與複雜，筆者觀察到為了在一張內容較為複雜的人物 服裝影像圖當中擷取偵測其服裝之重複性分布式樣，可先個別作其不同角 度方向之邊緣偵測處理，在觀察霍夫影像空間之現象也比較不過於零亂與 複雜，以下為針對圖例作四個角度方向的霍夫影像空間之觀察： 圖 3.2.6 為原人物服裝影像圖例，具單一水平條紋結構

圖 3.2.7 為水平邊緣偵測 圖 3.2.8 為垂直邊緣偵測

圖 3.2.9 為 45 度角方向邊緣偵測 圖 3.2.10 為 135 度角方向邊緣偵測

筆者在本系統實作霍夫空間當中是以左上角為原點，x 軸方向亦為角度θ， 其範圍為 0~180 度；y 軸方向(由上往下)為距離ρ，其範圍為：負原影像對

以下為將此四張角度方向之邊緣偵測影像圖經過計算轉換到霍夫影像空間 之四張影像圖例： 圖 3.2.11 為水平方向之霍夫影像空間 圖 3.2.12 為垂直方向之霍夫影像空間 圖 3.2.13 為 45 度方向 圖 3.2.14 為 135 度方向 之霍夫影像空間 之霍夫影像空間 由上面四張霍夫空間影像圖觀察：在水平方向之霍夫影像空間裡 0 度與 180 度左右的位置有許多亮點，在 90 度左右之位置亦有一區塊有亮點之現象； 其他三張霍夫空間影像圖之現象產生仿照水平方向之圖例。亮點為邊緣偵 測影像圖中之特徵點(值為 1)經過計算、累積與投票而產生之亮點，其每一

點亮度值與每一亮點位置代表特徵點在影像空間當中特定相對應角度方向 之線上的多寡。因此，縱使在一張只具單獨水平條紋結構之服裝影像圖當 中，經過水平方向邊緣偵測運算後轉換到霍夫影像空間當中，亦會在水平 方向之霍夫空間影像圖當中 90 度左右的位置產生亮度不低之亮點，理由為 若以垂直方向之觀察角度來看水平方向邊緣偵測結果，其為「水平連續之 垂直虛線段」，若水平條紋線越多，則相對地，垂直虛線段也越長；縱使虛 線段之長度皆為 1 pixel 的單位，其累積投票在同一垂直方向線上所產生 之亮點值亦可能大於累積投票在水平方向線上所產生之亮點值。如圖 3.2.15 所示： 圖 3.2.15 為霍夫空間產生之現象示意圖 在下一節(3.3 節)當中筆者將介紹以及詳細說明在霍夫影像空間當中作個別

3.3 霍夫影像空間個別角度之擷取與篩選

由上述 3.2 節對霍夫影像空間之觀察與研究，本節將針對霍夫影像空間 進行個別角度之擷取以及篩選。四個霍夫影像空間個別在相對應之角度位 置作亮點之擷取，如下頁圖例所示： 圖 3.3.1 為原輸入影像圖例 圖 3.3.2 為圖 3.3.1 的水平方向 圖 3.3.3 為圖 3.3.1 的垂直方向 之霍夫影像空間 之霍夫影像空間 筆者根據霍夫影像空間之所有亮點值為參考依據，計算出每一個角度方向 的霍夫影像空間之所有亮點平均值與標準差，當作一門檻篩選條件，篩選

與擷取出投票亮點值大於平均值＋標準差之亮點，其亮點位置根據相對應 之霍夫影像空間的角度方向。例如：擷取水平方向之霍夫影像空間的亮點， 則在霍夫影像空間 x 軸位置 0 度與 180 度之方向上擷取 y 軸上所有通過門 檻篩選條件的亮點。筆者在本系統定義水平方向之範圍為 0~10 度角與 170~180 度角；垂直方向之範圍為 85 度角~95 度角；45 度角方向與 135 度 角方向以此類推。下述圖例為水平方向與垂直方向之篩選擷取結果： 圖 3.3.4 為水平方向之篩選擷取結果 圖 3.3.5 垂直方向之篩選擷取結果 由上頁圖中可以觀察到，在水平方向與垂直方向之篩選擷取的亮點皆 會集中在一區域內，筆者使用此篩選機制主要目的為將影像圖中主要特徵 直線段篩選擷取出來，並且只擷取單一角度方向，而非像一般霍夫轉換將 影像圖中之全區域所有角度方向直線段偵測出來。因此，筆者定出本系統 之霍夫影像空間經過篩選擷取後可以針對單一角度方向之直線段進行偵測 與觀察，並且可以擷取多條主要特徵之直線段，在下一節將介紹由霍夫影

3.4 各角度之霍夫直線段偵測與擷取

本節中筆者將把上一節(3.3 節)之經過角度方向擷取與門檻篩選後的霍 夫影像空間轉換到霍夫直線段影像空間，其轉換之結果亦根據霍夫影像空 間之相對應的角度方向分為四個角度方向之霍夫直線段影像空間。 由於每一個存在於霍夫影像空間之亮點均代表一些相關資訊在相對應 之邊緣偵測影像圖當中，如 3.2 節霍夫轉換演算法與文獻[7][8]所提。換句 話說，假設在霍夫影像空間當中一個超過門檻篩選的亮點其亮度值為 100， 則代表在直線段影像空間當中相對應之特定角度方向上具總長度共 100 單 位 pixel 的直線段。 筆者在本系統當中將霍夫空間裡通過門檻篩選之亮點資訊與內容儲存 起來，參考文獻[7][8]與 3.2 節霍夫轉換演算法，作一個霍夫反運算處理 (Dehoughing)，將霍夫空間轉換回原影像圖之直線段影像空間。 以下圖 3.4.1 為筆者將原影像圖例經過本論文 3.1 節至 3.4 節所有運 算後呈現之直線段影像空間圖例，並觀察與分析相關現象。 圖 3.4.1 為原輸入影像圖例

圖 3.4.2 水平邊緣偵測 圖 3.4.3 垂直邊緣偵測

圖 3.4.4 45 度角邊緣偵測 圖 3.4.5 135 度角邊緣偵測

下頁為將四個角度方向之邊緣偵測影像圖例經過霍夫轉換運算後之直線段 影像結果圖例。

圖 3.4.6 水平霍夫直線段 圖 3.4.7 垂直霍夫直線段 圖 3.4.8 45 度角霍夫直線段 圖 3.4.9 135 度角霍夫直線段 由上述各角度之霍夫直線段圖例可觀察到，許多背景之直線段因筆者在霍 夫空間設定之機制而被篩選掉；其在人物服裝飾紋上均呈現相當規律重複 的直線段，並且相當密集的分佈在一個區塊當中。然而，在背景當中高亮 度對比之直線段亦通過筆者在本系統當中設定之角度與門檻篩選機制而呈 現出來，理由為背景該直線段與人物服裝飾紋上之直線段在霍夫空間當中 均為同一個通過門檻篩選機制的亮點(位置與角度皆相同)。因此，筆者認為 在霍夫轉換當中作個別角度區分、篩選機制與相關處理對於偵測服裝規律 重複性飾紋仍然相當有限，需再針對霍夫直線段影像作一後置處理程序。

3.5 霍夫直線段權重分群法

如 3.4 節當中所提，在人物服裝之直線段影像圖當中，其在人物服裝飾 紋上均呈現相當規律重複的直線段，並且相當密集的分佈在一個區塊。經 過筆者觀察許多人物服裝影像圖例，可發現其人物服裝飾紋上之規律重複 的直線段均有密集分佈在一個區塊之現象。因此，筆者利用此特性，將霍 夫直線段影像之所有直線段作一加權重處理，並且針對所有加權過後之直 線段作分群，試將人物服裝上規律重複飾紋透過分群機制擷取偵測出來。 霍夫直線段加權處理： 1. 先自訂一個二維方形值為全 1 之矩陣，作為遮罩(mask)，其矩陣大小 根據原影像圖之大小作動態變化，筆者在本系統訂其全 1 之矩陣大 小的方法為：若矩陣為 n * n，則 n = min[影像圖之長度(x 值), 影像圖之寬度(y 值)] / 10 2. 將霍夫直線段影像圖與全 1 之矩陣遮罩(mask)作一迴旋積運算 霍夫直線段影像圖中所有直線段上每一點均因為與全 1 之矩陣遮罩(mask) 作迴旋積運算而產生不同大小的值，每一點均以此值當作是該點之權重大 小依據。筆者用此對直線段作加權處理之目的在於：若部分直線段之分佈 密集且在同一區塊內，則該區塊之直線段在經過迴旋積運算後之權重將會

K-means 分群法介紹：(參考文獻[9][10]) K-Means 是 J. B. MacQueen 於 1967 年所提出的分群演算法，必須事前 設定群集的數量 k，然後找尋下列公式的極大值，以達到分群的最佳化之 目的。 argmin � � �𝑥𝑗 − 𝑢𝑖�2 𝑥𝑗∈𝑆𝑖 𝑘 𝑖=1 參考文獻[9][10]之公式 K-means 演算法：(參考文獻[9][10]) 1. 隨機指派群集中心：(圖 3.5.1) 在所有資料中「隨機」找出 K 個資料來作為初始群集的中心 2. 產生初始群集：(圖 3.5.2) 計算每一筆資料到各個隨機初始群集中心之間的距離，接著比 較該筆資料與哪一個隨機初始群集中心最近，則該筆資料將被 指派到最接近之群集中心，此時會形成一個群集邊界，產生初 始群集之資料集合 3. 產生新的質量中心：(圖 3.5.3) 根據邊界內的每一個資料重新計算出該群集之質量中心，將新 的質量中心取代之前的隨機群集中心，來作為該群之中心

4. 變動群集邊界：(圖 3.5.4) 指派完新的質量中心後，再一次比較每一筆資料與新的群集中 心之間的距離，接著根據距離，再度重新分配每一個資料所屬 之群集 5. 持續反覆 3、4 步驟，直到群集的資料不再變動為止 圖 3.5.1 隨機指派群集中心 圖 3.5.2 產生初始群集 圖 3.5.3 產生新的質量中心 圖 3.5.4 變動群集邊界

筆者在本系統當中之初始設定群集數 k 為 3，霍夫直線段之權重值為將要分 群的參考資料值；本系統之初始群集中心並非隨機選派，而是先將霍夫直 線段之所有權重值作排序，再根據排序資料均勻指派 3 個點作為初始群集 中心，此目的在於可以減少執行分群演算法之重複步驟的次數。 圖 3.5.5 原影像輸入圖例 圖 3.5.6 水平霍夫直線段影像圖 圖 3.5.7 為水平霍夫直線段經過 K-means 分群後之分群分佈圖 其中白色部份為甲級權重值之區塊，黑色部份為乙級權重值區塊，灰色部 份為丙級權重值區塊。

圖 3.5.8 為甲級權重值之區塊結果

由上頁結果影像圖例觀察可發現，在乙級權重值之區塊中的部份影像內容 為甲級權重值之區塊的邊框，亦為人物服裝上規律重複飾紋之一部份。因 此，筆者透過許多影像圖例之觀察其個別分群後群中心的權重值，將分群 演算程序作以下之修改： 1. 在結束 k-means 分群演算程序(k=3)後，找出三個群中心的權重值，分別 為 c1、c2、c3。 2. 計算：c2/c1，若大於 1/2，則重新執行 k-means 分群演算程序，而 k=2。 此目的在於有些人物服裝影像圖例若將直線段影像圖分為三群，其結果可 能將服裝上規律重複飾紋分割成兩個部份(在甲級區塊與乙級區塊當中)，因 此，若甲級區塊之群中心權重值與乙級區塊之群中心權重值相近，則將直 線段影像圖作兩群之分群處理。以下為經過修改之後的結果圖例： 圖 3.5.11 為權重值較大之區塊 圖 3.5.12 為權重值較小之區塊

圖 3.5.13 原影像輸入圖例 修改前：

修改後： 水平甲權重 水平乙權重 垂直甲權重 垂直乙權重 圖 3.5.15 k-means 分兩群之結果 筆者在本系統當中將擷取四個角度之分群後甲級權重值的區塊，並且在 3.6 節作四角度之整合處理。

3.6 四個角度影像圖之整合機制：

本節介紹四個角度之分群甲級權重區塊的整合機制，其處理流程如下： 1. 每個角度之分群甲級權重區塊當中，仍然會有非人物服裝規律重複飾紋 之區塊，理由為部分背景之直線段影像的權重值過大而被分群到甲級權 重區塊中，如圖 3.6.1 所示。因此，筆者在個別角度之分群甲級權重的影 像圖中，再設定另一門檻篩選機制，作為刪去非必要之區塊，方法如下： i. 計算出影像圖中各個甲級權重區塊之面積 ii. 將每一個區塊面積與該區塊之權重相乘，作為第 iii 點之參考資料內容 iii. 計算出所有參考資料內容之平均值；若區塊面積與該區塊之權重相乘 結果小於參考資料內容之平均值，則刪去此區塊

2. 個別計算出四個角度之區塊影像圖中所有區塊面積和，分別為 p1~p4 3. 四個角度之區塊影像圖作交集邏輯運算(AND)，若交集之區塊位置相同， 且面積大於 3/4 * min(p1,p2,p3,p4)，則作第 4 點之運算處理；否則，作 第 5 點之處理 4. 四個角度之區塊影像圖作聯集邏輯運算(OR)，並輸出影像結果圖 5. 找出 p1~p4 之最大值，則該值之角度區塊影像圖為輸出結果圖 圖 3.6.2 為整合前之水平區塊 圖 3.6.3 為整合前之垂直區塊 圖 3.6.4 為整合前之 45 度角區塊 圖 3.6.5 為整合前之 135 度角區塊

圖 3.6.6 為整合後之實驗結果圖

由上圖例可觀察，其在人物服裝上之規律重複飾紋經過本系統處理與運算 可以擷取偵測出來。然而，本系統設定之相關參數與門檻篩選機制仍會將 些微背景之影像偵測出來，如圖 3.6.6 所示。

第四章實驗結果

筆者在本系統實作當中以人物服裝影像圖例為主要輸入之影像種類，經 過第三章之所有處理流程後，呈現其實驗結果。試在人物服裝影像圖中 偵測出規律重複之飾紋。 圖 4.1 人物服裝原影像圖(1) 400*500 圖 4.2 人物服裝實驗結果(1) 400*500

圖 4.5 人物服裝原影像圖(3) 1000*1000

圖 4.9 人物服裝原影像圖(5) 550*360

圖 4.13 人物服裝原影像圖(7) 1000*1303

圖 4.17 人物服裝原影像圖(9) 533*800

圖 4.21 人物服裝原影像圖(11) 428*642

圖 4.25 人物服裝原影像圖(13) 800*800

圖 4.29 人物服裝原影像圖(15) 400*599

圖 4.33 人物服裝原影像圖(17) 500*500

圖 4.37 人物服裝原影像圖(19) 389*600

圖 4.41 人物服裝原影像圖(21) 500*642

圖 4.45 人物服裝原影像圖(23) 500*500

圖 4.49 人物服裝原影像圖(25) 500*333

圖 4.53 人物服裝原影像圖(27) 500*500

圖 4.57 人物服裝原影像圖(29) 451*514

圖 4.61 人物服裝原影像圖(31) 521*820

除了人物服裝影像圖例以外，筆者亦嘗試將其他含規則分布式樣之影像圖 例輸入本系統中作運算與處理，試偵測其規律重複分佈式樣：

圖 4.65 建築物獨照圖例 717*609

圖 4.69 水中的魚圖例 500*400

第五章 結論

本系統對於大多數之人物服裝影像圖例可以偵測其規律重複飾紋，主要特 性在於這些規律重複飾紋均密集分佈在一區塊當中，且直線段之間距在整 張影像圖中相對較小。然而，若規律重複飾紋之分佈不夠密集(如圖 5.1 與 圖 5.2)，或是在背景當中亦有其他規律重複分佈之景物(如圖 5.3)，則在本 系統之偵測結果將不如預期。 圖 5.1 服裝上之水平飾紋分佈不夠密集集中在一區塊中

圖 5.3 背景中之樓梯規律重複分佈影響其偵測結果 筆者認為未來研究方向與解決上述問題之方法可分為下述幾點： 1. 考慮更多方向之影像邊緣偵測作前置處理 2. 在霍夫空間當中考慮亮點之間距，作額外門檻篩選機制 3. 結合影像前景偵測之技術應用 4. 其他分群與整合之運算處理

參考文獻

[1] J.ILLINGWORTH and J.KITTLER, "A Survey of the Hough Transform," COMPUTER VISION, GRAPHICS, AND IMAGE PROCESSING 44, 87-116 (1988) .

[2] R.O.Duda, R.E.Hart. Use of the Hough Transform to Detect Lines and Curves in Pictures, CACM(15). No. 1, January 1972, pp. 11-15.

[3] MUELLER,P., ZENG, G., WONKA, P.,ANDGOOL, L. V. 2007,"Image-based procedural modeling of facades",

ACM Trans. on Graphics (SIGGRAPH 2007) 26, 3, 85:1–85:9

[4] Hartigan, John A., and Manchek A. Wong. "Algorithm AS 136: A k-means clustering algorithm." Applied statistics (1979): 100-108.

[5] Maini, Raman, and Himanshu Aggarwal. "Study and comparison of various image edge detection techniques." International Journal of Image Processing (IJIP) 3.1 (2009): 1-11.

[6] Cheng-Chin Chiu ,"Detection of Building in Metropolitan Area",國立交通 大學,資訊工程學系畢業論文.

[7] Risse, Thomas. "Hough transform for line recognition: complexity of evidence accumulation and cluster detection." Computer Vision, Graphics, and Image Processing 46.3 (1989): 327-345.

[8] R.O.Duda, R.E.Hart. Use of the Hough Transform to Detect Lines and Curves in Pictures, CACM(15). No. 1, January 1972, pp. 11-15.

[9] J. B. MacQueen (1967): "Some Methods for classification and Analysis of Multivariate Observations", Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1:281-297

[10] J. A. Hartigan and M. A. Wong (1979) "A K-Means Clustering Algorithm", Applied Statistics, Vol. 28, No. 1, p100-108.