中 華 大 學 碩 士 論 文
一種使用 HSV 色彩模型之 S 資訊與灰階值 分割及辨識彩色影像中導盲磚區域的方法
Using the S Imformation of HSV Model and the Gray Level Values to Segment and Recognize the Guide-tile Areas in a Color
Digital Image
系所別:電機工程學系碩士班 學號姓名:M10001036 彭彥鈞 指導教授:蘇建焜 博士
中 華 民 國 102 年 10 月
摘要
「無障礙環境」的議題,是需要大家來關心與體諒的。本論文著眼於與視障 同胞息息相關的導盲路線偵測。希望為視障同胞略盡棉薄之力。
本 論 文 提 出 一 種 使 用 影 像 處 理 的 技 術 來 分 割,並 且 辨 識 彩 色 影 像 中 導 盲 磚 區 域 的 系 統。首 先 將 一 般 RGB色 彩 空 間 之 彩 色 影 像 轉 換 為 HSV色 彩 空 間 , 取 其 S部 份 資 訊 以 供 後 續 處 理 。 之 後 使 用 小 波 轉 換 處 理 讓 分 割 出 之 區 域 邊 緣 更 平 滑、完 整。然 後 以 候 選 區 域 之 S值 標 準 差、矩 形 偵 測 、 直 線 偵 測 等 特 徵 比 對 以 判 定 是 否 為 導 盲 磚 區 域。本 系 統 並 且 結 合 語 音 系 統 , 可 以 把 辨 識 結 果 以 語 音 方 式 呈 現 給 使 用 者 。
對 於 部 份 無 法 以 S 值 資 訊 分 割 出 可 能 區 域 的 影 像 (通 常 是 導 盲 磚 色 彩 與 環 境 顏 色 對 比 不 明 顯 或 標 準 差 過 大 ), 本 系 統 把 這 種 影 像 再 經 由 其 灰 階 影 像 之 增 強 對 比、形 態 學 運 算、拉 普 拉 斯 運 算 與 二 值 化,最 後 以 分 水 嶺 分 割 法 判 斷 , 來 處 理 這 類 問 題 。
一般黃色型導盲磚辨識成功率高達98%,導盲磚與地板顏色相近情況之成功 率亦高達95%。希望本系統能繼續發展成為一個可靠實用的導盲路線偵測系統以 祈能造福盲胞。
關鍵詞:導盲磚、HSV 色彩模型、灰階值、歐蘇法、分水嶺分割
ii
ABSTRACT
The “barrier free environment” issue should be cared and considered by all of us.
This thesis focuses on the detection of guide-tile paths which are especially important for blind people.
In the thesis, an image processing based system is proposed for segmenting and recognizing the guide-tile area(s) in a color digital image. First, the input image, which is a RGB model color image, is transformed to its HSV space representation, and only the S information is saved for further processing. Second, discrete wavelet transform are also used for reducing noise and smoothing edges, respectively. Third, the standard deviation, straight line detection, and rectangle detection results are the features for determination. Finally, a speech subsystem presents the guide-tile path detection result to the user.
Some guide-tile areas, which are usually with low contrast to the environments or with large standard deviation values, can not be segmented successfully (i.e. no region of interest is found in the second step). For those images, the proposed method calculates their gray-level images and enhances the contrast. Then, morphological operations, Laplacian operation, and watershed segmentation are used for segmenting the regions of interest.
For the images containing typical yellow guide-tile areas, the proposed system has a recognition rate up to 98%, and for those with low-contrast metal color guide-tile areas, the proposed method still has a recognition rate up to 95%. We wish to continuously evolve the system to be a robust and dependable system that could improve the life quality of blind people.
Keywords: guide-title、HSV model、graylevel、Otsu’s thresholding、watershed segmentation
致謝
在就讀研究所的日子裡,本論文能夠順利完成,首先要非常感謝我的指導教 授 蘇建焜博士。這兩年老師耐心的給予指導,對影像處理一竅不通的我,不論 在研究領域上或是生活學習上,都讓我成長了許多,不時的討論並指點我正確的 方向,使我在這兩年中獲益良多。在我遇到困難沒有頭緒的時候鼓勵我,並適時 地給予督促使我更進步。
在實驗室的兩年中,特別感謝凱任、偉存、昱均、泳翰學長帶領我進入這個 研究領域,並且在我研究過程中給予我許多幫助,受益匪淺,還有跟學長們一起 打球的時光,並特別感謝和我同時進入研究所以及陪我的同學志超、政霖、祈宏 同學們的相互支持和鼓勵。
最後,我要感謝爸爸、媽媽的支持,讓我能專心在學校完成論文研究,感謝 父母辛勞且無悔的付出,使我在求學的路上無後顧之憂。還要感謝我的哥哥,休 假時還陪我一起運動,放鬆心情。
僅以這篇論文,獻給所有鼓勵我的人,謝謝你們!
iv
目錄
摘要... i
ABSTRACT ... ii
致謝... iii
目錄... iv
表目錄... vi
圖目錄... vii
第一章 緒論... 1
1.1 研究背景與動機... 1
1.2 研究目的與重要性... 2
1.3 研究範圍與架構... 3
第二章 相關文獻回顧... 4
2.1 何謂影像處理?... 4
2.2 影像擷取與色彩空間... 4
2.2.1 常用色彩模型... 4
2.2.2 RGB 色彩模型 ... 5
2.2.3 HSV 色彩模型... 6
2.2.4 YIQ 色彩模型 ... 7
2.2.5 YUV 色彩模型 ... 8
2.2.6 YCbCr 模型 ... 9
2.3 影像二值化... 10
2.4 形態學... 12
2.4.1 侵蝕與膨脹... 12
2.4.2 斷開與閉合... 14
2.5 邊界跟隨演算法... 15
2.6 小波轉換... 17
2.6.1 連續小波轉換... 18
2.6.2 離散小波轉換... 19
2.7 形態學分水嶺分割... 21
2.7.1 分水嶺演算法流程... 22
第三章 研究方法... 25
3.1 實驗流程... 25
3.2 影像前處理... 28
3.3 紋理概念... 31
3.4 小波轉換處理... 32
3.5 灰階像素分析與消除光源不均... 33
3.5.1 消除光源不均... 35
3.6 矩形偵測與圓半徑計算... 38
3.6.1 圓半徑計算... 41
3.7 區域性處理... 43
3.7.1 導盲磚特徵過濾... 44
3.8 辨識導盲磚與地板顏色相近環境 (高鐵實例) ... 46
3.9 語音系統... 50
第四章 實驗結果... 53
第五章 結論與未來展望... 84
5.1 結論... 84
5.2 貢獻... 84
5.3 未來展望... 84
參考文獻... 85
vi
表目錄
表 1 室內導盲磚數據... 57
表 2 室外導盲磚數據... 59
表 3 光影環境下的導盲磚數據... 61
表 4 非導盲磚數據... 64
表 5 實驗結果像素值比較數據... 69
表 6 黃色型導盲磚方法比較... 70
表 7 導盲磚與地板顏色相近環境方法比較... 82
圖目錄
圖 2. 1 不同色彩空間的比較... 5
圖 2. 2 RGB 色彩座標立方圖 ... 6
圖 2. 3 HSV 色彩模型... 7
圖 2. 4 YIQ 色差模型 ... 8
圖 2. 5 YUV 色差模型 ... 9
圖 2. 6 YCBCR 色差模型 ... 10
圖 2. 7 LENA 灰階圖 ... 11
圖 2. 8 LENA 二值化後之影像 ... 11
圖 2. 9 二值化原圖... 12
圖 2. 10 侵蝕之影像... 13
圖 2. 11 二值化原圖[20] ... 13
圖 2. 12 膨脹之影像... 13
圖 2. 13 二值化原圖... 14
圖 2. 14 斷開之影像... 14
圖 2. 15 二值化原圖... 15
圖 2. 16 閉合之影像... 15
圖 2. 17 (A~E)邊界跟隨演算法步驟展示圖[4] ... 16
圖 2. 18 小波轉換的分類邊碼表示法... 17
圖 2. 19 第一次水平分割... 20
圖 2. 20 第一次垂直分割... 21
圖 2. 21 集水盆地[16] ... 22
圖 2. 22 VINCENT 所提出的分水嶺演算法流程 ... 24
圖 3. 1 實驗之總流程圖... 27
圖 3. 2 影像前處理流程圖... 28
圖 3. 3 色彩空間轉換流程圖... 29
圖 3. 4 RGB 轉 HSV 色彩模型 ... 30
圖 3. 5 擷取感興趣區域... 31
圖 3. 6 小波轉換鈍化處理... 32
圖 3. 7 相關性的水平偏移(相鄰像素間的距離) ... 32
圖 3. 8 灰階像素標準差之流程... 33
圖 3. 9 除光度不均之流程... 34
圖 3. 10 非導盲磚區域標準差... 35
圖 3. 11 導盲磚標準差 ... 35
圖 3. 12 陰影遮蔽之導盲磚... 36
圖 3. 13 被陰影遮蔽之導盲磚標準差... 36
viii
圖 3. 14 消除光度不均後影像... 37
圖 3. 15 減速丘之影像... 38
圖 3. 16 矩形偵測之流程... 39
圖 3. 17 矩形偵測後之減速丘... 40
圖 3. 18 T 型導盲磚矩形偵測 ... 40
圖 3. 19 直線型導盲磚矩形偵測... 40
圖 3. 20 十字型導盲磚矩形偵測... 41
圖 3. 21 誤判區域數值 0.46... 41
圖 3. 22 減速丘圓半徑偵測... 42
圖 3. 23 導盲磚圓半徑偵測... 42
圖 3. 24 遞迴多邊形擬合示意圖... 43
圖 3. 25 紋理概念示意圖... 44
圖 3. 26 標示導盲磚區域... 44
圖 3. 27 HOUGH 轉換的參數空間 ... 45
圖 3. 28 HOUGH 轉換直線偵測 ... 45
圖 3. 29 辨識導盲磚與地板顏色相似之流程... 46
圖 3. 30 高鐵導盲磚原始影像... 46
圖 3. 31 影像均衡化... 47
圖 3. 32 關運算之影像... 47
圖 3. 33 高斯 LAPLACIAN 濾波之影像 ... 48
圖 3. 34 二值化之影像... 48
圖 3. 35 分水嶺分割之導盲磚影像... 49
圖 3. 36 語音系統流程... 50
圖 3. 37 語音判斷是否為導盲磚... 51
圖 3. 38 T 型導盲磚語音 ... 51
圖 3. 39 十字型導盲磚語音... 52
圖 3. 40 直線導盲磚語音... 52
圖 4. 1 導盲磚原始影像... 55
圖 4. 2 高鐵導盲磚原始影像... 55
圖 4. 3 室內導盲磚實驗結果影像... 57
圖 4. 4 室外導盲磚實驗結果影像... 59
圖 4. 5 光影環境下的導盲磚實驗結果影像... 61
圖 4. 6 導盲磚與地板顏色相近環境實驗結果影像... 62
圖 4. 7 非導盲磚實驗結果影像... 64
圖 4. 8 實驗圖組 1 導盲磚像素比較... 65
圖 4. 9 實驗圖組 2 導盲磚像素比較... 66
圖 4. 10 實驗圖組 3 導盲磚像素比較... 67
圖 4. 11 實驗圖組 4 導盲磚像素比較 ... 68
圖 4. 12 [24]之研究誤判影像與本實驗結果 ... 74
圖 4. 13 [24]之研究辨識其它物體與本實驗結果 ... 75
圖 4. 14 [24]之研究辨識導盲磚區域偏低與本實驗結果 ... 77
圖 4. 15 [25]之研究辨識其它物體與本實驗結果 ... 78
圖 4. 16 本實驗 100 張實驗結果影像... 81
圖 4. 17 高鐵導盲磚失敗之影像... 83
圖 4. 18 本實驗 20 張導盲磚與地板顏色相近之環境實驗結果... 83
1
第一章 緒論
1.1 研究背景與動機
「無障礙環境」的意思是一個可以讓人通行無阻,而且易於接近及到達的理
想環境。但我們國人近年來對「無障礙環境」議題,較不重視。許多無障礙標誌 標示不清楚,無障礙坡道與扶手高度是否符合身障人士的需求?樓梯下端是否有 鋪設防撞膠條,防止受傷?霸佔身心障礙停車格到處可見、隨意濫用身心障礙專 用洗手間……等等。這些負面消息常常出現在新聞上,身障人士的權益是否慢慢 的消失?!
根據內政部調查,視障人口總數共55,569人,佔身心障礙人口5.3% (失明原 因以糖尿病居首位),全台視障人口數其中15歲至65歲視障人口數為24,936人,
佔全視障人口44.87%。而65歲以上之視障人口數為29,483人,占全視障人口 53.05%。
中國的盲人約500萬人,占全世界的18%,占中國全國人口的3.8%左右,平均 每一百萬人口有盲人3800人。每年增加的盲人約45萬,至2020年,盲人總數預計 將達到2000萬人。中國是世界上盲人最多的國家,盲人的交通出行,是一項不容 忽視的民生問題,歷年來都受到政府的高度關切。但事實上因為對民眾推廣力不 夠等原因,中國内的城市大規模的導盲磚建設其實對盲人的行走並沒有產生非常 大的幫助。希望也可以透過此系統幫助那些盲人,甚至更多的人。
近年來,盲人行走在路上較為困難,在公園的四個沿路廣場上,導盲磚竟排 成圓形,有些更離譜的竟引導盲人去撞上路旁的樹或欄杆,在天橋旁的導盲磚卻 無法連接到天橋的階梯,甚至導盲磚引導到大馬路上……等等,十分危險的設置。
無障礙環境涉及的範圍廣泛,當中包括物理及人文環境。物理環境是指建築 空間方面的實際情形,如公共建築、交通工具、社區設施、工作及學習等方面,
具有便於殘疾人士進出及使用的相關設施,以及意外緊急處理措施設計和明確指
示標誌,能預防意外發生及降低意外的嚴重性,可以使殘疾人士能在既方便又安 全的情形下生活的環境。而所謂的人文環境,指的是透過宣傳、教育和立法,提 升居民和社會對殘疾人士的關懷、接納和尊重意識及態度,為殘疾人士提供良好 的生活環境,使他們能有均等的機會去實現自我。
在無障礙環境中「導盲磚」是一直爭議不斷的問題,也一直困擾殘障朋友和 社會大眾,在「舖與不舖」兩者之間如何共融相處。許多導盲磚鋪設的位置和機 車停放的位置重疊或太接近,往往容易把視障者引導到更危險的地方。
當今社會上許多無障礙空間,往往障礙連連,有時連正常人通行都有困難,
殘障朋友就不必說了。不少殘障朋友以為可行的通道,到了現場才發現根本行不 通。導盲磚道上擺放的雜物、車輛,還有攤販霸路,或不預警的施工,讓殘友出 門飽受波折,大嘆路難行。
1.2 研究目的與重要性
「導盲磚」的設置用意,在於維護身心障礙朋友們「行」的權益,於人行道 上設置導盲磚,讓視障同胞在人行道上行走時,能獲到基本的安全保障。
我國從 1980 年代,開始仿效外國斥資在大街小巷鋪設導盲磚,結果不少導 盲磚缺乏系統設計,造成盲人沿著紅磚道上的導盲磚走,無法過街,或者循導盲 磚前進卻進不了門。有些導盲磚因施工不良或維護不當,與前後地面凹凸不平、
破碎不堪,不但未能發揮導盲的功效,反而造成殘障朋友的障礙。最典型的例子 就是斜坡道的導盲磚,把輪椅卡住或讓輪椅打滑。為了給盲人方便的無障礙設 施,反而成了殘障朋友的障礙,無異是浪費珍貴的殘障福利資源。
導盲磚真能指引盲人辨認方向嗎?從過去的經驗來看,幾乎所有的視障團體 都對國內的導盲磚失去信心,也因此促使無障礙環境的主管機關營建署決心調整 導盲磚的角色,不再成為視障者導盲的唯一工具,而以改善人行空間讓視障者走 得更安全、更放心,導盲磚將退位成為輔助性的導盲工具。
在一些通道或走道上,幾乎都可以看見導盲磚的出現,但可別小看它!它可
3
是引導視障者安全抵達目的地的偉大功臣!有的導盲磚是由小圓點所構成的,有 些則是由四個長條所組成,是在每一個轉彎處,原先由四個長條所組成的導盲磚 就會換成是由小圓點所構成的導盲磚,藉此告知視障者該轉彎!
「導盲也可以靠人導、聲導,重點是導盲系統要發揮功能,否則鋪再多沒用 的導盲磚,盲人一樣寸步難行。」
1.3 研究範圍與架構
本篇論文架構,第一章先簡介本論文的研究動機與重要性,在第二章介紹文 獻回顧,第三章介紹研究方法,第四章是實驗結果,最後一章則是結論與未來展 望。
由於導引系統所涉及範圍太廣,例如:RFID語音控制導引、GPRS電子導盲 手杖……等等。在本研究中,主要用影像辨識處理技術,引導視障者更安全的行 進在道路上進行探討。
第二章 相關文獻回顧
2.1 何謂影像處理?
影像處理[1](image processing)是改變影像的本質,以便達到下面兩大目標:
一.強化圖片資訊,便於人眼辨識。
1.加強影像的邊緣線條,呈現更銳利的影像。呈現最佳影像,通常就必須經 過銳利化處理。
2.去除影像雜訊。資料傳送的過程中,很容易產生雜訊問題。
3.去除影像的動態模糊現象。去除模糊可以清楚看到影像中其它看不清楚的 細節。
4.取得影像邊緣線條。從取得的邊緣線條可以知道,是否需要稍微加強原本 的影像,以使邊緣更為清晰。
5.去除影像中的細節。可用來測量影像中的大小與形狀,而不會受到不必要 細節之干擾。
二.轉化成更適合機器自動辨識的格式。
2.2 影像擷取與色彩空間
彩色是一種有效的描述例子,常常可以識別與簡化目標並從景物中抽取。相 較於只能檢測20幾級灰階,而人類可以分辨幾千種彩色的色度和強度。彩色影像 處理分為兩大主要領域:全彩色(full-color)和虛擬彩色(pseudo-color)。全彩,通 常是用在彩色電視攝影機或彩色掃描器等。虛擬彩色,對特定的單色強度或強度 範圍指定一顏色。
2.2.1 常用色彩模型
色彩模型[4]也稱為色彩空間(color space)或色彩系統(color system),目的是便 於以某種標準且一般可接受的方式來指定色彩。
5
色彩模型是描述使用一組值(通常使用三個、四個值或者顏色成份)表示顏色 方法的抽象數學模型。例如:三原色光模式(RGB)和印刷四分色模式(CMYK)都 是色彩模型。但是一個與絕對色彩空間沒有函數映射關係的色彩模型或多或少地 都是與特定應用要求幾乎沒有關係的任意色彩系統。在色彩模型和一個特定的參 照色彩空間之間加入一個特定的映射函數就在參照色彩空間中出現了一個明確 的“footprint”。這個“footprint”稱為色域,並且與色彩模型一起定義為一個新的色 彩空間[2]。圖2.1為不同色彩空間的比較。
圖 2. 1 不同色彩空間的比較
一般常用的色彩模型,主要有 RGB 色彩模型、HSV 色彩模型、HSI 色彩模 型、YIQ 色彩模型、YUV 色彩模型、YCbCr 模型…等等。在下面會介紹幾個常 被使用的色彩模型。
2.2.2 RGB 色彩模型
在RGB模型中,每種色彩是以紅、藍、綠的主要頻譜成分來顯現。此模型是 建立在直角座標系統的基礎上,如圖2.2所示。
圖 2. 2 RGB 色彩座標立方圖
RGB空間每個像素所用的位元數稱為像素深度(pixel depth)。考慮一個RGB 影像,其中的紅色、藍色、綠色影像都是一個8位元的影像,在這情況下,每個 RGB彩色像素有24個位元的深度。
2.2.3 HSV 色彩模型
HSV色彩空間,是一個非線性轉換的色彩空間,其中的色彩關係與人類視覺 感官較為相似,所以常被用來當作顏色在特徵擷取上的色彩空間。HSV是將RGB 轉換成為色度(hue)、飽和度(saturation)、亮度(value)也可稱“強度”(intensity)所組 成,色相(H)是色彩的基本屬性,就是平常所說的顏色名稱,如紅色、黃色等。
飽和度(S)是指色彩的純度,越高色彩越純,低則逐漸變灰,取0-100%的數值。
明度(V),亮度(L),取0-100%。如圖2.3所示。其RGB彩色座標系統到HSV彩色 座標系統轉換公式如下式(2-1)、(2-2)、(2-3):
7
(2-1)
(2-2)
V=max 其中
max = max(R,G,B)
min = min(R,G,B) (2-3)
圖 2. 3 HSV 色彩模型
2.2.4 YIQ 色彩模型
YIQ,是NTSC(National Television Standards Committee)電視系統標準。Y是 提供黑白電視及彩色電視的亮度信號(luminance),即亮度(brightness),I代表 in-phase,色彩從橙色到青色,Q代表quadrature-phase,色彩從紫色到黃綠色。
YIQ色彩空間與RGB色彩空間為一個線性的轉換,其色彩空間之轉換方程式如 (2-4)所示。
(2-4)
在 NTSC 格式中,影像資料包括了三個成分:Y 代表顏色的照度(luminance)、
I 代表色調(hue)以及 Q 代表飽和度(saturation)兩個分量則帶有彩色信息,I 分量代 表以橙色到青色的顏色變化,而 Q 分量則代表以紫色到黃綠色的顏色變化,如 圖 2.4。
圖 2. 4 YIQ 色差模型
2.2.5 YUV 色彩模型
YUV色彩空間為西歐國家所制定PAL(Phase Alteration Line)的色彩模型。
YUV主要用於優化彩色視頻信號的傳輸,使其向後相容老式黑白電視。
YUV 色彩空間是編譯 true-color 顏色空間的一個種類。其中使用一個亮度 (luminance)和兩個濃度(chrominance),如圖 2.5 為 YUV 色彩空間的重要性。它的 亮度信號 Y 和色度信號 U、V 是分離的。其目的與 YIQ 一樣是為了人類的眼睛 對於亮度變化較為靈敏但是對於色彩變化較不靈敏的特性開發而成的,同時也是 一種壓縮資料的傳輸模式。YUV 與 RGB 色彩空間的轉換公式如(2-5)式:
9
圖 2. 5 YUV 色差模型
(2-5)
2.2.6 YC b C r 模型
YCbCr色彩空間用於數位視訊中,它是國家無線電諮詢委員(Consultative Committee of International Radio,CCIR)所制訂MPEG視訊與JPEG影像的標準色 彩空間。YCbCr不是一種絕對色彩空間,是YUV壓縮和偏移的版本。YCbCr的Y 與YUV中的Y含義一致,Cb和Cr與UV同樣都指色彩,Cb指藍色色度,Cr指紅色 色度,在應用上很廣泛,JPEG、MPEG、DVD、攝影機、數位電視等皆採此一 格式。因此一般俗稱的YUV大多是指YCbCr。YCbCr最常用於影像資訊壓縮。
YCbCr色彩空間分別代表亮度元素(luminance)Y、藍色元素(blueness)Cb成份是藍 色成份與參考值的差距,紅色元素(redness)Cr成份是紅色成份與參考值的差距。
YCbCr有時會稱為YCC.。Y’CbCr在模擬分量視頻(analog component video)中也常 被稱為YPbPr。
YCbCr與RGB色彩空間的轉換公式如(2-6)式:
(2-6)
YCbCr色彩模型亦是將影像分為三個分量,其中 Y 是指亮度分量,Cb指藍色色 度分量,而 Cr指紅色色度分量,其顏色模型如下圖 2.6 所示。
圖 2. 6 YCbCr 色差模型
2.3 影像二值化
二值化(binarization)又稱為門檻值化(thresholding)或灰度二分化,目的是為了 降低彩色影像所帶來的大量資訊量及其影像的複雜度,使得原先灰階(gray level) 或 彩 色 (color) 色彩變成黑、白兩色階,常被用來作為影像分割 (segmentation) 的 工 具。二值化將影像的灰度分劃成只有兩種灰階值,也就是設定一個門檻值 (threshold),影像中灰度高於其值的,便令其為白點,而灰度值低於此門檻值的,
便令其為黑點,如此可得到一個二元的影像。Otsu[6]二值化方法是一種常被使用 於辨識的方法,它最主要的想法是利用統計的方法找出一個最佳的二值化門檻
11
值,使得兩群變異數的總合為最小。此演算法必須先找出影像中的變異數 (variance),變異數可用來測量一個群組的同質性(homogeneity),一個群組的同質 性越高則其相異性就越低;相反的,一個群組的同質性越低,則其相異性就越高。
分割基準方法如下:
1.選取一個能夠讓所有群組內的相異性(within-group variance)的權重合最小 的分割分數。目的在於強調群組內各個像素的高同質性。
2.選取一個能夠讓群組間的差異性(between-group variance)讓群組間的平均 值差的平方合最大。此目的在於強調群組間的相異性。
每一種二值化法的處理效果不盡相同,自動二值化法之優劣並無絕對的評估 標準,只要能夠將所要求的物體確實的從背景凸顯出來,就是一個理想的二值化 法。如圖 2.7 與圖 2.8 為灰階圖與其轉二值化影像。
圖 2. 7 Lena 灰階圖
圖 2. 8 Lena 二值化後之影像
2.4 形態學
形態學[4](morphology),通常表示處理動物與植物結構形狀的生物學的分支 而在這裡討論的是數學上的形態學(mathematical morphlogy),為背景當做抽取影 像成分的工具,是一門以拓樸學為基礎的基礎影像分析學科,形態學影像處理的 基本理論,經常使用在二值影像處理上。因此在本文利用形態學的方式來處理這 些雜訊等不必要的訊息。膨脹與侵蝕是形態學處理的重要基礎,數學形態學是研 究數字影像形態結構特徵與快速並行處理方法的理論,是通過對目標影像的形態 變換實現結構分析和特徵提取的目的,許多的形態學演算法都建立在這兩個基本 的運算上。
其中相關的形態學處理包括:侵蝕(erosion)、膨脹(dilation)、斷開(opening) 閉合(closing)。
2.4.1 侵蝕與膨脹
侵蝕(erosion)是使二值影像中的物件縮減或是細化運算。A 被 B 侵蝕,定義 如下(2-7)式:
(2-7)
侵蝕是輸出像素的值是所有輸入像素值中的最小值。在二值圖像中,如果鄰 域中有一個像素為0,則輸出像素值為0。如圖2.9與圖2.10所示。
圖 2. 9 二值化原圖
13
圖 2. 10 侵蝕之影像
膨脹(dilation)是一種在二值影像中使物體成長或是變厚的運算,此厚化的方 式和程度是由一種稱為結構元素(structuring element)的形狀所控制。數學上,膨 脹是以集合運算的方式來定義,A藉由B的膨脹,定義如下(2-8)式:
(2-8)
膨脹是輸出像素的值是所有輸入像素值中的最大值。在二值圖像中,如果鄰 域中有一個像素為 1,則輸出像素值為 1。如圖 2.11 與圖 2.12 所示。
圖 2. 11 二值化原圖[20]
圖 2. 12 膨脹之影像
2.4.2 斷開與閉合
斷開(opening)通常使物體輪廓平滑,消除細的部分以及截斷較窄的細微部 份。閉合(closing),傾向是輪廓部分平滑,與斷開相反,就是把窄的中斷部分和 長細缺口連接起來,消除小動,填補輪廓上的缺口。數學方式描述斷開(2-9)式與 閉合(2-10)式。如圖 2.13 為二值化原圖、圖 2.14 為斷開之影像。
A 被 B 形態學上的斷開:
(2-9)
圖 2. 13 二值化原圖
圖 2. 14 斷開之影像 A 被 B 形態學上的閉合:
(2-10) 圖 2.15 為二值化原圖、圖 2.16 為閉合之影像。
15
圖 2. 15 二值化原圖
圖 2. 16 閉合之影像
2.5 邊界跟隨演算法
主要是為了找出物體或區域的邊界,並且記錄邊界外形的座標點。假設處理 的是二值影像,其中物體與背景點分別被標示成1和0,以及影像以0的邊界填補,
以消除一物體併入到影像邊界的可能性。[4]
以下將介紹此演算法:
已知一個二值區域R或其邊界,則跟隨R的邊界或所給邊界的一個演算法步 驟如下:
1.令起始點b0是標示為1的影像中的最左上端的點,以C0代表b0的西近鄰(圖 2.17 (b))。顯然C0永遠是背景點。從C0開始並一順時針方向進行來檢視b0的8近 鄰。令b1代表所碰到其值為1的第一個近鄰,並令C1為序列中緊連b1前的(背景) 點。儲存b0和b1的位置以提供步驟5作使用。
2.令b=b1及C=C1(圖2.17 (c))。
3.令C開始並一順時針方向進行的b的8近鄰表示成n1,n2,……n8。找標示 為1的第一個nk。
4.令b=nk及C=nk-1。(C一直代表背景點,因為nk在順時針掃描中所找到的 第一個值為1的點)。
5.重複步驟3和4直到b=b0且下一個找到的邊界點為b1。當演算法停止時,
所找到的b點序列構成有序邊界點的集合。此演算法以Moore[10]為名而稱Moore 邊界追蹤演算法(Moore boundary tracking algorithm)。
圖 2. 17 (a~e)邊界跟隨演算法步驟展示圖[4]
下一個要處理的座標標示成(1.),未處理的標示(1),演算法找到的座標標示 成灰色方形。
如果是一個區域而不是它的邊界,則邊界跟隨法運作一樣,此程序抽取出一 個二值區域的外邊界(outer boundary)。如果目的是找到一區域中洞的邊界[指區域 的內邊界(inner boundary)],則簡單的方法是抽取出洞並將其視為在0的背景上值 為1的區域。將邊界跟隨演算法運用到這些區域上會產生區域的內部邊界。
17
2.6 小波轉換
小波分析(wavelet analysis),或小波轉換(wavelet transform)是指用有限長或 快速衰減的、稱為母小波(mother wavelet)的振盪波形來表示信號。該波形被縮放 和平移以匹配輸入的信號。
小波轉換(wavelet transform)是來自於小波分析(wavelet analysis)的結果,而 小波分析方法的提出可以追溯到 1910 年 Haar 提出的小波規范正交基。之後在 1984 年的時候,法國地球物理學家 J. Morlet 在分析地震波的局部性質的時候,
發現傳統的傅利葉轉換,難以達到他的要求,因此他便將小波的概念引進信號分 析中,對信號進行分解。隨後物理學家 A. Grossman 對 Morlet 這種對於信號由一 個確定函數的伸縮、平移系 [( )/ ]: , }
2
{
a
1 x b a a b R
展開的可行性進行研究,為小波分析的形成開啟了先河。圖 2.18 是小波轉換的概念圖,可以看到整 個小波轉換的架構分成兩個部分,一個是小波分析(wavelet analysis),另一個則 是小波合成(wavelet synthesis)。如圖 2.18 的左半邊是小波分解的部分,小波分解 首先要有一個原始數列的資料,這個原始數列是一個無窮數列。
圖 2. 18 小波轉換的分類邊碼表示法
小波轉換分成兩個大類:連續小波轉換(CWT)和離散小波轉換(DWT)。兩者 的主要區別在於連續轉換在所有可能的縮放和平移上操作,而離散轉換採用所有 縮放和平移值的特定子集。將先介紹連續小波轉換、離散小波轉換。
2.6.1 連續小波轉換
連續小波轉換,通常是用來將連續時間的函數分解成小波。相較於傅立葉變 換,連續小波轉換不一樣的地方在於它能將處理的訊號在建構時頻表示時擁有良 好的時間和頻率的定位。由定義上來看,連續小波轉換式可視為輸入的一連串資 料和母小波之間的折積。折積的部分可以利用快速傅立葉變換得到,一般來說,
除非母小波本身是複數,那麼通常連續小波轉換輸出的 Xw(a,b) 會是一個實數值 的函數。而一個複數的母小波則會將連續小波轉換的結果變成一個複數值的函 數。而連續小波轉換的功率則可由| Xw(a,b) |絕對值平方得到。
連續小波轉換數學式:
)db da
a b (t
| a
| ) 1 b , a ( a X ) 1
t ( x
0 2 w
(2-11)
其中ψ(t)的部分為母小波,而 ψ(t)中 a 的部分為控制尺度,b 的部分為控制位置。
a 為任意正實數,b 則為任意實數。
連續小波轉換數學式推導與說明:
μ dμ ψ(μ)2 Cψ
0
ds 2 dτ
s τ(x) s, τ)ψ ψ(s, ψ W
C f(x) 1
f(x) ransform)
wavelet t continuous
(invers
τ) ψ(s, W W
f W
f
其中
得 可求 用反連續小波轉換
, on)參數。已知
(translati (scale)和平移
且s和τ分別稱為尺度
s τ x s τ) 1 (s,
其中
(x)dx τ (x) x, τ)
(s,
為 (x)的連續小波轉換 (x)對實數值小波
函數 一個連續的平方可積分
(2-12) (2-13)
(2-14)
(2-15)
19
2.6.2 離散小波轉換
離散小波轉換(discrete wavelet transformation, DWT)與DCT相似,都是一種將 空間域影像轉換成頻率域影像的技術。常被使用的頻率轉換,它是一種將空間域 影像(spatial domain)轉換成頻率域影像(frequency domain),其優點是轉換後的資 料會有其重要性的差異存在,而我們可以藉由這樣的特性,對於較重要部份的影 像加以處理,以提升所擷取出來特徵的重要性。而在這樣的轉換中,影像邊緣的 位置,差值會變得比較大,而影像平滑的位置,差值會變得比較小,明顯強調低 頻部分。以下將介紹Haar離散小波轉換。
低頻特性:肉眼對低頻敏感度較高、像素與像素之間的變化小、影像較平
滑、細緻且清楚、低頻部分的值稍有改變,人的眼睛一看就知道。高頻特性:肉 眼對高頻敏感度較低、像素與像素之間的變化大、影像較粗糙、糢糊、高頻部分 的值稍有改變,肉眼是無法清楚的看出的。
當scaling與translating變數a和b為離散,而非連續時,則稱W(a,b)為f (t)的離 散小波轉換(DWT)。其中,a和b是有關連性的,因為當振幅的縮放(scale)較小時,
相對來說位移(translation)也就比較小;相反,在選擇a和b的表示法時,一般表示 法是:
a = a0-m b =nb0a0-m
其中m,n,a0,b0是整數
(2-16) 得
Z n , m
) nb t a ( a
) t
( 0m/2 0m 0
n , m
(2-17)
t nb )dt a
( ) t ( f a
dt ) t ( ) t ( f ) n , m (
D m,n 0m/2 m,n 0 m 0 (2-18) ) :
n D(m, )
t
( 的離散小波轉換 式如下
則f ,
原來函數f(t),利用離散小波轉換係數的還原式,如下:
m n D(m,n) m,n(t) )
t (
f (2-19)
Haar 的離散小波轉換:Harr 函數離散小波轉換的運算大致上有兩個步驟:
一為水平分割,二為垂直分割。水平分割是讀取係數的順序是依照水平方向由左 至右來取;儲存時是水平方向儲存。垂直分割是讀取係數的順序是垂直方向由上 至下來取;儲存時是垂直方向儲存。如圖 2.19 為第一次水平分割、圖 2.20 為第 一次垂直分割。
Harr 函數離散小波轉換過程:
步驟一:第一次水平分割
(a)原始影像 (b)Harr 函數離散小波轉換第一次水平分割後結果
圖 2. 19 第一次水平分割
21
步驟二:第一次垂直分割
(a)原始影像 (b)Harr函數離散小波轉換第一次垂直分割後結果
圖 2. 20 第一次垂直分割
完成第一次水平分割及第一次垂直分割後,這樣算是第一階的離散小波轉 換。得到了四個區塊LL、LH、HL、HH,這四個區塊分別代表不同的頻率,所 以稱這些區塊為子頻帶(subband)。因為LL頻帶是影像中最重的部分,所以應該 對LL做一階離散小波轉換動作,在完成第二階離散小波轉換後,總共可得到七 個頻帶,其中四個為第二階的結果,而其它三個為原本第一階留下來的結果;當 然我們也可以往下做第三階、第四階、…等等,一直到第n階的離散小波轉換。
做完離散小波轉換後,最低頻的部分就是整張影像中最重要的部分。
2.7 形態學分水嶺分割
分水嶺分割法可說是目前有效的影像分割法之一,原是由Vincent and Soille 所提出[16],分水嶺概念是以三維(兩個空間座標對強度值)的方式來看此影像為 基礎。分水嶺分割方法,是一種基於拓樸理論的數學形態學的分割方法,基本思 想是把影像看做是測量地質學上的拓璞面貌,影像中每個點的像素灰階值表示該
L LH
點的海拔高度,每一個特定的區域極小值和其影響區域稱為集水盆地(catchment basin),而集水盆地的邊界則形成分水嶺(watershed)。如圖2.21所示。
圖 2. 21 集水盆地[16]
以這些公式為基礎的分割演算法的主要目的是找出分水線[4]。基本想法,
假定在每個區域性最小值處鑽洞,讓水穿過洞,從底部以均勻速率上升使整個地 形淹水。當在不同的集水盆地的水位上升到快要匯流時,就建立水壩以避免匯 流。最後氾濫將會到達只有水壩的上方在水面上可見的一個階段。這些水壩的邊 界對應分水嶺的分開線。因此,可以從分水嶺分割演算法中抽取連續的邊界。分 水嶺分割的一個主要應用是從背景抽取出接近均勻的物體。有強度小變化特徵區 域有小的梯度值,因此,常看到分水嶺分割使用在影像的梯度上,而不是影像本 身,所以集水盆地的區域最小值與對應於感興趣物體的小梯度值之間高度有關。
2.7.1 分水嶺演算法流程
針對一張灰階影像,首先依照其像素值的大小加以排列,由小到大分別儲 存在一個一維的陣列裡,但是這裡必須包含下列兩個步驟:
步驟一: 對像素的大小的排序(sorting)。
先將一張灰階影像依照像素的灰階值由小到排列,存入一個陣列裡,必須可 以對影像中的任何像素及其鄰近像素的值做隨機存取。首先對灰階影像求其像素 對灰階值的頻率分佈,由此再計算出累積機率分佈。這樣算出的累積分佈,可以 在排序陣列(sorting array)中,對單一的一維陣列裡的某一個特定像素值做直接讀 取和分配。假設一張灰階影像有n個像素,而hmin和hmax分別代表這張灰階影像 最小和最大的灰階值,那麼對像素大小做排列的方法就需要對整張影像做兩次的
23
像素掃描,一次是決定像素的累積機率分佈,另一次是指派不同值的像素在不同 的排序陣列裡;這樣子計算像素值的累積機率分佈,遠比每次要找某個特定灰階 值就要尋找整張影像的方式,在所花的時間和記憶體的大小上面來的少很多,分 水嶺演算法在對某個特定像素值做存取的順序,就是依照排序陣列裡面的像素大 小。而處理過的像素,如果符合某一個再處理的條件時,這時後就必須使用到佇 列的資料結構,而以first-in-first-out (FIFO)的流程,再對這些像素做處理。
步驟二:模擬水氾濫的過程(flooding)。
排序完成後,開始模擬漲水的動作,假設水漲到高度h,此時已進水的蓄水 盆地之個別最小值高度一定是小於等於h,這些最小值的點都會給予一個獨特的 標籤(label)。由於之前完成排序,即可以對h+1高度(即灰階值為h+1)的像素做存 取,給予這些像素一個標籤值MASK,此時需要一個FIFO(first infirst out)的 queue,將那些標示為MASK且鄰近像素已有被標上label的像素推入queue,然後 一個一個拿出來,根據它的鄰近像素來決定它的標籤值,如果鄰近像素也有標上 MASK的,也把它丟進queue裡,屬於同一個蓄水盆地的像素都會被標上相同的 標籤值,如此便會從蓄水盆地的最低點慢慢往外延伸。而那些雖然是標示成 MASK但鄰近像素都沒有被標過label的像素,它就是一個新的區域最小值,我們 給予它們不同於其它蓄水盆地的標籤數值,經過此步驟後,不屬於任何蓄水盆地 的pixel都會被標成分水嶺點,最後產生出分水嶺線。圖2.22為Vincent所提出的分 水嶺演算法流程。
圖 2. 22 Vincent 所提出的分水嶺演算法流程
25
第三章 研究方法
3.1 實驗流程
此章節為本文的重心,下面內容將研究與實驗過程中所用到的方法及影像處 理技術詳細介紹,首先介紹實驗的整體流程及架構,分別解釋處理方法與操作流 程。首先將一般的 RGB 影像轉為 HSV 色彩空間,並初步分離感興趣的區域,再 使用小波轉換鈍化處理。最後以 S 值標準差、矩形偵測、圓形半徑計算與直線偵 測等特徵來判斷是否為導盲磚區域,辨識結束再以語音告知導盲磚種類。
對於無法以 HSV 的 S 值分割出的影像,本系統主要是以 RGB 影像轉為灰 階影像再進行分水嶺分割法來處理這類的影像問題。下圖 3.1 為實驗之總流程。
RGB 轉 HSV
ROIs 分割處理 輸入影像
是否有 ROIs
小波轉換
輸入原 始影像
矩形偵測≤0.6 半徑計算≤5pixels
分水嶺分割 二值化 Laplacian 形態學-關運算
增強對比 RGB 轉 Gray
Hough 轉換-直線偵測 紋理分割-尋找區域
結束
<30
消除光度不均 30≤標準差
≤60
辨識為導盲磚 辨識為非導盲磚
是
否
否
是
是
否
(a) 是
否
27
(b)
圖 3. 1 實驗之總流程圖
導盲磚種類判別 語音系統
結束
音訊資料庫抓取
選擇相對應語音 輸入導盲磚或非
導盲磚影像
3.2 影像前處理
影像前處理包括了色彩空間轉換、ROIs 分割處理及小波轉換。介紹方法將 依實驗步驟順序介紹。圖 3.2 為影像前處理流程圖。
圖 3. 2 影像前處理流程圖
29
首先介紹,色彩空間轉換。下圖 3.3 為色彩空間轉換方法與流程圖。
圖 3. 3 色彩空間轉換流程圖
由於影像大多數為 RGB 的色彩,RGB 色彩模式使用 RGB 模型,RGB 影像 只使用三種顏色。影像中每一個像素的 RGB 分量分配一個 0~255 範圍內的強度 值。RGB 是從顏色發光的原理來設計定的,它的顏色混合模式就好像有紅、綠、
藍,當它們的光相互疊合的時候,色彩相混,而亮度等於兩者亮度之總和,越混 合亮度越高。但此色彩空間容易受到物體的陰影、光線的明亮度有所影響,而轉 換色彩空間之目的就是為了減少這些環境因子對影像所造成的影響。RGB 的影 像顏色容易因明亮度的強弱影響產生顏色深淺的變化,就是說想要抽離出光線對 於色彩的影響是比較困難的,比較不適合直接進行影像處理。
為了減少環境光線變化對物體辨識的影響,本實驗採 HSV 色彩模型因為它 對光源強弱較不靈敏,且 HSV 色彩模式比 RGB 色彩模式,更類似於人類感覺顏 色的方式,具有較強的感知度。本實驗是擷取 HSV 中的 S(飽和度)做處理。
如圖 3.4(a)為原始圖像,利用 HSV 色彩空間轉換後之結果如圖 3.4(b)為 H(色度)、
圖 3.4(c)為 S(飽和度)、圖 3.4(d)為 V(明度)。
(a)原始圖像 (b)為 H(色度)
(c)為S(飽和度) (d)為V(明度) 圖 3. 4 RGB 轉 HSV 色彩模型
31
3.3 紋理概念
把感興趣的物體中提取連通線段。影像中的特定範圍稱為感興趣的區域 (regions of interest)或是ROIs,這方面的處理稱為ROI處理(ROI processing)。
因為有時候執行不會針對整個影像,而是針對影像中的某個範圍。指在影像處理 過程中,針對影像中特定區域範圍加以運算處理,以加速處理,節省運算時間。
影像切割後可以省略多餘的計算量來提升系統的效能。
ROI是靠兩組座標加以定義,產生的遮罩可以視為一個二元影像,ROI 的部 份為1,其他部份為0,區塊物件定義時,須定義區塊種類、範圍,並保存該區塊 的影像值,以便對同一座標位置的像素點進行處理。本研究使用矩形視窗區塊,
其定義為矩形區塊對角線的兩端點(x1 , y1)及(x2 , y2),令y值由y1變動至y2,保 存每一列由x1至x2各點的座標值及灰階值,定義為矩形視窗區塊。如圖3.5(a)為 HSV色彩空間S(飽和度),而圖3.5(b)為感興趣的區域,就是影像分析的重點,使 用ROIs以便進一步的處理。
(a)HSV色彩空間S(飽和度) (b)感興趣的區域 圖 3. 5 擷取感興趣區域
3.4 小波轉換處理
使用小波轉換鈍化操作主要是提出影像中的低頻成份,抑制尖銳快速變化成 份。對原來影像做二維離散餘弦變化對變換後的結果在頻域做濾波重建變換後的 影像,在做兩層的二維小波分解,對低頻係數進行放大處理,並抑制高頻係數,
通過處理後的小波係數影像。如圖3.6為邊界跟隨演算後的小波轉換鈍化處理。
圖3.7為相關性的水平偏移 。
圖 3. 6 小波轉換鈍化處理
圖 3. 7 相關性的水平偏移(相鄰像素間的距離)
33
3.5 灰階像素分析與消除光源不均
在機率統計中最常使用作為統計分佈程度,反映個體間的離散程度。簡單來 說,標準差是一組數值自平均值分散開來的程度的一種測量觀念。大的標準差,
代表大部分的數值和其平均值之間差異較大;較小的標準差,代表這些數值較接 近平均值。如圖3.8為灰階像素標準差流程圖、圖3.9為消除光度不均之流程。
圖 3. 8 灰階像素標準差之流程
圖 3. 9 除光度不均之流程
影像標準差的大小可以了解此影像分散的程度(對比高低),這些平均值可以 幫助我們分析此影像灰度分佈情形。一般常用的統計平均值定義如下:
影像平均值:
MAX MIN
x T
MAX x MIN
x n
n ) x
x ( xp )
x ( E
X (3-1)
影像平均能量:
MAX
MIN x
2 2) x p(x) x
( E
X (3-2) 影像標準差:
MAX MIN x
2p(x) ) x x
( (3-3)
計算不同區域標準差,並顯示影像中區域相應的像素值間的標準差,設定非 導盲磚之最大門檻值,如圖3.10為非導盲磚區域標準差。
35
圖 3. 10 非導盲磚區域標準差
依照每個區塊統計出符合設定門檻值內的總像素是否在門檻值內,判斷目標 像素的區域灰階標準差的差異程度來作為評估的標準。如圖 3.11(a)為導盲磚標準 差 46.2 與圖 3.11(b)為導盲磚標準差 47.8。
(a)導盲磚標準差46.2 (b)導盲磚標準差47.8 圖 3. 11 導盲磚標準差
3.5.1 消除光源不均
由於建築物導致導盲磚被陰影遮蔽(光源不均),造成影像分割不齊全,為了 辨識被陰影遮蔽的部份,而使用擴展亮度來處理。如圖3.12為陰影遮蔽之導盲磚。
圖 3. 12 陰影遮蔽之導盲磚
可以看到導盲磚一些部分被建築物遮蔽而產生光源不平均,而導致辨識度可 能不完整。圖3.13為被陰影遮蔽之導盲磚標準差。
圖 3. 13 被陰影遮蔽之導盲磚標準差
傳統直方圖等化是一種在影像處理領域中很常見的自動影像增強法,其原理 是藉由重新分配影像中的灰階分佈,使其分佈的較均勻因此強化了明暗對比,而 得到最佳的顯示狀態。可是傳統的直方團均衡化是對整張影像增強,影像中局部 的細節往往得不到增強,甚至在均衡化過程中往往被其鄰近的灰階值合併,反而 導致影像對比度降低。在這是使用有限制對比度自適應直方圖均衡化,用來提升 影像的對比度的一種影像處理技術。通過計算影像的局部直方圖,然後重新分布 亮度來改變影像的對比度。更適合傳統直方圖均衡化來改進影像的局部對比和得 到更多的影像細節。計算灰階分佈範圍設定在30~60之間,設定如果區域內灰階 值標準差分佈在30~60之間就是導盲磚之灰階分佈。如果標準差低於30則使用消 除光源不均,以利於特徵辨識。如圖3.14為消除光度不均後影像。
37
圖 3. 14 消除光度不均後影像
3.6 矩形偵測與圓半徑計算
一張影像中,除了該區域的目標大小不同外,也經常出現不同形狀的目標物 體,像有方形、梯形、不規則的形狀。然而確定影像中的一定形狀的目標對於影 像辨識的應用是很重要的。如圖3.15為一種道路減速功能的設施,其顏色為黃色 與黑色並間隔組成一長條橢圓的形狀,其內部也是固定間隔之隆起,雖然黑色部 分很容易過濾掉,但黃色部分有可能會使系統產生錯誤的判斷。為了讓導盲磚與 減速丘有所區別,而使用矩形偵測來辨識。
圖 3. 15 減速丘之影像
確定該目標的邊界,並根據
Metric = 2
perimeter
Area 4
(3-4)
Metric=量度(指標), Area=目標物體的面積,Perimeter=目標物體的周長,
根據目標物的面積和周長來確定是否為矩形,如圖3.16為矩形偵測之流程。
39
圖 3. 16 矩形偵測之流程
一個導盲磚與減速丘分別的方法,就是兩者的特徵有明顯的不同、形狀也不 同。導盲磚影像通常為長條狀、T 型或者十字型。如圖 3.17 為矩形偵測後之減 速丘數值,可以看到有三個區域被辨識出。利用矩形偵測設定出高低門檻值,將 超出門檻值也就是越接近矩形的區域當作錯誤的區域,判定它為非導盲磚影像。
圖 3. 17 矩形偵測後之減速丘
(a)原始影像(T 型) (b)矩形偵測後之數值 0.19 圖 3. 18 T 型導盲磚矩形偵測
(a)原始影像(長條型) (b)矩形偵測後之數值 0.57 圖 3. 19 直線型導盲磚矩形偵測
41
(a)原始影像(十字型) (b)矩形偵測後之數值 0.35 圖 3. 20 十字型導盲磚矩形偵測
本實驗將矩形偵測值≥0.6 視為非導盲磚
3.6.1 圓半徑計算
只有一個最高的門檻值,明顯不夠區別出是否為導盲磚。如圖3.21可以看到 距離較遠的減速丘,矩形偵測低於0.6,雖然通過門檻標準,但是並不是導盲磚,
為了加強不會誤判的結果,再使用圓形半徑計算處理,設定最低門檻值。
圖 3. 21 誤判區域數值 0.46
減速丘是類似橢圓的形狀,所以半徑是一個可以當做很重要的參數。加上目 標物的周長和面積都與半徑有關連。使用 8 連通性找到圓的一段弧,通過圓的方
程式來計算相對應的參數,圓的方程式:
(x-xc)2+(y-yc)2=radius2 其中,(xc,yc)為圓心,展開得到如下的方程式 x2+y2+ax+by+c=0
其中,a=-2xc,b=-2yc,c=xc2+yc2-radius2 radius=
xc
2 yc
2 c
(3-5)進行圓形半徑像素偵測可以看到減速丘數值 44.378pixels。如圖 3.22 為減速 丘圓半徑偵測。如圖 3.23 為導盲磚圓半徑偵測。從數值來看,這兩張影像的圓 半徑數值有明顯的落差。本實驗將矩形偵測值≥0.6 與半徑像素>5pixels 這兩個條 件視都符合就判別為非導盲磚。
圖 3. 22 減速丘圓半徑偵測
圖 3. 23 導盲磚圓半徑偵測
43
3.7 區域性處理
沿著一個物體的輪廓用指定的方向或長度的線段進行邊碼(遞迴多邊形擬合 演算法)。下圖3.24為遞迴多邊形擬合示意圖。
1.令P為一張二值影像之有序、不同且單值點的序列。指定兩個起始點A和 B(多邊形的兩個起始頂點)。
2.設定門檻T以及兩個空的堆疊OPEN和CLOSED。
3.若P中的點對應於一個封閉曲線,則將A放入OPEN中並將B放入OPEN和 CLOSED中。若這些點對應於一個開放曲線,則將A放入OPEN中,B放入CLOSED 中。
4.計算從CLOSED中最後一個頂點到OPEN中最後一個頂點的直線參數。
5.計算從參數4中的直線P中所有點的距離,其中P的序列將這些點置於從步 驟4來的頂點之間。並選取具有最大距離Dmax的點Vmax。
6.若Dmax>T,則把Vmax置於OPEN堆疊來當成一個新頂點,到步驟4。
7.否則從OPEN中將最後一個頂點移除並將它插入成CLOSED的最後一個頂 點。
8.若OPEN不是空的,則至步驟4。
9.否則終止。CLOSED中的頂點就是擬合P中各點之多邊形的頂點。
圖 3. 24 遞迴多邊形擬合示意圖
沿著一個物體的輪廓用指定的方向或長度的線段進行邊碼。如圖 3.25 為紋 理概念示意圖。
圖 3. 25 紋理概念示意圖
邊界編碼完後標示出導盲磚正確區域。如圖3.26為標示導盲磚區域。
圖 3. 26 標示導盲磚區域
3.7.1 導盲磚特徵過濾
為了使盲人得到更多的資訊,使用Hough轉換[11],主要是利用導盲磚長條 直線與圓形顆粒的特徵來當作判斷,判斷直走與轉彎的時機,並配合語音系統輔 助盲人行走。如圖3.27為Hough轉換的參數空間。
45
圖 3. 27 Hough 轉換的參數空間
起始點(黃色)、終點(綠色)、線段(紅色)、最長直線(藍色),如圖3.28(a)為Hough 轉換偵測。偵測到長條直線代表直線,如果有偵測到圓形顆粒,就是只有邊緣直 線的偵測,就代表有轉彎處。有彎的導盲磚會導入T型導盲磚語音系統。圖3.28(b) 為90度翻轉後偵測影像。
(a)Hough轉換偵測 (b) 90度翻轉後偵測影像 圖 3. 28 Hough 轉換直線偵測
3.8 辨識導盲磚與地板顏色相近環境 (高鐵實例)
當導盲磚與地板顏色相近時,HSV 轉換後 ROIs 無法抓取到導盲磚的像素而 設計此系統改善。如圖 3.29 為辨識導盲磚與地板顏色相似之流程、圖 3.30 為高 鐵導盲磚原始影像。
圖 3. 29 辨識導盲磚與地板顏色相似之流程
圖 3. 30 高鐵導盲磚原始影像
47
可以看到地板與高鐵導盲磚顏色相似,為了突顯導盲磚,先將 RGB 轉成灰 階影像,因為光線不均勻會造成擷取影像的對比度及明暗度不一致,而使用影像 直方圖均衡化對對比度進行調整。這種方法通常用來增加許多影像的全局。直方 圖均衡化通過有效地擴展常用的亮度來實現平衡影像對比度的效果。如圖 3.31(a) 為影像均衡化直方圖、圖 3.31(b)為均衡化之影像。
(a)均衡化直方圖 (b)均衡化之影像 圖 3. 31 影像均衡化
接下來使用關運算(先膨脹後侵蝕),主要將導盲磚本身斷開的部分連接上,
並把地板瓷磚所連接的線條消去,以利於辨識。如圖 3.32 為關運算之影像。
圖 3. 32 關運算之影像
並採用高斯Laplacian濾波,高斯Laplacian是一種全方向性的邊緣強化處理,
它不論方向性而對於影像邊緣作強化。Laplacian是對影像灰度斜率的變化率作運 算,在灰度值固定的區域和灰度值轉變過度區其值均為零,這正是二次微分之特 性。而其運算結果代表的是灰度值強弱的變化。經高斯Laplacian處理後的影像其
結果是在暗色背景上勾繪出物體的輪廓,對於灰度變化不是很明顯的影像以此方 法處理後,可使影像之邊緣更突出,使影像中物體的輪廓更為明顯,來當作一個 前景與背景區域的標記分離,再由分水嶺分割法達到細部處理的效果。此區域就 會形成單一物體及其背景,以利於分水嶺分割不會過度分割。如圖3.33為高斯 Laplacian濾波之影像。再將影像分成兩種灰階值,得到所謂的二值化影像,以利 於影像的辨識。如圖3.34為二值化之影像。
圖 3. 33 高斯 Laplacian 濾波之影像
圖 3. 34 二值化之影像
接下來是最後的處理,採用分水嶺分割法,可以從背景抽取出接近均勻的物 體,目的是將影像中具有相似灰階值的像素點歸類為同一群。此實驗主要是以邊 界為基礎來做為分割,此方法較偏重於檢驗影像中是否存在的邊界,並將邊界形 成之封閉區塊視為同一塊區域,因此此方法之執行效果的好壞的關鍵因素,取決 於邊緣檢測的結果。
49
(3-6)
對應的集水分盆分別為 w1、w2。(w1+w2)則表示兩集水盆合併,(w1,w2) 則表示兩集水盆保持不變。
由於背景之間與目標之間的像素灰度值差別較大,分水嶺分割輸出影像的各 極大值點之間也反映了這種相似性和差別。因此,設定一分割閾值,定義為兩相 鄰極大值點之間的灰度差。其中某一個極大值點與它最鄰近的另一極大值的點之 間灰度差小於該閾值時,由這兩個極大值點確定的集水盆將合併;否則兩集水盆 皆保持不變。如下圖3.35為分水嶺分割之導盲磚影像。
圖 3. 35 分水嶺分割之導盲磚影像
2
| 2 1
|
1
| 2 1 ) |
, (
) 2 1 (
) 2 , 1
(
if g g T
T g
g y if
x
G
ii
w w
w
w
3.9 語音系統
語音交談為人類交換訊息最方便的方式。故最後使用語音系統,輔助盲人知 道行走在哪種導盲磚上。如圖3.36為語音系統流程。
圖 3. 36 語音系統流程
由於影像已辨識出,接下來就會導入語音系統。如圖3.37(a)為辨識正確之導 盲磚、圖3.37(b)為辨識後影像(非導盲磚)。如果影像辦識正確將會在導入下一階 段。
51
(a)辨識正確之導盲磚 (b)辨識非導盲磚
(您好,導盲磚辨識確認) (抱歉,這不是導盲磚請注意)
圖 3. 37 語音判斷是否為導盲磚
第二階段-種類判別
為了讓盲人可以先有方向性的參考,了解自己走在哪種導盲磚上,而使用語 音告知。
(您好,這是T型導盲磚) 圖 3. 38 T 型導盲磚語音
(您好,這是十字型導盲磚) 圖 3. 39 十字型導盲磚語音
(您好,這是直線導盲磚) 圖 3. 40 直線導盲磚語音
53
第四章 實驗結果
本實驗系統使用MATLAB R2009a程式語言撰寫,所採用的影像檔皆為JPG 格式的檔案。實驗模擬結果使用範本有100張影像如下圖4.1所示,其中包括了室 內導盲磚、室外導盲磚、光影環境下的導盲磚、非導盲磚。導盲磚與地板顏色相 近環境(高鐵導盲磚)20張影像,如下圖4.2所示。由於篇幅的關係在此僅將導盲 磚影像各種情況使用一張影像代表顯示最後輸出之結果與數據。
55
圖 4. 1 導盲磚原始影像
圖 4. 2 高鐵導盲磚原始影像
1.室內導盲磚
原始影像(a)
灰階標準差(b)
矩形偵測(c)
57
圓半徑計算(d)
邊緣偵測(e)
圖 4. 3 室內導盲磚實驗結果影像
表 1 室內導盲磚數據
2.室外導盲磚
原始影像(a)
灰階標準差(b)
矩形偵測(c)
59
邊緣偵測(d)
圖 4. 4 室外導盲磚實驗結果影像
表 2 室外導盲磚數據
3.光影環境下導盲磚
原始影像(a)
灰階標準差(b)
矩形偵測(c)
61
邊緣偵測(d)
圖 4. 5 光影環境下的導盲磚實驗結果影像
表 3 光影環境下的導盲磚數據
4.導盲磚與地板顏色相近之環境(高鐵導盲磚)
原始影像(a)
導盲磚偵測(b)
邊緣偵測(c)
圖 4. 6 導盲磚與地板顏色相近環境實驗結果影像
63
5.非導盲磚
原始影像(a)
灰階標準差(b)
矩形偵測(c)
計算半徑(d)
圖 4. 7 非導盲磚實驗結果影像
表 4 非導盲磚數據
以上為五種實驗結果數據為室內導盲磚、室外導盲磚、光影環境下的導盲 磚、非導盲磚、辨識導盲磚與地板顏色相近之環境。
65
室內導盲磚原始影像(a)
原始影像之二值影像(b)
本實驗之二值影像(c)
圖 4. 8 實驗圖組 1 導盲磚像素比較
室外導盲磚原始影像(a)
原始影像之二值影像(b)
本實驗之二值影像(c)
圖 4. 9 實驗圖組 2 導盲磚像素比較
67
光影環境下導盲磚原始影像(a)
原始影像之二值影像(b)
本實驗之二值影像(c)
圖 4. 10 實驗圖組 3 導盲磚像素比較
導盲磚與地板顏色相近環境(高鐵導盲磚)原始影像(a)
原始影像之二值影像(b)
本實驗之二值影像(c)
圖 4. 11 實驗圖組 4 導盲磚像素比較
69
以上是圖組 1 至圖組 4 的原始影像二值化與本實驗二值化影像的像素比較 圖。由於影像張數過多,用四張圖作代表。由下表 5 可以得知原始影像中導盲磚 區域的像素與本實驗所提出方法結果有相當高之辨識率,抓取導盲磚區域像素平 均正確率 96.2%。
表 5 實驗結果像素值比較數據
表 6 為黃色型導盲磚方法比較,並分析各研究方法的失敗原因。辨識成功定 義是以下面三種條件做為判斷。
1. 對於有導盲磚之影像並能分割部份以上的導盲磚。
2. 不能把非導盲磚之區域判斷為導盲磚區域。
3. 辨識出之導盲磚區域像素比率必須大於 60%。
由下表 6 可見本實驗方法辨識率高於[24]與[25]之研究。
表 6 黃色型導盲磚方法比較
[24]方法 [25]方法 本實驗方法
圖 1 失敗 成功 成功
圖 2 成功 成功 成功
圖 3 成功 成功 成功
圖 4 成功 成功 成功
圖 5 成功 成功 成功
圖 6 成功 成功 成功
圖 7 成功 成功 成功
圖 8 成功 成功 成功
圖 9 成功 成功 成功
圖 10 成功 成功 成功
圖 11 成功 成功 成功
圖 12 成功 成功 成功
圖 13 成功 成功 成功
圖 14 成功 成功 成功
圖 15 成功 成功 成功
圖 16 成功 成功 成功
圖 17 成功 成功 成功
圖 18 成功 成功 成功
圖 19 成功 成功 成功
圖 20 失敗 成功 成功
圖 21 成功 成功 成功
圖 22 成功 成功 成功
圖 23 成功 成功 成功
圖 24 成功 成功 成功
圖 25 成功 成功 成功
圖 26 成功 成功 成功