輔助視障者於枕木紋行人穿越道線行走安全系統之研製

全文

(1)國立臺灣師範大學機電科技學系碩士論文指導教授：葉榮木博士蔡俊明博士輔助視障者於枕木紋行人穿越道線行走安全系統之研製 A safe walking system for assisting the visually impaired persons on pedestrian crossing. 研究生：褚哲威中. 華. 民. 國. 1. 0. 2. 撰年. 7. 月.

(2) 摘要視障者一般在行經交通道路口時，要如何獲取行人穿越道上的資訊來達成安全行走的目的是很重要的問題。所以本研究所研製的辨識系統可以用來輔助視障者準確地偵測出枕木紋行人穿越道線。針對動態的影像進行辨識處理。透過使用可攜式的攝影設備，代替視障者的雙眼以偵測出枕木紋行人穿越道線，輔助其能安全地穿越枕木紋行人穿越道路口。讓視障者在穿越馬路時取得前方行人穿越道的資訊，可以有更安全的行走資訊。本研究主要是以影像處理的方式來達成，整個演算法架構為：載入影像分序圖、彩圖轉灰階、灰階轉黑白、圖形濾波、最後標出圖框。偵測枕木紋行人穿越道線部分，本論文採用了連通物件標籤法(Connected Component Labeling)及面積濾波(Size Filter)，而這兩種方法應用上容易因影像雜訊太多而產生誤差，為了解決這個問題，本論文嘗試以中值濾波器(Median Filter) 與形態學濾波器(Morphological Filter)來抑制影像雜訊之影響。實驗內容是對於不同天候條件下和多種道路場景來作偵測，由實驗結果得知，皆能有效的偵測並判別結果。整體辨識率可達 99%，處理速度約為每張 0.03 秒。. 關鍵字：枕木紋行人穿越道、影像處理、視障. i.

(3) Abstract When the visually impaired walk across the roads, how do they obtain the necessary information to pass through safely? This is a serious issue concerning people’s life. Therefore, the auxiliary visual identification system developed by the Institute can be very helpful to assist the visually impaired to detect and notify where the pedestrian crossing is. By wearing portable video gears, the visually impaired can easily acquire effective and accurate information with coordination when a pedestrian’s crossing lying ahead. Our system could provide the visually impaired with more secure and trusted notification of the environment. This study is based on image processing approach to reach its goal. The procedures of this research include loading serial images, gray scale converting, binarization, graphic filtering and targeting on the objects in the long run. The paper uses Connected Component Labeling Algorithm and Size Filter theory together to accomplish the task of targeting on the zebra crossing. It is found that by applying these two methods in the process would cause certain inaccuracies due to much noise in an image.. In order to solve this problem, this paper. attempts to adopt Median Filter approach and Morphological Filter theory to suppress and minimize the effect of image noise. Experimental contents are likely to do with different weather conditions and a variety of road scenes. After realistic involving with the system, we gladly obtain the satisfying results of overall recognition rate of 99% and the processing speed is about 0.03 seconds per frame. Keywords: pedestrian crossing, image processing, visual impairment ii.

(4) 誌謝本論文能夠順利完成，首先要感謝指導老師葉榮木博士、蔡俊明博士的殷勤指導，不時的討論並指點我正確的方向，使得我在學習的過程中獲益良多。另外要感謝口試委員李炯三博士對本論文提出的各項改善建議與意見。感謝我的家人在這段期間對我的支持，讓我可以無後顧之憂的專注在學業上。另外要謝謝實驗室的同學朝允平時的幫忙與陪伴，最後要特別感謝表哥杭融在學業上所給予的建議與鼓勵。. iii.

(5) 目錄摘要 ...........................................................................................................................i Abstract ....................................................................................................................ii 誌謝 ........................................................................................................................ iii 目錄 .........................................................................................................................iv 表目錄 .....................................................................................................................vi 圖目錄 ................................................................................................................... vii 第一章. 緒論 ....................................................................................................... 1. 1-1. 研究動機 ............................................................................................... 1. 1-2. 研究目的 ............................................................................................... 5. 1-3. 枕木紋行人穿越道線簡介 ...................................................................... 7. 1-4. 系統架構 ............................................................................................... 8. 1-5. 論文架構 ............................................................................................... 9. 第二章. 相關研究與文獻探討 ......................................................................... 10. 2-1. 電子式行進輔具 ...................................................................................... 10. 2-2. 引導式電子輔具 ...................................................................................... 13. 2-3. 立體視覺輔具 .......................................................................................... 18. 2-4. 電子晶片與人工視網膜科技 ................................................................ 21. 2-5. 文獻回顧................................................................................................... 23. 第三章. 枕木紋行人穿越道之影像處理 ........................................................ 25. 3-1. RGB 色彩空間 ......................................................................................... 26. 3-2. HSV 色彩空間 ......................................................................................... 27. 3-3. 灰階化(Gray Scale Manipulation) ..................................................... 29. 3-4. 二值化(Binarization) .......................................................................... 30 3-4-1. 自適性閥值二值化(Adaptive Thresholding) ......................... 31 iv.

(6) 3-4-2 3-5. 自適性閥值產生步驟 ............................................................. 33. 空間域濾波 ......................................................................................... 36 3-5-1. 均值濾波器(Average Filter) .................................................... 38. 3-5-2. 中值濾波器(Median Filter) ..................................................... 40. 3-6. Sobel 濾波器(Sobel Filter) ................................................................. 43. 3-7. 形態學運算(Morphology) .................................................................. 44 3-7-1. 膨脹運算 .................................................................................. 46. 3-7-2. 侵蝕運算 .................................................................................. 47. 3-7-3. 斷開和閉合 .............................................................................. 49. 3-8. 連通物件標籤(Connected Component Labeling) ............................. 51. 3-9. 面積濾波(Size Filter) ......................................................................... 54. 第四章. 實驗結果與討論 ................................................................................. 57. 4-1. 程式介面 ............................................................................................. 58. 4-2. 白天與夜間的偵測結果..................................................................... 59. 4-3. 加入感興趣區域後的偵測結果......................................................... 66. 4-4. 利用 Multipass Filter 提升處理速度................................................. 71 4-4-1. 方法概論(Method) .................................................................. 71. 4-4-2. 標記原則說明(Labeling Procedure) ....................................... 72. 4-4-3. 決策樹的運用(Decision Tree) ................................................ 75. 4-4-4. 結果討論與說明 ...................................................................... 77. 4-5. 不完整的枕木紋線偵測結果 ............................................................ 79. 4-6. 不同角度的枕木紋線偵測結果 ........................................................ 81. 第五章. 結論與未來研究方向 ......................................................................... 83. 參考文獻 ................................................................................................................ 84. v.

(7) 表目錄表 1-1 視障者的分類 ............................................................................................. 5 表 4-1 硬體規格 ................................................................................................... 58 表 4-2 白天偵測結果 ........................................................................................... 63 表 4-3 夜間偵測結果 ........................................................................................... 64 表 4-4 加入 1/2 ROI 後白天偵測結果 ................................................................ 68 表 4-5 加入 1/2 ROI 後夜間偵測結果 ................................................................ 68 表 4-6 與參考文獻所作的比較 ........................................................................... 79. vi.

(8) 圖目錄圖 1-1 導盲白手杖 ............................................................................................... 2 圖 1-2 導盲犬 ....................................................................................................... 3 圖 1-3 枕木紋行人穿越道線 ............................................................................... 7 圖 1-4 系統整體架構 ........................................................................................... 8 圖 2-1 Ultrasonic 超音波障礙物偵測感應器 ................................................... 11 圖 2-2 智慧拐杖(Smart Cane) ........................................................................... 12 圖 2-3 Sound Foresight 超音波手杖(Ultra Cane) ............................................. 13 圖 2-4 日本 Guide Dog Robot Kinect................................................................ 14 圖 2-5 Obstacle Avoidance System (OAS) ........................................................ 14 圖 2-6 Nav Belt ................................................................................................... 15 圖 2-7. Guide Cane .............................................................................................. 17. 圖 2-8 視差示意圖 ............................................................................................. 18 圖 2-9 Kinect 感應器 ......................................................................................... 19 圖 2-10 結合 Kinect 的機器導盲犬 .................................................................... 20 圖 2-11 人工視網膜晶片 ..................................................................................... 22 圖 2-12 灰階像素分佈圖 ..................................................................................... 24 圖 3-1 影像處理流程圖 ..................................................................................... 25 圖 3-2 RGB 色彩立方體模型............................................................................ 26 圖 3-3 HSV 色彩空間模型 ................................................................................ 27 圖 3-4 灰階化的影像 ......................................................................................... 29 圖 3-5 不同門檻值設定的情況 ......................................................................... 30 圖 3-6 理想的閥值決定法直方圖 ..................................................................... 32 圖 3-7 灰階原圖轉換直方數據圖 ..................................................................... 34 圖 3-8 直方圖經區塊平滑化後結果 ................................................................. 35 vii.

(9) 圖 3-9 決定最佳化閥值的處理範例 ................................................................. 36 圖 3-10 遮罩運算方式 ......................................................................................... 37 圖 3-11 常用的 3x3 均值濾波器遮罩 ................................................................. 38 圖 3-12 均值濾波器的處理範例 ......................................................................... 39 圖 3-13 中值濾波器的處理 ................................................................................. 41 圖 3-14 中值濾波器的處理範例 ......................................................................... 42 圖 3-15 Sobel 濾波的遮罩形式 ......................................................................... 43 圖 3-16 Sobel 濾波器的處理範例..................................................................... 44 圖 3-17 形態學經由膨脹與侵蝕的示意圖......................................................... 45 圖 3-18 形態學之膨脹示意圖 ............................................................................. 46 圖 3-19 膨脹運算處理範例 ................................................................................. 47 圖 3-20 形態學侵蝕之示意圖 ............................................................................. 48 圖 3-21 侵蝕運算處理範例 ................................................................................. 49 圖 3-22 四連通與八連通的遮罩 ......................................................................... 51 圖 3-23 連通物件標籤示意圖 ............................................................................. 52 圖 3-24 枕木紋線進行連通物件標籤後的結果 ................................................ 53 圖 3-25 將標籤化後物件數據化結果 ................................................................. 55 圖 3-26 程式輸出結果圖 ..................................................................................... 56 圖 4-1 可攜式眼鏡型微攝影機 ......................................................................... 57 圖 4-2 程式主畫面 ............................................................................................. 59 圖 4-3 白天和夜間的天候狀況場景 ................................................................. 60 圖 4-4 不同天候的灰階分佈圖示意圖............................................................. 61 圖 4-5 灰階分佈圖示意圖 ................................................................................. 62 圖 4-6 白天天候辨識結果 ................................................................................. 65 圖 4-7 夜間天候辨識結果 ................................................................................. 66 viii.

(10) 圖 4-8 對影像作不同 ROI 的結果 .................................................................... 67 圖 4-9 失焦造成誤判的結果 ............................................................................. 69 圖 4-10 失焦仍正確辨識的結果 ......................................................................... 69 圖 4-11 畫面遠處的枕木紋線 ............................................................................. 70 圖 4-12 使用遮罩型式示意圖 ............................................................................. 71 圖 4-13 前進式掃描實例解說示意圖 ................................................................. 73 圖 4-14 後推式掃描實例解說示意圖 ................................................................. 74 圖 4-15 forward scan 掃瞄遮罩圖 ..................................................................... 75 圖 4-16 決策樹 ..................................................................................................... 76 圖 4-17 白天和夜間天候的辨識結果圖............................................................. 78 圖 4-18 不完整的枕木紋線偵測情形 ................................................................. 81 圖 4-19 不同角度的枕木紋線偵測情形.............................................................82. ix.

(11) 第一章. 緒論. 1-1 研究動機在台灣，視障已成為一個法定名詞，然而視障人士並非完全看不見，多數的視障者仍然有一些視力。所謂視覺障礙者係指依萬國式視力表所測定，優眼經最佳矯正後視力未達 0.3，或視野未達 20 度以內者，依障礙程度分為全盲及弱視兩類。根據萬國優眼視力，測定值未達 0.03 者，稱之為全盲，全盲者只能感受到物體的移動和形影。當視力測定值介於 0.03 到 0.2 之間，或視野在 20 度以內，稱之為弱視。弱視者仍然可以透過剩餘的視覺，學習日常生活中的事物，但是在用路方面，則依弱視者本身視力情況的差距，而有很大的差異性[1]。部份全盲人士仍可以在眼前數手指，或看清楚手的移動，或有殘存的光覺或光源覺，其殘存的視力對於他們的行動，生活都有很大的幫助[2]。根據世界衛生組織統計，視障者的人口在全世界約有四千萬位左右[3][4]。其中台灣目前大約有六萬位的視障者。因此，發展一套安全的交通道路口辨識系統，對於視障者安全的穿越馬路口有著相當地重要性。目前，視障人士最普遍使用的外出導盲輔具為白手杖(White Cane)，如圖 1-1 所示，在使用傳統導盲手杖時，其使用方式為觸碰前方可觸及的距離，左右範圍約與肩膀同寬，藉由碰觸來獲得周遭環境資訊，反之，導盲手杖無法觸碰到的區域，就無法得知環境資訊。. 1.

(12) 圖 1-1 導盲白手杖[1] 除了導盲手杖，還有另一種較常使用的導盲方式，就是利用導盲犬 (Guide Dog)來指引可行走的道路，如圖 1-2 所示，導盲犬是工作犬的一種，也可稱導盲犬為視障人士的第二雙眼，最常見的品種為拉不拉多、黃金獵犬、德國狼犬。根據日本導盲犬協會的統計資料顯示，全世界目前約有兩萬五千隻左右的導盲犬，在美國約有八千隻以上投入導盲的工作，在英國約有五千多隻，德國導盲犬數量約一千五到兩千隻左右，法國約一千五百隻，日本約有一千隻左右，其導盲犬的訓練費用約在兩百五十萬日幣，費用裡不含人工訓練費用，大部分為醫療支出費用，其中，每一百隻的導盲犬中，大約只有三到四成左右的導盲犬可以投入導盲的工作中。並且在導盲犬退役後，可由原使用者優先領養，或是由導盲犬協會負責，透過這些數據可以得知，要訓練一隻專業合格的導盲犬需要大量的時間與金錢的投入，而且訓練時間需長達十八個月，時間以及成本上都是非常大的耗費[5][6][7][8]。根據台灣導盲犬協會[9]，目前臺灣約有 60,000 名的視障者，但是現役的合格導盲犬僅有 30 隻，而根據國際導盲犬聯盟評估理想的視障者與導盲 2.

(13) 犬的比率應為 100:1，因此可得知目前台灣在此方面的資源嚴重缺乏，所以就需要研製價格實惠，一般視障者能夠負擔得起的儀器來幫助這些弱勢族群。. 圖 1-2 導盲犬[9]. 因此，本文主要針對視障者在穿越枕木紋行人穿越道時，利用一套電子導盲的輔助工具，提供使用者周遭的環境資訊，使視障者可以對目前所處的位置有所了解，是否正確地行走在枕木紋行人穿越道上，再搭配上白手杖的使用，讓視障者可以免於與枕木紋穿越道線上的人、車或是障礙物，出現有碰撞的情形發生，以達成視障者的用路安全。目前市面上的電子導盲輔具的價格並不便宜，因而產生了研發低價位電子導盲輔具的構想。並且藉由目前發展越來越成熟的影像辨識技術，和處理速度更快的硬體，研製出一套以影像處理為基礎的辨識系統，對於本文的使用者，也就是視障人士，在行經馬路口穿越枕木紋行人穿越道線時，利用影像辨識的技術和硬體設備，經由系統正確的判讀並利用語音或是警告聲來使得視障者能從中獲取有利的資訊。 3.

(14) 然而隨著科技的日新月異，數位影像處理(digital image processing)技術，已成為推動現今自動化社會不可或缺的要件之一，不僅在天文學[10]、生物學[11]、醫學[12]上有極大的助益，更在機器人[13]、工業檢測[14]以及監控保全[15]等領域都有實際的應用。. 4.

(15) 1-2 研究目的視障者就是視覺有障礙者，但其實視障者並不是眼睛完全看不到的，而視障的原因可分為先天型和後天型這兩類，先天型的視障原因有包括遺傳，或是母體懷孕時所感染到而產生的病變，使得小孩一出生就成為了視障者；在後天型的形成視障原因有包含了青光眼、白內障，或是經由意外傷害所產生等。在一般視障者的分類中主要[16]包含了幾種分類，如下表 1-1 所示。. 表 1-1 視障者的分類分類絕對盲. 說明就醫學上而言，為完全喪失視覺者。指視力雖然能辨識強光，明暗等現象，但還不能. 光覺發覺眼前三呎處光的移動。能發覺眼前三呎處的手動影像，視力值在萬國式手動視覺視力表測量結果在 0.02 以下者。其視力值在萬國式視力表上，約在 0.02 到 0.05 之行動視覺間。該類視障者尚可應用其視力以助行走。色覺. 即有辨識色彩的視覺。視力能數出眼前手指的數目者，視力值在萬國視. 數手指力表測量結果約在 0.02 左右。凡視野狹小經視野計檢查結果，視野在 5 度以內隧道盲者為盲，視野在 5~20 度間為弱視，在行動上甚為不便。 5.

(16) 由上表的分類可得知，視障者並非全盲，所以需要輔助的儀具來導引方向，以及判斷路面是否有障礙物的產生。對於一個視障者要安全地穿越行人穿越道路口的時候，通常僅能依靠白手杖或是導盲犬作為偵測空間上障礙物與判斷交通道路口是否可以穿越。在日常生活中，視障者對於戶外的環境都存在著極大的不安全感，不過現在政府都會為盲人在人行道上設置盲人用的導盲磚專用道，來協助盲人行走以便減少意外的發生；但相對於馬路路口而言，就沒有所謂的盲人專用道可以輔助視障者了，這時候就可能需要他人的從旁協助。因此，本文主要針對視障者在行走於行人穿越道路口的時候，若能使用一套可攜式的電子導盲輔具，其功能可以偵測出枕木紋行人穿越道線，用以提供視障者周遭的環境資訊，讓視障者對周遭的環境狀況有一個概略的瞭解。例如，目前是否正行走在行人穿越道上。透過使用本研究的可攜式電子導盲輔具，再搭配上白手杖或是導盲犬的輔助，來達成視障者於交通道路口用路安全的目的。本研究的目的就是在幫助視障者，利用電子導盲輔具準確地偵測出枕木紋行人穿越道線，並且系統能夠自動判別目前場景的環境光影是屬於白天或是夜晚，輔助其能安全地穿越行人穿越道路口。以期能讓視障者對於行走在馬路上的滿意度與安全感有所提昇。. 6.

(17) 1-3 枕木紋行人穿越道線簡介行人穿越道線是一種繪製在馬路路面上的交通標線，讓穿越路口的行人可以遵從此標線的指示從固定的區域通過馬路口，同時也可以提醒道路駕駛人在行駛經過該段區域的時候，要注意到用路行人的安全。枕木紋行人穿越道線[17]，常設於交岔路口處，其線型為枕木紋的白色實線，線段長度一般為三公尺到八公尺為標準，寬度與間隔一般均為四十公分，儘可能於最短距離處銜接人行道，以利行人穿越。枕木紋行人穿越道線如圖 1-3 所示。. 圖 1-3 枕木紋行人穿越道線. 7.

(18) 1-4 系統架構本系統可分為：硬體與演算法(軟體)兩大部分，整體流程如圖 1-4 所示。首先只需按下電源鍵即可開啟眼鏡型微攝影機，並在開始鍵未按下時，眼鏡型微攝影機將一直處於待機狀態；按下開始鍵，則開始錄影，並透過本研究提出的演算法進行處理，最後以語音資訊輸出。. 系統啟動. 硬體. 待機. 部分. 啟動開始鍵. 讀取影像. 軟體. 系統辨識. 部分. 語音輸出. 圖 1-4 系統整體架構. 8.

(19) 1-5 論文架構本篇論文研究內容共分為五章，第一章先說明視障者的定義，研究動機與研究目的。第二章將介紹視障者在用路方面所使用的各類相關導盲輔具與其相關研究和文獻探討。第三章說明本研究所應用的影像處理方法與步驟。第四章為研究結果與討論。第五章為結論與未來研究方向。. 9.

(20) 第二章相關研究與文獻探討美國的視覺委員會根據視覺障礙者的需求以及輔助視覺障礙者日常生活的儀器特徵，建造了檔案系統[18]。其中有提到，高效能的儀器裝置可以改善視障者的生活品質，而設計輔助裝置的工程師需要瞭解使用者的個人不同需求，才能發展出有效率的幫助，目前市面上有許多適用於視障者的電子感應器系統，其中在輔助視障者穿越於馬路口行人穿越道的方面，大致上可分為環境目標物的辨識與障礙物的偵測這二部分。以下將介紹現今有關電子導盲輔具的研究成果。. 2-1 電子式行進輔具早期導盲機器的研究多半是設計一些裝置有感測器的小型電子裝置，並且以盲人可以接受的型式將感測器的偵測結果傳達給盲人[19]，例如: 使用聲音的高低頻變化或振動。其目的是讓盲人在環境中具有比較安全的行動能力，因此只注重局部性閃避障礙物(Local obstacle avoidance)而不考慮全面性導航(Global navigation)，這些裝置或元件統稱為電子式行進輔具(Electronic travel aids: ETAs)[20]。障礙物偵測已經有許多設備應用於視障者身上，例如白手杖、超音波或是紅外線，相關產品如 Ultrasonic 超音波障礙物偵測感應器。如圖 2-1 所示，就是利用超音波來偵測障礙物的一種音導器，配戴方式可以用手或是戴在胸前，它使用了超音波的技術可以偵測到身體周遭 4~8 英尺的障礙物，另外還有人發明了電子導盲手手杖，但是這些設備都有範圍上的限制，只能夠偵測出有限範圍內的障礙物。. 10.

(21) 圖 2-1 Ultrasonic 超音波障礙物偵測感應器[20]. 白手杖是視障者最普遍使用的導盲輔具，藉由碰觸來獲得前方環境的資訊，然而這都是需要經過長期的訓練與學習，而導盲犬是另一種提供視障者在道路行進間的選擇。導盲犬的功用主要是帶領著視障者能夠及早避開障礙物，但是要訓練一支合格的導盲犬非常不容易[9]，不但相當耗費金錢，且有些場所也不利於導盲犬進入，使得導盲犬很難達到普及化的目標。另外有學者所開發的智慧拐杖(Smart Cane)[21]，透過無線射頻辨識系統(RFID)，來偵測障礙物並提醒使用者往哪裡走以及該怎麼走。這支拐杖附有超音波感應器，可與使用者背的袋子內裝的導航系統合作，一起偵測出路上插的小旗子上面的 RFID 標籤。袋子的肩帶上會有一個喇叭，當路上出現障礙時它會警告使用者並告訴他該走哪裡。而聽障者則可戴上一個特別的手套，會對不同的手指發出振動，藉以提供方向指引，如圖 2-2 所示:. 11.

(22) 圖 2-2 智慧拐杖(Smart Cane) [21]. 另外有些學者發展出電子手杖來代替普通的白手杖，例如雲林科技大學自由軟體研究中心教授王文楓所開發的電子導盲手杖以嵌入式系統軟體結合超音波感應器，研發出電子導盲手杖，協助視障朋友行走時偵測並避開路上障礙物。在早期的導盲輔具研究中，多半是設計裝置有感應器的小型電子設備，並且以視障者可以接受的型式，將感測器偵測到的結果，利用聲音的高低頻或是讓裝置震動的方式，傳達給視障者[19]。但是目前已有更全面性的電子導盲輔具，可準確的估測使用者的位置，其電子式行進輔具的原理，與雷達相似，採用紅外線、超音波、磁場、與雷射等方式，透過感測器接收到的超音波，根據物體與空間的距離，產生不同程度的高低音，或是振動頻率，讓視障者在行走時，知道自身附近有障礙物，引導視障者閃避障礙物，可以說是功能強化的導盲手杖。視障朋友帶導盲犬外出已逐漸普及，但培訓成本相當昂貴、超過十萬元以上，智慧型導盲手杖因此應運而生。像是英國 Sound Foresight 公司所研發 12.

(23) 的電子導盲超音波手杖(Ultra Cane)[22]，如圖 2-3 所示，透過 IC 晶片控制五組超音波感測器，分別偵測使用者上、下、左、右和前方等五個方向是否有障礙物；碰到狀況時，會以震動、蜂鳴器或語音導引使用者避開障礙物。電子導盲手杖有效偵測範圍達四公尺，當超音波感測器偵測到有障礙物時，在百萬分之一秒內就可發出警訊，提醒使用者注意。. 圖 2-3 Sound Foresight 超音波手杖(Ultra Cane) [22]. 2-2 引導式電子輔具一般而言，使用導盲犬是一種常見的導盲方式，但導盲犬的挑選訓練極為不易且成本又過於昂貴，並且有壽命之問題。另一種可行的導盲方式是使用引導式的電子導盲輔具，不需要如同訓練導盲犬般花費高昂的成本，也沒有導盲犬壽命終了，而又需重新適應的問題。這方面的研究，國內有國立交通大學電控所宋開泰教授所開發的導盲機器人及應用超音波的避障系統 [23][24][25][26][27]，國外則有日本的“Guide Dog Robot Kinect”[28]，如圖 2-4 所示，和密西根大學機器人實驗室的避障系統(Obstacle Avoidance System, OAS)[29][30]，如圖 2-5 所示。 13.

(24) 圖 2-4 日本 Guide Dog Robot Kinect [28]. 圖 2-5 Obstacle Avoidance System (OAS) [29]. 移動式機器人目前廣泛應用在工廠自動化中作物件搬運之用途，由於安全與自動化的要求，移動式機器人或自走式機器人一般都具備有多種感測器、計算能力強大之控制電腦及高度之智慧能力，使得機器人可以在複雜的環境中進行自主性的導航，例如:位置估測、路徑規劃、軌跡追蹤、障礙物閃避等等複雜的功能。因此就功能性而言只要加強人機介面的設計，移動式機器人即可適用於導盲之用途。 14.

(25) 而以此種自走式機器人的引導方式，視障使用者是被動地被引導，行走的路徑規劃是由機器人決定，使用者是被機器人引導行動。密西根大學機器人實驗室後來又以 OAS 為基礎，開發出一種穿戴式輔具，這是配掛於腰帶上，半環狀排列的超音波行進輔具(Nav Belt) [31][32][33]，如圖 2-6 所示，主動偵測前方是否有障礙物，並以偵測系統判斷並透過聽覺與觸覺的方式給予使用者指示，引導使用者避開障礙物。Nav Belt，顧名思義就是一種具有導航功能的腰帶，由 Borenstein 與 Koren 共同發表，算是一具有移動式機器人功能的電子式行進輔具，Nav Belt 的設計理念來自於移動式機器人與盲人兩者在運動上的相似性。移動式機器人與盲人同樣具有執行運動、行進的能力，但是卻也同樣需要一個偵測系統來偵測在行進路徑上的障礙物並加以閃避，因此直接將移動式機器人的障礙物閃避系統(Obstacle avoidance system) 穿載在盲人身上，盲人成為半被動地接受障礙物閃避系統命令的運動載具，並且可提供比移動式機器人更靈活的行動能力。. 圖 2-6 Nav Belt [32]. 15.

(26) 另外，導引式手杖(Guide Cane) [34]為密西根大學繼 Nav Belt 之後所研發出來的產品，其較之前更好的優點在於將設備由人背負改為裝置於一具備導輪的移動式平台上，減輕了使用者所需背負的重量。如圖 2-7 所示:導引式手杖較為新穎的導盲機器設計是在柺杖的末梢接上一具載有許多感測器、小型控制的電腦，而下方裝有導輪的移動式平台，也就是將原本移動式機器人的動力系統移除，保留智慧感測的部分，這樣的架構特點是: a.捨棄動力裝置，包括:馬達、齒輪機構、驅動器、電池、控制卡等，可充分減少機器的體積重量及盲人的負擔，大大提高機器的可攜性。 b.系統複雜度減小之後，可以著重在感測系統與導航輔助技術的設計上，如位置估測、路徑規劃、軌跡追蹤、障礙物閃避等等。 c.輪子柺杖(Wheel Cane)的機構設計相對於 Nav Belt，在心理層面上可以給予盲人較大的依賴感與安全感。因此導引式手杖的設計可以彌補目前柺杖、電子式行進輔具、移動式機器人及 Nav Belt 所具之缺點。. 16.

(27) 圖 2-7 Guide Cane [34]. 這樣的架構不論在體積及質量上對一個盲人而言都已具有相當高的可攜性，同時又不須像 ETAs 般需要盲人親自拿著感測器對環境進行掃描，即可得到大量的環境資訊。而且相較於 NavBelt，更可以提供盲人類似與導盲犬之間心理上的安全感和依賴感，因此這樣的架構在導盲機器人的研究上是具有相當潛力的。. 17.

(28) 2-3. 立體視覺輔具我們之所以能感受到立體視覺(Stereo Vision)[36]，是因為人類的雙眼是. 橫向並排，之間大約有 6～7 公分的間隔，因此左眼所看到的影像與右眼所看到的影像會有些微的差異，這個差異被稱為「視差（Parallax）」，大腦會解讀雙眼的視差並藉以判斷物體遠近與產生立體視覺，其原理如圖 2-8 所示，由於觀察點的改變，一個物體相對於遠方背景的移動，顯示視差的簡化插圖，當從 A 點(Viewpoint A)觀察時，該物體顯示在藍色方格的前方。當從 B 點 (Viewpoint B)觀察時，顯示該物體移動到紅色方格的前方。並藉由判斷環境景像深度(Depth)，產生立體視覺。. 圖 2-8 視差示意圖[36]. 18.

(29) 立體視覺輔具通常以兩個或是多個以上的攝影機[35]，把讀取的環境資訊，利用邊緣偵測，將環境影像以邊緣方式建構，此方法可以將主要的前景與背景給區隔開來，接著把邊緣影像透過立體比對的方式，將立體影像環境顯示出來。有了立體環境影像，導盲輔具便能透過電腦，利用相關的演算法，例如:透過 k-means 演算法將主要的景深資訊分離，建立出陌生環境景深資訊，根據景深資訊可以偵測出障礙物，計算出障礙物的位置和距離。最後透過語音的方式告知視障者，閃避障礙物。立體視覺在其他方面的研究發展，如微軟公司所開發，應用在遊戲主機的周邊介面，簡稱 Kinect[37]，如圖 2-9 所示。Kinect 感應器是一個外型類似網路攝影機的裝置。Kinect 有三個鏡頭，中間的鏡頭是 RGB 彩色攝影機，左右兩邊鏡頭則分別為紅外線發射器和紅外線 CMOS 攝影機所構成的 3D 結構光深度感應器。Kinect 一次可擷取彩色影像、3D 深度影像、以及聲音訊號。Kinect 還搭配了追焦技術，底座馬達會隨著對焦物體移動跟著轉動。 Kinect 也內建陣列式麥克風，由多組麥克風同時收音，比對後消除雜音。 Kinect 主要就是靠 3D 深度感應器來偵測玩家的動作。. 圖 2-9 Kinect 感應器[37]. 19.

(30) 日本 NSK 公司於 2005 年研發出第一隻機器導盲犬原型 NR001，接下來便不斷改良，讓機器導盲犬的骨架更自然、運動模式更符合人類的行走習慣。 NSK 公司 10 月份開始與電氣通信大學(University of Electro-Communications) 合作，將 Kinect 加裝在機器導盲犬身上，開啟全新的導航技術。如圖 2-10 所示。透過 Kinect 強大的視覺感應功能，在一定距離前就能先準備好面對障礙物時的因應動作；例如遇到階梯時，機器導盲犬會將身體微微傾斜，好讓視障者感覺到，再以緩慢地上下速度引導視障者前進。. 圖 2-10 結合 Kinect 的機器導盲犬. 20.

(31) 2-4. 電子晶片與人工視網膜科技由國人自行研發的視網膜晶片[38]，經過不斷研發、改良，最近已完成. 動物實驗，植入晶片的猴子不但有光感，甚至可分辨明暗及形狀，相當成功。視網膜晶片就像把迷你視覺處理器植入眼底，如同將眼鏡戴在眼球內，不但失明者可靠這薄薄一片電晶體重見光明，未來就連正常人也可能藉由植入晶片提升視力及視覺品質。該方法採用「視網膜外植入」的方式，在眼睛前方的眼鏡設置微型攝影機，如圖 2-11 所示。擷取視覺訊息後轉換成眼睛能接受的訊號，取代感光細胞的功能，再以射頻訊號(Radio Frequency, RF)傳入眼內。同時在眼球內植入脈波產生晶片，在視網膜外部貼上電極陣列，當眼睛外的訊號以無線的方式傳入眼睛內，脈波產生晶片會先接收該訊號，並轉成視神經訊號，再以導線傳導至視網膜的電極陣列上。透過電極陣列刺激視神經細胞，將視覺訊號送至腦部。人體視網膜分好幾層，外層為感光細胞、中層負責視覺處理、內層為神經結細胞，除了感光外，還有視覺處理及傳導等精細功能；而醫界模擬人體視網膜研發而成的視網膜晶片，最早只有感光作用，但就算能感光，也只是眼前「一片光明」，植入者仍然看不到東西，而經過改良後的視網膜晶片則加入視覺處理功能，讓植入者除了感光外，還可分辨環境明暗及物體形狀，已具有初步的視覺功能。. 21.

(32) 圖 2-11 人工視網膜晶片[38]. 目前全球有多個醫療團隊研發視網膜晶片，國外研發的視網膜晶片多屬視網膜上晶片，視網膜上晶片直接貼在視網膜神經結細胞上，只需在視網膜上植入電極，電力供應及視覺訊號處理都在體外進行，優點是可直接刺激神經結細胞，易得到大致視覺，但固定不易，且需電力供應，如同植入心律調節器一般，恐需定期更換電池；而國人研發的則屬視網膜下晶片，這種晶片需植入視網膜下腔，植入難度較高，但可以太陽能發電，且設計較符合視覺傳導由外往內的生理特性，易得到較精緻視覺。未來可進一步藉由植入視網膜晶片，改善視覺解析度，提升視力及視覺品質。. 22.

(33) 文獻回顧. 2-5. 在參考文獻[39]中，是針對非筆直車道線進行偵測，主要方法是在擷取影像上分為畫面中間上方和畫面中間下方，分成兩個部分的 ROI (Region of interest)來進行偵測處理。上方的 ROI 設置範圍較小，則下方靠近畫面處的非筆直車道線設定範圍較大，以便做偵測。在參考文獻[40]，是對於各種不同的場景利用 Condensation Filter 來濾除雜訊點，以便求出道路 VP (Vanishing Point)來得到正確的道路標線。在參考文獻[41]主要是以 SWA (Segmentation by Weighted Aggregation)做一般道路環境的特徵分割，後續再利用視覺的資訊與機率分析作為道路選取方法。在參考文獻[42]中，主要是對行進中的車輛在車子前方裝設攝影機，直接對道路標線與車輛位置進行即時的偵測。大多數的道路標線偵測中，主要都是對縱向的標線進行研究，例如車道線、人行道或是環境背景...等，在對於橫向的穿越較少人進行此方面的研究，對本文所研究的枕木紋行人穿越道線的偵測則更少人在研究。在日本有發表了一篇針對枕木紋行人穿越道偵測的文章[43][44][45]，這是由一位日本作者在西元 2005 年發表在 IEEE 上的 Journal 文章[45]，它主要是利用到了雙峰特徵(Bipolarity Feature)的方式，把前景(枕木紋行人穿越道)與背景給區分出來，其中雙峰(Bipolarity)的說明如下: 此分割原理是利用枕木紋線中，黑線寬與白線寬規律交換的特性，在擷取影像中從中間分為上下兩個區域來進行處理，並分別利用不同大小的遮罩 (Mask)，配合灰階像素分佈圖如圖 2-12 所示，然後利用了公式 2-1 計算得到了一距離比率，計算出是否為相似的區塊，便可初步找到枕木紋行人穿越道。. 23.

(34) 圖 2-12 灰階像素分佈圖[45]. (2-1). 24.

(35) 第三章枕木紋行人穿越道之影像處理本章節主要是偵測處理枕木紋行人穿越道的影像，其最後的目的為判斷影像中是否存在有枕木紋行人穿越道線，而整體過程的影像處理流程圖如圖 3-1 所示，以下章節即為此流程圖進一步說明處理。. 圖 3-1 影像處理流程圖. 25.

(36) 3-1. RGB 色彩空間當取得從攜帶式的微型攝影機進行拍攝以及錄製模擬影片後，原始的影. 像主要是由紅(R)、綠(G)、藍(B)三種原色所組成，RGB(Red、Green、Blue) 色彩空間為最常見的，其中 R 代表紅色成份，G 和 B 分別代表綠色成份和藍色成份。而在電腦中所指的全彩(full - color)影像通常表示 24 位元的 RGB 彩色影像，並且它們分別各佔 8 位元，且以 0 ~ 255 來表示深淺的變化(0 代表黑色而 255 代表白色)。因此，一個 24 位元的 RGB 影像可以產生 (28 )3 = 16,777,216種顏色[46]。 RGB 色彩空間利用 R、G、B 三種基本顏色分量來表示影像像素的顏色值，範圍坐落在 0~255 之間，二維影像中任一像素點的顏色就由 RGB 色彩空間的向量來決定。RGB 色系三維空間中的 X、Y、Z 軸代表紅、綠、藍三原色，原點對應於黑色，離原點最遠的頂點對應於白色，其他顏色坐落在三維空間中由紅、綠、藍三原色組成的彩色立方體中，如圖 3-2 所示。. 圖 3-2 RGB 色彩立方體模型[46]. 26.

(37) 影像在 RGB 色彩空間中，會因光源的亮度不同而使得本來物體相同顏色的地方，在影像中所呈現的顏色卻不同，但只要將 R 與 G 正規化，就能使其對光線的靈敏度減少，公式定義如式 3-1 所示。. 𝑅𝑛 =. 3-2. 𝑅 𝑅+𝐺+𝐵. ,. 𝐺𝑛 =. 𝐺 𝑅+𝐺+𝐵. (3-1). HSV 色彩空間 HSV 色彩空間[47]是一種較接近人類視覺反應的一種色彩空間，是根據. 人類對於色澤、明暗、色調的直觀感覺所建立的顏色模型。是以色相(hue, H)、飽和度(saturation, S)及亮度(value, V)三種顏色屬性來呈現色彩，因此在 HSV 的色彩模型中，所有顏色可以用色相、飽和度和亮度三個參數來表示，如圖 3-3 為一個 HSV 的圓錐模型來表示此三種顏色屬性的色彩分布，圓錐的底部圓環為色環，可以用色相描述，飽和度由圓錐中心向外擴散，亮度則由底部向上遞減。. 圖 3-3 HSV 色彩空間模型[47]. HSV 色彩空間較符合人類的視覺系統，它將亮度 (value, V)與彩度 (chrominance)從色彩中分離開，其中彩度又分為色相(hue, H)以及飽和度 27.

(38) (saturation, S)；由於元素之間關聯性小，較不會互相影響，所以適合使用於影像處理上。 HSV 色彩空間中的色相(Hue)就是色彩的外相，根據可見光波長的不同，人眼所能感覺出來的色彩就會有不同的變化，如紅、澄、黃、綠、藍等。飽和度(Saturatiom)是描述一種顏色的純度，純度越高代表著所含白色或是黑色的色彩越少，稱之為純色，若純色中加入無彩色，如黑色或白色，飽和度就會降低而越接近黑色或白色，最後就會變成無彩色。亮度(Value)就是指顏色的明亮度，就是一般我們說的灰階度，無彩色中以白色的亮度最高，一直遞減到亮度最低的黑色。HSV 色彩空間中，就是使用以上三種參數作為描述特定顏色的方法。大部分的影像都是以 RGB 色彩空間為基礎，而 HSV 色彩空間是 RGB 色彩空間的一種變形，它與 RGB 色彩空間有密切的關係。 RGB 色彩空間轉換成 HSV 色彩空間公式定義如式 3-2 所示：. 𝐻 = 𝑐𝑜𝑠. −1. 1 [(𝑅−𝐺)+(𝑅−𝐵)] 2. {. 1. [(𝑅−𝐺)2 +(𝑅−𝐵)(𝐺−𝐵)]2. 𝑆 =1−. 3 𝑅+𝐺+𝐵. 𝑉=. [𝑚𝑖𝑛(𝑅, 𝐺, 𝐵 )]. }. (3-2). 𝑚𝑎𝑥(𝑅,𝐺,𝐵) 255. 由於 RGB 色彩空間轉換成 HSV 色彩空間，運算上較為複雜，若在較慢的電腦下執行則會相對耗時，因此較不適合需要即時(Real-Time)辨識處理上的應用。. 28.

(39) 3-3. 灰階化 (Gray Scale Manipulation) 對輸入的影像作灰階處理，由於每個像素 R、G、B 值的變化範圍皆從. 0~255，就是 8 位元的色階，因此每張全彩影像的總色彩數有 24 位元也就是 1677 萬個色彩，由於儲存大量的位元組於電腦中，對於影像處理的速度有很大的影響，所以我們在影像前處理的部分先做灰階化的處理，做灰階化是將 R、G、B 三種顏色轉換成一種強度，也就是黑色與白色的區間(0~255)，如此一來可以減少變為一個立方根的範圍，對於處理速度運算量而言會大幅地降低，而辨識處理的時間也會相對縮短。其轉換公式如式 3-3 所示:. Y =0.299x R + 0.587x G + 0.114x B. 其中的 Y 代表為強度，R 為紅色，G 為綠色，B 為藍色。根據上述轉換，所得到的灰階化影像如圖 3-4 所示:. 圖 3-4 灰階化的影像. 29. (3-3).

(40) 3-4. 二值化 (Binarization) 二值化是藉由設定一門檻值的方式來辨別出前景與背景，前景就是本研. 究所要找尋的特徵影像枕木紋行人穿越道線，背景則是不需要的特徵影像。二值化的優點有運算速度快、所需要的記憶體小、可以減少之後的運算量，但是唯一的困難點就是門檻值的設定，主要設定的條件是依據影像背景，若是門檻值設定的過高則會把前景影像部份給濾除掉，設定過低則會將過多的背景留下來，這些都不是我們希望看到的狀況，門檻值設定的適中才能符合繼續辨識下一個階段的目標。如圖 3-5 所示。. (a)門檻值設定不佳. (b)門檻值設定適當. 圖 3-5 不同門檻值設定的情況. 二值化的動作是利用 Pixel-by-Pixel operation 把一張灰階影像(gray image)轉換成一張「只有黑、白」二值的影像。二值化處理的公式如式 3-4 所示，其中 f(x,y)為原始影像，g(x,y)為處理後的影像，T 為閥值。整張影像 30.

(41) 做完二值化後，便可得到只有 0 黑色和 255 白色的影像。在進行數位影像處理時，最簡單明確的方法就是以二元型態(黑色與白色)分別表示出前景和背景，不僅分析簡單、易於表達外，更可以大幅降低資料量，但也因為資料量的大幅降低，因此有可能損失掉一些資訊。一個良好的二值化方法，是可使影像降低資料量外，並且保留足夠的辨識資訊，這對影像處理技術而言是非常重要的。. 1 g ( x, y )   0. if f (x, y)  T if f (x, y)  T. (3-4). 經二值化處理後的影像，必然會失去影像當中的部分資訊，所以為了減少失真的程度，有許多的二值化方法相繼被提出。在 Sezgin and Sankur [48] 中，更將二值化方法分為六類：基於直方圖(histogram)的方法[49][50]、空間聚類(space clustering)的方法[51][52]、熵(entropy)的資訊[53]、物件屬性的資訊[54][55]、空間的資訊[56]、局部特徵的方法[57][58]來探討。這些方法建立在以不同目的及狀況考量為前提上。所以在不同的情況下，需考慮到系統的需求與限制。例如，若對於在整體系統中，有需要即時運算需求的考量下，對於二值化的運算方法的選擇，就應該選擇較為簡單的方式。. 3-4-1. 自適性閥值二值化 (Adaptive Thresholding) [64]. 在影像處理過程中，若要將灰階圖檔轉換為二值化的黑白圖檔時，經常遇到閥值決定的問題。一個理想的閥值能夠將灰階圖檔中前景與背景分隔，也就是將低於該閥值的像素轉換為白色(或黑色)像素，將高於該閥值的像素轉換為黑色(或白色)，如此就能將一張灰階圖檔轉換為理想的黑白圖檔了。一個理想的閥值決定方法請參考如圖 3-6 所示的直方圖。. 31.

(42) 圖 3-6 理想的閥值決定法直方圖[64]. 一般而言，CCD 所拍攝的圖像會因為背景光線的變化而造成即使是同一場景也會有明暗度的不同。人類的眼睛因具有自動補償的神經作用，因此明暗不同的背景光線對人眼不會造成太大的辨識困擾，但是機器視覺則無法做到像人眼一般能夠自動補償，因此在影像處理上就必須補強這一塊，讓明亮度不同的背景所造成辨識上的問題降到最低。在影像處理的領域範圍內，對於背景光線變化影響閥值計算造成灰階轉黑白效果優劣的問題，一般來說可以有底下幾種情況。 (1) 直覺法：由於灰階度範圍落於[0~255]，最直接簡單的閥值決定法就是取中間值，也就是採用閾值為 125～128 之間。此法雖然簡單，但應用在實際上會遇到許多的問題，特別是光線變化造成前景明暗度差異時會有不良的效果。 (2) 實驗法：. 32.

(43) 此法決定閥值的方式在於經由實驗來判定與採用。此一方法適用於光線充足穩定的情況，譬如本論文中在白天以 CCD 拍攝枕木紋行人穿越道線所得到的分序圖檔，經由實驗判定而採用閥值為 180 的結果證實可以正確取得前景物件枕木紋線。此一方法的缺點是必須經由實驗方式來判定取得，若應用在夜晚或雨天的情況，也是必須經過實際拍攝、驗證才能決定閥值的理想值。 (3) 自適性法[64]：自適性決定閥值的方法最大的好處是不需要經由人工事先試驗判斷，只要時空光線背景產生的灰階直方圖適用該理論模型，就有預期的效果產生。根據圖 3-6 的理想模型理論，假如可以找到理想的閥值時，就可以據以劃分前景(枕木紋線塊)與背景的區別。經過實際上的測試發現，雖然所拍攝的圖檔經過直方圖分析後並沒有呈現如圖 3-6 一般的理想曲線，但是經過直方圖數據之(1)線性區塊化以及(2)雙峰值偵測與(3)雙峰間的波谷三種程序處理之後，我們依然可以找到接近理想的閥值以作為區分前景和背景的條件。. 3-4-2. 自適性閥值產生步驟. [步驟一] 產生灰階直方圖首先我們對枕木紋線塊拍攝圖檔做灰階轉換，接著進行該灰階圖檔的直方圖處理，所得到的數據如圖 3-7 所示。. 33.

(44) (a) 灰階原圖. (b)直方數據圖圖 3-7 灰階原圖轉換直方數據圖. [步驟二] 對直方圖進行線性區塊處理圖 3-7 的直方數據呈現原圖檔的灰階分佈原貌，但該圖形過於尖銳複雜不利於後續處理，因此我們可將該數據進行平滑化處理[64]。平滑化處理的步驟是使用區塊一致化的程序。我們將 0～255 灰階度(X 軸)所對應之像素量(Y 軸)採用五階度或十階度為一區塊的劃分基準，將該區塊內的像素值進行均一化處理，實驗發現採用均方根值(Root Mean Square) 的效果很好，既與原圖形的曲率貼合又能提供快速的閥值計算流程，因此我們決定採用區塊內均方根值作為平滑化處理的基礎。舉例而言，若灰階度 1 的像素量為 20，灰階度 2 的像素量為 30，灰階度 3 的像素量為 15，灰階度 4 的像素量為 25，灰階度 5 的像素量為 40，則經過五階度平滑區塊處理後，其像素量一致成為數值 27，計算過程如式 3-5 所示。 [RMS]1~5=((20^2+30^2+15^2+25^2+40^2)/5)^1/2. 34. (3-5).

(45) 經由上述區塊均方根值計算後，重新分配直方數據圖可以得到較為平滑的數據呈現情形。如圖 3-8 所示。. (a)五階度區塊處理結果. (b)十階度區塊處理結果. 圖 3-8 直方圖經區塊平滑化後結果. [步驟三] 決定雙峰值 X 座標直方數據圖經過區塊線性處理後有利於快速決定並計算雙峰的 X座標。在此雙峰指的是直方圖中最左方與最右方的高峰值，只要能夠找出此兩處座標即能縮小搜尋範圍以利定位波谷之最佳閥值 X 座標處。找出左、右雙峰最快速的方法就是往返一次的比較搜尋，譬如，左峰值的確定即是由 X＝0 處往 X＝255 方向搜尋比較，找出最高像素量者便是。右峰值則是以相反方向找尋，第一個發生「險降坡」(即斜率 < 0)之前的座標就是右峰值的所在。. [步驟四] 決定最佳閥值的 X 座標值左、右雙峰的 X 座標確定後，只要能夠找到在雙峰值之間的波谷座標，即為我們的閥值目標。尋找的方式如下，在 X1(左峰值座標)與 X2(右峰值座 35.

(46) 標)之間，若能找到最低像素量(Y 值)者便是目標所在。決定最佳化閥值的處理結果如圖 3-9 所示。. (a)決定最佳閥值為 186. (b)決定最佳閥值為 176. 圖 3-9 決定最佳化閥值的處理範例. 3-5. 空間域濾波影像的濾波處理可以分為頻率域(Frequency Domain)和空間域(Spatial. Domain)[46]，空間域和影像的本身資訊有關，直接處理影像中的像素；頻率域是將影像從空間域轉換成頻率域處理，處理完再轉換回空間域。在影像中，因為雜訊會影響影像的品質，使得影像的品質不穩定，導致許多後續分析和辨識上的問題。因此利用濾波來消除影像雜訊，其最主要的目的在於改善影像品質並強化影像所表現出的特徵。在本研究中，因為頻率域的轉換對於動態的連續影像處理上在時間以及運算量上，有相當程度的負擔，所以並不適合用在分析動態的影像處理上，因此本研究只採用了空間域的濾波來做處理。空間域濾波是將影像中的有限脈衝響應濾波器進行空間迴旋積分 (Spatial Convolution)的計算，而此濾波器又可稱為空間遮罩(Spatial Mask)， 36.

(47) 利用迴旋積(convolution)的運算模式由左到右、由上到下移動濾波器 h，針對每一次濾波器視窗所涵蓋的原始影像的區域進行相乘，最後累加所有乘積，得到濾波影像 g 上一個像素的值。假設空間濾波器的大小是 M×M，則我們可以寫成其運算公式如式 3-6 所示。. (3-6) f(x,y)和 g(x,y)分別為輸入影像和輸出影像的像素強度值，h(x,y)又稱為空間濾波器(spatial filter)，影像 f(x,y)經過空間濾波器的運算，得到濾波後的影像 g(x,y)。輸入的影像在遮罩的範圍時，其像素值會被以其範圍內的像素與其加權值運算並經過加總後的結果取代。遮罩移動的方式從影像的左上角開始，依據公式計算出輸出影像中的每一個像素值，再將遮罩依序由左而右，由上而下移動進行計算。進行迴旋積分的運算方式(convolution)，由左到右、由上到下移動一 3x3 的濾波遮罩，最後得到濾波影像 g(x,y)。其遮罩運算的方式如圖 3-10 所示。. 圖 3-10 遮罩運算方式[46] 37.

(48) 3-5-1. 均值濾波器 (Average Filter). 均值濾波器是一種典型的線性濾除雜訊的方法，因為其運算簡單快速，同時又能夠較為有效地去除高斯雜訊，因而適用面較廣。均值濾波也是低通濾波的其中一種，可濾除影像中不必要的高頻空間頻率部份，使影像變化較平滑，一般會去除對比強的雜點，有使影像模糊化的效果。許多濾除雜訊的方法都是在此基礎上發展而來的。缺點是會破壞了圖像的邊緣，以及會模糊化影像。均值濾波器經常被使用於影像的模糊化以及減小影像的雜訊，常被利用於處理流程中的前處理步驟，例如要消除影像中的細節部分。其遮罩的特性為所有全值的總合為 1，其均值濾波的特性為其像素點的本身，以及鄰近像素點的資訊依照一定的權值比例成分，組成新的像素值，故該位置的像素值與鄰近的值相似，對於影像有平滑的效果。一個 3x3 均值濾波器是最簡單的平滑化濾波器(smoothing filter)，圖 3-11 為一常用的均值濾波器遮罩的形式，均值濾波器處理前後的結果如圖 3-12 所示。. 圖 3-11 常用的 3x3 均值濾波器遮罩均值濾波器的含意是取出像素點（x, y）及其周圍的 8 個鄰點，共 9 個點，將 9 個點的灰階平均值取代中心點（x, y）的灰階值，遮罩係數全為 1/9，. 38.

(49) 經由如此程序便可以降低灰階圖片的銳利程度，而產生較為平滑的影像，達到抑制雜訊干擾的目的。. (b)經過 3x3 遮罩均值濾波結果. (a)加入雜訊點的影像. (c)經過 5x5 遮罩均值濾波結果. (d)經過 7x7 遮罩均值濾波結果. 圖 3-12 均值濾波器的處理範例. 39.

(50) 經由圖 3-12 (a)、(b)、(c)、(d)實驗的結果可以得知，遮罩的尺寸越大，均值濾波過濾雜訊的效果越好，但是影像也變得越平滑。均值濾波的主要目的，是將鹽巴與胡椒(salt and pepper)、脈衝(impulse)、及高斯(Gaussian)等屬於高頻部份的雜訊去除，因此又稱為低通濾波器(low-pass filter)。消除雜訊的方式，可以用線性濾波器來完成，或者是以非線性濾波器來完成，常用的濾波器有均值濾波器、中值濾波器、及高斯濾波器三種。值得注意的是，均值濾波器會將影像中的細節消去，因此影像變得較模糊。. 3-5-2. 中值濾波器 (Median Filter). 中值濾波器是一種消除雜訊的非線性處理方法，經常用於去除影像或者其它信號中的雜訊。它對脈衝雜訊有著良好的抑制作用，主要是利用影像雜訊為孤立點的特性，因為雜訊的像素點較少，而影像的像素點較大。它是由 Tueky 在 1971 年提出的。中值濾波的原理是使用一個適當奇數大小的方陣遮罩來掃描一個灰階影像或是二值影像，常見的遮罩大小有 3x3、5x5、7x7 … 等。當遮罩對應到原始影像時，將所有對應的像素值由小到大排序，並且計算其排序數列的中間值，再以此中間值取代遮罩的中心點 B 所對應到原始影像中的像素值。如果遮罩形式個數為偶數時，則取排序後序列的中間兩個值的均值。此濾波可以用來除去孤立的雜訊(胡椒狀或鹽巴狀的雜訊)，但會保持影像本身的銳利度。其方法是在 3x3 的遮罩下，將 9 個像素依大小排序後取出對應於中間值的點來取代原影像點。以 3x3 的影像排序範圍為例，如圖 3-13 所示。. 40.

(51) (a)原始影像. (b)中值(128)取代. (d)3x3 方陣遮罩. (c)中值濾波後. 圖 3-13 中值濾波器的處理[46] 如圖 3-13(a)所示為原始影像，圖中的數字為該像素的像素值，以圖(d) 中的 3x3 遮罩對原始影像進行中值濾波，則將遮罩覆蓋的所有像素值(灰色的部分)由小到大排序，為 99、127、127、127、128、130、131、133、212，取中間值 128 取代(2,2)位置的像素值，成為圖(b)；圖(c)為原始影像經過中值濾波後的結果，最外圈的像素無法做中值濾波，因此保留原始值。在影像處理中，在進行如邊緣檢測這樣的進一步處理之前，首先通常需要進行一定程度的濾除雜訊。中值濾波器實際處理範例，如圖 3-14 所示。. 41.

(52) (a)加入雜訊點的原始圖. (b)經過中值濾波後的結果. 圖 3-14 中值濾波器的處理範例如果目的是減小雜訊而不是模糊，則使用中值濾波器。也就是說每個像素的灰階值用該像素鄰域上的中間值來代替，而不用它的平均值來代替。當雜訊是由強的突鋒訊號分量組成並且邊緣銳度依舊保持時，這種方法就非常有效。由上圖 3-14 的實驗結果可得知，中值濾波可以有效地除去孤立的雜訊，以保持影像本身的銳利度。空間濾波器能有效的過濾高斯雜訊與斑駁雜訊；胡椒鹽雜訊則以空間濾波器的中值濾波器效果最好。在不同的雜訊之中使用最適合的濾波器，才能達到最好之預期效果。對於常見的胡椒鹽雜訊，均值濾波容易將影像邊緣變得更模糊，而中值濾波有很好的濾除效果，所以對於雜訊的過濾，以中值濾波為優先選擇。. 42.

(53) 3-6. Sobel 濾波器 (Sobel Filter) Sobel 濾波器[59]使用空間一階導數來增強高頻的空間訊號，可突顯影像. 中的高頻及邊緣部分，能將一個模糊的影像處理成較清晰的影像，使影像中的特徵更明顯。此濾波器會使影像變化較大的部分強化，用於銳化影像的邊緣，即強化高頻的部分，將變化大的部分提高(255)，將變化平滑的部分降低 (0)，可強化出特徵影像的邊緣。在影像中，這些高頻訊號通常代表較銳利的物體邊緣或線條特徵。對於一個二值化後的影像，要尋找影像的邊緣最常見的就是使用 Sobel Filter，這個運算包含了兩個運算子，如下圖 3-15 所示：. 圖 3-15 Sobel 濾波的遮罩形式. Gx 與 Gy 分別代表垂直方向和水平方向的 Sobel 邊緣運算子，Gx 及 Gy 分別負責檢知 X 與 Y 方向的邊緣變化，因為Gx 與Gy 皆為零，所以如果一個點其相鄰的八個點都是相同值，表示沒有邊緣變化，其值也會是零。如果左右的值不同，Gx 輸出結果就不會是零，但 Gy 仍會是零，直到上下的值不同為止。對於每一點的 Gx 與 Gy 計算結果會累加起來存於另一張圖上，以確保兩個方向的邊緣變化都會被找到。Sobel 濾波器也算是高通濾波器的一種，因此對於雜訊這種高頻訊號也特別的敏感。Gx 與 Gy 同時也可以視為線段在 X 與 Y 方向上的能量。下圖為經過 Sobel 濾波的實際範例，如圖 3-16 所示： 43.

(54) (b)經過 Sobel 濾波後的影像. (a)二值化後的影像. 圖 3-16 Sobel 濾波器的處理範例圖 3-16 (a)為枕木紋行人穿越道線的黑白影像，圖(b)則是經過 Sobel 濾波處理後的影像，可以很清楚的看到枕木紋的邊緣被清楚的表達出來。因為此演算法的計算容易，在邊緣的表達上又非常清楚，因此被廣泛應用在機器視覺的領域中。. 3-7. 形態學運算 (Morphology) 將形態學應用在影像處理中，是以數學上的形態學為背景，當作抽取影. 像成分的工具[46][60]，常用於表示區域和形狀的描述。利用集合理論中的交集(AND)、聯集(OR)、差集(XOR)的邏輯運算，便可以形成任何其他的邏輯運算，以利達成我們所想要的影像偵測結果。在取得前景區域的同時，目標區域仍會有些許破碎的情況會影響目標的特徵擷取。因此在這裡會使用到形態學(Morphology)的方法來填補遺失的特 44.

(55) 徵，使得目標區域的物件更趨完整。形態學提供了一個可以有效處理影像問題的方式。主要是透過不同的結構元素和形態運算子，獲得其目標圖像的大小、形狀、連通性和方向等的重要訊息。一般形態學處理最常見的方法有膨脹(Dilation)、侵蝕(Erosion)、斷開運算(Opening)、閉合運算(Closing)。影像膨脹(Dilation)與侵蝕(Erosion)為影像重建上最常使用的二種方法，這二種影像處理的方法是相對的，影像膨脹可有效解決影像破洞的問題，但會增加影像的雜訊;影像侵蝕可減少影像的雜訊，但是卻會增加影像的破洞。不管侵蝕或膨脹，都是使用結構運算子遮罩去對二值化影像作運算，並把運算結果標示於新的影像上。如圖 3-17 所示為膨脹與侵蝕的示意圖。. 圖 3-17 形態學經由膨脹與侵蝕的示意圖[46] 45.

(56) 膨脹運算. 3-7-1. 形態學上的膨脹作用[46][60]，主要是利用 OR 聯集邏輯運算膨脹，當我們考慮到空間中的兩個集合 A 和 B，若 A 被 B 膨脹時可表示為如式 3-7 所示。 𝐴 ⊕ 𝐵 = {𝑧 |(𝐵̂ )𝑧 ⋂ 𝐴 ≠ ∅}. (3-7). 其中的 B 為結構元素(structuring element)，我們將 B 這個集合不斷的位移 Z 單位，只要 B 集合和 A 集合有重疊至少一個元素，這樣所形成的新集合即為 A 被 B 所膨脹的集合。而膨脹運算的目的，就是希望將物體的邊緣結構往外擴張，使目標物的輪廓較為平滑，具有使影像成長擴大和厚化的效果。形態學之膨脹示意圖如圖 3-18 所示。. (a)集合 A. (b)方形結構元素𝐵̂. (c) A 被𝐵̂的膨脹. 圖 3-18 形態學之膨脹示意圖[46]. 圖 3-18(a)可視為二值化影像，所偵測的物件邊長為 d 的正方形影像 A，圖 3-18(b)為一邊長為 d/4 的結構元素 B。經過結構元素 B 對影像 A 做膨脹運算後，最後得到如圖 3-18 (c)所示，圖形 A 的邊長各膨脹 d/8 的圖形。膨脹的處理結果正好與侵蝕相反，可將受外在雜訊干擾或其它因素而分 46.

(57) 開的兩物件連結在一起，對於填補破碎區塊或縫隙，有不錯的結果。膨脹運算處理前後的範例如圖 3-19 所示。. (a)二值化原圖. (b)原圖膨脹結果. 圖 3-19 膨脹運算處理範例. 圖 3-19(a)為一張擷取後的二值化影像，經由膨脹之後的結果，如圖 3-19(b)所示。. 3-7-2. 侵蝕運算. 侵蝕，簡單來說就是利用一結構元素(structuring element)對原本的物件做縮減的動作[46][60]。相異於膨脹運算的便是侵蝕運算，主要是利用 XOR 差集邏輯運算，當我們考慮空間中的兩個集合 A 和 B，當 A 被 B 侵蝕的時候可以表示成如式 3-8 所示。 𝐴 ⊖ 𝐵 = {𝑧|(𝐵 )𝑧 ⋂ 𝐴𝑐 = ∅} 47. (3-8).

(58) 我們將 B 這個集合不斷的位移 Z 單位，但是 B 位移 Z 個單位後仍然包含在 A 集合中所有 Z 點的集合。而侵蝕運算的目的，是希望將物體的邊緣結構往內收縮，使細長狹窄的部分被截斷，具有影像收縮的效果。侵蝕運算對於二值化影像，就是將 A 集合與結構元素 B 取其差集(difference)，侵蝕的邏輯運算示意圖如圖 3-20 所示。. (a) 集合 A. (b) 方形結構元素 B. (c) A 被 B 的侵蝕. 圖 3-20 形態學侵蝕之示意圖[46]. 圖 3-20(a)可視為二值化影像，所偵測的物件邊長為 d 的正方形影像 A，圖 3-20(b)為一邊長為 d/4 的結構元素 B，而將結構元素 B 對 A 集合取其差集後可得到圖 3-20(c)邊長為 3d/4 的正方形，即為經過侵蝕運算後的影像。侵蝕可除去影像裡散落(距離較遠)且不相干的雜訊點，以及經由外在雜訊干擾或其它因素而連結在一起的兩物件分開，對於去除不相干的像素，有良好的結果。侵蝕運算具有影像收縮的效果，侵蝕運算前後的結果如圖 3-21 所示。. 48.

(59) (a)二值化原圖. (b)原圖侵蝕結果. 圖 3-21 侵蝕運算處理範例. 圖 3-21(a)為一張擷取後的二值化影像，經由侵蝕之後的結果，如圖 3-21(b) 所示。. 3-7-3. 斷開和閉合. 侵蝕是縮減其影像的成分，而膨脹是使其擴大。利用侵蝕和膨脹兩個基本形態運算做組合，可以另外產生出兩個重要的形態運算：斷開和閉合 [46][60]。斷開通常用於使物體輪廓平滑，截斷窄的隙縫；因此集合 A 被結構元素 B 斷開，就是 A 被 B 侵蝕，再將結果對 B 膨脹。其公式定義如 3-9 所示。. A  B  ( AB)  B. (3-9). 同理，集合 A 被結構元素 B 閉合，就是 A 被 B 膨脹之後再被 B 侵蝕，公式定義如 3-10 所示。而其應用也傾向於使物體輪廓平滑，不過與斷開剛 49.

(60) 好相反，它是把窄的隙縫連接起來或消除小洞、填補輪廓上的缺口。. A  B  ( A  B)B. 50. (3-10).

(61) 3-8. 連通物件標籤 (Connected Component Labeling) 連通物件標籤 (Connected-Component Labeling)[61] 是用在影像分割. (Segmentation)及影像辨識(Pattern Recognition)的一個基礎運算，主要目的是使相連接的物件標記為同一值，處理的對像一般為二值化的二維資料，針對連接(Connected-Component)的掃描方式有兩種，4 連通(4-adjacent)與 8 連通 (8-adjacent)。其運算的遮罩如圖 3-22 所示，而標籤(Labeling)的動作是指所有相連接的點必須標記為同一值。. 圖 3-22 四連通與八連通的遮罩[61]. 4 連通是以中心點 P 向上、下、左、右點的像素進行掃描其相關聯的數值，而八連通又比四連通多出了對角線的掃描，8 連通同樣是以 P 點為中心，向周圍 8 個像素點進行掃描。. 在本研究中所使用的是 8 連通的作法，雖然使用 4 連通的速度會快上一倍，但有時候會造成邊界的偵測上有遺漏的情況發生，因為它僅檢測四個鄰近座標，假如恰巧該四個鄰近點都不存在，反倒是其他沒有檢測的像素為目標界點時，就會造成斷層或是割裂的物件產生；而標籤(Labeling)的動作是指所有相連接的點必須標記為同一值，用以找出前景物件的邊界座標，因為 51.

(62) 邊界點是判讀前景物件的重要依據，因此在影像處理中幾乎都離不開需要找尋邊界點座標以做後續處理之用。當邊界點座標找到之後，就可以進行標框的標示與進一步的檢驗。連通物件標籤是影像處理中將像素與像素間作群聚分類，進而得到各個物件區塊的長寬、面積等資訊，用以達成物件區塊的濾除或將其符合的物件給標記出來。在此使用 8 連通的遮罩，以原始影像如圖 3-23(a)所示，左上角為原點，由左而右、由上至下搜尋，若搜尋到不是背景的點則將其標記，搜尋出各個不相鄰的區塊直到整張影像結束為止，接著再次搜尋影像中的所有像素，若相鄰的點標記為不同的值，則重新將標記設定為相鄰點中最小的值，如此重複搜尋標記直到最後，即可完成連通物件標籤，如圖 3-23(b)所示。. (a)原始影像. (b)掃描後的結果. 圖 3-23 連通物件標籤示意圖[61]. 連通物件標籤可以把不相連的物件個別給予標記，從而完成分割。其目的是藉以區分不同的物體並得知物體的數目，進而將各物體的面積、周長、位置、方向等特徵找出來。連通物件標籤演算法的執行步驟如下： 52.

(63) (a) 由左而右，由上到下來掃描影像。 (b) 掃描找出灰階值為 1，且未經標號的像素時，則利用邊界搜尋法將該像素所屬的物體邊界搜尋出來，並給予標號。 (c) 從所搜尋的邊界點中，找出該物體最小圍繞矩形之四個端點。 (d) 將掃瞄範圍侷限在四個端點所形成的矩形內，由左而右，由上到下依序掃描影像，找到灰階值為 1 的像素點後，則判斷該像素上、下、左、右四個方向是否和邊界點相交錯。 (e) 當四邊都有交錯，表示此像素在邊界內，則此點為物件之像素點並給予標號。重複步驟(d)，直到掃描至右下端點為止。 (f) 回到步驟(a)，重複執行，直到整張影像掃描完畢為止。藉由影像標籤化，對原始二值化影像做逐一的掃描，可將影像中不同的區域做影像分割，並以不同標籤紀錄，同一標籤的像素組成的區域代表為一個物體。如圖 3-24 所示，為對二值化後的枕木紋穿越道線影像進行連通物件標籤化後所產生的結果。. 圖 3-24 枕木紋線進行連通物件標籤後的結果 53.

(64) 3-9. 面積濾波 (Size Filter) 當二值化後的影像經過標籤化後，即可針對各個區塊計算它的幾何性質，. 一般常見的計算有面積計算、重心及質心位置、周長、長短軸…等。本研究使用了面積計算和長寬比的計算。二值化後影像中的面積即為區塊中所佔有的像素個數。一個彩色影像，經過了色彩空間的轉換、連通物件分割及影像標籤化後，所得到的二值化影像除了前景目標物之外，一定還會有一些小團塊的雜訊和干擾，但是經過計算每個區塊的面積後，設定一個適當的閥值，即可達到面積過濾的效果。本研究中設定面積大小介於 200~7000 的區域保留，符合第一個設定的面積條件後，再進一步判別符合面積條件區塊的長寬比。本研究中的枕木紋線塊有一個特徵值，就是它的(1)長寬比例(2)面積總像素量，兩參數之間，經過查驗是有某種群落性出現，也就是假如(A)面積總像素量(Total Area Pixels)大於等於 450 點時，其 L/W 長寬比值須大於等於 3.0，(B)假如面積總像素量介於 200~450 點時，其 L/W 長寬比值應大於等於 10。面積大小和長寬比，兩個條件皆符合便可確認為目標物枕木紋行人穿越道線。枕木紋線框取條件定義如下： (a) 目前必須有「濾除」雜訊點的準備，若面積總像素量不超過 200 點，則需排除為目標圖塊，視為「雜訊」。 (b) 設定圖塊之最大「長/寬」比例值為 15，此為因應「枕木紋線」的特徵，其長度必遠大於寬度之特性而設定。 (c) 若面積總像素量大於 450 像素點時，需配合最小長寬比 3.5，即可視為目標物件。 (d) 若面積總像素量大於 500 點而小於該張影像的最大像素值，需作再次確認即為配合中等長寬比例值。 54.

(65) (e) 當長寬比值設定為 9，若面積總像素量介於 200~1000 之間時，其「長 /寬」比例值必得大於等於此額定數值。. 每張擷取出的分序圖檔都可以轉成如圖 3-25 中標籤化後並數據化的結果，將每張圖檔經過計算，得到每塊白色區塊物件的面積像素值(Area Pix) 和長寬比值(LWR)，經過一開始所設置的枕木紋線條件的判斷，進一步的濾除雜訊，保留目標區塊枕木紋行人穿越道線，最後程式輸出的結果如圖 3-26 所示。. (a)畫面中經過標籤化後的物件. (b)將影像數據化後的結果. 圖 3-25 將標籤化後物件數據化結果. 55.