影像式單攝影機之機器人動態避障路徑系統

全文

(1)國立臺灣師範大學應用電子科技學系碩士論文. 指導教授：王偉彥博士. 影像式單攝影機之機器人動態避障路徑系統 A Dynamic Obstacle-Avoidance Path Planning Using A Single Camera for Mobile Robots. 研究生：陳奕涵撰. 中華民國一百零二年七月.

(2) 學生：陳奕涵. 指導教授：王偉彥博士國立臺灣師範大學應用電子學系碩士班. 摘要. 本論文提出一種影像辨識的方式，應用於自走車的障礙物偵測與其路徑規劃。首先透過二值化、中值濾波、形態學處理、canny 運算、連通元件等影像處理方法，找出障礙物的位置，再利用所提出的平行線距離量測法，偵測影像中障礙物的實際座標。於實驗環境中平行線距離量測系統的架設，只需使用單一網路攝影機及四個參考目標點。因此實驗環境的架設建構相對的較簡單，而且架設成本相對的便宜。最後，將影像辨識方法與平行線距離量測結合，完成自走車的避障路徑規劃系統。在路徑規劃的方面，分為靜態的路徑規劃以及動態的路徑規劃，靜態的路徑規劃是將網路攝影機架設在天花板上，並將規劃的路徑即時的回傳於二維地圖上，做為自走車移動的依據；而動態的路徑規劃則是將網路攝影機架設在機器人上，使機器人在遇到障礙物時，能夠即時的進行避障路徑的規劃，以利於機器人的行走，最後以實驗驗證此方法的可行性。. 關鍵詞：障礙物檢測、影像量測、PLDM. i.

(3) A Dynamic Obstacle-Avoidance Path Planning Using A Single Camera for Mobile Robots Student：I-Han Chen. Advisor：Dr. Wei-Yen Wang. Institute of Applied Electronics Technology National Taiwan Normal University. ABSTRACT This thesis proposes a way to identify the image which is applied to the obstacle-detecting and path-planning of a wheeled mobile robot. First of all, we use some image processing methods including medium filter, morphologic processing, Canny edge detector, and connected component labeling to find the locations of obstacles. Then we use a parallel lines distance measuring method to detect the actual coordinates of the obstacles in the image. To set up the parallel lines distance measuring system in the experiment, we just need a single web camera and four juxtaposed points. Thus the setting of this experiment is relatively easy and the cost is lower. Finally, we combine the image identifying method with parallel lines distance measuring method to complete the path-planning of a wheeled mobile robot system. To design the path-planning, we have two methods including static and dynamic states. The static path-planning method is to set up a web camera on the ceiling and instantly transfer the images to a two-dimensional map as a basis of the wheeled mobile robot’s movements. The dynamic path-planning method is to set up the web camera on the wheeled mobile robot and make it plan the path which can avoid the obstacles simultaneously. By the experiments, the wheeled mobile robot can go smoothly and we can illustrate the feasibility of the proposed method.. Keywords: obstacle detecting, image measuring, PLDM ii.

(4) 致謝. 兩年的時間一轉眼就過去了，在研究所的這段期間，學到了很多，像是程式的撰寫、做研究的方法以及處理事情的態度等，這些都是難能可貴的經驗。在這邊，要感謝我的指導教授，王偉彥老師，提供實驗室的各種資源，並且全力支持，使我能夠順利完成學業。感謝宜勳學長每個禮拜辛苦地幫我們 meeting，不厭其煩的教導我，給予許多有用的建議，並督促實驗上進度。宜興、銘滄以及政沛學長，幫助我修改論文和提供專業知識。碩班的學長中，乃弘和拓文也常常給予我實質上的建議，幫助我解決問題，特別是拓文學長，每次都犧牲時間教我寫程式，希望你在退伍後能夠找到一份好工作! 感謝碩班的朋友，建凱、裔峰、永青和元君，陪我度過兩年的碩士生活，祝福你們未來的路途一路順遂，也希望永青早日將研究完成並離開學校。另外，我想要特別謝謝我的好朋友，彥惟、永真、書賢、英杰和芷璇，在寫論文的苦悶生活中陪伴我聊天和運動來紓解壓力。最後，謝謝爸媽和姐姐對我的支持與鼓勵，讓我能夠無後顧之憂的完成學業。. iii.

(5) 目錄摘要 ................................................................................................................................. i ABSTRACT ................................................................................................................... ii 致謝 ............................................................................................................................... iii 目錄 ............................................................................................................................... iv 表目錄 .......................................................................................................................... vii 圖目錄 ......................................................................................................................... viii 第一章. 緒論 ...............................................................................................................1. 1.1. 前言 ...............................................................................................................1. 1.2. 文獻回顧 .......................................................................................................2. 1.3. 研究動機與目的 ...........................................................................................4. 1.4. 論文架構 .......................................................................................................5. 第二章. 影像處理 .......................................................................................................6. 2.1. 數位影像處理 .................................................................................................6. 2.2. 色彩模型 .........................................................................................................7 2.2.1 R.G.B.色彩模型 ...................................................................................7. 2.3 中值濾波 ...........................................................................................................8 2.4 邊緣檢測 ..........................................................................................................10 2.4.1 canny 邊緣檢測 ..................................................................................10 2.5 Hough 轉換 ..................................................................................................14 2.6 影像形態學 ......................................................................................................16 2.7 連通元件標記法 ..............................................................................................19 2.8. 障礙物檢測 .................................................................................................22 2.8.1. 第三章. 障礙物擷取的像素點......................................................................24. 距離量測系統 .............................................................................................26 iv.

(6) 3.1. 傳統距離量測 .............................................................................................26 3.1.1 超音波距離量測 .................................................................................26 3.1.2 雷射距離量測 ......................................................................................27. 3.2. 影像式距離量測 .........................................................................................28 3.2.1. 影像式距離量測系統......................................................................30. 3.2.2. 平行線距離量測系統......................................................................31. 3.3. 平行線距離量測系統應用於走廊環境.....................................................33. 第四章. 靜態路徑規劃 .............................................................................................36. 4.1. 全域地圖座標 .............................................................................................36 4.1.1. 4.2. 網路攝影機座標..............................................................................37. 障礙物座標 .................................................................................................38 4.2.1. 障礙物寬度量測..............................................................................39. 4.3. 避障路徑規劃 .............................................................................................40. 4.4. 實驗結果 .....................................................................................................41 4.4.1. 檢測物體 ..........................................................................................41. 4.4.2. 規劃路徑並回傳至二維地圖 .........................................................44. 第五章. 動態避障路徑規劃 .....................................................................................47. 5.1. 雷射點建立平行線 .....................................................................................47 5.1.1. 尋找雷射點......................................................................................48. 5.1.2. 量測實例 ..........................................................................................49. 5.2. 牆壁邊線檢測 .............................................................................................50. 5.3. 全域座標 .....................................................................................................52. 5.4. 5.3.1. 機器人座標......................................................................................53. 5.3.2. 障礙物座標......................................................................................54. 實驗結果 .....................................................................................................55 5.4.1. 平行線建立......................................................................................56 v.

(7) 5.4.2. 動態避障路徑規劃系統..................................................................57. 第六章. 結論及未來展望 .........................................................................................61. 6.1. 結論 .............................................................................................................61. 6.2. 未來展望 .....................................................................................................61. 參考文獻 .......................................................................................................................62 自傳 ...............................................................................................................................67 學術成就 .......................................................................................................................68. vi.

(8) 表目錄. 表 3-1. 障礙物量測誤差............................................................................................ 35. 表 5-1. 環境一量測結果 ............................................................................................ 50. 表 5-2. 環境二量測結果 ............................................................................................ 50. 表 5-3. 規劃點量測誤差 ............................................................................................ 60. vii.

(9) 圖目錄. 圖 1-1. 履帶型巡邏式機器人 ............................................................................... 1. 圖 2-1. R.G.B 色彩空間模型................................................................................ 8. 圖 2-2. 中值濾波原理示意圖 ............................................................................... 9. 圖 2-3. 中值濾波後效果 ..................................................................................... 10. 圖 2-4. 邊以及其一階與二階導函數 ................................................................. 12. 圖 2-5. 非極大值抑制示意圖 ............................................................................. 12. 圖 2-6. canny 演算法流程 .................................................................................. 13. 圖 2-7. 原始圖像 ................................................................................................. 14. 圖 2-8. canny 邊緣檢測 ...................................................................................... 14. 圖 2-9. xy 平面 .................................................................................................... 15. 圖 2-10. 參數空間 ................................................................................................. 15. 圖 2-11. 線的法線表示 ......................................................................................... 16. 圖 2-12.  空間 ................................................................................................... 16. 圖 2-13. 原始圖像示意圖 ..................................................................................... 16. 圖 2-14. 膨脹處理示意圖 ..................................................................................... 17. 圖 2-15. 侵蝕處理示意圖 ..................................................................................... 18. 圖 2-16. 斷開處理示意圖 ..................................................................................... 18. 圖 2-17. 閉合處理示意圖 ..................................................................................... 19. 圖 2-18. 只有一個標記 ......................................................................................... 20. 圖 2-19. 兩個標記相同 ......................................................................................... 20. 圖 2-20. 兩個標記不同 ......................................................................................... 20. 圖 2-21. 無標記 ..................................................................................................... 21 viii.

(10) 圖 2-22. 連通法原理示意圖 ................................................................................. 21. 圖 2-23. 灰階圖像 ................................................................................................. 22. 圖 2-24. 濾波後圖像 ............................................................................................. 22. 圖 2-25. canny 圖像 .............................................................................................. 23. 圖 2-26. 形態學處理圖像 ..................................................................................... 23. 圖 2-27. 連通元件法圖 ......................................................................................... 23. 圖 2-28. 框出障礙物 ............................................................................................. 23. 圖 2-29. 檢測流程圖 ............................................................................................. 24. 圖 2-30. 量測誤差示意圖 ..................................................................................... 25. 圖 2-31. 障礙物檢測 ............................................................................................. 25. 圖 3-1. 超音波測距示意圖 ................................................................................. 27. 圖 3-2. 雷射測距示意圖 ..................................................................................... 28. 圖 3-3. 雙眼視覺量測示意圖 ............................................................................. 29. 圖 3-4. 影像式距離量測系統示意圖 ................................................................. 30. 圖 3-5. 平行線距離量測系統架構 ..................................................................... 32. 圖 3-6. 影像擷取畫面示意圖 ............................................................................. 32. 圖 3-7. 平行線的建立 ......................................................................................... 33. 圖 3-8. 四點座標及平行線方程式 ..................................................................... 34. 圖 3-9. 兩條平行線的建立 ................................................................................. 34. 圖 4-1. 二維地圖 ................................................................................................. 36. 圖 4-2. 影像設備 ................................................................................................. 37. 圖 4-3. 網路攝影機位置 ..................................................................................... 37. 圖 4-4. 室內環境架構 ......................................................................................... 38. 圖 4-5. 寬度量測示意圖 ..................................................................................... 39. 圖 4-6. 路徑規劃方法 ......................................................................................... 41. 圖 4-7. ROI 圖像 ................................................................................................. 42 ix.

(11) 圖 4-8. 灰階圖像 ................................................................................................. 42. 圖 4-9. 濾波後圖像 ............................................................................................. 43. 圖 4-10. canny 圖像 .............................................................................................. 43. 圖 4-11. 連通元件法 ............................................................................................. 43. 圖 4-12. 框出障礙物 ............................................................................................. 43. 圖 4-13. 靜態避障路徑規劃實驗 ......................................................................... 44. 圖 4-14. 障礙物及規劃點座標 ............................................................................. 45. 圖 4-15. 靜態避障路徑規劃流程 ......................................................................... 46. 圖 5-1. 影像畫面中的四個雷射點取 ROI ....................................................... 47. 圖 5-2. 實驗流程 ................................................................................................. 48. 圖 5-3. 投影四個雷射點(環境一) ...................................................................... 49. 圖 5-4. 環境一量測示意圖 ................................................................................. 49. 圖 5-5. 投影四個雷射點(環境二) ...................................................................... 49. 圖 5-6. 環境二量測示意圖 ................................................................................. 49. 圖 5-7. 牆壁邊緣檢測流程 ................................................................................. 51. 圖 5-8. 牆壁邊緣檢測 ......................................................................................... 51. 圖 5-9. 量測資訊示意圖 ..................................................................................... 52. 圖 5-10. 機器人位置及角度 ................................................................................. 53. 圖 5-11. 障礙物真實座標示意圖 ......................................................................... 55. 圖 5-12. 實驗設備 ................................................................................................. 56. 圖 5-13. 投影四個雷射點 ..................................................................................... 57. 圖 5-14. 實驗圖片一 ............................................................................................. 57. 圖 5-15. 實驗圖片二 ............................................................................................. 58. 圖 5-16. 實驗圖片三 ............................................................................................. 58. 圖 5-17. 實驗圖片四 ............................................................................................. 59. 圖 5-18. 實驗圖片五 ............................................................................................. 59 x.

(12) 圖 5-19. 實驗圖片六 ............................................................................................. 60. xi.

(13) 第一章. 1.1. 緒論. 前言隨著科技的進步，自走車避障以及路徑規劃[1-3]已朝向越來越熱門的趨勢。. 若在自走式機器人上加裝各類的感測器，就能夠讓自走式機器人成為一個多用途的工具，不僅能夠探索未知的環境，更能應用於救災或是執行危險的任務，如爆裂物清除、外太空探險等功用。除了探勘機器人外，保全機器人[4-5]、娛樂方面的機器人或巡邏式機器人等一般家用型機器人也逐漸崛起，而這些機器人也成為國內外各專家學者研究的目標。其中，在巡邏的方面，研究學者已經成功利用自製的履帶型自走式機器人，如圖 1-1，搭配紅外線感測器，克服自走車上下樓梯的困難，完成各樓層之間的校園巡邏功能。. 這些研究的目的是希望以安全且有效率的自走車來取代人工作業，有效地降低人力資源，甚至人員傷亡的機率，朝著自動化控制機器人的目標邁進。因此在各類環境中，發展出一套能夠自我規劃避障路徑，完成任務的自走式機器人，是非常必要的。. 圖 1-1 履帶型巡邏式機器人 1.

(14) 1.2. 文獻回顧機器人的路徑規劃可分為有軌式以及無軌式兩大類型，早期的自走車，通常. 是利用有軌式的路徑規劃法，此類的研究最簡單的方式是在需要行走的路徑上事先貼上感應線，或是使用不同顏色的電工膠帶，以提供自走車行走時的路徑，這類的技術已經趨於成熟，不管在室內或室外環境中都有研究顯示其可行性[6]，目前仍然有許多工廠運用此技術。有些研究更藉由偵測地標，來做機器人的導引資訊[7]，在室外的部分，大多是偵測馬路上的分隔線與道路邊線來進行導航[8]，而 Choi(2006)更將這項技術應用於高速公路上。. 然而，有軌式路徑規劃需要事先建立好機器人的路線，故在自由度上有諸多限制，也沒辦法應變突發狀況，所以目前的研究大多是朝著無軌式的路徑規劃發展。此類研究需要搭配超音波感測器[9-10]紅外線感測器[11]、雷射感測器[12-14] 或影像感測器[15-16]來偵測機器人周遭環境，以閃避障礙物。此類的路徑規劃方式讓機器人有更高的自由度，在遇到障礙物時也有更多能夠選擇的路徑，故為近年來的發展重點。在超音波方面，將超音波感測器放置在機器人上的各種位置，計算機器人與障礙物之間的距離，設法避開障礙物。而其他感測器如紅外線和雷達等，也多是利用相同原理來找尋避障路徑。這些設備都能輕易地測量出障礙物的距離，但是也各有其優缺點。超音波感測器雖然較為便宜，但是遇到鏡面或是轉角時很容易出現誤判，若角度範圍不夠或搜尋距離過長，也會造成無法判斷的情形，且受環境因素的影響也較大，而紅外線感測器和雷達感測器雖然提供較好的分辨率，但是相對而言造價就比較昂貴。. 近年來較熱門的方法是利用視覺系統的感測器[17]，來進行避障的研究，由於電腦的處理效能變高，所以影像處理方面能夠有即時的效果，處理的方式也越來越多元，而利用影像來規劃避障路徑，如何檢測出障礙物是非常重要的課題。 2.

(15) 過去的研究中，會使用光流法來檢測障礙物[18]，或者是同時利用攝影機以及其他感測器進行機器人避障[19]，也有利用圖像分割法，將相同特徵的各像素點組合成新的超級像素，並依據資料庫，判定是否為垂直分類的像素，以此來取得障礙物資訊[20-21]。視覺障礙物檢測好處在於不太需要知道障礙物的先決條件，對障礙物是否在移動也不受限制，故成為近幾年來越來越多人研究的方向。. 檢測出障礙物後，通常還要搭配影像量測法，才能得到障礙物的距離資訊，最常用的影像量測法為雙目視覺立體量測法[22-23]，這是採用兩台攝影機置於同一平面，藉由左右各拍攝一張，利用影像上位置的視差，計算兩張圖像的差異量，再由三角測量的方式得到物景深度，該方法的缺點就是需要較多的計算量，圖像處理的速率需求高，並且需要複雜的校準過程。. 在電腦視覺的路徑規劃主要分為局部規劃和全域規劃兩種，局部規劃通常應用在未知的環境中，如太空的探險車，此方法是利用機器人上的視覺系統，設計一條路徑給機器人行走，若遇到障礙物則判定是否能夠通過並避開它，等到行徑至下一點時，再重新規劃新的路徑提供給機器人，如此反覆執行使得機器人能夠安全的抵達目的地[24]。全域規劃則是應用於已知的環境內，如走廊、實驗室等地點，這些規劃法通常是將環境切割成網格[25]，藉由搜尋可以行進的網格，來找出最佳化的路徑，如 D*、A*、D* Lite [26]等知名的路徑規劃法。也有研究應用遺傳演算法的概念於全域路徑規劃上[27]，結合機器人的行動控制，找出最短行徑路徑。. 3.

(16) 1.3. 研究動機與目的自走式機器人的路徑規劃通常分為三個步驟。首先，利用感測器將前方障礙. 物找出，其次，計算機器人與障礙物之間的距離，最後，設計一條路徑供機器人行走。本論文以視覺感測器來進行實驗，將網路攝影機所擷取出來的影像，用影像處理的方式找出障礙物，並將障礙物資訊回傳到程式中。而本實驗的距離量測法是利用單一攝影機做距離量測。使用單攝影機的好處在於其成本低廉，且相較於雙目視覺量測法，單攝影機的參數設置簡單，程式運行的速率也較快。. 在路徑規劃上，分成局部和全域規劃。本論文所實現的動態路徑規劃就是局部規劃的結果，首先，利用影像處理的方式找出障礙物的位置和牆壁邊線，並與自走車結合取得車子的位置及車子的偏移角度，最後運用平行線距離量測系統來獲得障礙物的真實位置，藉此設計一條避障路徑讓自走車能夠通過。而在靜態路徑規劃中，用上述方法獲得障礙物的真實距離後，將避障路徑回傳到事先建構的二維地圖上，使得自走車能夠依照規劃的路徑前行。. 4.

(17) 1.4 論文架構本論文的實驗架構如下: 第二章：影像處理技術介紹透過影像處理中的原理以及演算法，說明在尋找障礙物時所用的方法。第三章：距離量測法利用單一攝影機的影像式距離量測系統 (Image-Based Distance Measurement System, IBDMS)及平行線距離量測系統(Parallel Line Distance Measuring System, PLDMS)來進行障礙物的距離量測，並在最後用實例驗證。第四章：靜態路徑規劃將二、三章結合，用影像技術找出障礙物，並算出障礙物離網路攝影機和牆壁的距離，設計一條避障路徑回傳到二維地圖上，並顯示實驗結果。第五章：動態路徑規劃結合自走車的旋轉角度，利用三角關係求出障礙物和牆壁離網路攝影機的相對位置，及時規劃路徑以完成避障任務，並顯示實驗結果。第六章：結論與未來展望將本論文的研究結果做一個說明，並探討未來可以改進的方法與研究方向。. 5.

(18) 第二章. 影像處理. 影像處理[28]是一門整合性的科技，其相關應用遍佈於日常生活與各學問上，由於電腦設備技術的提升，使得影像處理的成本與技術不再是問題，因此影像處理的地位也日益重要。. 2.1 數位影像處理影像是指在二維空間中的一個光強度函數 f ( x, y) ，其中的 x 和 y 分別代表著空間座標上的位置，而任一點的 ( x, y) 所對應的強度函數 f ( x, y) ，皆正比於該點影像實際的亮度或者灰階值。數位影像就是將影像 f ( x, y) 在空間座標和亮度都數位化的. 影像，為了將影像轉成數位化影像，需要將座標 ( x, y) 及振幅函數做數位化的處理，座標的數位化稱為取樣(sampling)，振幅函數則稱之為量化(Quantization)。通常會將數位影像看成一個 M  N 的二維矩陣，行與列為影像上的座標點，對應的矩陣元素則為量化後的灰階值，在數位影像處理中，這些元素就稱為像素(pixel)。  f (0,0)  f (1,0) f ( x, y )      f ( M  1,0). f (0,1) f (1,1) f ( M  1,1). 6. f (0, N  1)  f (1, N  1)     f ( M  1, N  1) . (2-1).

(19) 2.2 色彩模型色彩模型也叫做色彩空間(color space)，其目的是便於用某種標準來指定色彩。色彩模型是由座標系統和該系統內的一個子空間來規定，其中每一個色彩都是用一個點來表示。以數位影像處理而言，最常用的色彩空間為 R.G.B.、C.M.Y、H.S.I 等，本論文所使用的為 R.G.B.空間。. 2.2.1 R.G.B.色彩模型在 R.G.B.模型中，每一種色彩是以紅、綠、藍為主要頻譜來呈現，為了方便，我們將所有的色彩值皆正規化，使得三個值都在[0,1]的範圍內，圖 2-1 為 R.G.B 的色彩空間模型，可用一個單位立方體來表示。它表示的影像是由三個分量所組成，每個值都對應一個分量向量，當三個原色送入顯示器時，會在螢幕上組合產生彩色影像。其中用來表示 R.G.B.空間每個像素所使用的位元數稱之為像素深度 (pixel depth)。. 由於本論文的實驗場地皆在室內進行，受到光線的影響較小，且實驗中的影像設備所擷取的畫面即為 R.G.B.空間，故使用此空間來做後續的影像處理，可以降低程式執行時轉換成其他空間所花費的時間，而些微光線所造成的雜訊則使用濾波器或形態學處理加以過濾。. 7.

(20) B. Blue (0,0,1). Cyan. Magenta. White Grayscale (0,1,0). Black. G. Green. (1,0,0) Red. Yellow. 圖 2-1 R.G.B.色彩空間模型. 2.3 中值濾波在機器人視覺中，擷取一張最佳品質的影像，以簡化後續的影像處理程序是非常重要的，通常經過處理後，可以提高機器視覺判斷的成功率，故要藉由影像濾波(Image Filtering)來去除雜訊或者強化物體邊緣資訊，而根據遮罩效果設計的不同，濾波器的種類也不同，效果就會不一樣，常見的濾波器有：平滑濾波、高通濾波、低通濾波、中值濾波等。. 本論文所使用的濾波器為中值濾波，目的在於不改變影像像素值結構的情形下，將影像做平滑處理，中值濾波最大的好處在於可以將較強突鋒訊號組成的高頻雜訊去除，但邊緣卻不會被淡化掉。中值濾波屬於排序性統計濾波器中的一類， 8.

(21) 在處理脈衝雜訊時，特別有用，由於脈衝雜訊在影像上看起來像黑點和白點疊加在一起，故又稱之為胡椒鹽雜訊(salt-and-pepper noise)，這種雜訊通常具有較高的頻率，與周遭像素顯得格格不入，因此容易分辨。為了將影像中的一點做中值濾波，我們首先把此點像素和其鄰近像素的值做排序，並決定它們的中間值，接著將這個值指定到該點像素上。舉個簡單的例子，在一個 3  3 的區域內，裡面的數值為(5, 8, 10 ;5, 100, 15 ;10, 8, 5)，如圖 2-2，其中 100 為影像當中的雜訊，因為它和周遭濃度相比相差太多。我們的目的是求出標記處的像素值，故將區域內的數值加以排序，形成(5, 5, 5, 8, 8, 10, 10, 15, 100)，取其中間值 8，剛好可以把原來孤立的高亮度雜訊「100」給去掉，而其周邊像素的亮度值卻可以大致上保持不變，如圖 2-2。. 5. 8. 10. -. -. -. 5. 100. 15. -. 8. -. 10. 8. 5. -. -. -. 圖 2-2 中值濾波原理示意圖. 中值濾波器的功能是將不同灰階度的點，強迫接近其鄰近點與周遭濃度相差太多的值將會當成雜訊換成中間值來濾除掉，圖 2-3 為原圖與加入胡椒鹽雜訊的圖像以及經過中值濾波後處理的圖像，雜訊有明顯的減少。. 9.

(22) 圖 2-3 中值濾波後效果. 2.4 邊緣檢測圖像邊緣是指在灰階圖像中有著顯著變化的像素點集合，從信號研究的頻域角度而言，這些像素點信息屬於高頻信號，遺憾的是，影像中的雜訊通常也是屬於高頻信號，故在影像處理前一定需要先經過去除雜訊的動作，但是去除雜訊後往往會對圖像邊緣造成一定的影響，故很多經典的演算法也很難兼顧去除雜訊同時不損壞邊緣訊息這兩點。常見的邊緣檢測技術有：sobel、Laplacian、Prewitt、 canny 等，本文所使用的為 canny 邊緣檢測演算法，因為此演算法被認為是邊緣檢測領域裡較好的算法，並且一直被引用至今。. 2.4.1 canny 邊緣檢測 Canny 演算法具有以下幾個優點： 1.. 良好的偵測(Detection)：重要的邊緣較不易遺失，且不會有判斷錯誤的假邊線產生。. 2.. 良好的定位(Localization)：在灰階變化和偵測到的邊界像素距離較小。距離越小，定位的精準度就越高。 10.

(23) 3.. 良好的感應( Response)：通常邊緣檢測會照成同一組邊緣誤判為多個邊緣的情形，canny 邊緣檢測具有將邊緣上的點映射到唯一的反應值上的優點，這也是傳統邊緣檢測所無法做到的。. Canny 邊緣檢測的完整步驟如下： Step1：用高斯濾波器平滑圖像。在做 Canny 邊緣檢測前，會先利用高斯濾波器(Gaussian filter)來平滑影像，目的在於先將影像去除雜訊，再把邊線求出來。其定義如下：  (x 2  y 2 ). G( x, y )  e. 2 2. (2-2). 其中  代表標準差。. Step2：利用高斯導函數減少雜訊誤差。 Gn . G  n G n. (2-3). 其中 G 為高斯濾波器，n 為梯度方向， Gn 為 G 在 n 方向的微分，其中 n 可以利用下式求得 n. (G  g )  (G  g ). (2-4). 其中 g 為原始影像。如果想找到影像中邊線的位置，可以透過原始影像和高斯一階導函數作旋積後，找出沿著 n 方向的最大值，就能間接找到邊緣資訊，如下式。  (Gn  g )  0 n. (2-5). 2 Gg  0 n 2. (2-6). 利用(2-4)代入上式，可以得出. 藉由公式(2-6)，可以透過原始影像與二階高斯導函數作旋積後，找到等於零的點，即可找到我們需要求的邊，如圖 2-4。 11.

(24) 波峰. F (x). F (x). F (x). 過零點. 邊緣. 一階導函數. 二階導函數. 圖 2-4 邊以及其一階與二階導函數. Step3：非極大值抑制在數位影像上，我們將上述方法簡化，將非極大值刪除，只保留最大值。首先，讓梯度方向分為四個扇形區域，分別標示 0~3，當梯度方向位於同一區域時，只需要比較同區域的相鄰點即可。在 3*3 的視窗內，將每個像素沿著梯度方向找出最大值，此最大值即是邊緣點，並且將其餘的皆設為零，如圖 2-5。. 3. 1. 2. 3. 1 0. 0 1. 2. 2. 4. 8. 3 7 圖 2-5 非極大值抑制示意圖. 12. 6. 5.

(25) Step4：設置雙閥值由於單一閥值在設定上很難找到合適的選擇，常常需要經過反覆的實驗，因此 canny 採用的是雙閥值的檢測算法。對經過極大值抑制後的圖像設立兩個閥值，兩個閥值會得到兩張圖像，較大的閥值用來去除大部分的雜訊，但這也會使得圖像失去邊緣資訊，所以較小的閥值作用在於保留較完整的邊緣訊息，以彌補丟失的信息，將被截斷的線段連接起來。完整的 canny 演算法流程如圖 2-6，而經由上述演算法，可以將圖 2-7 的原始圖像轉換為圖 2-8 的邊緣輪廓圖像。. 影像輸入. 使用高斯濾波平滑影像. 梯度幅值與方向. 非極大值刪除. 設置雙閥值. 邊緣影像圖 2-6 canny 演算法流程 13.

(26) 圖 2-7 原始圖像. 圖 2-8 canny 邊緣檢測. 2.5 Hough 轉換 Hough 轉換的原理為考慮通過一點 ( xi , yi ) 的直線方程式為 yi  axi  b ，在不同斜率 a 及截距 b 下滿足此方程式有無窮多條直線，若考慮 ab 平面的參數空間 (parameter space)，將等式改寫成 b   xi a  yi ，會產生對固定的 ( x j , y j ) 座標的一條單一直線方程式。另外，若考慮第二點 ( x j , y j ) ，在 ab 平面上也會伴隨著另外一條直線。此兩條直線相交於 (a, b) ，其中 a  和 b 為在 xy 平面上包含有 ( xi , yi ) 和 ( x j , y j ) 兩點直線的斜率和截距，而這條線的所有點在 ab 平面參數空間中都會相交於 (a, b) 。如圖 2-9 和圖 2-10。. 14.

(27) b. y. b. b   xi a  yi (x i , yi ). a. b  x ja  y j. (x j , y j ). a. x. 圖 2-9 xy 平面. 圖 2-10 參數空間. 由於 Hough 轉換把影像中的點 ( x, y) 映射至參數空間中的參數點上，所以若使用一個累加器(accumulator)來紀錄每一組 (a, b) 所出現的次數，出現次數最多的一組 (a, b) ，就把它當作是影像空間上的一條直線。在實作方面，方程式 y  ax  b 沒辦法執行，因為當一條直線趨近於垂直時，斜率和截距都會趨近於無窮大，無法納入有限的累加器中，故都採用極座標 (  , ) 來取代 (a, b) ，如圖 2-11。而極座標與直角座標的轉換公式為 x cos  y sin   . (2-7). 此表示法所建構出來的累加器和前面敘述的直線方程式表示式原理完全相同，不同於直線線段表示法，在  平面上所呈現的軌跡為正弦曲線，在直線 x cos  j  y sin  j  i 上 Q 個共線的點，在參數空間中產生 Q 條正弦曲線交於 ( i , j ) ，. 如圖 2-12。. 15.

(28) . y. . . . x. 圖 2-12  空間. 圖 2-11 線的法線表示. 2.6 影像形態學在二值化圖像中，可能會包含一些不完整的地方，特別是利用簡單的閥值所得到的二值化圖像，而形態學處理的目的就是消除這些有缺陷的圖像。形態學處理通常是透過膨脹(dilation)和侵蝕(erosion)這兩種運算來做進一步的處理，這些運算可以說是形態處理的基礎，而之後所使用到的斷開(opening)與閉合(closing)也是建立在這兩個原始的運算上。圖 2-13 為影像當中物體原始的輪廓，下面將會分別介紹這些處理方法。. A 圖 2-13 原始圖像示意圖 16.

(29) 膨脹: 考慮空間中兩個集合 A 和 B ，若 A 藉由 B 膨脹，表示為 A  B ，如圖 2-14。定義為 A  B  {z | [( Bˆ ) z. A  A]. (2-8). 其中集合 B 被稱為形態學運算的結構元素，此式子建立在 B 集合不斷的位移 Z 單位，使得 B 和 A 的重疊至少一個元素，新生成的集合即為 A 集合被 B 集合所膨脹。. A B. 圖2-14膨脹處理示意圖侵蝕：考慮空間中的兩個集合 A 和 B ，若 A 藉由 B 侵蝕，表示為 A B ，如圖 2-15，定義為 A. B  {z  E | Bz  A}. (2-9). 其中 A 被 B 所侵蝕在 B 位移 Z 單位後，使得 B 和 A 的重疊至少一個元素，與在膨脹的情形相同。. 17.

(30) A. B. 圖 2-15 侵蝕處理示意圖. 斷開和閉合: 斷開通常是將物體的輪廓平滑，消除細小的小洞以及截斷較窄的連接處。而閉合運算也傾向於使輪廓平滑，但是和斷開運算不同的是，它會將較窄的中段部分和較細的缺口連接再一起，消除小洞以填補輪廓上的缺口。斷開的數學方程式可以被定義為 A B  (A. B)  B. 集合 A 被 B 斷開，即為 A 先被 B 侵蝕後，再將結果對 B 膨脹，如圖 2-16。. A B  (A. B)  B. 圖 2-16 斷開處理示意圖. 18. (2-10).

(31) 閉合的數學方程式可以被定義為 A  B  ( A  B). B. (2-11). 集合 A 被 B 閉合，即為 A 先被 B 膨脹後，再將結果對 B 侵蝕，如圖 2-17。. A  B  ( A  B). B. 圖 2-17 閉合處理示意圖. 2.7 連通元件標記法連通元件標記(Connected component labeling)的原理是將二值化影像的像素個別給定相應的標籤，使得相連的物件標記為同一值，藉此區分不同的物體並得知物體數量，並且將各物體的面積、位置、周長等資訊。. 下面是連通元件法的流程: 1.. 由左而右，由上往下掃描影像，若遇到像素值為 1 時。先判別正在處理像素. 的上面或左邊是否只有一個標記，若符合則將該標記複製給處理中像素，如圖 2-18。. 19.

(32) 1. 1. 1. 圖 2-18 只有一個標記. 1.1 若上述兩個鄰近像素標記相同，則將該標記複製給處理中像素，如圖 2-19。. 1. 1. 1. 1. 1. 圖 2-19 兩個標記相同. 1.2 若上述兩個鄰近像素標記不同，則將較大的標記值複製給處理中像素，並且將此標記放入等值標號表內，如圖 2-20。. 2. 2. 1. 1. 圖 2-20 兩個標記不同. 20. 2.

(33) 1.3 若上述兩個鄰近像素皆沒有標記，則指定新的標記給處理中像素，如圖 2.21。. 1. 圖 2-21 無標記 2.. 進行第二次掃描影像，將各組物件用等值標號內的最小值來取代，如圖 2-22。. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 3. 3. 3. 2. 2. 2. 2. 2. 2. 3. 2. 2. 3. 4. 4. 2. 4. 4. 4. 5. 5. 5. [1,3] [2,4,5]. [1] [2]. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 2. 2. 2. 2. 2. 2. 1. 2. 2. 1. 2. 2. 2. 2. 2. 2. 2. 2. 圖 2-22 連通法原理示意圖 21. 2.

(34) 2.8 障礙物檢測綜合上述 2.1-2.8 節影像處理的方法，接下來的步驟就是檢測出走廊上障礙物在影像畫面中的位置。首先，將網路攝影機截取的圖像進行灰階化處理，如圖 2-23，灰階化主要的目的是將彩色圖像轉換為灰階圖像，將所需處理的圖形資料量簡化，以減少影像的複雜度，方便其他相關的影像處理。接著對灰階圖像進行濾波處理，如圖 2-24，由於畫面中的雜訊點會造成影像辨識的困難度，故這邊使用中值濾波，來消除較高頻的訊號，並且不影響障礙物的邊緣輪廓。之後再透過 canny 演算法，找出圖像中的邊緣輪廓，如圖 2-25，此時的圖像會形成只有 0 和 255 兩個值的二值化圖像，方便往後輪廓的截取。再來利用影像形態學中的閉合運算，連接障礙物邊緣輪廓上未連結的線段，形成更完整的邊緣輪廓，如圖 2-26。有了完整的邊緣輪廓後，就可以用連通元件法來取得各個障礙物的外部邊緣輪廓，如圖 2-27。最後，設立一個甄選面積的閥值，將所有大於閥值的輪廓當作是障礙物，並用矩形框框出每一個障礙物，如圖 2-28。完整的流程圖如圖 2-29。. 圖 2-23 灰階圖像. 圖 2-24 濾波後圖像. 22.

(35) 圖 2-25 canny 圖像. 圖 2-26 形態學處理圖像. 圖 2-27 連通元件法圖. 2-28 框出障礙物. 23.

(36) 原始圖像. 灰階化. 濾波處理. Canny 輪廓檢測. 形態學處理. 連通元件法. 面積甄選. 框出目標物. 輸出障礙物資訊. 圖 2-29 檢測流程圖. 2.8.1. 障礙物擷取的像素點. 由於影像畫面是一個二維的平面，故在檢測到障礙物時，若是取障礙物的輪廓重心當作物體的實際位置，會產生量測誤差，比實際所量測到的距離來得更遠，為了避免判斷上的失誤，故在本實驗中，將框出障礙物矩形的底部邊線當作是障 24.

(37) 礙物在影像上的位置。圖 2-30，藍色的點為輪廓重心點，黃色的點為輪廓底部邊線， Dx 為兩者之間會產生的量測誤差。圖 2-31 為實際的影像畫面，這邊是取底部邊線的中心點當作障礙物在影像中的位置。. 輪廓重心點輪廓底部邊線 Dx. 圖 2-30 量測誤差示意圖. 圖 2-31 障礙物檢測. 25.

(38) 第三章. 距離量測系統. 3.1 傳統距離量測傳統的距離量測方法大致分為兩種，分別為接觸式以及非接觸式。接觸式的量測包含尺規量測與光學尺量測等，在日常生活中較常用到，但是這種量測方法若是碰到欲量測物體具有高溫或是腐蝕性時，就沒辦法繼續使用。而在非接觸式量測系統中，超音波測距、雷射測距和影像式的距離量測是最常見的方法，下面會針對這三種方法加以介紹。. 3.1.1 超音波距離量測超音波測距主要是將超音波發射出去，並且計算超音波從發射裝置至欲量測的物體，最後再回到接收器所經過的時間，間接推算出與物體之間的距離。一般人類能夠聽到的音波頻率大致為每秒 20 Hz 到 18000 Hz ，而音波的振動頻率若高於 20 kHz ，即為超音波。通常在常溫 25 C 和正常濕度時，超音波的速度會視為定值，因此，超音波感測器需要在常溫以及正常濕度下才會有較好的精確度，同時超音波必須為面反射，若量測物體為不規則形狀或是遇到不平滑的反射面時，可能會導致測量時的誤差，故超音波感測器還是存在著諸多的限制。圖 3-1 為超音波感測器的示意圖，利用發射器發射出超音波後，遇到物體反射並回傳到接收器。. 26.

(39) 入射波. 反. 射. 波. 發射器. 接收器. 圖 3-1 超音波測距示意圖. 3.1.2 雷射距離量測雷射測距目前以三角測距最為常見，此測距法是藉由投影光源到測量物體表面之間的三角關係，計算待測物體與光源之間的距離。如圖 3-2，待測物體在 A1 時，雷射光源經過聚光鏡投射到物體表面，其反射光會在光感測器上形成 B1 ，而當待測物體在 A2 時，成像會在 B2，利用 B1 及 B2 反射之間的差異量，即可測量出位移量 D 。. 27.

(40) 雷射二極體. 光感測器 B1. B2. 接收鏡. 待測物體. A2. 待測物體. A1. D. 圖 3-2 雷射測距示意圖. 3.2 影像式距離量測影像中較常使用的方法為雙目視覺量測法[29-34]，此方法是透過兩個 CCD 分別各擷取一張影像，在這兩張立體影像(stereo image pair)中，找出目標物的特徵匹配，及對應點(corresponding points)，並且利用對應點在影像中的位置差值，求出物體的深度資訊。. 28.

(41) xl. xr. ho. Right CCD. Left CCD. hS. L. xr. xl. 圖 3-3 雙眼視覺量測示意圖. 圖 3-3 為雙眼視覺的成像原理，障礙物離攝影機的垂直距離 ho 定義為 ho . hs  L xl  xr. (3-1). 其中 hs 為光學鏡頭距離，左右兩台 CCD 距離為 L ，目標物離左右兩邊攝影機的中心距離分別為 xl 和 xr ，且 xl  xr  L ，當投影到左右兩台攝影機時，其成像與光學中心線的距離分別為 xl 和 xr  ，透過影像中目標物與中心線的像素差，以及像素距離間的轉換即可求出 xl 和 xr  。. 由於雙眼視覺量測法必須用到兩台攝影機，故在調整攝影器材與其內部參數校正時較為麻煩，且由於結構或透鏡等關係，就算是同廠牌型號的攝影機，其內部參數也會有所差異，導致量測時的誤差。鑒於上述原因，本論文所採用的方法為單一攝影機量測法，相較於雙眼視覺量測，此種量測法不僅在環境架設上方便許多，且能夠節省校準的麻煩、避免掉內部參數差異形成的誤差，同時可降低實驗成本。 29.

(42) 3.2.1. 影像式距離量測系統. 在先前的距離量測方法，大部分是直接量測的接觸式測量法，也有利用超音波以及雷射的反射波回到接收器的時間，間接推算出距離，以及用兩張影像的比例關係來計算，但在影像式距離量測系統[35-42]中，只需要一張影像畫面，就能夠輕易地找出目標物的距離。影像式距離量測系統是由影像中的兩個點經過三角運算找出離網路攝影機的距離 ho 。為了設置這兩個基準點，以手動點擊的方式將兩個點建立在影像中的水平面上，如圖 3-4，圖像中的 A 點和 B 點為手動點擊的兩點。利用這兩個點在圖像上的像素差值，以及這兩個點之間的實際距離，就能夠求出由兩點所建立水平線上任意一點離網路攝影機的垂直距離，轉換的公式如下 ho . Ds N H _ PQ.  N H _ max  cot H  hs. (3-2). 其中 N ( A) 和 N ( B) 為影像上的像素差值， N H _ max 為水平面的最大像素(由於實驗中是使用 640*480 像素的網路攝影機，故水平面的最大像素即為 640)， H 為網路攝影機的水平視角， hs 為網路攝影機的光學鏡頭距離，2 Ds 為兩點之間的固定距離。. hS. H ho. N(B). N ( A) A. O. B. 2 DS N H _max. 圖 3-4 影像式距離量測系統示意圖 30.

(43) 3.2.2. 平行線距離量測系統. 在影像式距離量測系統中，雖然能夠將影像畫面中，兩個點所構成的水平線上，任意一點離網路攝影機垂直距離求出來，但是若欲量測的點不在此水平線上，則需要重新設置兩點(A 點和 B 點)，才能夠計算。為了改善此問題，平行線距離量測系統[43]將原本的兩個點增加為四個點( Ls1 、 Ls2 、 Ls3 、 Ls4 )，使得左邊兩個點與右邊兩個點形成一組平行線，平行線之間的實際距離為 2 Ds ，如圖 3-5。根據直線公式，左線( Ls1Ls2 )和右線( Ls3 Ls4 )可以表示成 Ls1Ls2 :. y  y1 x  x1  y2  y1 x2  x1. (3-3). Ls3 Ls4 :. y  y3 x  x3  y4  y3 x4  x3. (3-4). 其中 x1 、 x2 、 x3 、 x4 、 y1 、 y2 、 y3 和 y4 為圖像上的座標。而影像中任意一點 ( x, y) ，都能投影到左平行線(P 點)和右平行線(Q 點)上，如圖 3-6，藉由 P 點和 Q 點在影像中的座標，可以算出此平面的像素差值 N H _ PQ ， N H _ PQ 可以定義為 N H _ PQ  xq  x p. (3-5). 其中 x p 為 lPQ 水平線上影像座標 ( x, y) 投影在 Ls1Ls2 上的 x 值， xq 為 lPQ 水平線上影像座標 ( x, y) 投影在 Ls3 Ls4 上的 x 值。最後，利用上述 3.2.1 節的公式(3-1)，就能夠算出影像中任意一點離網路攝影機的距離。. 31.

(44) We bca m. Ls1. 2 Ds. Ls 2 Ls 3. Ls 4. 圖 3-5 平行線距離量測系統架構. Ny. Ls1. Ls 3 Q(x q , y q ). P(x p , y p ). ( x, y ) Ls 2. Ls 4. N H _ PQ 圖 3-6 影像擷取畫面示意圖. 32. Nx.

(45) 3.3 平行線距離量測系統應用於走廊環境本論文距離量測的方法是使用上述 3.2.2 節平行線距離量測系統來測量障礙物離網路攝影機的距離，透過四個手動點擊的點組成的兩條平行直線，計算出整張影像畫面上，任意水平線之間的像素差值，同時藉由影像式距離量測系統，得到物體與網路攝影機之間的垂直距離。實際實驗時，網路攝影機架設在天花板上，照射實驗室的外部走廊，當程式執行後，會跳出一個視窗，此視窗的用途是讓使用者建立平行線。首先，程式會將使用者點擊的第一點和第二點，當作左邊平行線，並且顯示建立平行線的像素點以及左平行線的直線方程式，接著，再將使用者點擊的第三點和第四點當成右平行線，並且顯示出來，如圖 3-7 和圖 3-8。通常在建立平行線時，會依照走廊磁磚的四個角點擊，利用磁磚線條兩邊平行的特點，完成尺規的建立。. 第一點. 第二點. 第三點. 第四點. 圖 3-7 平行線的建立. 33.

(46) 圖 3-8 四點座標及平行線方程式. 如圖 3-9，建立兩條平行線後，就能夠利用平行線距離量測系統，將障礙物在影像中的像素座標，轉換成真實座標，並計算障礙物離網路攝影機的垂直距離。. 第一點. 第二點. 第三點. 第四點. 圖 3-9 兩條平行線的建立 34.

(47) 障礙物中心點由近而遠，量測座標分別為(1057,104)、(1154,173)、(1263,84)、 (1308,174)。而障礙物的實際位置與量測位置的結果，如表 3-1。其中，表格中的誤差為使用式(3-6)計算實際座標與量測座標之間的距離差值。. error (cm)  ( x1  x2 )2  ( y1  y2 )2. (3-6). x1 和 y1 為實際座標， x2 和 y2 為量測座標。. 表 3-1 障礙物量測誤差實際座標(cm). 量測座標(cm). error(cm). 障礙物I. (1061,102). (1067,104). 6.32. 障礙物II. (1150,170). (1158,172). 8.24. 障礙物III. (1272,83). (1275,82). 3.16. 障礙物IV. (1341,170). (1352,173). 11.4. 35.

(48) 第四章. 靜態路徑規劃. 本章節綜合上述第二章影像處理的方法檢測障礙物以及第三章平行線距離量測系統，計算出障礙物離網路攝影機的垂直距離，並將障礙物以及規劃的路徑轉換成真實地圖座標，作為機器人前行的依據。. 4.1 全域地圖座標經由 2.8 節的影像處理檢測出障礙物後，接下來需要知道網路攝影機和障礙物在全域地圖上的座標，才能夠回傳到二維地圖上，並且規劃機器人的避障路徑，故在建置二維地圖時，需要先決定地圖上的座標點，如圖 4-1。其中，左上角的點定義為 (x, y)  (0, 0) ，而黃色部分為網路攝影機所監視到的走廊地圖。. X (0, 0). Y. 圖 4-1 二維地圖. 36.

(49) 4.1.1. 網路攝影機座標. 網路攝影機架設在實驗室外部走廊的天花板上，如圖 4-2。架設於天花板後，並且將其座標定義為 ( x, y)  (700,73) ，如圖 4-3。利用網路攝影機在二維地圖上的位置，才能夠正確地將障礙物回傳到此二維地圖的座標上。. 圖 4-2 影像設備. X (0, 0) (700,73). Y. 圖 4-3 網路攝影機位置. 37.

(50) 4.2 障礙物座標當網路攝影機偵測到障礙物時，再藉由平行線距離量測系統計算出障礙物和網路攝影機之間的距離，取得障礙物在二維地圖上的 x 值。根據圖 4-4，網路攝影機的座標為 ( X , Y ) ，障礙物的座標為 ( X o , Yo ) ， X o 定義為 X o  X  ho. (4-1). 其中 h(O) 為網路攝影機離障礙物的垂直距離。為了得到障礙物的 y 軸座標 Yo ，則必須計算牆壁離障礙物的距離，由於沒辦法直接得到牆壁離障礙物的距離，故藉由 3.3 節所設置的左側平行線，並利用方程式(4-2)和方程式(4-3)來間接得知。左平行線與障礙物的實際距離定義為 Dl. 2 Ds Nl N H _ PQ. Dl . (4-2). 其中， N H _ PQ 為障礙物映射到左平行線(P 點)及右平行線(Q 點)時，PQ 之間的像素差，2 Ds 為兩平行線之間的已知實際距離(如地磗尺寸)， N l 為障礙物與左平行線的像素差值。 Yo 的座標可以由下式取得 Yo  Dl  Wa. (4-3). 其中 Wa 為牆壁與左平行線的實際距離。 X (0, 0). Wa. 左平行線攝影機 ( X ,Y ). 障礙物 ( X o , Yo ). Dl 右平行線. ho. Y. 圖 4-4 室內環境架構 38.

(51) 4.2.1. 障礙物寬度量測. 為了避免機器人在行走時碰撞到障礙物，故在找出障礙物全域座標同時，也會依照像素與實際距離的比例關係算出障礙物的寬度( WRS )，確保規劃出來的避障路徑足夠讓機器人通過，障礙物的寬度量測方程式如下: WRS  2 Ds . N H _ RS. (4-4). N H _ PQ. 其中 N H _ RS 為障礙物在影像中的像素差值， N H _ PQ 為平行線之間的像素差值。如圖 4-5。藉由此方程式，就能夠計算出障礙物的實際寬度。 Ny. Ls4. lPQ. P. Ls2. R. S. Q. Ls3 N H _ RS. 0. Ls1. Nx N H _ PQ. 圖 4-5 寬度量測示意圖. 39.

(52) 4.3 避障路徑規劃在避障路徑規劃方面，是利用前述 2.8 節所擷取出來的矩形框，取其底部邊線的中心點與牆壁的距離，找出一條最佳且最安全的路徑出來，以避免機器人在行走時碰撞到障礙物，因此我們選擇障礙物的矩形框是利用最外圍輪廓來做標準，確保影像上的障礙物都能夠被矩形框框住。首先，計算障礙物與左牆和右牆之間的距離，取較大值當作機器人欲行走的方向，接著將障礙物離牆壁的中心點當作機器人行走時的規劃點。重複以上步驟，直到搜尋完所有障礙物後，將找到規劃點連起來，作為機器人的避障路徑。由於利用上述(4.2.1 節)所提到的寬度量測可以測量出障礙物的寬度，若偵測到機器人無法通過時，則會停止避障路徑規劃，同時告知機器人。值得注意的，取障礙物離牆壁的中心點當作機器人行走的規劃點為較保守且較安全的做法，我們可簡單地變動此避障點的設計以達到最短路徑規劃。靜態避障路徑規劃的完整架構如下： Step 1. 計算障礙物 A 離左牆距離 S Al 和右牆距離 S Ar 。 Step 2.. 若 S Ar > S Al 且 S Ar > WD (自走車機器人的寬度)，則取 S Ar 2 當作自走車的行走路徑，或者 S Al > S Ar 和 S Al > WD ，則取 S Al 2 當作自走車的行走路徑。. Step 3.. 若 Step 2 成立，則尋找下一個障礙物 B，並重新計算，步驟如 Step 1 和 Step 2。. Step 4. 搜尋完所有障礙物後，將路徑連接起來，作為機器人的路徑規劃。 Step 5. 若 Step 2 不成立，如 S Al < WD ，則停止路徑規劃。利用以上的避障路徑規劃法，能夠快速地找到一條機器人能夠通過的路徑，路徑規劃示意圖如圖 4-6. 40.

(53) 圖 4-6 路徑規劃方法. 4.4 實驗結果本實驗利用網路攝影機(webcam)架設在天花板上，取得 640*480 像素的走廊影像。之後，在走廊影像的部分設立感興趣區域(ROI)，濾除走廊以外的影像，降低影像處理時，背景過於複雜，導致判斷上的錯誤。本實驗假設 Double A 的紙袋為障礙物的位置，經由影像處理過後，找出障礙物的外圍輪廓，並且用矩形框將全部輪廓框出，之後運用 PLDM 量測法，取得該區域各點與網路攝影機之間的位置，並利用上述 4.4 節所提出的路徑規劃法則，找出一條避障路徑規劃，作為機器人前行的依據，最後，再將真實的座標位置回傳至二維的地圖上並顯示出來。. 4.4.1. 檢測物體. 在建立完平行線後，會運用前述的影像處理方法，檢測出 Double A 紙袋在影像上的位置。首先，利用 ROI 將走廊的影像取出，如圖 4-7。並且將其做灰階化處理，如圖 4-8。再將灰階化後的圖像做形態學處理和中值濾波消除多餘的雜訊， 41.

(54) 如圖 4-9。之後，將圖像做 canny 邊緣檢測，找出障礙物外圍的輪廓，如圖 4-10。最後使用連通元件法，將外圍輪廓的邊緣找出，如圖 4-11。而為了能夠更輕易判斷障礙物在圖像上的座標。因此，將得到的邊緣用矩形框出，並且將矩形底部線條的中心點當作障礙物在影像中的座標，如圖 4-12。. 圖 4-7 ROI 圖像. 圖 4-8 灰階圖像. 42.

(55) 圖 4-9 濾波後圖像. 圖 4-10 canny 圖像. 圖 4-11 連通元件法. 圖 4-12 框出障礙物. 43.

(56) 4.4.2. 規劃路徑並回傳至二維地圖. 當障礙物的真實位置取得後，利用 Open Source Computer Vision Library(OpenCV)，將真實的座標位置回傳至二維的座標圖上。而避障物的路徑會自動判斷障礙物離牆壁的距離，選擇離牆距離較遠的一邊為中心點，當作路徑規劃的依據，如圖 4-13。綠色的亮點為障礙物的實際位置，紅色的線代表自走車的避障路徑，藍色的點為路徑的規劃點。. 圖 4-13 靜態避障路徑規劃實驗. 程式執行完後，會在左邊視窗顯示障礙物離牆壁的中心點以及路徑規劃點的二維地圖座標，如圖 4-14，而路徑規劃點(圖上的藍點)由近而遠分別為(1067,174)、 (1158,91)、(1275,163)、(1352,91)。. 44.

(57) 圖 4-14 障礙物及規劃點座標. 綜合上述實驗，完整的靜態避障路徑規劃流程如圖 4-15。. 45.

(58) 輸入圖像是紀錄第一個點. 紀錄第二個點. 檢測障礙物. 新幀數否. 連通法結束. 形成左平行線. 框出障礙物. 紀錄第三個點. 轉換全域座標. 紀錄第四個點. 規劃避障路徑. 形成右平行線. 回傳二維地圖圖 4-15 靜態避障路徑規劃流程. 46.

(59) 第五章. 動態避障路徑規劃. 動態避障路徑規劃是將網路攝影機裝設在機器人上，充當機器人的眼睛，使得機器人在行走時，能夠隨時更新避障路徑，閃避走廊上的障礙物，以完成動態路徑規劃系統。. 5.1 雷射點建立平行線不同於 3.3 節用點擊的方式建立平行線，在動態避障路徑規劃中，取得四個點的方法是藉由機器人上所配備的雷射筆，在地板上產生的四個紅色雷射點投影，來組成左右兩條平行線。由於是事前的裝置，故可以知道雷射點大致的位置，所以在取得影像後，為了減少紅點判斷的錯誤，先設立四個感興趣區域(Region of interest)，並在這四個區域內做後續的處理步驟，如圖 5-1。此外，由於雷射點在影像上面的位置是固定的，在抓取到雷射點後，程式會自動記憶雷射點的位置，故在水平的路面僅需做一次平行線建立即可。. 圖 5-1 影像畫面中的四個雷射點取 ROI 47.

(60) 5.1.1. 尋找雷射點. 在取出四個 ROI 後，擷取 R.G.B.三通道中的紅色訊號，將其灰階化後，再做二值化處理，以找尋影像當中的雷射亮點。做二值化的目的在於降低圖像的複雜度，以便尋找紅色雷射點的輪廓。首先，把灰階影像給定一個閥值，使得原本 0 到 255 個灰階值經過閥值判定後，只剩下 0 和 255 兩個值，如公式(5-1)。 255 D ( x, y )    0. if. Y ( x, y )  t else. (5-1). 其中 t 為閥值(Threshold)，由於此步驟是在 R.G.B.中的 Red 通道所執行，所以給定一個閥值後，超過閥值的就是我們所要找的紅色雷射點輪廓。最後利用 2.7 節所提到的連通元件法，找到每個雷射點的輪廓，並且取其重心，當作是紅色雷射點在影像中所在的像素點，即可利用平行線距離量測系統計算任意一點的距離，圖 5-2 為整體的流程。影像輸入. 設立ROI. 取出Red通道. 二值化. 找尋雷射亮點. 計算距離. 圖 5-2 實驗流程 48.

(61) 5.1.2. 量測實例. 在兩個不同的影像畫面中，量測任意水平線離網路攝影機的垂直距離，圖 5-3 和圖 5-5 為使用雷射筆將四個雷射點投影在地板上，圖 5-4 和圖 5-6 為利用四個點建立兩條平行線完成距離量測，紅色的粗線代表欲量測的水平線，而藍色的粗線代表四個雷射點所形成的左側平行線與右側平行線。表 5-1、表 5-2 分別代表量測的結果與誤差。. 左平行線右平行線第二條量測的水平線. 第一條量測的水平線. 圖 5-3 投影四個雷射點(環境一). 圖 5-4 環境一量測示意圖. 第二條量測水平線. 第一條量測水平線. 左平行線. 圖 5-5 投影四個雷射點(環境二). 右平行線. 圖 5-6 環境二量測示意圖. 49.

(62) 表 5-1 環境一量測結果實際距離(cm). 量測距離(cm). 誤差(cm). 第一條水平線. 106. 111. 5. 第二條水平線. 166. 167.6. 1.6. 表 5-2 環境二量測結果實際距離(cm). 量測距離(cm). 誤差(cm). 第一條水平線. 144. 146. 2. 第二條水平線. 220. 220. 0. 5.2 牆壁邊線檢測在走廊實驗時，兩邊的牆壁資訊無法得知，因為機器人在行走時，位置會一直變化，沒辦法像第四章一樣，將牆壁離平行線的距離設為已知，故在動態路徑規劃上。首先，就是利用影像處理的方法，找到牆壁的邊線，並配合 4.2 節檢測障礙物以及 4.4 節來完成避障路徑規劃。這邊所使用的方法類似車道線檢測法，將牆壁邊緣當作車輛在道路上行駛時，兩邊的車道線來做處理。將網路攝影機傳進來的影像作預先處理，包含灰階、濾波處理等。主要是為了將圖像上的各種雜訊濾除，接著將處理過後的圖像做 canny 運算找出圖像中的輪廓。此時，牆壁邊緣線的輪廓會是很明顯地直線，運用上述 2.5 節的 Hough 轉換，對圖像空間的目標點進行座標轉換投影到參數空間，通過統計參數空間的總投票次數較多的點，即為圖像空間中對應的直線方程式，為了避免檢測到非牆壁的直線邊線，會對找到的直線利用長度和角度等限制條件進行篩選。完整的牆壁邊緣線檢測流程如圖 5-7，而牆壁邊緣的檢測結果如圖 5-8。. 50.

(63) 輸入圖像. 灰階化. 濾波處理. Canny 邊緣檢測. Hough轉換. 篩選直線. 輸出直線資訊. 圖 5-7 牆壁邊緣檢測流程. 圖 5-8 牆壁邊緣檢測 51.

(64) 5.3 全域座標利用 2.8 節的影像處理方法檢測到障礙物和 5.2 節取得牆壁邊線後，利用平行線距離量測系統即可得到障礙物離網路攝影機的垂直距離 ho 以及障礙物離網路攝影機水平距離 d x ，如圖 5-9。但是，這些資訊並不足以計算出障礙物的真實地圖座標，因為機器人的位置隨時都在變動，若要得到障礙物在二維地圖 ( x, y) 的座標，勢必要知道機器人當前的位置和旋轉角度才行。. Y軸. 右平行線. 左平行線. Ls2. Ls4. ho. Ls3. dx. 攝影機. 圖 5-9 量測資訊示意圖. 52. Ls1.

(65) 5.3.1. 機器人座標. 機器人座標是將機器人的起始位置定義為 ( x, y)  (0,0) 。當機器人移動時，控制端的電腦會利用無線網路傳輸的方式，將機器人當前的位置 ( X r , Yr ) 以及機器人的旋轉角度  告知另一台影像處理的電腦，如圖 5-10。這些資訊，才能夠算出障礙物的真實座標，使用兩台電腦來處理的是因為影像處理的運算量較大，若將兩個程式在同一台電腦運行，會造成處理上的困難，故由控制端電腦傳輸 ( x, y, ) ，在用另一台電腦做影像處理，可以節省程式執行的時間。. Y軸.  (X r , Yr ). X軸. (0, 0) 圖 5-10 機器人位置及角度. 53.

(66) 5.3.2. 障礙物座標. 當機器人的座標和角度被取得後，接下來就要計算障礙物的真實座標。首先，利用 4.2.1 節寬度量測方法，將障礙物離網路攝影機中心垂直線的實際距離 d x 求出， d x 定義為 d x  2 Ds . N x ,320 NH. (5-2). 其中， 2 Ds 為兩平行線之間的實際距離，此資訊在建立平行線時即可得知， N H 為障礙物映射到左右兩平行線之間的像素差值， N x ,320 為障礙物映射到網路攝影機中心垂直線的像素差值，由於影像畫面像素值為 640*480，故中心垂直線的像素剛好位於 320。. 接著，利用 d x 以及機器人的旋轉角度  可以求出障礙物離機器人的座標 ( xo , yo ) ，如圖 5-11，即可算出 xo 和 yo 。 xo 和 yo 分別被定義為 xo  ho sin   d x cos . (5-3). yo  ho cos   d x sin . (5-4). 最後，利用機器人當前位置 ( X r , Yr ) 和方程式(5-3)、(5-4)，就能夠得到障礙物的真實座標 ( X o , Yo ) 。 X o  X r  xo. (5-5). Yo  Yr  yo. (5-6). 54.

(67) Y. y. dx . xo. 障礙物 ( X o , Yo ). yo . ho. x. ( X r , Yr ). (0, 0). X 圖 5-11 障礙物真實座標示意圖. 在取得障礙物的座標後，就能夠利用 4.4 節來完成避障路徑的規劃，規劃出一條機器人可以行走的安全路徑，不同於靜態避障路徑規劃，當機器人到達預設的規劃點後，才會繼續規劃下一條路徑，以完成動態避障路徑規劃。. 5.4 實驗結果本實驗在輪型自走車(pioneer)上面，放置一個長 40 公分，寬 35 公分，高 65 公分的鐵架，並且將四隻雷射筆架設在架子旁，如圖 5-12，利用控制端電腦傳過來的值，結合影像處理，找出障礙物輪廓及牆壁邊線，再利用 4.4 節路徑規劃方法，找出避障路徑，機器人每行走一段時間，就會規劃出一條新的路徑出來，如 55.

(68) 此就能輕易地避開走廊上的障礙物。. 圖 5-12 實驗設備. 5.4.1. 平行線建立. 程式執行後，會利用前述 5.1 節的方法，找到雷射筆投影的紅點輪廓，並利用這四個點構成兩條直線，同時計算這兩條直線的方程式，由於在平坦的地面上，紅點在影像畫面中的位置是不會改變的，所以當找出這四個點後，程式會自動記錄起來，做為以後平行線距離量測系統的依據，也節省了此系統的執行速率。圖 5-13 為雷射筆的投影畫面。. 56.

(69) 圖 5-13 投影四個雷射點. 5.4.2. 動態避障路徑規劃系統. 首先，將程式開啟，將影像畫面顯示於左邊，如圖 5-14。. 圖 5-14 顯示影像畫面 57.

(70) 當開始執行路徑規劃時，會將規劃的路徑以及找到的障礙物和牆壁邊緣顯示於右邊的視窗，而規劃點的座標則標示在左上角。如圖 5-15。. 圖 5-15 實驗圖片二. 圖 5-16 實驗圖片三. 58.

(71) 圖 5-17 實驗圖片四. 圖 5-18 實驗圖片五. 59.

(72) 圖 5-19 實驗圖片六. 圖 5-15 到圖 5-19 為機器人經由遙控移動到定點後，傳送當前機器人的 ( x, y, ) ，在影像處理過後顯示於畫面上，左上角顯示的數值為規劃點的真實座標。. 表 5-3 規劃點量測誤差真實座標(cm). 量測座標(cm). error(cm). 第一個規劃點. (-19,178). (-20,181). 3.16. 第一個規劃點. (-19,178). (-21,183). 5.39. 第二個規劃點. (53,356). (55,361). 5.39. 第三個規劃點. (-21,534). (-25,551). 17.46. 第三個規劃點. (-21,534). (-23,553). 19.1. 表 5-3 為規劃點在各點的量測誤差結果，並利用前述 3.3 節的式(3-6)算出距離差值。. 60.

(73) 第六章. 結論及未來展望. 6.1 結論在本論文中，結合障礙物檢測和平行線距離量測系統，在室內環境下，運用於輪型自走車的路徑規劃上。在實驗方面，分為以靜態和動態避障路徑規劃兩種實驗，在靜態避障路徑實驗中，網路攝影機被放置在天花板上，利用影像處理的方法來識別障礙物的位置，當障礙物被辨識後，再使用平行線距離量測系統取得障礙物的真實地圖座標，讓輪型自走車能夠得到最佳的移動路徑，最後將避障路徑回傳到二維地圖上。在動態路徑規劃中，網路攝影機則是架設在機器人上，結合影像辨識的方法取得障礙物影像座標。並使用 Hough 轉換找到牆壁邊線，再利用平行線距離量測系統計算障礙物及規劃點的真實座標，及時的規劃避障路徑，並且以實驗結果證明此方法的可行性。. 6.2 未來展望未來將與機器人做結合，隨時傳送避障路徑給機器人，並利用控制器去追蹤避障路徑，以完成機器人在走廊上的巡邏。而在影像處理的方面，換成更高像素的影像設備，以提高距離量測的精確度。. 61.

(74) 參考文獻. [1]. G. Yasuda and H. Takai, “Sensor-based path planning and intelligent steering control of nonholonomic mobile robots,” The 27th Annual Conference of the IEEE Industrial Electronics Society, 2001, pp. 317-322.. [2]. A. Fujimori and S. Tani, “A navigation of mobile robots with collision avoidance for moving obstacles,” IEEE International Conference on Industrial Technology, 2002, pp. 1-6.. [3]. Y. Wang and S. Fang, “Image-based exploration obstacle avoidance for mobile robot,” Control and Decision Conference, 2009, pp. 3019-3023.. [4]. R. C. Luo, K. L. Su, and K. H. Tsai, “Intelligent security robot fire detection system using adaptive sensory fusion method,” IEEE 28th Annual Conference of the Industrial Electronics Society, Nov. 2002, pp. 2663-2668.. [5]. R. C. Luo, K. L. Su, and K. C. Lin, “Overview of The Intelligent Security Robot – Chung Cheng I,” IEEE Workshop on Advance Robotics and its Social Impacts, June 2005, pp. 220-225.. [6]. E. M. Petriu, “Automated guided vehicle with absolute encoded guide-path,” IEEE Transactions on Robotics and Automation, vol. 7, no.4, pp. 562-565, Aug. 1991.. [7]. M. Rous, H. Lupschen, and K. F. Kraiss, “Vision-Based Indoor. Scene Analysis for Natural Landmark Detection,” IEEE International Conference on Robotics and Automation, Barcelona, Spain, April 2005, pp. 4642-4647.. [8]. H. Y. Cheng, B. S. Jeng, P. T Tseng, and K.-C. Fan, “Lane Detection With Moving Vehicles in the Traffic Scenes,” IEEE Transactions on Intelligent Transport System, vol. 7, no. 4, pp. 571-582, Dec. 2006. 62.

(75) [9]. S. K. Park, J. H. Jung, and K. W. Lee, “Mobile robot navigation by circular path planning algorithm using camera and ultrasonic sensor,” IEEE International Symposium on Industrial Electronics, July 2009, pp. 1749-1754.. [10]. A. Caarullo and M. Parvis, “An ultrasonic sensor for distance measurement in automotive applications,” IEEE Sensors Journal, vol. 1, no. 3, pp. 143-147, Oct. 2001.. [11]. K. Kaliyaperumal, S. Lakshmanan, and K. Kluge, “An algorithm for detecting roads and obstacles in radar images,” IEEE Trans. on Vehicular Technology, vol. 50, pp. 170-182, Jan. 2001.. [12]. H. T. shin, “Vehicles Crash proof Laser Radar,” M.S. thesis, Opt. Sci. Center, National Central University, Chung Li City, Taiwan, R.O.C., 2000.. [13]. K. Osugi, K. Miyauchi, N. Furui, and H. Miyakoshi, “Development of the scanning laser radar for ACC system,” JSAE review, vol. 20, no. 4, Oct. 1999, pp. 549-554.. [14]. 陳政傑，“自走式機器人之雷射定位與路徑規劃”，國立雲林科技大學，碩士論文， 95 年 7 月. [15]. 施瑋翔，“視覺伺服應用於自走車追蹤避障之實現”，國立成功大學，碩士論文， 97 年 7 月. [16] 李欽舜，“輪型行動機器人之運動控制與避障路徑規劃”，國立中央大學，. 碩士論文， 93 年 6 月 [17]. S. Nedevschi, R. Danescu, D Frentiu, T. Marita, F. Oniga, C. Pocol, R. Schmidt, and T. Graf, “High accuracy stereo vision system for far distance obstacle detection,” IEEE Intelligent Vehicles Symposium, June. 2004, pp. 161-166.. [18]. T. Suzuki and T. Kanada, “Measurement of vehicle motion and orientation using optical flow,” IEEE/IEEJ/JSAI International Conference on Intelligent Transportation Systems, Tokyo, Japan, Oct. 1999, pp. 25-30.. 63.