基於單攝影機技術之室內影像定位系統設計 應用於自主式機械人
91
0
0
全文
(2) 學生：賴拓文. 指導教授：王偉彥博士. 國立臺灣師範大學應用電子學系碩士班. 摘要. 本論文不同於傳統雙影像設備距離量測方法，採用以平行線距離量測系統 (Parallel Lines Distance Measurement System, PLDMS)來實現單一影像設備 距離量測，不僅可降低成本且環境架設容易，而且只需知道影像設備的最 大像素值、視角及光學距離等環境參數。由於本文之影像設備為固定單一 位置，因此採用運算速度較快的背景差值法來提取前景，同時使用低通濾 波器進行背景更新以降低背景噪聲，亦使用影像型態學方法來提取完整前 景資訊及去除細微雜訊。在機械人室內定位實驗上，我們經由室內的平面 地圖規劃，將網路攝影機(Webcam)設備架設於最合適處來監測移物體，再 透過所提出單影像設備測距的方法來實現定位。本論文將三台影像設備分 別架設於三個走廊轉角處，藉由事先定義的影像設備全域座標，我們可透 過單一影像定位獲取移動物體之座標。最後，再透過影像設備間切換機制 進而得到完整的全域座標資訊。 關鍵字：影像量測，PLDMS，室內定位系統。. i.
(3) A design of a single CCD-based indoor localization technology-applied to autonomous mobile robots. Student：To-Wen Lai. Advisor：Dr. Wei-Yen Wang. Institute of Applied Electronics Technology National Taiwan Normal University ABSTRACT. Unlike traditional Binocular vision measurement method, this thesis presents a single-webcam-based measurement method developed from a proposed Parallel Lines Distance Measurement System (PLDMS). PLDMS can create the identical ruler for all measured objects. Not only can the proposed measurement method reduce production cost, but also the experimental environment is easy to set up because only three parameters need to decide, the maximum pixel, perspective, and optical distance. Because the locations of webcams are fixed, we use the simple background subtraction method to extract the prospects to improve the problem of computational burden. Furthermore, we use the low-pass filter and on-line background update method to reduce background noise, and adopt the image morphology to complete prospect information and to remove the slight noise. In our indoor experiments, webcams are located several places on where we can clearly monitor the move of a robot in the fifth floor of the Science and Technology building of Nation Taiwan Normal University. Finally, through the switching mechanism and the predefined coordinate system, we can get the location of the robot when it is moving. Keywords: Image-based distance measuring system, PLDMS, Indoor localization system.. ii.
(4) 致謝. 這兩年學習到了許多東西，做事情的態度、做研究的方法、 自學的重要性及技巧…等。轉眼間，這兩年已經即將結束，邁向 新的階段。首先，感謝我的指導教授，王偉彥博士；不僅提供了 實驗的環境且常常帶動研究室的大家一起努力。宜勳學長總是不 厭其煩地與我們討論遇到的瓶頸及可行的解決方法。宜興學長及 政沛學長也常常提供自己的想法供我們思考。在乃弘學長身上也 學習到許多專業的知識，讓我對自己的方向能夠更加確立。 感謝學弟(建凱、裔峰、奕涵)多次犧牲自己的時間幫我做實 驗，尤其奕涵多次犧牲自己晚上的時間，真的幫了我大忙。 最後，最感謝的是我的家人，包容我這兩年來的一切。讓我能無 後顧之憂的把學業給完成。. iii.
(5) 目. 錄. 中文摘要 ....................................................................................................................... i 英文摘要 ......................................................................................................................ii 誌謝 ............................................................................................................................. iii 目錄 ..............................................................................................................................iv 表目錄......................................................................................................................... vii. 圖目錄....................................................................................................................... viii 第一章. 緒論.............................................................................................................. 1. 1.1. 研究動機與背景.................................................................................... 1. 1.2. 研究目的 ................................................................................................ 4. 1.3. 研究限制 ................................................................................................ 5. 1.4. 論文架構 ................................................................................................ 6. 第二章. 影像處理介紹..................................................................................... 7. 2.1. R.G.B 模型 .......................................................................................... 7. 2.2. 高斯平滑濾波器.................................................................................... 8. 2.3. 影像色彩 .............................................................................................. 10. 2.3.1. 灰階化 ........................................................................................... 10. 2.3.2. 二值化 ............................................................................................11. 2.4. 二值化影像形態學.............................................................................. 13. 2.4.1. 侵蝕、膨脹................................................................................... 13. 2.4.2. 閉合、斷開................................................................................... 13. 2.5. 連通元件標記法.................................................................................. 15. 2.6. 前景提取 .............................................................................................. 17. 2.6.1. 背景相減 ....................................................................................... 17 iv.
(6) 2.6.2 第三章 3.1. 背景更新 ....................................................................................... 18 距離量測方法................................................................................... 19. 傳統量測技術 ...................................................................................... 19. 3.1.1. 接觸式量測................................................................................... 19. 3.1.2. 非接觸式量測............................................................................... 21. 3.2. 基於影像之量測技術.......................................................................... 25. 3.2.1. 雙 CCD 距離量測 ........................................................................ 25. 3.2.2. IBDMS 量測原理與系統架構 ..................................................... 26. 3.2.3. PLDMS 量測原理與系統架構 .................................................... 27. 3.3. 應用 IBDMS 及 PLDMS 於矩形物體三維資訊 ............................... 29. 3.3.1. 量測原理 ....................................................................................... 30. 3.3.2. 實驗結果 ....................................................................................... 31. 第四章. 移動物體定位系統........................................................................... 34. 4.1. 移動物體位置判斷.............................................................................. 34. 4.2. 單一影像設備定位.............................................................................. 37. 4.3. 全域地圖座標 ...................................................................................... 42. 4.3.1. 影像設備座標............................................................................... 43. 4.3.2. 移動物體座標............................................................................... 46. 第五章. 實驗結果和討論............................................................................... 51. 5.1. 系統流程圖 .......................................................................................... 51. 5.2. 平行線建立 .......................................................................................... 52. 5.3. 建立背景 .............................................................................................. 58. 5.4. Multi-webcam 移動物體定位系統 ..................................................... 61. 第六章 6.1. 結論及未來展望............................................................................... 73 結論 ...................................................................................................... 73 v.
(7) 6.2. 未來展望 .............................................................................................. 73. 參考文獻 ........................................................................................................... 74. vi.
(8) 表目錄. 表 3-1. 實驗目標 1 之結果 .................................................................... 33. 表 3-2. 實驗目標 2 之結果 .................................................................... 33. 表 3-3. 實驗目標 3 之結果 .................................................................... 33. 表 5-1. 影像設備 1 座標誤差 ................................................................ 70. 表 5-2. 影像設備 2 座標誤差 ................................................................ 71. 表 5-3. 影像設備 3 座標誤差 ................................................................ 72. vii.
(9) 圖目錄. 圖 1-1. 全球定位系統(GPS) .................................................................... 2. 圖 1-2. 機械人誤差逐漸增加 .................................................................. 2. 圖 1-3. 標的物一次校正 .......................................................................... 3. 圖 1-4. 標的物二次校正 .......................................................................... 3. 圖 1-5. 標的物三次校正 .......................................................................... 3. 圖 2-1. R.G.B 色彩空間模型 ................................................................... 7. 圖 2-2. 低通濾波效果 ............................................................................ 10. 圖 2-3. 原始圖像 .....................................................................................11. 圖 2-4. 灰階圖像 .....................................................................................11. 圖 2-5. 直方圖 ........................................................................................ 12. 圖 2-6. 閥值 80 ....................................................................................... 12. 圖 2-7. 閥值 160 ..................................................................................... 12. 圖 2-8. 3*3 遮罩 ..................................................................................... 14. 圖 2-9. 形態學前 .................................................................................... 14. 圖 2-10. 形態學後 .................................................................................... 14. 圖 2-11. 斷開及閉合運算 ........................................................................ 14. 圖 2-12. 原圖 ............................................................................................ 15. 圖 2-13. 連通元件法後 ............................................................................ 16. 圖 2-14. 連通元件標記法 ........................................................................ 16. 圖 2-15. 前景流程圖 ................................................................................ 17. 圖 2-16. 加入背景更新步驟 .................................................................... 18. 圖 3-1. 電阻尺 ........................................................................................ 20. 圖 3-2. (a)線性光柵(b)圓型光柵 ........................................................... 21 viii.
(10) 圖 3-3. 超音波測距示意圖 .................................................................... 22. 圖 3-4. 電子測距儀間接法示意圖 ........................................................ 23. 圖 3-5. 完整波長和相位角關係示意圖 ................................................ 24. 圖 3-6. 入射與反射波之相位差示意圖 ................................................ 24. 圖 3-7. 雙 CCD 距離量測示意圖 .......................................................... 26. 圖 3-8. 單 CCD 量測示意圖 .................................................................. 27. 圖 3-9. IBDMS 量測架構....................................................................... 28. 圖 3-10. 於圖 3.9 Camera 擷取影像之示意圖 ........................................ 29. 圖 3-11. 量測流程圖 ................................................................................ 31. 圖 3-12. 實驗目標 1 ................................................................................. 32. 圖 3-13. 實驗目標 2 ................................................................................. 32. 圖 3-14. 實驗目標 3 ................................................................................. 32. 圖 4-1. 系統建立的背景圖 .................................................................... 34. 圖 4-2. 當新影像進入時 ........................................................................ 34. 圖 4-3. 背景圖灰階化 ............................................................................ 35. 圖 4-4. 新影像灰階化 ............................................................................ 35. 圖 4-5. 背景差值圖 ................................................................................ 35. 圖 4-6. 前景圖二值化 ............................................................................ 35. 圖 4-7. 前景圖影像型態學 .................................................................... 35. 圖 4-8. 前景連通法 ................................................................................ 35. 圖 4-9. 移動物體影像座標 .................................................................... 36. 圖 4-10. 完整前景 .................................................................................... 36. 圖 4-11. 移動物體判斷 ............................................................................ 37. 圖 4-12. 平行線建立 ................................................................................ 38. 圖 4-13. 影像設備 1 畫面 ........................................................................ 39 ix.
(11) 圖 4-14. 與右線(牆壁)距離...................................................................... 40. 圖 4-15. 影像設備 2 畫面 ........................................................................ 40. 圖 4-16. 與左線(牆壁)距離...................................................................... 41. 圖 4-17. 影像設備 3 畫面 ........................................................................ 41. 圖 4-18. 與右線(牆壁)距離...................................................................... 42. 圖 4-19. 平面二維地圖 ............................................................................ 42. 圖 4-20. 影像設備 1 座標 ........................................................................ 43. 圖 4-21. 影像設備 2 座標 ........................................................................ 44. 圖 4-22. 影像設備 3 座標 ........................................................................ 44. 圖 4-23. 影像設備 1 ................................................................................. 45. 圖 4-24. 影像設備 2 ................................................................................. 45. 圖 4-25. 影像設備 3 ................................................................................. 46. 圖 4-26. 二維地圖參數 ............................................................................ 47. 圖 4-27. 影像設備 1 移動物體 ................................................................ 48. 圖 4-28. 影像設備 2 移動物體 ................................................................ 48. 圖 4-29. 影像設備 3 移動物體 ................................................................ 49. 圖 4-30. 高度產生的量測誤差示意圖 .................................................... 50. 圖 5-1. 程式流程圖 ................................................................................ 51. 圖 5-2. 影像設備 1 左線 ........................................................................ 52. 圖 5-3. 影像設備 1 左線 ........................................................................ 52. 圖 5-4. 影像設備 1 右線 ........................................................................ 53. 圖 5-5. 影像設備 1 右線 ........................................................................ 53. 圖 5-6. 影像設備 2 左線 ........................................................................ 54. 圖 5-7. 影像設備 2 左線 ........................................................................ 54. 圖 5-8. 影像設備 2 右線 ........................................................................ 55 x.
(12) 圖 5-9. 影像設備 2 右線 ........................................................................ 55. 圖 5-10. 影像設備 3 左線 ........................................................................ 56. 圖 5-11. 影像設備 3 左線 ........................................................................ 56. 圖 5-12. 影像設備 3 右線 ........................................................................ 57. 圖 5-13. 影像設備 3 右線 ........................................................................ 57. 圖 5-14. 影像設備 1 建立背景 ................................................................ 58. 圖 5-15. 影像設備 1 的背景影像圖 ........................................................ 58. 圖 5-16. 影像設備 2 的背景影像圖 ........................................................ 59. 圖 5-17. 影像設備 3 建立背景 ................................................................ 59. 圖 5-18. 影像設備 3 建立背景 ................................................................ 60. 圖 5-19. 影像設備 3 建立背景 ................................................................ 60. 圖 5-20. 影像設備 3 的背景影像圖 ........................................................ 61. 圖 5-21. Multi-webcam (同時顯示所有影像畫面) ................................. 62. 圖 5-22. 幀數 ............................................................................................ 62. 圖 5-23. 實驗 1 之 webcam 平台影像設備 1 平行線建立 ..................... 63. 圖 5-24. 實驗 1 之 webcam 平台影像設備 2 平行線建立 ..................... 63. 圖 5-25. 實驗 1 之 webcam 平台背景建立 ............................................. 64. 圖 5-26. 實驗 1 中機械人於影像設備 1 的畫面 .................................... 64. 圖 5-27. 實驗 1 機械人影像設備 2 的畫面 ............................................ 65. 圖 5-28. 建立背景 (150 幀)..................................................................... 65. 圖 5-29. 實驗 2 中機械人於影像設備 1 (178 幀) .................................. 66. 圖 5-30. 實驗 2 中機械人於影像設備 1 轉角處 (342 幀) .................... 66. 圖 5-31. 實驗 2 中機械人於影像設備 1 轉角處(395 幀) ...................... 67. 圖 5-32. 實驗 2 中機械人於影像設備 2 (455 幀) .................................. 67. 圖 5-33. 實驗 2 中機械人於影像設備 2 轉角處 (637 幀) .................... 68 xi.
(13) 圖 5-29. 實驗 2 中機械人於影像設備 3 (718 幀) .................................. 68. 圖 5-30. 機械人於影像設備 3 轉角處 (836 幀) .................................... 69. 圖 5-31. 實驗 2 中機械人於影像設備 2 (455 幀) .................................. 67. 圖 5-32. 實驗 2 中機械人於影像設備 2 轉角處 (637 幀) .................... 68. 圖 5-33. 實驗 2 中機械人於影像設備 2 轉角處 (637 幀) .................... 68. 圖 5-34. 實驗 2 中機械人於影像設備 3 (718 幀) .................................. 68. 圖 5-35. 實驗 2 中機械人於影像設備 3 轉角處 (836 幀) .................... 69. 圖 5-36. 影像設備 1 座標誤差 ................................................................ 70. 圖 5-37. 影像設備 2 座標誤差 ................................................................ 71. 圖 5-38. 影像設備 3 座標誤差 ................................................................ 72. xii.
(14) 第一章. 1.1. 緒論. 研究背景與動機 機械人的研究經過多年的發展來，已越來越專業及專精，因此，機械. 人的研究不再侷限於機械本身，而是由各類領域知識統籌規劃而成。近年 來，許多機械人的室內位置定位的研究成果已發表[1] ~ [6]，由於在室內無 法精確使用全球定位系統(GPS)(圖 1.1)來當成輔助定位的感測器，所以許 許多多的理論便隨之而生，例如超音波定位、雷射定位、影像定位及紅外 線定等。 紅外線定位系統[7]最早在 1992 年由 Roy Want 等人於 Olivetti Research Laboratory(ORL)所提出，選擇紅外線為媒介來完成定位系統主要是因為低 成本，同時可以將團隊所設計的主動式徽章(Active Badge)的硬體體積縮至 最小，約為 55*55*7 mm。定位系統的運作方式是透過事先佈置好的紅外 線感測站(Sensor station)來讀取使用者身上的 Active Badge 所發出的訊號 來進行定位。由於 Active Badge 的訊號傳輸距離就已經可以達到 6 公尺， 只是考慮到方向的特性之後，未必會如此理想，因此，可以透過大量佈置 的方法使其限制不明顯。只是每台電腦最多只能連結 128 台感測站，因此， 若要提高精確度，便會增加成本，話雖如此，此設計仍然具有相當前瞻性 的概念。而後該實驗室於 1997 年改組之後重新設計了一套使用超音波的 定位系統，改善了原先的感測站數量問題，增加了 16bit 的定址能力，使 每台電腦能夠連接 65535 台感測站，但其系統架構卻仍不脫離原有的概念。 而後，許多無線訊號定位系統如：藍牙、RF、Zigbee 及 Wifi 皆使用類似 的 架 構 完 成 定 位 目 的 ， 只 是 加 入 了 電 子 電 機 工 程 師 協 會 (Institute of 1.
(15) Electrical and Electronics Engineers, IEEE)所提出的 IEEE 802.11 標準中定義 的參數，訊號強度指標(Received signal strength indication, RSSI)。2000 年 時由 Paramvir Bahl[8]等人所提出的基於無線區域網路的室內定位系統 (RADAR)便採用該參數做為定位的依據。 近年來熱門的研究，同步定位與地圖建構 (Simultaneous localization and mapping, SLAM)，其基本的概念如圖 1.2~圖 1.5 所示。. 圖 1.1 全球定位系統(GPS). 圖 1.2 機械人誤差逐漸增加. 2.
(16) 圖 1.3 標的物一次校正. 圖 1.4 標的物二次校正 Robot. Landmark. 圖 1.5 標的物三次校正. 圖 1.2 表示機械人的定位誤差會隨著機械人的移動而逐漸增加；當有 標的物可供校正時，其誤差便會相對小了許多，而當二次校正之後其誤差 便會大大減少，如圖 1.3 及圖 1.4 所示。經由三次校正之後，定位精度已 經很好了，只是如圖 1.5 所示，隨著標的物的走失，其誤差定位會再次擴 大。SLAM 另一個特點，隨著機械人的移動，蒐集環境的資訊，將資訊即 時建立平面地圖以供定位所需。由於 SLAM 已經是比較成熟的研究方向， 因此也有許多完整的套件可以使用，[9]提供了數種方法的比較。 3.
(17) S.Latif 等人於 2012 年提出較低成本的超音波定位系統[10]，該系統在 同一間房間內有單一發射器與多個接收器，當射頻信號啟動，而超音波抵 達接收端後，接收端會停止計時器並將其傳送至微控制器以計算定位目標 的位置。由於該團隊自己設計發射器、接收器電路及射頻發射器和接收器 因此相對於其他的感測器，屬於成本比較低廉的。只是超音波定位存在著 幾個缺憾，如：難以應用於室內複雜環境、二次反射、指向性…等。由於 現今的社會中，充斥著許多消費性電子影像設備，因此 Hisato Kawaji 等人 於 2010 年提出一套透過影像的室內定位系統[11]，透過使用者所擁有的影 像設備來進行室內定位。該系統使用影像設備向周圍拍攝照片，然後透過 事先建立在電腦裡的影像資料庫來進行匹配，進而計算出使用者身處何處。 而為了能夠盡可能的擴大自身的視野，該團隊採取全方位攝像機的特殊設 備來輔助。因為該系統利用 SIFT 演算法對圖像進行計算從而擷取特徵點， 因此最大的缺點即是必須事先建立龐大的資料庫來等待匹配。Hisato Kawaji 等人所提出的系統與 SLAM 非常接近，只是前者即時建造地圖，而 後者事先建立地圖。 本論文提出可藉由成本低廉的影像設備，並且僅需使用單一影像設備 的影像定位方法的來進行室內定位。所提出方法對於影像設備的硬體架構 並無限制，因此，越高解析度、視角越廣的影像設備便能提高其量測的精 確度及增加量測的範圍。本論文以常見、易取得的網路攝影機(Webcam) 做為影像設備用於完成室內定位的預期目標。. 1.2. 研究目的. 目前在影像量測方法中，最常見的是雙目視覺，該方法藉由兩個影像設備 同時看到相同目標物時所產生在影像中的相異處來進行距離的計算及分 4.
(18) 析。然而，要能分析兩個影像的相異處得要事先設定許多關於雙影像設備 的參數，如距離、拍攝角度等。因此，本論文提出使用單一影像設備來進 行距離的計算，可大大降低了影像設備設置時所需的參數，同時也可以降 低架設時的成本。同時為了達到室內機械人定位的目的，我們將計算出來 的機械人距離資訊透過座標轉換將其變成全域室內定位資訊。. 1.3 研究限制 網路攝影機(Webcam)的解析度最常見的為 640*480，受限於此， 準確度亦被限制在一定的範圍內，幸運地，若使用於室內定位，Webcam 的解析度則還堪用，但用於較為空曠或狹長走廊時，則可能會因為視 角不足或者解析度不夠高而存在死角或模糊地帶，因而照成誤差偏高 的問題。由於本文同時使用三台影像設備進行機械人定位，因此可能 會照成時間同步上的問題，因此我們採取同時擷取幀數的方法來使三 台影像設備進行同步，雖然其計算的速度尚可接受，但不可避免地會 降低運算速度。另外，本研究基於人力、時間、環境等因素的考量， 目前僅使用樓層中一塊區域及三台影像設備來完成定位系統，再應用 於自主式機械人上，作為定位的移動目標。. 5.
(19) 1.4 論文架構 本論文的組織架構如下： 第二章 影像處理介紹 主要以介紹影像處理常見的工具及演算法。透過原理介紹得以進 一步了解本論文的框架及設計。 第三章 距離量測方法 介紹本論文實驗中使用的核心部分，基於影像的量測原理 (Image-Based Distance Measurement System, IBDMS)及平行線系 統(Parallel Line Distance Measuring System, PLDMS)。在本章最後， 我們將以量測矩形物體的體積來驗證所提出之方法。 第四章 基於單一影像之移動物體定位系統 針對本論文所提出的定位系統做完整性的介紹，同時將第三章所 提之方法整合應用於室內定位。另外，我們也會介紹實驗環境及 說明環境架設規劃。 第五章 實驗和討論 將第四章所提出之單攝影機之室內定位系統應用於自主式機械人 在室內定位的實驗，同時探討其實驗結果。 第六章 結論及未來展望 為本論文的研究結果做一個總結說明，並探討後續可進行的相關 研究展望。. 6.
(20) 第二章. 影像處理介紹. 2.1 R.G.B 模型 最常使用的影像空間大致上有 R.G.B、H.S.I、Y.U.V 及 YCbCr 等色彩 系統，於本論文中採用的色彩系統是 R.G.B 系統，選擇該空間的原因大致 如下： 1. 影像設備中取得之影像即使用 R.G.B 模型。 2. 由 R.G.B 系統轉至其他色彩系統需要花費額外的程式轉換時間。 R.G.B 模型(圖 2.1) 的命名來自於三種色彩原色的首字母，包括紅色（Red） 、 綠色(Green)及藍（Blue）。市面上影像設備中所取得的影像資訊大多為 R.G.B，且該定位系統對影像空間並無依賴，因此選擇 R.G.B 色彩空間可 節省轉換的時間。但由於 R.G.B 模型對光線敏感度高，因此後續我們會藉 由濾波器及型態學來處理過濾不需要的雜訊點。. 圖 2.1 R.G.B 色彩空間模型 7.
(21) 2.2 高斯平滑濾波器 低通濾波器可以用來消除影像上的雜訊，顧名思義，就是讓低頻的部 低通濾波器 分通過，衰減高頻的部分。低通濾波器可相當於平滑濾波，可以想像成將 鄰近的像素點的梯度降低，所以影像上低通濾波具有影像模糊的效果。 高斯模糊是一種在影像處理軟體中廣泛使用的效果，通常用它來過濾圖像 高斯模糊 噪聲與降低細節層次。這種模糊技術的視覺效果類似於經過一個半透明的 螢幕來觀察圖像，這與在鏡頭焦外成像的效果及普通照明陰影中的效果都 不一樣。在一些演算法之中的預處理階段，也有透過高斯模糊來增強不同 尺寸下的圖像。而單純以數學的角度來看時，圖像的高斯模糊過程就是圖 像與常態分佈做卷積。而常態分佈也稱為高斯分布，因此，這個技術就被 稱為高斯模糊。所以高斯模糊對於圖像來說有著過濾雜訊的效果，同時也 就是低通濾波器的效果。高斯模糊是一種圖像模糊濾波器，它用常態分佈 的方法來計算圖像中每個像素的變化。其中 N 維的空間常態分佈為： G (r ) =. 1 2πσ. 2. N. e. −r2 2σ 2. (2-1). 其二維空間的定義為： G(u, v) =. − ( u 2 + v2 ). 1 2πσ. 2. e. 2σ 2. 2-2). r 是模糊半徑( r 2 = u 2 + v 2 )， σ 是常態分佈的標準偏差。二維空間中， 這個公式所代表的曲面等高線是一個從中心開始呈常態分佈的同心圓。其 中分布不為零的像素所組成的卷積矩陣和原始圖像做變換。每個像素的像 素值都是從周圍的相鄰像素值加權平均所得。因為原始像素的值有著最大 的高斯分布值，所以有最大的權重，而相鄰像素因隨著距離原始像素越來 越遠，權重也就越來越小。而透過這樣的模糊處理方式使得該方法比其它 均衡模糊濾波器更有效率地保留了邊緣效果。在理論上來說，每張圖像的 8.
(22) 每個像素值基本上都不會是零，因此，每個像素在計算時，都必須包含整 個圖像。但是，實際上在計算高斯函數的離散近似時，距離太遠的像素基 本上都可以看做不會有影響，因此，這些像素的計算就可以忽略。而以一 般來說，在計算時，約計算 (6σ + 1) × (6σ + 1) 的矩陣就可以保證相關像素影 響。 除了上面提到的圓形對稱之外，高斯模糊另有一項特性稱為線性可分， 指在二維圖像上分別對兩個獨立的一維空間進行計算。也就是說，在水平 方向進行一維高斯矩陣變換再加上豎直方向的一維高斯矩陣變換可以得 到如使用二維矩陣變換的效果。從數學的角度來看只需要計算 O(n × M × N ) + O(m × M × N ) 次 ， 而 不 可 分 的 矩 陣 則 需 要 計. 算 O(m × n × M × N ) 次，其中 M , N 是需要進行濾波的圖像的維數，m、n 是 濾波器的維數。對一張圖像連續進行多次高斯模糊與只進行一次但更大的 高斯模糊可以得到同樣的效果。如對圖像進行兩次高斯模糊，而使用半徑 為 6 和 8 的所得到的變換效果等同於使用一次半徑為 10 的高斯模糊效果， 也就是 6 × 6 + 8 × 8 = 10 。根據這個關係，可以得知使用多個較小的高斯模 糊處理不會比只用單個較大高斯模糊處理時間要少。因此，在縮減圖像尺 寸的場合之中，經常會使用高斯模糊。進行欠採樣(sampling)時，通常在採 樣之前會先對圖像進行低通濾波處理。這樣就可以保證在採樣圖像中不會 出現虛假的高頻信息。高斯模糊有很好的特性，如沒有明顯的邊界，就不 會在濾波圖像中形成震蕩。如圖 2.2 為原圖與經過低通濾波運算的圖像， 右圖中的影像會較左圖中的影像發生邊緣模糊的現象。. 9.
(23) 圖 2.2 低通濾波效果. 2.3 影像色彩 2.3.1 灰階化 灰階(Gray scale)圖像是指每個像素僅有一個採樣顏色的圖像，通常常 灰階 見的場合是透過黑色與白色來顯示的黑白照片，理論上這種採樣可以表示 任何顏色的不同深淺，甚至可以說是同一個顏色所擁有的亮度。因此，在 計算機領域之中[12]，灰階圖像不僅止於提及的黑白圖像，同時可以是一 種顏色的強度值表現。用以顯示的灰階圖像通常每個採樣像素以 8bits 的非 線性尺度來保存，這樣就能夠擁有 256 種灰階值(8bits 就是 2 的 8 次方=256)。 而將色彩空間內的各個空間所代表之值經由運算得出單一灰階值，即為灰 階圖像。本論文利用式(2-3)得出 Y： Y = 0.299R + 0.587G + 0.114B 10. (2-3).
(24) 其中 Y 為亮度也表灰階值。以我們實驗室為例，經由式(2.3)可將圖 2.3 的 原始圖像表現成圖 2.4 灰階圖像。. 圖 2.3 原始圖像. 圖 2.4 灰階圖像. 2.3.2 二值化 二值化圖像是一般圖像經過灰階處理，再將產生的灰階圖像做再處理 的圖像，一般圖像經式(2-3)處理後變成 0 至 255 的灰階值，再經由式(2-4) 可變成二值圖像，剩餘 0 及 255 兩個值。 255 D ( x, y ) = 0. if. Y ( x, y) ≥ t else. (2-4). 其中 t 為閥值(Threshold)，一般來說，如果系統直接對所有存在圖像中的 資訊進行處理，則結果容易受到背景資訊干擾，二值化圖像的目的在於將 目標(前景)及背景資訊分開，而閥值的選擇可經由經驗法則做調整，或者 可採用直方圖法，亦即將所有像素依其灰階值，畫成直方圖，如圖 2.5 所 示，取兩波峰間之波谷為其門檻值。亦可以針對自身環境的經驗去調整最 適合的閥值，如圖 2.6 及圖 2.7 為利用圖 2.3 以不同閥值的結果。. 11.
(25) 圖 2.5 直方圖. 圖 2.6 閥值 80. 圖 2.7 閥值 160. 12.
(26) 2.4 二值化影像型態學 透過遮罩(Mask)運算，在圖像上進行處理，基本元素為膨脹(Dilation)、 侵蝕(Erosion)，經由組合後可完成斷開運算(Opening)及閉合運(Closing)。 一般最常見也最常使用的遮罩為 3*3，如圖 2.8。透過遮罩內的參數配置然 後和圖像進行運算便可得到預期結果，以下介紹廣泛使用的型態學運算， P1 ~ P9 為遮罩內各處之值及 P 為運算後的像素值。. 2.4.1 膨脹、 膨脹、侵蝕 膨脹(Dilation)：於遮罩(圖 2.8)位置像素 P5 判斷是否為 0，符合的話， 膨脹 則判斷該像素點其周圍 8 點是否有值為 1，符合的話，則 P 點為 1，反之 為 0。亦即 P = P1 ∪ P2 ∪ P3 ∪ P4 ∪ P5 ∪ P6 ∪ P7 ∪ P8 ∪ P9 ，其中 ∪ 代表 OR 運算。 侵蝕(Erosion)於遮罩(圖 2.8)位置像素 P5 判斷是否為 1，符合的話，則 侵蝕 判斷該像素點其周圍 8 點是否所有值皆為 1，符合的話，則 P 點為 1，反 之為 0。亦即 P = P1 ∩ P2 ∩ P3 ∩ P4 ∩ P5 ∩ P6 ∩ P7 ∩ P8 ∩ P9 ，其中 ∩ 代表 AND 運 算。. 2.4.2 閉合、 閉合、斷開 斷開運算(Opening)是對二值影像先做侵蝕來縮小範圍，再對影像作膨 斷開運算 脹來擴張區域；經上述程序後可消去較為細小的雜訊及物件中形狀較為尖 銳的部分，以達到平滑影像輪廓的效果。 閉合運算(Closing)則是先做膨脹再做侵蝕；經過此運算後可填補輪廓 閉合運算 上的缺口、消除小洞、裂縫等，也可將較為細窄的中斷部分連接起來。圖 2.9 為經二值化後的圖像，易存在破碎及細小碎點，而經過型態學運算後 可表現如圖 2.10，將原本屬同一物件的部份給閉合起來。斷開及閉合的順 序如圖 2.11 所示。 13.
(27) P1. P2. P3. P4. P5. P6. P7. P8. P9. 圖 2.8 3*3 遮罩. 圖 2.9 形態學前. 圖 2.10 形態學後. 圖 2.11 斷開及閉合運算 14.
(28) 2.5 連通元件標記法 連通元件標記法(Connected component labeling)之目的是將原本屬於 同一物件之相連像素找出，並且可進一步獲得欲追蹤之物件的面積、高度、 寬度、位置等資訊。其作法為從輸入影像之左上角開始掃描待標記的二值 影像，當掃描到其中一像素點其像素值為 1 時，接著檢查其上、下、左、 右是否有同樣為 1 的點，如果檢查結果為存在，則將座標記錄下來，並將 其值設為 0。之後依序再去檢查剛剛所記錄點之上、下、左、右、上是否 也有 1 的點存在，若有，同樣地將其座標記錄下來，並將其值設為 0。持 續上述遞迴的檢查，直到所有記錄之像素點周圍都不再有 1 的點出現為止， 即可停止遞迴檢查的動作，如此系統便可以找出第一個群組的物件。依照 上述流程，便可得出圖像中各元件的面積、高度、寬度、位置等資訊。 圖 2.12 為經二值化後的圖像，為僅存在 0 與 255 值的圖像空間，經由 連通元件標記法後可得到如圖 2.13 之表現，將各個屬於同一物件的輪廓標 記出來。圖 2.14 為連通元件法之流程。. 圖 2.12 原圖 15.
(29) 圖 2.13 連通元件法後. 圖 2.14 連通元件標記法 16.
(30) 2.6 前景提取 2.6.1 背景相減法 本論文所採用的物件偵測方法為背景相減法，由於本論文所介紹之系 統為室內固定影像設備，因此採取速度快且實現容易的背景相減法。在此 我們可利用(式 2-5)來擷取前景物 D ( x, y ) = f c ( x, y ) − f b ( x, y ). (2-5). 其中 f c ( x, y ) 代表輸入影像的像素值， fb ( x, y ) 代表背景影像的像素值， D( x, y ) 代表差值影像。要得到一個前景物便可以透過圖 2.15 流程來實現，. 首先將讀入影像灰階化，再與背景相減取得前景，得到前景圖後將其二值 化，再透過影像型態學降低雜訊同時完整輪廓。其中為了增加前景擷取時 的正確性，除了在開始時使用連通法尋找目標物的像素外，於每次判斷是 否有前景物時會再重覆進行前景擷取，藉此判斷是否存在前景輪廓。. 圖 2.15 前景流程圖 17.
(31) 2.6.2 背景更新 本論文採取 R.G.B 色彩系統，對光的敏感度較高，雖然經過影像型態 學可以降低雜訊，但是背景更新可以更有效率的減少雜訊的出現，因此， 在背景圖像建置完成後，透過差值圖來搜尋移動區域，若是有出現移動區 域時則設定保持背景不變，然後對非移動區域進行背景更新，同時可以設 定一個權值來對移動物體和背景做平衡，才不會出現移動物體因為本身的 移動速度太慢而被忽略，因此圖 2.15 流程圖更改為圖 2.16。. 圖 2.16 加入背景更新步驟. 18.
(32) 第三章. 距離量測方法介紹 距離量測方法介紹. 3.1 傳統量測技術 在量測的領域裡，可以大略分為接觸式與非接觸式，顧名思義，即是 以是否有接觸到待測物體來區分。接下來我們簡略介紹常見接觸式與非接 觸的距離量測方法及工具。. 3.1.1 接觸式距離量測 最早的接觸式量測工具為利用人類本身的「步距」及「掌寬」 ，及一些 簡單外在工具，如直尺、捲尺…等。拜現代科技進步所賜，出現以應用「固 定刻度」的量測裝置，如電阻尺及光學尺，而光學尺又分成線性光學尺及 旋轉編碼光學尺，而後者更衍生出拉線式距離量計及米輪尺。各量測裝置 的原理說明如下。 1.. 電阻尺 此工具為 60 年代常用於機械加工或射出成型的自動化距離量測元 件。透過電阻值大小計算獲得距離值，電阻尺可視為電阻式的游標卡 尺，其原理有點類似使用精密滑線型可變電阻，當固定電流 I ref 驅動著 電阻尺時，可得到最大電壓 V (max) = I ref R (max) ，待測距離應對之電壓 為 V (t ) = I ref Ra ，因此待測距離為 L(T ) =. V (T ) × L(max) V (max). (3-1). 當時，電阻尺是一種很方便做自動化距離量測的工具，但因活動接點 會有摩擦作用，對電阻尺造成磨耗，所以近年來已被光學尺取代。. 19.
(33) V (max) V (T ). I ref. Ra. Rb. Vcc. L(T ). L(max) R (max) = Ra + Rb. L(max) L(T ). R (max). 圖 3.1 電阻尺. 2.. 光學尺 光學尺(線性光學尺、旋轉編碼光學尺)透過光遮斷的原理，透過遮 斷次數之大小來計算量測距離長短，分別將光發射器和光接收器設置 於等距的光柵結構中，透過感測頭的移動、旋轉，產生電子脈波計算 距離的長短。如圖 3.2(a)中，線性光柵內是由光發射器和光接收器組 合而成的感測頭，當距離量測時，經由感測頭的移動，產生一連串脈 波，光柵的間隙為 d ，其總脈波數為 M ，則待測距離 L(T ) 為 L(T ) = d × M. (3-2). 圖 3.2(b)由圓形光柵所組成的旋轉編碼式光學尺，圓形光柵一般都和 量測輪結合在一起，圓形光柵共有 N 個透光區，量測輪的半徑為 R ， 其所累計的脈波數為 M ，則量測輪走的距離為 D (T ) D (T ) = (. 2π R )× M N 20. (3-3).
(34) 線性光柵的光學尺目前的精度已達 10µ m 以下，而圓型光柵的旋轉編碼式光 學尺其精度則會隨著量測軸的不同而改變，最常見的應用產品就是交通警 察用來量測各種事故端點間的距離，外觀為一單輪的工具，此亦稱為米輪 尺(碼輪尺)。. 光接收器 不透光. 線性光柵. 透光. d L(T ). 光發射器 圖 3.2 (a)線性光柵. 圖 3.2 (b)圓型光柵. 3.1.2 非接觸式距離量測 相較於接觸式量測，非接觸式量測[13]~[17]亦有一些方法及工具，以 下簡略介紹近來常用及熱門的項目。 1.. 超音波 人耳無法聽到的聲音頻率(25 KHz 以上)，在常溫 25 C 及一定濕度 21.
(35) 條件下，可視為定速傳波，由裝置和待測面之間的音波來回反射時間 來計算距離之遠近，該裝置常應用於環境變數小的場合，例如儲存槽 內的存量(高度)量測。如圖 3.3 所示。由發射到接收共需 T 時間，則待 測距離 Du (T ) 為 Du (T ) =. 1 (V × T ) 2. (3-4). 然而，超音波的速度會隨著溫度或濕度改變有所變化，同時超音波的 指向性必須為面的反射，因此一般超音波距離量測容易發生二次反射 的問題，例如若量測環境中包含了牆壁角落的直角則難以使用。不過 目前汽車倒車系統上所使用的超音波原理並非計算超音波反射時間來 計算距離，而是以物體遠近反射強弱改變為偵測依據。 入射波. 反射波. 發射器 T. 音速V R 接收器. DU (T ). 超音波發射信號. 超音波接收信號. T. 圖 3.3 超音波測距示意圖. 22.
(36) 2.. 電波、 電波、雷射測距儀 電子測距最早於 1948 年由瑞典物理學家提出，其測距原理為計算 兩光束間之行進時間，南非科學家於 1957 年提出以電磁波波長為距離 量測單位；然而，當衛星定位技術(GPS)成熟後，電波測距已漸漸被淘 汰，透過光的行進時間來測距的儀器，目前大都稱為雷射測距儀。而 雷射測距儀依照動作原理可分直接法和間接法，前者為量測電磁波在 一直線兩端往返的時間 T ，以光速 u 計算待測距離 De (T ) ，如式(3-5)： De (T ) =. 1 (u × T ) 2. (3-5). 間接計算距離的方法是透過電磁波在一直線兩端往返之周數和發射波 及入射波之相位差。. λ. λ. 圖 3.4 電子測距儀間接法示意圖. 23.
(37) λ. ρ L(T ). 圖 3.5 入射與反射波之相位差示意圖. λ λ/2. 0.375λ. 0°. 90°. 180°. 270°. 360°. 135°. 圖 3.6 完整波長和相位角關係示意圖. 圖 3.4 為圖 3.5 為電子測距儀間接法的示意圖，當入射波以一固定頻率 使用時，其波長 λ 為固定值(14.984 M Hz :. λ =20m)。因此，僅需計算. 圖 3.6 所示，有多少個( n )完整的週期波，再加上入射波和反射波的相 位差( θ )所代表的距離 p ，即為待測距離 DEDM (T ) ，其方程式如下： p=. θ ×λ 2π 24. (3-6).
(38) DEDM (T ) =. 1 (n × λ + p) 2. (3-7). 雷射測距的主要原理已不再使用反射板，而是直接以待測物作為反射 板，目前雷射測距已成為非接觸式測距方法的主流，使用上非常方便。 非接觸式距離量測經常使用超音波及雷射，這兩種方法都已經發展很 久了，且有眾多商品化產品供使用，但這兩種方法都是使用波反射原 理，因此待測面的反射率直接影響其量測結果。. 3.2 基於影像之距離量測 傳統上影像距離量測法[18]~[21]至少需要兩台 Webcam (or CCD)才能 完成，藉由兩台 Webcam (or CCD)對同一物體的視差來得到距離資訊。本 論文提出使用單一 Webcam 完成距離量測的功能，不僅可降低成本，且環 境容易架設。. 3.2.1 雙 CCD 距離量測 大部份的影像距離量測法皆是藉由雙 CCD 之間的視差來完成，分析 CCD 之間的 影像 信 號或進 行 CCD 之 間的圖 形比 對來 完 成距離 量測 [22]~[26]。首先於雙 CCD 中分別得出兩張影像畫面，找到其相互的應對關 係，辨識出同一目標，再將該影像透過視差法進行量測的依據。. 25.
(39) dS hS. 2θ H. 2θ H. Hk. Zb. Za. DH ( H k ). DH ( H k ). 圖 3.7 雙 CCD 距離量測示意圖. 如圖 3.7 所示，為雙目視覺裡兩個 CCD 間相互關係，必須先得知兩 CCD 間的固定距離 d s 及兩影像設備的光學鏡頭距離 H s 跟視角 θ H ，然後分別將 兩個 CCD 擷取出來的影像中的同一目標物經由三角關係得到距離 H K 。. 3.2.2 IBDMS 量測原理及系統架構 本文使用單一影像設備完成量測距離[27]~[34]，如圖 3.8 所示之架構， 由一固定 CCD 投射出兩雷射點經由三角關係可以得到距離 h(O) 。於影像 畫面中的像素差 N ( A) 、 N ( B ) 及視角 θ H 和光學鏡頭距離 H s 便可計算距離 h(O ) 為 h(O ) =. Ds × N H _ max × Cotθ H − hs N ( A) + N ( B ). (3-8). 其中 2 Ds 為兩雷射點中的固定距離， N H _ max 為水平最大像素值。藉此我們 可以得知影像中任一點之距離。 26.
(40) N ( P) N ( B ) N ( A). N H (max). hS. θH h(O ). 2 DS. 圖 3.8 單 CCD 量測示意圖. 3.2.3 PLDMS 量測原理及系統架構 若將 3.2.2 節所提及之 IBDMS 加以改善，使兩雷射點增加為四個雷射 點。其中，每個雷射點之關係如圖 3.9 所示，左邊為 Ls1 和 Ls 2 、右側為 Ls 3 、 Ls 4 ，取兩兩一組在影像中形成一對平行線，而之間的距離為 2 Ds 。透過該. 系統便可以取得圖 3.10 的影像畫面由四雷射點組成的平行線(虛線)，此平 行線會因鏡頭的魚眼效應關係，形成一向內偏移的線段，在本論文中稱此 兩線段為量測尺規(ruler)，可透過方程式(3.9 來描述。之後，便可以透過尺 規和 IBDMS 的距離公式來計算水平線上任何一點的距離。 y − y0 x − x0 = y1 − y0 x1 − x0. 27. (3-9).
(41) 我們將圖 10 中左邊的虛線和右側的虛線分別建立如方程式(3-10)和方程式 (3-11)。 Ls1 Ls2 :. y − y1 x − x1 = y2 − y1 x2 − x1. (3-10). :. y − y3 x − x3 = y4 − y3 x4 − x3. (3-11). Ls3 Ls4. (3-12). N H ( PQ ) = Ls1 Ls2 ( x ) lPQ − Ls3 Ls4 ( x )lPQ. 方程式(3-12)可以得到兩點 P 及 Q 之間的像素差。. Beam.RB. Beam.RA. Beam.RA. Ls 3. 2D. Beam.RB. S. Ls1. Ls 2 圖 3.9 IBDMS 量測架構. 28. Ls 4.
(42) N H (TU ) N v _ max. K. lTU. T. Ls4. U. Ls2. NV ( JK ) ISC. lPQ. P. R. J. S. Ls3 N H ( RS ). Q. Ls1. N H ( PQ). N H _ max. 圖 3.10 於圖 3.9 Camera 擷取影像之示意圖. 3.3 應用 IBDMS 及 PLDMS 量測矩形物體之三維資訊 我們進一步應用前述之 IBDMS 及 PLDMS[20]在一張影像畫面上完成 矩形三維資訊的量測。該量測應用，在系統開機之時透過人工的方式在影 像上面建立平行線，於開機狀態之後，開始人工點擊第一點、第二點、第 三點及第四點，接著以第一點及第二點作為左線，而第三點及第四點作為 右線組成一對平行線。有了此平行線之後就可以對圖 3.12、圖 3.13 及圖 3.14 所示的矩形物體進行量測。量測之前尺規的建立可選用隨手可得固定 尺寸的紙鈔(較近距離)，如圖 3.12 及圖 3.13，也可以使用雷射點(遠距離) 當成工具，如圖 3.14。 29.
(43) 3.3.1 量測原理 量測流程圖如圖 3.11 所示。建立平行線後可以做寬度及高度的量測， 而後便再透過寬度做深度的量測(厚度)，最後計算出體積再比較誤差。有 一點需要注意的是，量測的順序。深度的量測必須在寬度量測之後。因為 必須先經過寬度的量測建立起紅色平行線組(a)，才能應用於量測深度(厚 度)。根據圖 3.10，寬度的量測方程式如下： WRS = 2 Ds ×. N H ( RS ) N H ( PQ ). (3-13). 式 3-13 表示轉換的比例，其中 RS 表示目標範圍及 PQ 表示尺規範圍，透 過該方程式便可以計算目標物的實際寬度。因此可以得知紅色線組(a)間的 距離，因此，此紅色線組便成為量測深度的尺規。根據圖 3.10，方程式(3-14) 和(3-15)分別表示不同平行線間 PQ 及 TU 的距離： h(OPQ ) =. Ds × N H _ max × Cotθ H − hs N H ( PQ ). (3-14). h(OTU ) =. Ds × N H _ max × Cotθ H − hs N H (TU ). (3-15). 對於紅色線而言，方程式(3-14)及(3-15)分別表示為平面上兩條水平線的距 離。因此，兩條水平線間的差值即為深度(厚度)。可以表示如方程式(3-16) 所示： h (Odepth ) = h (OTU ) − h(OPQ ). (3-16). 深度計算如方程式(3-17)： h(Odepth ) = [ N H ( PQ) − N H (TU )] ×. Ds × N H _ max × Cotθ H N H (TU ) × N H ( PQ). (3-17). 高度的量測也是使用同樣的公式，但是在參數上使用的是垂直的視角，表 示如方程式(3-18)： H. JK. = (h(o) + hs ) ×. 30. NV ( JK ) N v _ max × Cotθv. (3-18).
(44) 圖 3.11 量測流程圖. 3.3.2 實驗結果 我們利用三個不同實驗來驗證所提出之矩形尺寸量測法。依照使用的 參考物分成兩個模式，使用紙鈔及雷射兩種。實驗 1(圖 3.12)跟實驗 2(圖 3.13)使用紙鈔，實驗 3(圖 3.14)使用雷射完成量測。圖 3.12 和圖 3.13 的為 量測距離不同，圖 3.14 表示模擬較難以接近或者較遠距離的量測狀況，因 此使用雷射當成參考物。其中，量測的示意圖分別如圖 3.12-圖 3.14 中右 圖虛線所示(虛線 b 及虛線 c)。根據圖 3.11，經由事先的尺規建立，我們可 以得到尺規如紅色線組(a)所示，經由量測寬度後可得到紅色線組之間距離， 再應用 PLDMS 完成深度(厚度)的量測。其中，將 IBDMS 的水平參數換成 垂直參數就可以應用於量測高度之中。表 I、II、III 分別為其量測結果。 在表 I、II、III 中深度及高度的誤差值普遍會產生比較大的誤差。是由於 這兩個值皆透過平行線組(a)建立起的尺規所產生的結果為基礎再進行量 測，因此容易有誤差累積的情況發生。 31.
(45) 圖 3.12 實驗目標 1. 圖 3.13 實驗目標 2. 圖 3.14 實驗目標 3. 32.
(46) 表 3-1 實驗目標 1 之結果 Picture 1. Real size (cm). Measured size (cm). Deviation (%). Width. 26.1. 27.45. 5.2. Depth. 33. 31.74. 3.81. Height. 29.5. 28.03. 3.9. Volume. 25408.35 cm 3. 24423.04 cm 3. 3.9. 表 3-2 實驗目標 2 之結果 Picture 2. Real size (cm). Measured size (cm). Deviation (%). Width. 39.7. 39.31. 0.98. Depth. 55.5. 52.11. 6.1. Height. 59.7. 63.34. 6.1. Volume. 131540 cm 3. 129759.58 cm 3. 1.35. 表 3-3 實驗目標 3 之結果 Picture 3. Real size (cm). Measured size (cm). Deviation (%). Width. 89.7. 89.79. 0.1. Depth. 39.7. 37.44. 5.7. Height. 39. 42.32. 8.5. Volume. 138882.51 cm 3. 142268.74 cm 3. 2.44. 33.
(47) 第四章. 移動物體定位系統. 4.1 移動物體位置判斷 由於本論文所採取的方法為背景差值法，因此，對於背景來說有變化 的部分即為移動物體的部分。首先我將前述介紹過影像處理方法應用來判 斷移動物體的位置。首先，建立背景(圖 4.1)之後，讀入新影像(圖 4.2)，接 著執行灰階化(方程式 2-3)，使其僅剩灰階度(圖 4.3 及圖 4.4)，再與已建立 起的背景做點對點的相減，如方程式(2-5)及圖 4.5，即可得出其前景部分。 二值化後，因為 R.G.B.模型對光敏感的因素，因此容易存在許多雜訊點如 圖 4.6，因此必須透過影像型態學將其消除，同時再透過閉合等形態學方 法可對目標物的輪廓做一個更完整的描述，如圖 4.7。在有了完整的前景 輪廓之後對其進行連通法，可以得到如圖 4.8 所示，一個完整的移動物體。 而移動物體在影像上的座標計算方法採用均值法，如圖 4.9。一個完整的 移動物體輪廓則如圖 4.10 所示。完整的移動物體判斷流程如圖 4.11 所示。. 圖 4.1 系統建立的背景圖. 圖 4.2 當新影像進入時. 34.
(48) 圖 4.3 背景圖灰階化. 圖 4.4 新影像灰階化. 圖 4.5 背景差值圖圖. 4.6 前景圖二值化. 圖 4.7 前景圖影像型態學. 圖 4.8 前景連通法. 35.
(49) 圖 4.9 移動物體影像座標. 圖 4.10 完整前景. 36.
(50) 圖 4.11 移動物體判斷. 4.2 單一影像設備定位 雖然本論文所提出的室內定位系統使用三台影像設備，但其實三台 設備用於定位的原理如出一轍。因此，在本章節裡僅以單一台影像設備 的定位流程做介紹說明。前述(章節 3.2.2 及 3.2.3)所介紹 IBDMS 及 PLDMS 分別為定位的核心，IBDMS 指基於影像所提出之測距方法，而 PLDMS 為把 IBDMS 視為基礎再進一步開發的觀念，可以透過平行線取 得畫面中任意水平線的像素差值。因此，便可以在一個事先建立好平行 線系統(尺規)的畫面中做測距。 在本系統中，可以在開機的時候透過人工的方式在影像上面建立平 行線，流程如圖 4.12 所示，於開機狀態之後，開始人工點擊第一點、第 二點、第三點及第四點，接著以第一點及第二點作為左線，而第三點及 37.
(51) 第四點作為右線組成一對平行線。有了此平行線之後就可以對圖 4.9 所計 算出來之座標轉換成實際的距離。 因為影像設備的架設是一個固定的點，因此可以得出移動物體相對 於影像設備的座標。透過距離的換算就可以得到全域地圖的座標。. 開機狀態. 平行線建立完成. Y. 紀錄第一點. 紀錄第四點 N. 紀錄第四點. 紀錄第一點 N Y. Y. 紀錄第二點. 紀錄第三點 N. Y. 紀錄第二點. 紀錄第三點. 左線. 右線. N. 圖 4.12 平行線建立. 將移動物體表現在二維地圖上時，分別需要座標值 X 和 Y，其中一個是透 過單一影像距離量測，可以得到物體與影像設備間的距離，而另一個座標 值則是與牆壁的距離。圖 4.13 為編號 1 的所擷取影像畫面。. 38.
(52) 圖 4.13 影像設備 1 畫面. 圖 4.14 為尺規所使用的平行線，其中右線與牆壁為同一平面，而影像 畫面上看起來雖然是一個傾斜的線段，但實際上是一個平行的走廊兩端， 利用這點特性，可於影像畫面中應用第三章提出之寬度量測方程式(3-13)， 對移動物體計算離右線(牆壁)的寬度，再和影像設備自身的座標值進行運 算。綜合距離、距離牆壁的距離值，即為移動物體的座標值。影像設備 1 中所使用的是右線，但是影像設備 2 因為位置的關係，所使用的是左線， 如圖 4.15 及圖 4.16。最後，影像設備 3 與影像設備 1 的拍攝方位相同，所 以也是使用右線。如圖 4.17 及圖 4.18。特別的是雖然圖 4.18 的右線沒有 和牆壁吻合，但與牆壁間的距離為一固定值。. 39.
(53) 圖 4.14 與右線(牆壁)距離. 圖 4.15 影像設備 2 畫面. 40.
(54) 圖 4.16 與左線(牆壁)距離. 圖 4.17 影像設備 3 畫面. 41.
(55) 圖 4.18 與右線(牆壁)距離. 圖 4.19 平面二維地圖. 4.3 全域地圖座標 4.2 節所提出之使用了單一影像設備進行定位的主要目的是為取得履 帶機械人在全域地圖的座標值，之後可應用於機械人執行任務，如：機械. 42.
(56) 人追蹤座標、機械人重新定位等。圖 4.19 所示為實驗環境所用的二維地圖。 分別將影像設備置於走廊轉角處上。編號 1、2 及 3 為影像設備的編號。. 4.3.1 影像設備座標 影像設備的座標以圖 4.19 為基準，其中左上角座標定義為 ( x, y ) = (0, 0)。 因此，三個影像設備各自的座標分別可表示如圖 4.20、圖 4.21 及圖 4.22 所示。三個影像設備的座標分別為：( x1 , y1 ) = (279,570)、( x2 , y2 ) = (755, 465) 及 ( x3 , y3 ) = (650,1030) 。. ( x1 , y1 ). 圖 4.20 影像設備 1 座標. 43.
(57) ( x2 , y2 ). 圖 4.21 影像設備 2 座標. (x3, y3). 圖 4.22 影像設備 3 座標 44.
(58) 圖 4.23 影像設備 1. 圖 4.24 影像設備 2. 45.
(59) 圖 4.25 影像設備 3. 三個影像設備實際的放置如圖 4.23、圖 4.24 及圖 4.25 所示。由於受限於 環境，影像設備 3 懸掛於牆壁之上。影像設備 1 及影像設備 2 均透過鋁製 A 型梯來輔助，以便置於高處。. 4.3.2 移動物體座標 有了影像設備的座標之後，便可以透過該座標將移動物體的座標計算 出來。單一影像設備使用 IBDMS 及 PLDMS 計算履帶機械人與影像設備 之間的距離值，而另一個座標值則是根據機械人與牆壁的距離。根據圖 4.26， 三台影像設備的座標分別是 ( x1 , y1 ) 、 ( x2 , y2 ) 及 ( x3 , y3 ) 。. 46.
(60) wall2. (x2 , y2 ) wall1. ( x1, y1 ). ( x3 , y3 ) wall3. 圖 4.26 二維地圖參數. 由影像設備所計算的移動物體座標則分別是 ( X 1 , Y1 ) 、 ( X 2 , Y2 ) 及 ( X 3 , Y3 ) 。當 影像設備 1 有移動物體時，如圖 4.27。使用方程式(4-1)及方程式(4-2)計算 座標 ( X 1 , Y1 ) 。 X1 = x1 + h(O1 ). (4-1). Y1 = y1 + wall1 − WRS. (4-2). 其中 h(O1 ) 為距離， wall1 為圖 4.26 上影像設備 1 與牆壁的距離，WRS 則是移 動物體與牆壁的距離。. 47.
(61) 圖 4.27 影像設備 1 移動物體 當影像設備 1 有移動物體時，如圖 4.28，使用方程式(4-3)及方程式(4-4)計 算座標 ( X 2 , Y2 ) 。 X 2 = x2 + wall2 − WRS. (4-3). Y2 = y2 + h(O2 ). (4-4). 其中 h(O2 ) 為距離， wall2 為圖 4.26 上影像設備 2 與牆壁的距離，WRS 則是移 動物體與牆壁的距離。. 圖 4.28 影像設備 2 移動物體 48.
(62) 當影像設備 1 有移動物體時，如圖 4.29，使用方程式(4-5)及方程式(4-6)計 算座標 ( X 3 , Y3 ) 。 X 3 = x3 + h(O3 ). (4-5). Y3 = y3 + wall3 − WRS. (4-6). 其中 h(O3 ) 為距離， wall3 為圖 4.26 上影像設備 3 與牆壁的距離，WRS 則是移 動物體與牆壁的距離。. 圖 4.29 影像設備 3 移動物體. 49.
(63) dx. 圖 4.30 高度產生的量測誤差示意圖 由於判斷移動物體影像座標的方法是在影像上使用連通法後再取均值， 因此，會使待判斷物體缺少高度維度的資訊，如圖 4.30 所示，影像設備位 於較高的位置往下看，所擷取出的畫面是移動物體的上方，因此在計算均 值座標時會因目標的高度產生量測誤差 d x 。在本實驗中，由於機械人的高 度產生的量測誤差並不明顯因此忽略不計。但是若物體為固定對象時，則 可透過已知的高度做回饋校正計算的均值點。. 50.
(64) 第五章. 實驗結果和討論. 5.1 系統流程圖 綜合各章所介紹過的流程圖，本系統的完整流程如圖 5.1 所示。在實 驗中，我們以 webcam 做為影像量測設備。開始時，首先依序建立三組平 行線(尺規)，建立背景及等待是否有前景(移動物體)，接著計算座標值及繪 製二維地圖。 開始. 結束. 平行線1. 建立背景. N N. Y 背景差值. 完成. 新幀數. Y N 前景. 平行線2. 二維地圖. Y N 完成 Y. 連通法. 平行線3. Y. N. 背景更新. 完成. 圖 5.1 程式流程圖 51. 全域座標.
(65) 5.2 平行線建立 於開機狀態時跳出視窗可讓使用者可以自行建立平行線(尺規)。首先 點擊兩點構成一線，同時計算該線的方程式，並顯示於畫面中可供校正。 圖 5.2~圖 5.13 所示為平行線建立過程。圖 5.2 所示兩個綠點(P1、P2)為點 擊的參考點， P1 P2 平行線方程式建立結果如圖 5.3 所示。. 圖 5.2 影像設備 1 左線. 圖 5.3 影像設備 1 左線 52.
(66) 圖 5.4 所示兩個綠點(P3、P4)為點擊的參考點， P3 P4 平行線方程式建立結果 如圖 5.5 所示。到此完成影像設備 1 的平行線建立。. 圖 5.4 影像設備 1 右線. 圖 5.5 影像設備 1 右線. 53.
(67) 圖 5.6 所示兩個綠點(P1、P2)為點擊的參考點， P1 P2 平行線方程式建立結 果如圖 5.7 所示。. 圖 5.6 影像設備 2 左線. 圖 5.7 影像設備 2 左線. 54.
(68) 圖 5.8 所示兩個綠點(P3、P4)為點擊的參考點， P3 P4 平行線方程式建立結果 如圖 5.9 所示。到此完成影像設備 2 的平行線建立。. 圖 5.8 影像設備 2 右線. 圖 5.9 影像設備 2 右線. 55.
(69) 圖 5.10 所示兩個綠點(P1、P2)為點擊的參考點， P1 P2 平行線方程式建立結 果如圖 5.11 所示。. 圖 5.10 影像設備 3 左線. 圖 5.11 影像設備 3 左線. 56.
(70) 圖 5.12 所示兩個綠點(P3、P4)為點擊的參考點， P3 P4 平行線方程式建立結 果如圖 5.13 所示。到此完成影像設備 3 的平行線建立。. 圖 5.12 影像設備 3 右線. 圖 5.13 影像設備 3 右線. 57.
(71) 5.3 建立背景 完成平行線建立後，我們將前 150 幀的影像畫面平均作為背景影像， 藉此可將微小的雜訊過濾，建立均值背景。圖 5.14 及圖 5.15 為影像設備 1 建立背景的過程。圖 5.16 為影像設備 2 所建立出的的背景影像圖。. 圖 5.14 影像設備 1 建立背景. 圖 5.15 影像設備 1 的背景影像圖. 58.
(72) 圖 5.16 影像設備 2 的背景影像圖. 圖 5.17 影像設備 3 建立背景. 59.
(73) 圖 5.18 影像設備 3 建立背景. 圖 5.19 影像設備 3 建立背景. 60.
(74) 圖 5.20 影像設備 3 的背景影像圖. 影像設備 3 建立背景影像的過程如圖 5.17~5.19，由於圖 5.17 開剛始建 立背景，均值的部分還不明顯，存在許多亮處。而圖 5.18 漸漸的完成均值 過程，最後圖 5.19 幾乎完成背景影像的建立。完整的建立背景後其灰階圖 像如圖 5.20 所示。. 5.4 移動物體定位系統 我們將三台 webcam 同時開啟、建立背景，然後將監測畫面顯示於單 一視窗上，如圖 5.21 所示，而圖 5.22 則可以在同一時間監測目前的幀數。 畫面的分配如下： 1. 左上角為影像設備 1 2. 右上角為影像設備 2 3. 左下角為影像設備 3. 61.
(75) 圖 5.21 Multi-webcam (同時顯示所有影像畫面). 圖 5.22 幀數 62.
(76) 在實驗部份，我們分別採用 2 個 webcam(實驗 1，採用影像設備 1 及影像 設備 2)及 3 個 webcam(實驗 2)來進行實驗。 實驗 1：圖 5.23 及圖 5.24 是開機狀態下建立平行線的步驟，於彈出視窗上 點擊欲建立平行線的四個參考點以完成平行線的建立，本實驗中選取地磚 所形成現有的 4 個點為參考點。. 圖 5.23 實驗 1 之 webcam 平台影像設備 1 平行線建立. 圖 5.24 實驗 1 之 webcam 平台影像設備 2 平行線建立. 63.
(77) 圖 5.25 實驗 1 之 webcam 平台背景建立. 圖 5.26 實驗 1 中機械人於影像設備 1 的畫面. 64.
(78) 圖 5.27 實驗 1 機械人影像設備 2 的畫面 圖 5.23 到圖 5.27 為使用兩台 webcam 作為定位平台。圖 5.25 為建立完整 背景後應用於履帶機械人上，圖 5.26 為影像設備 1 計算出來的軌跡，圖 5.27 則由影像設備 1 的視角範圍轉移至影像設備 2 的視角範圍。 實驗 2：圖 5.28 到圖 5.35 為使用三台 webcam 作為定位平台的實驗結果， 但由於實驗環境無法同時傳輸三台像素為 640*480 的 webcam，所以影像 設備 1 降低像素以 320*240 的影像設備替代，因此轉角處產生較大的誤差 存在。. 圖 5.28 建立背景 (150 幀) 65.
(79) 圖 5.29 實驗 2 中機械人於影像設備 1 (178 幀). 圖 5.30 實驗 2 中機械人於影像設備 1 轉角處 (342 幀). 66.
(80) 圖 5.31 實驗 2 中機械人於影像設備 1 轉角處(395 幀). 圖 5.32 實驗 2 中機械人於影像設備 2 (455 幀). 67.
(81) 圖 5.33 實驗 2 中機械人於影像設備 2 轉角處 (637 幀). 圖 5.34 實驗 2 中機械人於影像設備 3 (718 幀). 68.
(82) 圖 5.35 實驗 2 中機械人於影像設備 3 轉角處 (836 幀) 圖 5.29 為機械人開始移動，在圖 5.32 中因為影像設備 1 使用 320*240 像 素資料，所以在離影像設備遠處的誤差則容易被放大，也因如此，影像設 備 1 與影像設備 2 銜接的部分顯得有斷層。從圖 5.33 開始到圖 5.35 便正 常運作。 圖 5.36、圖 5.37 及圖 5.38 與表 5-1、表 5-2 及表 5-3 分別是影像設備 1、 影像設備 2 及影像設備 3 的誤差比較。表格中的誤差比較分別是使用式(5-1) 計算與二維地圖原點的誤差(%)及式(5-2)計算兩個座標( x1 , y1 )及( x2 , y2 )之 間的距離值。. Error (%) = Error (cm) =. ( x2 − x1 )2 + ( y2 − y1 ) 2 x12 + y12 x2 2 + y2 2 − x12 + y12. ×100%. (式 5-1). (式 5-2). 由表格可見，最大的誤差為 3.39%，最小誤差為 1.119%。而兩座標值相距 最遠為 32cm(方程式 5-2)，最相距最近為 7cm(方程式 5-2)。. 69.
(83) 圖 5.36 影像設備 1 座標誤差. 表 5-1 影像設備 1 座標誤差. 實際座標. 449,536. 491,574. 535,536. 622,509. 750,509. 計算座標. 452,516. 516,562. 569,516. 671,477. 799,484. 誤差(%). 1.74. 1.119. 1.54. 2.58. 3.15. 13. 7. 10. 19. 27. 座標距離 (cm). 70.
(84) 圖 5.37 影像設備 2 座標誤差. 表 5-2 影像設備 2 座標誤差. 實際座標. 750,659. 707,709. 750,795. 687,867. 722,968. 計算座標. 784,670. 723,729. 759,817. 669,901. 693,1011. 誤差(%). 3.39. 2.623. 2.1. 1.52. 1.49. 32. 25. 22. 16. 18. 座標距離 (cm). 71.
(85) 圖 5.38 影像設備 3 座標誤差. 表 5-3 影像設備 3 座標誤差. 實際座標. 891,977. 941,1024 1067,1024. 1155,977. 1205,989. 計算座標. 910,988. 961,1043 1087,1043. 1180,992. 1222,1006. 誤差(%). 1.64. 2.03. 1.93. 1.97. 1.61. 20. 27. 27. 28. 23. 座標距離 (cm). 72.
(86) 第六章. 結論及未來展望. 6.1 結論 本論文在單一影像設備(Webcam)上，綜合了 Image-Based Distance Measurement System (IBDMS) 及 Parallel Lines Distance Measurement system(PLDMS)來完成距離的量測。將三台 Webcam 放置於走廊轉角處來 完成室內定位系統，然後應用於自主式機械人之上。 由於放置於轉角處的 Webcam 都是固定式的，所以採取計算速度較快 的背景差值法來取得前景，計算出影像上的座標時再透過影像測距的方法 來計算出機械人離攝影機的距離。透過「離攝影機的距離」及「離牆壁的 距離」來計算出機械人的全域座標。最後再將移動軌跡表現於二維地圖之 上。. 6.2 未來展望 本論文內所使用的影像設備皆為 Webcam，如果可以換成有更高像素 值的設備便可以提高系統的精確度。而目前只能對移動物體做判斷，往後 可以加入辨識特徵點的演算法如：SIFT、SURF 以等，以對特定的物體進 行判斷並進而定位。. 73.
(87) 參考文獻. [1]. J. B. Kim and H. S. Jun, “Vision-Based Location Positioning using Augmented Reality for Indoor Navigation,” IEEE Transactions on Consumer Electronic, vol. 54, no. 3, Aug. 2008.. [2]. F. Serratosa and A. Sanfeliu, “Vision-Based Robot Positioning by an Exact Distance Between Histograms,” The 18th International Conference on Pattem Recognition (ICPR’09).. [3]. J. Larranaga, L. Muguira, J. Manuel L. Garde, and J. Vazquez, “An Environment Adaptive ZigBee-based Indoor Positioning Algorithm,” 2010 International Conference on Indoor Positioning and Indoor Navigation (IPIN), Zurich, Switzerland, Sept. 2010, pp. 15-17.. [4]. L. Wirola, Tommi A. Laine, and J. Syrjarinne, “ Mass-market requirements for indoor positioning and indoor navigation,” 2010 International Conference on Indoor Positioning and Indoor Navigation (IPIN), Zurich, Switzerland, Sept. 2010, pp. 15-17.. [5]. C. Shengli and Z. Huiqing, “Research on Indoor Position Algorithm Based on Image Sequence,” 2010 International Conference on Computer Design And Appliations (ICCDA 2010).. [6]. M. Cypriani, F. Lassabe, P. Canalda, and F. Spies, “Wi-Fi-Based Indoor Positioning: Basic Techniques, Hybrid Algorithms and Open Software Platform,” 2010 International Conference On Indoor Positioning And Indoor. Navigation. (IPIN),. pp.15-17. Sept.. 2010,. Zurich,. SWITZERLAND. [7]. R. Want, Hopper, V. Falco, and Gibbons, “The Active Badge Location 74.
(88) System,” ACM Transactions on Information System, vol. 10, Issue 1, pp. 91-102. 1992. [8]. P. Bahl and V. N. Padmanabhan, “RADAR: An In-bulding RF-based User Location and Tracking System,” IEEE Computer and Communications Conference, vol. 2, 2000, pp. 775-784.. [9]. R. Ouellette and K. Hirasawa, “A Comparison of SLAM Implementations for Indoor Mobile Robots,” Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems San Diego, Oct 29 - Nov 2, 2007.. [10] S. Latif, R. Tariq, W. Haq, and U. Hashmi, “Indoor Positioning System Using ultrasonics,” Proceedings of 2012 9th International Bhurban Conference on Applied Sciences & Technology (IBCAST) Islamabad, Pakistan, Jan. 2012. [11] H. Kawaji, K. Hatada, T. Yamasaki, and K. Aizawa, “An image-based Indoor Positioning for Digital Museum Applications,” Virtual Systems and Multimedia (VSMM), 2010. [12] http://zh.wikipedia.org/wiki/%E7%81%B0%E9%9A%8E [13] A. Caarullo and M. Parvis, “An ultrasonic sensor for distance measurement in automotive applications,” IEEE Sensors J., vol. 1, no. 3, pp. 143-147, Oct. 2001. [14] H.-T. shin, “Vehicles Crash proof Laser Radar,” M.S. thesis, Opt. Sci. Center, National Central Univ., Chung Li City, Taiwan, R.O.C., 2000. [15] K. Osugi, K. Miyauchi, N. Furui, and H. Miyakoshi, “Development of the scanning laser radar for ACC system,” JSAE review, vol. 20, no. 4, Oct. 1999, pp. 549-554. 75.
(89) [16] K. Nakahira, T. Kodama, S. Morita, and S. Okuma, “Distance measurement by an ultrasonic system based on a digital polarity correlator,” IEEE Transactions on Instrumentation and Measurement, vol. 50, no. 6, pp. 1478-1752, Dec. 2001. [17] F. Gueuning, M. Varlan, C. Eugene, and P. Dupuis, “Accurate distance measurement. by. time-of-flight. and. an. autonomous. phase-shift. ultrasonic. methods,”. system. IEEE. combining. Transactions. on. Instrumentation and Measurement, vol. 46, no. 6, pp. 1236-1240, Dec. 1997. [18] M. Miwa, M. Ishii, and M. Sato, “Screen projection camera for ranging far away objects,” Pattern Recognition, 2000. Proceedings.15th International Conference, Spain, 2000, pp. 4744-4747. [19] T. Egami, S. Oe, K. Terada, and T. Kashiwagi, “Three dimensional measurement using color image and movable CCD system,” The 27th Annual Conference of the IEEE Industrial Electronic Society, 2001, pp. 1932-1936. [20] A. Cano-Garcia, and P. R. Fernaindez, “Simplified Method for Radiometric Calibration of an Array Camera,” Proceedings of the IEEE International Symposium on Intelligent Signal Processing, pp. 1-5, Oct. 2007. [21] C. Mataix, Lazaro, A. Gardel, and R. Mateos, “Sensor for environment wide capture with linear response,” Emerging Technologies and Factory Automation, 7th IEEE International Conference, Barcelona, 1999, pp. 571-578. [22] R. cucchiara, M. Piccardi, and P. Mello, “Image analysis and rule-based 76.
Outline
相關文件
一、「機械停車設備技術士技能檢定規範」，主要是針對從事機械式停車設備按裝及簡易
Wang, Solving pseudomonotone variational inequalities and pseudocon- vex optimization problems using the projection neural network, IEEE Transactions on Neural Networks 17
Retrieval performance of different texture features according to the number of relevant images retrieved at various scopes using Corel Photo galleries. # of top
Microphone and 600 ohm line conduits shall be mechanically and electrically connected to receptacle boxes and electrically grounded to the audio system ground point.. Lines in
Hofmann, “Collaborative filtering via Gaussian probabilistic latent semantic analysis”, Proceedings of the 26th Annual International ACM SIGIR Conference on Research and
Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp... Annealed
“A feature re-weighting approach for relevance feedback in image retrieval”, In IEEE International Conference on Image Processing (ICIP’02), Rochester, New York,
Mehrotra, “Content-based image retrieval with relevance feedback in MARS,” In Proceedings of IEEE International Conference on Image Processing ’97. Chakrabarti, “Query
