行政院國家科學委員會專題研究計畫 期中進度報告
子計畫三：家用機器人之電腦視覺系統研究
計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-026- 執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學資訊科學學系 計畫主持人： 莊仁輝 計畫參與人員： 高肇宏 郭立群 謝銘倫 報告類型： 精簡報告 處理方式： 本計畫可公開查詢中 華 民 國 92 年 6 月 3 日
家用機器人之電腦視覺系統研發 期中報告
中文摘要
本子計畫之目的為發展家用機器人的視覺模組。藉由此視覺模組，機器人可 以建立三維場景的模型，並推估自身與所處環境間的幾何相對關係，做為機器人 運動的指引，期使行進過程中不致與環境障礙物發生碰撞。整體架構分為數個模 組，其中包含影像特徵點擷取，相機內部參數自我校正，相機外部參數校正，空 間幾何架構的建立，及機器人的路徑規劃等模組。 本文為此子計畫第二年之期中報告，對於影像特徵點擷取及對應模組，以及 路徑規劃模組之研究進度，作一完整的說明與階段性的成果探討。 關鍵字: 家用機器人、特徵點擷取、相機校正、3D 重建、路徑規劃。英文摘要
The goal of this project is, by using proper computer vision techniques, to provide a home robot with visual functions so that it can correctly locate surrounding objects, including itself, and perform collision-free path planning efficiently. The architecture consists of an image feature extraction module, a camera parameters calibration module, a 3D geometry reconstruction module and a path-planning module.
This mid term report represents the status of our research of the second year. It focuses mainly on the feature extraction module and the image-matching module together with an explanation of the path-planning module. Summary and future works are also provided.
Keywords: Home robot, feature extraction, camera calibration, 3D reconstruction, path-plannin
目錄
中文摘要 ……..………I 英文摘要 ……..………II 第一節 系統架構 ………1 第二節 影像特徵點擷取及對應 ………1 第三節 相機外部參數及三維場景的重建 ………4 第四節 路徑規劃 ………5 第五節 結論與未來工作 ………6 參考文獻 ………..7 計畫成果自評 ………..8第一節 系統架構
本視覺系統由數個模組構成。首先左右兩攝影機所攝得的影像將進行特徵點 選取。選取之特徵點於特徵點對應模組內進行匹配。此階段也會進行特徵點的篩 選。利用對應關係所得的特徵點，我們可以求得相機外部參數，包含相機相對於 場景的三度空間位置，各軸旋轉角等等。接著，藉由以上諸步驟所獲得的資訊， 場景的三維結構即可重建出三維模型。最後所得的三維資訊，於路徑規劃模組 中，可提供來規劃機器人的行進路線。下一節中說明影像特徵點擷取及對應之階 段性成果。第三節則說明相機外部參數計算及三維場景重建的目前進度，機器人 路徑規劃模組的相關研究將在第四節中說明。第二節 影像特徵點擷取及對應
2.1 Harris Corner Detector
此模組的目標，著重於從影像中抽取出真正有意義的特徵點，便於往後的特 徵點對應計算。考量結果與運算速度，我們選擇 Harris Corner Dector 來做角 點的選取。此方法是基於 MORAVEC 的 Corner Detector 所衍生出來的。
圖2.1 五種方法所選出的角點。圖中可以看出 Harris 演算法 可選出具有代表性的特徵點。 MORAVEC 的方法為在影像內部取一固定大小的搜尋視窗，在影像中循著不同 方向少量位移此視窗，再觀察視窗內 image intensity 變化的量，如圖 2.2，其 判斷法則如下: A. 如果影像沒有多大的變化，像是灰階值幾乎類似或者是相同，則這個搜 尋視窗往任何方向 shift，均不會造成太大的變化。
Input image Harris Susan
B. 如果影像上是一段邊或一條線，往一個方向 Shift 會造成很大的改變， 但若往與這個方向垂直的方向 Shift 則改變很小。 C. 如果影像上是一個 corner 或者是一個獨立的點，那麼往任意方向 shift 均會造很很大的變動，根據 shift 後得到最大的變動值就可以偵測出這 個點或 corner 的位置。 圖2.2 搜尋視窗在影像中移動示意圖 用數學式描述以上的作法，Harris 提出了一個偵測特徵點和邊的關係式 2
)]
(
[
)
(
M
k
Tr
M
Det
R
(1) 其中 B C C A M ， A、B 和 C 分別是影像在 x、y 及 xy 方向上的梯度。 B A M Tr C AB M Det( ) 2, ( ) 式(1)可重寫成式(2)以簡化運算。 ) ( 04 . 0 92 . 0 AB C2 A2 B2 R (2) 2.2 特徵點的對應 - 由 Harris 演算法中分析並量化梯度方向 Harris 的方法優點在於運算簡單，計算速度快。在上年度我們更發展了簡 單自動篩選特徵點的方法。在加速方面，也研究了在 Edge 上的點做 Harris Corner Detector 的加速方法，以縮短計算時間。 本年度我們利用所找出的特徵點，進行特徵點對應，此階段我們分析了 Harris 演算法並引入梯度方向的資訊。我們試著由 Harris 演算法的過程中，取 得一些計算結果可供後續比對的使用，以節省計算時間。在 Harris 擷取特徵點 的過程中，我們可以得到影像在x 方向的梯度和 y 方向的梯度，也就是其梯度向 量 f ) , ( ) , ( y f x f y x f (3) 藉由梯度向量，我們得到每一個影像點周圍灰階變化的強度和方向。我們將所有的梯度方向量化為八個方向，分別為 0、45、90、135、180、225、270、 315、和一個x 方向梯度加 y 方向梯度小於 10 的區域，如圖 2.3 所示。 圖 2.3 以九種顏色分別代表九個量化後的梯度方向 我們在特徵點周圍定義了八個 33 的視窗（Window），分別為 0、45、90、 135、180、 225、 270、 315。在每一個 33 的視窗中有九個影像點，而每 一個影像點皆對應一個量化的梯度方向；我們統計在此視窗中最主要的梯度方向 來代表整個 33 範圍的梯度方向，也就是以佔多數的梯度方向作為代表，如此 對一個特徵點就可以取得其周圍八個方向所對應的彩色碼，如圖 2.4。 圖 2.4 特徵點所對應的彩色碼 由於彩色碼利用的是 Harris 的中間計算結果，因此無需額外的計算，當對應 特徵點時，只需要比較兩個特徵點的彩色碼即可，在計算的複雜度上減少許多。 圖 2.5 為考慮彩色碼之後的對應結果。
圖 2.5 對應後的結果 下一節中，我們將介紹相機外部參數推算及三維場景的重建。
第三節 相機外部參數及三維場景的重建
在相機校正部分，於上年度我們採用藉由觀察平面圖形的方法來做校正。這 個方法只需要在兩個以上不同的角度對一張平面的圖形（planar pattern）拍 照，以進行相機參數的推算。 而在三維場景的重建部份，我們先對同一場景選取不同角度所拍攝的影像， 分別找出對應角點後，先求基本矩陣，再計算相機之外部參數。而後即可利用這 些資訊，求得歐式投影矩陣並將影像上的點反投回三維空間，而重建真實世界的 三維場景。圖 2.6 為已找出特徵點之原始影像，及重建後的三維座標點。 另外，對於已求得的三維座標點，本年度我們更進一步將其連結成有意義的 幾何形狀。此階段會利用 polygonal approximation 技巧，進行多邊形的邊界連 結。例如圖 2.6，實驗室場景中，包含大門、配電箱及緊急照明燈具。大門及配 電箱皆已連結成封閉的多邊形。這些重建得到的三維座標點皆可在我們的圖形介 面(GUI)中任意以不同角度觀察。 圖 2.6 找出特徵點之原始影像，及重建得到的三維座標點 為了驗證三維場景重建後的正確性，我們利用圖 2.7 的垂直校正板影像，每 次以其中兩張重建出三維幾何形狀，再檢視其夾角並列於表 3.1。該夾角的正確值為 90 度。由實驗結果可知，在相機夾角較大時(左下角)，三維重建的結果是 十分精確的。在相機夾角小時，則會因三角定位的誤差較大，在角度上有 1 至 4 度的誤差。 圖 2.7 一組校正板影像 表 3.1 利用矯正板驗證重建正確性
第四節 路徑規劃
依據第三節中，重建的空間幾何結構，我們可以更進一步, 探討進行機器人運 動的路徑規劃問題。藉此使機器人偵知本身及周遭之物體位置，並依工作所需， 規劃出安全且有效率的行進路線。 本子計畫將嘗試利用位能場空間模型, 來進行所需之路徑規劃。路徑規劃系統 的基本目的，是將一自由空間中的物體從初始的狀態，包含位置及角度，移動到 最後的狀，其中的過程必須避免與任何的障礙物發生碰撞。以位能場為基礎的方法，主要的優點是自由空間的描述較為容易。排斥力場可以引導物體的移動以達 到避碰的效果，且將其應用到更高維度的路徑規劃問題也比較直接。 在基於位能場的路徑規劃問題的研究方面，本研究群已有相當的成果。在 [9] 中，我們發展了一個 2 維位能場模型，並推導出兩線段間的排斥效應（包括排斥 力場與排斥轉矩）之解析式。在該論文中並進一步利用上述排斥效應之解析式來 發展與智慧型機器人的路徑規劃相關的演算法，我們嘗試對不同的例子進行模 擬，且得到相當不錯的成果。在[10]中，我們更進一步將二維位能場模型推廣到 三維空間中的物體，並說明此一位能場模型確實能夠被應用到路徑規劃中，且保 證能達到避碰的效果。我們在先前的國科會計劃（NSC89-2213-E-009-103、 NSC89-2213-E-009-207）中亦參考了上述的方法，做為在三維路徑規劃方面研究 之延伸。圖 3.1 到圖 3.2 即顯示了一個三維物體以及機械手臂在通過障礙物的瓶 頸時使用上述路徑規劃方法所得之結果。 圖 3.1 一個三維物體通過障礙物的例子 圖 3.2 一個機械手臂通過障礙物的例子。由左而右分別是初始組態、中間組態及最終組態。 在目前進行的工作目標方面，我們即將完成引入三維空間重建的結果，發展 一套整合的模擬環境。內容包括物體的描述，障礙物與物體工作空間的建構，演 算法的執行與調整以及執行結果的輸出，且希望能在這個環境中輕易地給使用者 操作。由於我們所提出的位能場模型已確實能推展到三維空間，所以我們認為將 先前所發展的路徑規劃演算法運用在機器人視覺重建的三維資訊上的研究是可 行的。
第五節 結論與未來工作
目前本家用機器人的視覺模組之相關理論已經建立，並有初步的實驗結果。 對於重建所得的歐氏空間幾何座標的精準度尚未有進一步的探討。同時計算相機 內外部參數的數個方法仍需做更詳細的比較及適用性評估，以切合本家用機器人 的應用需求。在機器人運動的路徑規劃問題方面，由於本研究群已有相關的研究 經驗，目前正進行該研究與本計畫的整合與應用。本計畫在執行期間亦將著重於模組內各子模組的整合，及與其他子計畫所發展之機器人模組的搭配，期能建立 一完整的家用機器人系統。
Reference：
[1] Z. Zhang, “A Flexible New Technique for Camera Calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, November 2000.
[2] S. Bougnoux, “From projective to euclidean space under any practical situation, a criticism of self-calibration. ” In Proceedings of the 6th International Conference on Computer Vision, pp. 790-796, Jan. 1998.
[3] C. HARRIS, M. STEPHENS, “A Combined Corner and Edge Detector”, Proc 4th Alvery Vision Conf. Manchester, pp189-192, Augest 1988.
[4] H.P. MORAVEC, “Towards Automatic Visual Obstacle Avoidance,” Proc Int. Joint Conf Artifical Intelligence Cambridge, MA, USA, pp584, August 1977.
[5] A. Fitzgibbon and A. Zisserman, “Automatic 3D Model Acquisition and Generation of New Images From Video Sequences,” Proc. European Signal Processing Conference (EUSIPCO), pp. 1261–1269, 1998.
[6] Oliver Schreer, “Stereo Vision-Based Navigation in Unknown Indoor Environment,” European Conference on Computer Vision (ECCV'98), Freiburg, Germany, June 1998. [7] A. Dick, P.Torr, S. Ruffle, R. Cipolla, “Combining Single View Recognition and Multiple
View Stereo for Architectural Scenes,” Proc. 8th IEEE International Conference on Computer Vision (ICCV'01) Vancouver, July 2001.
[8] Marc Pollefeys, “Tutorial on 3D Modeling from Images,” in conjunction with ECCV2000 conference, June 26, 2000.
[9] J.-H. Chuang, C.-H. Tsai, W.-H. Tsai and C.-Y. Yang, “Potential-based Modeling of 2D Regions Using Non-uniform Source Distributions,” IEEE Trans. Sys., Man, Cybern, vol. 30, no. 2, pp. 197-202, 2000.
[10] J.-H. Chuang, “Potential-based modeling of three dimensional workspace for obstacle avoidance,” IEEE Trans. Robot. Automat., vol. 14, no. 5, pp. 778-785, Oct. 1998.
