1
行政院國家科學委員會專題研究計畫成果報告
以電腦視覺技術做人與虛擬實境場景之互動
A Study on Interaction between Human Beings and Virtual
Environments by Computer Vision Techniques
計畫編號：NSC90-2213-E009-050
執行期限：90 年 8 月 1 日至 91 年 7 月 31 日
計畫主持人：蔡文祥 國立交通大學資訊科學系
計畫參與人員：張欽圳、賴志群
范惠屏、劉睿智 國立交通大學資訊科學系
一、中文摘要（關鍵詞：自動車、電腦視 覺、環境學習、物體追蹤。） 隨著近年來電腦視覺與各種感測技術 的進步，自動車的能力已大有進展。自動 車已經可以幫助人類處理許多工作，對於 各種自動化領域有著極大的貢獻。因此， 世界各國都投注了相當的資源進行相關的 研究。 在過去的研究中，我們已經發展出許 多自動車的相關技術，順利地將電腦視覺 技術應用在自動車導航上。為了延續我們 過去的研發成果，本年度我們利用新的技 術與方法，就過去研究所遭遇到的困難加 以解決，並且針對自動車的學習問題進行 研究，使自動車更能適應不同的航行環 境。主要的研究項目有三： （1）虛擬環境之建立與探索； （2）人機介面技術之發展； （3）輸入裝置之設計。 本期計劃中強調的重點在於利用不同 的方法去解決自動車的學習問題。這些問 題都較過去所處理的問題複雜，也都是自 動車的實際應用問題。 Abstract（Keywords：autonomous landvehicles, computer vision, environment learning, object tracking.）
With recent advances in computer vision and sensor technologies, the capability of intelligent autonomous land vehicles (ALV’s) has made great progress. ALV’s can help us with many repeated, difficult, and dangerous tasks, and contribute a lot to different areas of automation. As a result, research on autonomous vehicles has attracted worldwide interest.
To extend our previous research results, we have used more practical methods to solve the difficulties that have been encountered in the past, and dealt with the learning problems of ALV’s. The main purpose is to make the ALV more versatile to adapt to various environments. The major results include:
（1） establishment and exploration of virtual environment -- applying ALV techniques of navigation and computer vision to set up virtual
2
reality scenes;
（2） development of user interface technology -- analyzing and realizing the move of feet;
（3） design of input device – an inside-out vision-based 3D mouse. All results above focus on solving learning problems of ALV’s with different approaches. These practical applications are more complicated than those studied in the past, and they have been efficiently solved in this study. 二、計畫緣由與目的 數千年來人們一直努力製造智慧型系 統來增加生產力及改善生活。這種智慧型 系統必須具備有感知人類活動與提供自然 回饋方式的能力。由於電腦視覺是一種非 接觸性的感測方式，比起其他可用來感測 人類活動的方法，電腦視覺對於人類而言 是一種更自然、更便利的感測方式。因此， 發展和研究電腦視覺技術來感知人類的活 動是必需且重要的。 隨著硬體與電腦視覺技術的進步，帶 動了自動車在電腦視覺能力上的提升，實 用階段已是指日可待之事。並由於電腦視 覺與自動車相關應用結合的重要性，已成 為現今為世界各國學者致力研究的主要課 題。但是有關於使用者的輸入介面，卻一 直缺乏友善且容易操作的輸入方式。有鑑 於此，我們嘗試透過電腦視覺的技術，來 改善使用者操作自動車的方式，發展可便 於使用者觀看的虛擬場景，可以辨識人類 肢體並相對行動的人機介面，以及透過擷 取影像來運作的三度空間滑鼠。 由於人習慣於用頭、表情、手、角來 表示自己的意向與活動，於是我們針對這 些主題進行研究並發展出數個新方法來分 析這些部位的動作。另外我們也可以在人 身上放置特殊的標記，藉由這些標記，我 們就能夠得到人準確的方位。目前有許多 方法可以計算出標記的方位，但是它們不 能知道影像特徵及所計算出方位的品質。 在這個研究裡我們也提出新方法來確保品 質。 本計劃〝以電腦視覺技術做人與虛擬 實境場景之互動〞，利用攝影機或其他感應 器在未知的環境中擷取特徵，利用這些特 徵來建構虛擬環境，使得自動車得以利用 此虛擬環境作更順暢的航行。並且利用電 腦視覺的技術，發展出更友善的人機介面 及輸入裝置。在過去的相關計劃中，我們 已經發展出數種自動導航的技術，成功地 應用在室內與室外的自動車導航上，也完 成甚多篇相關的論文及技術報告，並且在 國內外著名的會議與期刊發表。本年度繼 續對本計劃所訂的題目作進一步的探討， 期使人機介面更加便利，自動車更具智 慧，更能適應實際的需求。 計劃申請人在無人駕駛車自動導航系 統、機械人定位、三度空間物體撿識辨認 等相關學理上已有多年的研究經驗（請參 見著作清單）。此外，申請人亦曾主持或正 在進行多項相關研究計劃。 三、結果與討論 1.虛擬環境之建立與探索—利用影像 建立虛擬實境之場景: 在虛擬場景的建構 方面，我們捨棄以人工測量環境各部分立 體結構再建立三維模組的傳統方式，而利 用裝置在自動車上的三隻相機，同步收集 並記錄在航行路徑上兩邊 baseline 和天花
3 板的環境資訊。 最後，我們將場景資訊轉換成 VRML 的格式，再安裝可令瀏覽器觀看 3D 模組 的 plug-in application，使用者可透過瀏覽 器來觀察環境（見圖一）。 圖一：使用者透過瀏覽器看到的環境場景 2.人機介面技術之發展—肢體動作於 自動車控制之應用: 在建立自動航行模組 方面，我們利用一部架有多隻相機的自動 車，收集正前方與走廊上 baseline 的資訊， 利用 baseline 上各特徵點的位置比對，來 達到導航的目的（見圖二）。 圖二：走廊 baseline 上的各種資訊 此外，為了達到巡邏的需求，自動車 必須在航行時能夠偵測到非預期出現的物 體，並且利用形狀比對、電腦視覺與連續 影像的技術來判斷偵測到的物體為靜態或 是 動 態 。 在 這 方 面 ， 我 們 使 用 DWC (distance-Weighted Correlation Measure)來比 對障礙物形狀的相似度；相似度較高的視 為靜態，反之為動態。對於靜態的物體， 我們先計算障礙物與牆間的距離，取其中 點以弧線的路徑來避開障礙物；對於動態 的物體，則研究其行動方向，採用物體追 蹤的方式來跟蹤此移動之物體。 有關人機系統與自動車系統的整合方 面，我們研發出三種不同的自動車控制方 式。第一種是使用者坐在自動車上，利用 大眾所熟悉的方向盤和油門來控制自動 車；第二種是透過車上的程式介面來下指 令，透過這個方式還可以直接記錄自動車 的行駛資訊，可用於自動車學習環境資 訊；第三種是利用無限網路，透過程式由 遠端的電腦和自動車上的電腦連線，使車 子的位置資訊與環境的狀況可以在監控端 和車子之間傳輸。 3.輸入裝置之設計—以電腦視覺追蹤 人眼技巧設計三度空間滑鼠: 由於人眼的 特徵容易隨著使用者而有所不同，視線焦 點捕捉不易，加上 camera 無法同時拍到使 用者和銀幕，而導致無法得知 camera 和銀 幕的相對位置。因此，我們讓使用者戴上 一個輔助用的眼鏡，在眼鏡的中間有一雷 射光點，以便於取得視線的定位。利用眼 鏡的特徵（兩個圓形和兩條平行線，如圖 三），可以得知眼鏡和 camera 的相對位置 （OCS—CCS），再透過計算雷射光射在銀 幕上特定點的方程式，便可以求出 camera 和 monitor 的相對位置（CCS—MCS，見圖 四）。透過我們所建立的座標轉換系統，可 以對眼鏡上的雷射光射在銀幕上的位置做
4 定位的動作。 圖三：輔助眼鏡與其特徵 圖四：OCS、CCS 與 MCS 之轉換 四、計畫成果自評 本計畫研究與原預定計畫相符，成果 達到了預期的目標，成果的一部份並撰寫 成一篇論文『利用電腦視覺技術以圓形資 訊作物體定位之研究及其在運載工具自動 化與虛擬實境之應用』，刊登於 2002 年中 華民國影像處理與圖形識別學會論文集 上，獲得電腦學會最佳論文獎。 五、參考文獻
[1] C. C. Lai and W. H. Tsai, “Camera calibration with respect to computer monitors using eye-glasses with a laser pointer for virtual reality applications,” Pattern Recognition and Image
Analysis, Vol. 12, No. 1, 2002.
[2] C. C. Chang, “Vision-based analysis of object poses and human activities for human computer interaction applications,” Ph. D. Dissertation, Department of Computer and Information Science, National Chiao Tung University, Hsinchu, Taiwan, Republic of China, December, 2000.
[3] R. C. Liu, “Security patrolling in building corridors by multiple-camera computer vision and automatic vehicle navigation techniques,” M.
S. Thesis, Department of Computer and
Information Science, National Chiao Tung University, Hsinchu, Taiwan, Republic of China, June 2001.
[4] T. J. Fan and W. H. Tsai, “Automatic Chinese Seal Identification”, Computer Vision, Graphics,
and Image Processing, Vol 25, pp. 311-330,
1984.
[5] H. P. Fan, “3D indoor virtual environment modeling via vehicle navigation and multi-camera image data fusion,” M. S. Thesis, Department of Computer and Information Science, National Chiao Tung University, Hsinchu, Taiwan, Republic of China, June 2000.
