國
立
交
通
大
學
多媒體工程研究所
碩
士
論
文
基於異質攝影機之自動車夜間視覺定位與誤差分析
Nighttime Localization and Error Analysis for Indoor
Mobile Robot based on Heterogenous Cameras
研 究 生：陳芝穎
指導教授：莊仁輝 教授
基 於 異 質 攝 影 機 之 自 動 車 夜 間 視 覺 定 位 與 誤 差 分 析
Nighttime Localization and Error Analysis for Indoor Mobile Robot
based on Heterogenous Cameras
研 究 生：陳芝穎 Student：Chih-Ying Chen
指導教授：莊仁輝 Advisor：Jen-Hui Chuang
國 立 交 通 大 學
多 媒 體 工 程 研 究 所
碩 士 論 文
A ThesisSubmitted to Institute of MultimediaEngineering College of Computer Science
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science
June 2010
Hsinchu, Taiwan, Republic of China
基於異質攝影機之自動車夜間視覺定位與誤差分析
學生：陳芝穎 指導教授：莊 仁 輝 博士
國立交通大學
多媒體工程研究所碩士班
摘 要
這篇論文的主要目的是建構一個整合異質攝影機之移動型夜間監控系統。此 系統包含近紅外線攝影機、中紅外線攝影機、自走車，並利用布設在場景中的近 紅外線 LED 參考點，依使用者需求移動並進行即時的目標物（人物或動物）定 位。系統先由從中紅外線影像中擷取具較高溫度的目標物位置，並從近紅外線影 像中擷取近紅外線 LED 參考點位置。接著根據單應性轉換與帄面座標轉換等原 理，由影像中目標物的位置計算出其位於場景中的位置。為了增加定位之精確度， 我們亦探討了上述影像擷取與座標轉換過程間可能發生的誤差，以及可能的改善 方式。實驗顯示藉助此種誤差分析，本論文所提出的監控系統可以完成更為準確、 穩定之目標物定位。Nighttime Localization and Error Analysis for Indoor
Mobile Robot based on Heterogenous Cameras
Student：Chih-Ying Chen Advisor：Dr. Jen-Hui Chuang
Institute of Multimedia Engineering
National Chiao Tung University
ABSTRACT
The main purpose of this thesis is to construct a mobile system that integrates heterogeneous cameras, a near-infrared and a mid-infrared camera, for nighttime surveillance. The system, which consists of these cameras and a mobile robot, can locate target objects, e.g., human or animal, using some reference LEDs in the scene. The system first detects high temperature objects and the reference LEDs in the mid-infrared image and near-infrared image, respectively. The localization of target object can then be performed efficiently by homographic transform and planar coordinate transformation. In order to reduce the localization errors, we also study how errors may be generated during the localization process, and possible ways to reduce their influences. Experimental results show that, with the help of such analysis, more accurate and reliable object localization can be achieved with the proposed surveillance system.
致 謝
本論文的完成，首先當感謝指導教授莊仁輝老師，從大學的專題到碩士論文 的完成，都要感謝老師的殷殷指導，老師不時的指點方向，使我在這些日子裡獲 益匪淺。同時也要感謝三位口詴委員，蔡文祥老師、顏嗣鈞老師與賴飛羆老師。 三位老師提出的珍貴建議讓這篇論文更加詳盡完整。 其次，也要感謝所有幫助過我的學長姐們，你們從不吝分享自己的經驗和知 識，讓我獲益良多，特別是同實驗室的國華、泓宏、星陸、尚一、永昌等學長。 感謝同屆的夥伴，小鼻孔、運動員與米都，有大家互相扶持和鼓勵，我們才得以 順利畢業。還有可愛的學弟妹們，屁股、椪柑、小馬、周傑、小貝。大家在實驗 室裡一起熬夜準備報告、生進度、玩牌跨年、破雷曼兔、爭霸夜市、打賭、吃大 餐、看流星雨，和你們在一起渡過的時光如此充實，因此這最後兩年學生生涯的 記憶會是我的寶藏。 謝謝我的好友們，就算各奔前程，仍關心彼此，常常抽空見面聊天，分享生 活的點滴，認識你們真好。小郁、欣慧、佳錡、承絜、小米、妍秀，祝你們一切 順利，實現夢想。最後感謝我的家人，漫長的學生生涯中，你們從未間斷的支持、 關懷和鼓勵，讓我能夠無後顧之憂的專心學習。謝謝一路上所有關心我，幫助我 的人！目 錄
目 錄... iv 一、緒論... 1 1.1 研究動機... 1 1.2 研究背景與相關研究... 2 1.2.1 夜間視覺與異質攝影機... 2 1.2.2 電腦視覺與機器人導航... 3 1.2.3 定位參考特徵的擷取... 4 1.2.4 座標轉換與定位計算... 5 1.2.5 誤差分析... 7 1.3 縮寫與數學符號... 7 1.4 論文架構與系統流程... 9 二、系統初始化... 11 2.1 定位參考點的位置選擇... 12 2.1.1 場景佈置階段定位參考點的選擇... 12 2.1.2 校正過程中定位參考點的選擇... 12 2.2 定位參考點的影像座標計算方式... 12 (1)區塊中心 ... 13 (2)外接矩形中心 ... 13 (3)最亮 N 點中心 ... 13 2.3 異質影像中的定位參考點... 14 2.4 校正程序... 16 三、即時定位計算... 18 3.1 目標物立足點的計算方式... 19 (1)利用外接矩形底邊中心計算目標物立足點 ... 19 (2)利用區域最低點計算目標物立足點 ... 19 3.2 自走車與場景座標系統間座標轉換的計算方式... 21 (1)以一端為中心不進行縮放 ... 23 (2)等比例縮放 ... 23 (3)以垂足為中心不進行縮放 ... 23 四、誤差分析... 24 4.1 定位參考點的位置選擇... 25 (1)單一單應性轉換─小範圍 ... 27 (2)單一單應性轉換─大範圍 ... 28 (3)因地制宜方法─分左右兩區 ... 30 (4)因地制宜方法─分上下兩區 ... 31 結論... 33 4.2 定位參考點的影像座標計算方式... 34(1)區塊中心 ... 36 (2)外接矩形中心 ... 37 (3)最亮 N 點中心 ... 38 結論... 39 4.3 自走車與場景座標系統間座標轉換的計算方式... 40 (1)以一端為中心不進行縮放 ... 40 (2)等比例縮放 ... 41 (3)以垂足為中心不進行縮放 ... 42 結論... 43 五、實驗結果及討論... 44 5.1 系統軟硬體架構... 44 5.1.1 實驗場景... 44 5.1.2 硬體設備... 44 5.1.3 自走車... 45 5.1.4 異質攝影機... 45 5.1.5 軟硬體的結合... 46 5.2 實驗結果... 47 5.2.1 系統效能與使用者介面... 47 5.2.2 目標為人物時著地腳的判斷... 48 5.2.3 即時定位結果... 48 六、結論與未來展望... 49 6.1 結論... 49 6.2 未來展望... 49 七、參考文獻... 51
圖目錄
圖 1-1 近紅外線 LED 裝置的發光情形。 ... 5 (a)近紅外線影像，(b)中紅外線影像，(c)場景開燈後的可見光影像。 ... 5 圖 1-2 透視投影模型，π1為影像帄面，π0為場景中的地面。 ... 6 圖 1-3 本論文的符號表示法。 ... 8 圖 1-4 系統運作流程圖。 ... 10 圖 2-1 定位參考點的座標計算方式。(a)近紅外線影像中的定位參考點原圖， .. 13 前景區塊切出後分別以(b)區塊中心，(c)外接矩形中心，(d)最亮 N 點中心方法求 得之定位結果。... 13 圖 2-2 異質攝影機的原始影像與定位參考點座標計算結果。 ... 15 (a)近紅外線影像，(b)中紅外線影像。 ... 15 圖 2-3 異質攝影機切割出的前景區塊與定位參考點座標計算結果。 ... 15 (a)近紅外線影像，(b)中紅外線影像。 ... 15 圖 2-4 系統初始化階段流程圖。 ... 17 圖 3-1 系統運作流程圖。 ... 18 圖 3-2 目標物前景示意圖。(a)原始影像，(b)目標物前景區塊。 ... 19 圖 3-3 利用外接矩形底邊中心計算目標物立足點。(a)原始影像，(b)目標物前景 區塊。... 20 圖 3-4 利用區域最低點計算目標物立足點。(a)原始影像，(b)目標物前景區塊。 ... 20 圖 3-5 自走車座標系統與場景座標系統間座標轉換示意圖。 ... 22 圖 3-6 自走車座標系統與場景座標系統間座標轉換之誤差處理方式。 ... 23 (a)以一端為中心不進行縮放，(b)等比例縮放，(c)以垂足為中心不進行縮放。 23 圖 4-1 場景與實驗結果示意圖。 ... 24 圖 4-2 格線交點在三個座標系統的真實座標示意圖。 ... 26 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。 ... 26 圖 4-3 格線交點在三個座標系統的座標轉換結果圖。 ... 28 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。 ... 28 圖 4-4 格線交點在三個座標系統的座標轉換結果圖。 ... 29 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。 ... 29 圖 4-5 格線交點在三個座標系統的座標轉換結果圖。 ... 31 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。 ... 31 圖 4-6 格線交點在三個座標系統的座標轉換結果圖。 ... 32 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。 ... 32 圖 4-7 實驗內容示意圖，目標物立足點在 ... 35 (a)中紅外線影像，(c)場景座標系統中的位置示意圖。 ... 35 圖 4-8 利用區塊中心方法求得之定位結果軌跡。 ... 36圖 4-9 利用外接矩形中心方法求得之定位結果軌跡。 ... 37 圖 4-10 利用最亮 N 點中心方法求得之定位結果軌跡。... 38 圖 4-11 利用以一端為中心不進行縮放方法求得之定位結果軌跡。 ... 40 圖 4-12 利用等比例縮放方法求得之定位結果軌跡。 ... 41 圖 4-13 利用以垂足為中心不進行縮放方法求得之定位結果軌跡。 ... 42 圖 5-1 本論文使用的實驗場景。(a)帄面示意圖，(b)實際影像。 ... 44 圖 5-2 本論文使用之硬體設備組合。 ... 45 圖 5-3 本論文所使用的攝影機。(a)近紅外線攝影機，(b)中紅外線攝影機。 ... 46 圖 5-4 本論文實作系統之使用者介面示意圖。 ... 47 圖 5-5 本論文實作系統之即時定位結果。(a)中紅外線影像，(b)軌跡結果。…...48
表目錄
表 4-1 定位參考點的位置選擇誤差比較表。 ... 33 表 4-2 利用區塊中心方法求得之誤差分析表。 ... 36 表 4-3 利用外接矩形中心方法求得之誤差分析表。 ... 37 表 4-4 利用最亮 N 點中心方法求得之誤差分析表。... 38 表 4-5 定位參考點的影像座標計算方式誤差比較表。 ... 39 表 4-6 利用以一端為中心不進行縮放求得之誤差分析表。 ... 40 表 4-7 利用等比例縮放方法求得之誤差分析表。 ... 41 表 4-8 利用以垂足為中心不進行縮放方法求得之誤差分析表。 ... 42 表 4-9 自走車與場景座標系統間座標轉換的計算方式誤差比較表。 ... 43一、緒論
1.1 研究動機
無論在什麼時代，生活的安全都是人們極為關切的議題。隨著科技不斷發展， 人們也不斷將最新科技投入安全監控方面的研究與應用中，以提升對人類生活安 全的保障。近年來學界及業界均利用各種技術，積極投入此領域之研究。其中以 視覺為基礎的安全監控應用包括虹膜辨識、煙霧偵測、車牌辨識、及人物追蹤定 位等等。但目前上述研究大多以分析日間可見光充沛的環境為主，夜間或光線不 足之環境的安全監控研究相對不足。而夜間環境的犯罪率又較日間環境高，因此 對夜間環境的安全監控有很大的必要性。 另一方面，現今智慧型自走車與機器人的開發越來越受到關注，且已漸漸被 應用到各種領域，取代較危險或繁瑣的人力工作。由於安全監控工作需要全天候 運行，人力成本高。利用以視覺為基礎的安全監控研究，可降低所需人力成本， 提高監控之效率及穩定性。目前安全監控多使用裝設在場景各處的固定式攝影機， 但固定式攝影機視野有限且死角多，如果利用智慧型自走車裝載攝影機四處巡邏， 並且搭配以視覺為基礎的智慧型安全監控，將可降低所需的攝影機數量並增大視 野，大幅改善人們的生活安全。在本論文中，我們希望能結合以視覺為基礎的安 全監控與智慧型自走車，提出一個機動性高的夜間目標物偵測定位系統。1.2 研究背景與相關研究
1.2.1 夜間視覺與異質攝影機
現今有數種攝影機被廣泛應用在視覺為基礎的安全監控研究上。其中以有效 光譜範圍做區分，可分為可見光攝影機(~0.75μm)、近紅外線攝影機(0.75μm ~2.5μm)、以及中紅外線攝影機(2.5μm~25μm)。其中可見光攝影機多被用在光線 充足的環境中，而近紅外線及中紅外線攝影機則常被應用在夜間環境的電腦視覺 監控上。 可見光攝影機是我們生活中最常接觸到的攝影機，發展歷史長，成本也比紅 外線攝影機低廉許多。由於解析度高，並能拍攝有三個頻道(紅、綠、藍)的彩色 影像，在三種攝影機中能提供最多資訊。可見光攝影機在市場上有許多產品可供 選擇，相關技術較為成熟，在電腦視覺領域的研究中也被非常廣泛的探討。但其 限制是在可見光線缺乏的狀況下無法運作，因而夜間環境的電腦視覺監控需另覓 出路。 適用於夜間環境的攝影機中最常見的是近紅外線攝影機與中紅外線攝影機 兩種。近紅外線攝影機屬於主動式攝影技術，在一般黑暗環境中無法作用，需要 額外的近紅外光照明，再接收物體反射回來的近紅外光成像。然而近紅外線光源 的強弱與位置均難掌控，很容易出現過曝、光線不足或打光不均的問題。但由於 成本遠低於中紅外線攝影機，現在近紅外線攝影機已被廣泛運用在民間的安全監 控系統中。 中紅外線攝影機則屬於被動式攝影，不需任何光線。因為任何具有溫度的物 體都會放出強弱不等的紅外線，因此利用中紅外線攝影機，能夠對物體散發出的 紅外線進行感光成像並輸出強度圖，便能從強度圖中區分不同溫度的物體。在人 物偵測領域，中紅外線攝影機常被用來區分人類和低溫的背景。例如[1]利用單 一中紅外線攝影機結合自走車，根據目標物的溫度、形狀及速度等特徵達成一個 機動的夜間行人偵測追蹤系統。 有許多研究嘗詴融合不同類型的攝影機，參考不同性質的資訊，提升偵測效 能。有些研究結合可見光與中紅外線影像，希望能兼具可見光影像色彩豐富、解 析度高，與中紅外線影像可提供溫度資訊的優良特性。在一般光線充足的狀況中， 特別是目標物與背景溫度相近時能夠以可見光影像分析為主；而在目標物與背景顏色相似，或場景中光源不足時紅外線影像就可提供資訊協助判斷。[2]結合中 紅外攝影機及兩台可見光攝影機，利用位置、速度、形狀、溫度等特徵，在戶外 環境對選定的人員或動物的進行追蹤及軌跡偵測。[3]延續[2]的研究，但將焦點 放在人物追蹤並加入姿態辨識功能。另外[4]提出了一個駕駛人輔助系統，利用 架設在車輛駕駛座附近的四架紅外線攝影機及四架可見光攝影機，偵測駕駛人肢 體在 3D 空間中的動作。由於可見光攝影機的限制，結合可見光與中紅外線攝影 機的研究大多在可見光充足的環境發展，利用可見光影像為主要資訊來源，並以 中紅外線影像為輔助資訊。 在本論文中，由於我們以光源不足的夜間場景為研究對象，因此不使用可見 光攝影機，而選擇融合在夜間能發揮作用的中紅外及近紅外線攝影機進行偵測 [5]。我們將在第二章詳細描述如何結合這兩種攝影機的特色以提升定位效果。
1.2.2 電腦視覺與機器人導航
從二十多年前開始，有關電腦視覺在導航定位方面的研究便蓬勃發展。這些 研究若以環境條件作區別[6]，可分為室內(indoor)及室外(outdoor)導航，其中室 內導航細分為三類，分別是以建立地圖為基礎(map-building)、無地圖(map-less)、 以及以地圖為基礎(map-based)的導航方式。 第一種是以建立地圖為基礎的導航定位方式。這種方式不需預先知道場景地 圖，而是利用自走車上的攝影機，在導航過程中探索環境並同時建立地圖，然而 缺點是這種導航方式需要花費額外的資源在建立地圖上，常必頇花費較長的時間、 使用較多的攝影機、或降低影像的解析度。 而第二種無地圖的導航方式同樣不需要已知場景地圖，但這種導航方式並不 會產生地圖做為參考，而是粗略的對於環境進行觀測與分析。常見影像分析方式 包含光流(optical flow)、以外觀為基礎的比對(appearance-based matching)或物體 辨識(object-matching)等等，導航方式則隨著行進目的的不同而有所差異，經常 採取避開障礙物或判斷場景空間深度的方式行進。例如文獻[1]便根據光流的速 度判斷空間深度選擇行進方向。此研究在自走車上裝置兩架攝影機，分別朝向左 右兩側，利用移動時較近的物體較遠方物體變化快速的特性，當兩攝影機影像中 的光流速度不一致時，可查知較慢的那一側有路可走。但無地圖導航方式的缺點 是準確性較低，且無法得知自走車自身或環境中人物的確切位置。第三種是以地圖為基礎的導航定位。這種方法在具有地圖的已知場景中，尋 找影像中的定位參考點(landmark)，並配合定位參考點在場景中的位置，利用座 標間的轉換關係來做自我定位的運算，並在已知場景內巡邏或移動。此方法利用 已知場景的優勢，能達到較精確的定位結果。例如[7]便以已知地圖為基礎，提 出數種不同的自我定位計算方式。本論文亦是以地圖為基礎的導航定位。
1.2.3 定位參考特徵的擷取
在以視覺為基礎的定位導航中，為了得知場景中拍攝到的影像所在位置，我 們常需要在影像中擷取一些定位參考特徵，並判斷這些定位參考特徵在場景中的 位置。一般而言，可供使用的定位參考特徵分為自然定位參考特徵(natural landmark)和人造定位參考特徵(artificial landmark)[8]。 利用自然定位參考特徵的定位研究是在攝影機影像中，擷取場景在影像中特 別突出的特徵作為定位參考特徵。例如文獻[9]是一個以已知地圖為基礎的系統。 此論文以走廊為主要研究對象，先擷取場景中的明顯線條，例如門窗邊框或牆角 等處，再尋找這些線條的交叉或轉折處作為參考點進行定位。[10]則是無地圖的 導航系統，同樣以走廊為場景，偵測場景中的直線做特徵。藉由偵測到的鉛直線 的移動方向尋找擴展焦點(focus of expansion, FOE)，並根據非鉛直的直線交會方 向尋找消失點(vanishing point, VP)，根據這兩個點的位置調整自走車的走向，令 其沿著走廊前進。 使用自然定位參考特徵的定位研究，優點在於不必事先布設定位參考特徵， 方便且成本低廉。但自然定位參考特徵較不穩定，應用的場景也較受限制。如上 述的兩項研究均以走廊為研究場景，若場景中沒有明顯的直線特徵便無法運作。 另一方面自然定位參考特徵較常應用在可見光充足、資訊較豐富的環境中。而在 夜間環境紅外線攝影機能提供的影像資訊較少，較難從中找出可靠的自然定位參 考特徵，因此夜間環境的定位研究多採用人造定位參考特徵方法，以提供充分可 靠的定位資訊。 為了將場景中人造定位參考特徵對人類的影響降到極低，大部份研究利用一 些人眼無法辨識的近紅外線 LED 作為定位參考特徵。例如[11]在天花板上裝設一 系列有編號的近紅外線 LED，並利用自走車上的近紅外線攝影機對正上方拍攝。 接著利用無線網路指揮 LED 輪流亮起，藉以得知視野中的 LED 編號。只要同時有兩個以上的 LED 在視野中，便可經由兩個 LED 的位置對自走車作定位。和此 文獻相同，本論文在即時定位運算過程中，同樣需要兩個定位參考點在視野中， 以供帄面座標轉換計算。文獻[12]則是一個虛擬實境的應用。此論文在場景中牆 上頭部高度位置裝設一橫排近紅外線 LED，接著利用裝設在實驗者安全帽上的 近紅外線攝影機及轉向感測器(orientation sensor)，藉由追蹤影像中的 LED 及參 考轉向資訊，偵測實驗者的所在位置及頭部方向。 本論文中所採用的近紅外線 LED 裝置如圖 1-1 所示。圖 1-1(a)與(b)紅框內 的亮點分別是無可見光源時近紅外線 LED 在近紅外線及中紅外線攝影機中的發 光情形，圖 1-1(c)紅框中的白色物體則是場景開燈後看見的近紅外線 LED 及其 周邊裝置。 (c) 圖 1-1 近紅外線 LED 裝置的發光情形。 (a)近紅外線影像，(b)中紅外線影像，(c)場景開燈後的可見光影像。
1.2.4 座標轉換與定位計算
在得知一組定位參考點分別在影像和場景帄面中的座標後，可以使用不同的 方式計算出帄面間的座標轉換關係，之後便能將影像中其他點的影像座標也轉換 成場景座標。下面介紹三篇文獻所使用的方法。 (a) (b)文獻[13]利用交比不變量(cross ratio)來計算座標轉換。因為交比不變量在經 透視投影後並不會隨著帄面的帄移、旋轉或縮放而變化，因此能作為運算的根據。 如圖 1-2 所示，π1為影像帄面，o, a, b, c 分別為影像中偵測到的定位參考點，x 為目標物在影像中的座標點。而π0為場景中的地面，其中 A, B, C, O 分別為場景 中定位參考點的實際位置，CRO(A, B, C, X)代表以 O 為基點，A, B, C, X 間的交比 不變量。具有這些條件後，即可根據(1.1)式，利用交比不變量投影前後恆等(CRO (A, B, C, X) = CRo (a, b, c, x))的特性計算出從基點 O 到目標點 X 的向量 ，並根據 向量 求出在場景地面上的直線 。同理，將基點換成 A 再重複一次上面的演 算便可得出直線 ，最後根據兩直線求出交點，即為我們所求的立足點 X。 (1.1) 而[14]則利用單應性轉換(homographic transform)方法。令 4 個定位參考點在 影像帄面與場景地面上的座標分別為 xi與 xi’，將 xi與 xi’以齊次座標表示後，根 據 Hxi = xi’，可求出兩帄面間的單應性轉換矩陣 H，接著利用 H 便可將影像中的 目標物立足點投影到場景中。然而這個方法與交比不變量有同樣的限制，影像中 必頇至少同時存在 4 個定位參考點才能運作。 文獻[5]則利用上述的單應性轉換提出改良的做法。假設自走車上裝置的攝 影機和地面的距離與夾角固定不變，自走車的移動就只會有旋轉與帄移。先利用 一開始攝影機到地面的投影關係計算出一個單應性轉換，每次移動後就根據這個 單應性轉換，將目標物的立足點從攝影機帄面投影到場景地面上。最後再根據自 o x a c B C X O b A 0 1 View 圖 1-2 透視投影模型，π1為影像帄面，π0為場景中的地面。
走車的移動量，將計算出的立足點旋轉帄移到自走車現在的位置。如此一來，只 有一開始計算單應性轉換時需要 4 個參考點，接下來的每次偵測都只需要 2 個參 考點，大幅提升便利性。關於本論文所採用的座標轉換與定位計算的詳細方法會 在第二章與第三章做描述與討論。
1.2.5 誤差分析
由於攝影機影像解析度的限制，取樣時會遺失細部資訊，因此從影像取得的 座標必然有一定程度的誤差[15]。這些誤差經過一連串的計算，會被累積反應在 定位結果上。然而我們將嘗詴各種處理方法來獲得較精確的結果，在第四章我們 將討論計算過程中的數個步驟並計算分析其誤差。1.3 縮寫與數學符號
在本論文中我們定義使用的符號如圖 1-3 所示，灰色區域代表場景中的地面， 圓柱體代表目標物。如圖 1-3 所示，在本論文中共有四個座標系統，右方兩個窗 格分別是中紅外線影像座標系統(IR Image coordinate system, ICS)與近紅外線影 像座標系統(NIR Image coordinate system, NCS)，左方的地面上分別是自走車座標 系統(Robot coordinate system, RCS)、以及場景座標系統(World coordinate system,WCS)。我們利用三個座標轉換關係將這四個座標系統連結起來，三個轉換關係
分別是 HIN、HNR、以及 RTRW。其中 H 代表單應性座標轉換關係(Homography)，
RT 則代表帄面座標轉換(Rotation & Translation)，下標代表轉換關係連結的座標
系統，例如 HIN即代表中紅外線影像座標系統(I)與近紅外線影像座標系統(N)間 的單應性轉換(H)。另外 P 代表目標物立足點(Point)，L 代表定位參考點(LED Landmark)，目標物立足點與定位參考點同樣以下標表示在不同帄面的座標，如 左上角的 LW所指向的兩個綠色點代表定位參考點(L)在場景座標系統(W)中的位 置，而最右邊的 LI與 LN則分別代表在中紅外線(I)與近紅外線(N)影像座標系統中， 觀察到定位參考點的位置。
圖 1-3 本論文的符號表示法。 PN PI PW LW LN OR OW W NCS ICS WCS RCS LI
1.4 論文架構與系統流程
在本論文中我們將討論夜間、室內、以地圖為基礎的定位方式(indoor map-based localization)。特色在利用異質攝影機(heterogeneous cameras)搭配自走 車，利用中紅外線攝影機偵測高溫目標物體，並結合近紅外線攝影機擷取 LED 定位參考點，在夜間環境對人物進行定位。在整個定位流程中，有些資訊會隨著 自走車或目標的移動而變化，例如目標物或自走車的位置。另外一些資訊則在整 個即時定位計算過程中保持恆定，例如場景資訊或者攝影機與自走車之間的座標 轉換。保持恆定的資訊我們會在初始化系統時便計算出來，以供後續使用，而有 變化的部分則會在每次即時定位計算時重算。如圖 1-4 所示，本系統分成系統初 始化與即時定位計算兩大區塊。 系統初始化的主要目標在於獲得中紅外線影像帄面座標系統(ICS)和近紅外 線影像帄面座標系統(NCS)之間的座標轉換關係(HIN)，以及近紅外線影像帄面座 標系統(NCS)與自走車座標系統(RCS)之間的座標轉換關係(HNR)。系統初始化階 段包含校正程序，當實驗場景或攝影機位置改變時頇進入校正程序，以為新的設 定取得合適的單應性轉換關係，詳細的情形及採取的流程將在第二章作說明。 即時定位計算的主要目標則是計算自走車座標系統(RCS)與場景座標系統 (WCS)之間的座標轉換關係(RTRW)，並利用上述的三項轉換關係(HIN , HNR, RTRW)， 將中紅外線影像中的目標物立足點(PI)轉換到場景座標系統中(PW)，詳細做法我 們將在第三章討論。在每次定位計算結束後，我們會將定位結果顯示在使用者介 面的地圖中，並開始下一次定位計算。在每次定位計算之間，另可利用使用者介 面移動自走車至下一定點，以達系統的機動性。在未來的研究中，這部分可以結 合自走車自動巡邏或目標物追蹤的技術，以在無人操控的情況下維持監控的機動 性與持續性。
圖 1-4 系統運作流程圖。 新的場景或攝 影機位置? 是 採用校正程序算出的 的 HIN , HNR 系統初始化 在近紅外線影像中擷取定位參考點 LN 在中紅外線影像中擷取目標物立足點 PI 將 PI轉換到近紅外線影像座標系統 PN 將 PN轉換到自走車座標系統 PR 計算 RTRW 將 PR轉換到場景座標系統 PW 即時定位計算 HIN HNR RTRW 輸出定位結果 對自走車送出移 動指令 否 擷取攝影機影像 擷取攝影機影像 將 LN轉換到自走車座標系統 LR HNR 在中紅外線影像中 擷取定位參考點 LI 在近紅外線影像中 擷取定位參考點 LN 計算 HIN 計算 HNR 校正程序
二、系統初始化
本論文的第二章和第三章將描述座標轉換與即時定位計算方法。1.4 節中提 過本論文將定位系統流程分為系統初始化與即時定位計算兩大區塊。在整個監控 過程中保持恆定的資訊，頇在系統初始化階段設定完成，例如定位參考點的真實 位置、異質攝影機間的座標轉換關係，以及近紅外線攝影機與自走車座標系統間 的座標轉換關係。另外在監控場景、自走車或攝影影機的高度或角度改變，必頇 更新座標轉換關係時，系統用來重新計算座標轉換關係的校正程序也會在本章說 明。 在 2.1 節中，我們將描述定位參考點的位置選擇，分別討論在場景佈置階段 與校正程序定位時，參考點的布設與選擇方式。在 2.2 節中，我們將討論定位參 考點的影像座標計算方式，說明由單一定位參考點擴散形成的影像區塊中，擷取 具代表性的座標的方法。接著在 2.3 異質影像中的定位參考點中，我們說明異質 攝影機影像間的差異、比較兩者擷取定位參考點的結果，以及討論如何利用異質 攝影機改善定位結果。接下來的 2.4 節將介紹校正程序，其中我們會討論近紅外 線影像和地面間，中紅外線影像和近紅外線影像間的單應性轉換計算，以及中紅 外線影像中定位參考點的座標取得方法。2.1 定位參考點的位置選擇
2.1.1 場景佈置階段定位參考點的選擇
在開始監控一個新場景時，首先我們必頇在場景中以近紅外線 LED 布設定 位參考點。為了方便即時定位計算，我們希望定位參考點與目標物立足點處在同 一帄面上，因此將定位參考點布設在牆壁與地板的交界處。由於計算單應性轉換 需要 4 個定位參考點，這 4 個參考點彼此間的距離越遠、在影像中涵蓋的範圍越 大，越能計算出可靠的單應性轉換。如此一來我們的布設方法會產生一個問題。 讓點沿著牆邊分佈的方式，會造成影像中的大部分定位參考點共線，而獲得較不 理想的座標轉換關係。2.1.2 校正過程中定位參考點的選擇
為了解決上述問題，在開始監控一個新場景時，將先進入流程圖中的校正程 序。這個階段中，除了即時定位計算所需的固定式定位參考點之外，我們會在場 景中額外放置 1~2 個活動式的定位參考點，提供更多參考點位置資訊，以獲得較 精確的座標轉換關係。在校正程序完成後便可收回這些活動式定位參考點，回到 一般監控情境。選擇定位參考點時需讓定位參考點的位置盡可能分散，並避免任 三點共線，我們嘗詴了數種不同的定位參考點選取方法，並測詴利用不同方法時 對定位結果的實際影響，下面介紹做法與理由，詳細的測詴結果將在第四章討 論。 方法依定位參考點範圍可分做兩類。一類是單一單應性轉換方法，即對座標 系統上的每一座標均使用同樣的單應性轉換，另一類則是因地制宜方法，在影像 座標系統的不同區塊使用不同的單應性轉換。單一單應性轉換方法中，小範圍代 表選用在座標系統中較集中的定位參考點，使得參考點涵蓋範圍較小；大範圍則 代表選用影像中範圍涵蓋較大的定位參考點。因地制宜方法則是依水帄與鉛直方 向將座標系統分做上下兩區塊以及左右兩區塊等範圍劃分方法。2.2 定位參考點的影像座標計算方式
在擷取攝影機影像後，我們便能在影像上直接觀察到每一個定位參考點形成 的明亮區塊，如圖 2-1(a)所示。但在下一步的計算座標轉換關係前，需要從每一 個定位參考點形成的區塊中估計參考點之座標位置。為了從影像中找出區塊，首 先我們根據門檻值在中紅外線影像中找出溫度較高的像素，接著利用連通物件法(connected component)將這些像素連接成個別前景區塊。前景區塊中可能包含目 標物、其他散發出紅外線的物體、或是雜訊。我們利用面積對這些前景區塊做過 濾，去除過大和過小的區塊，藉以判別是否是定位參考點所形成的區塊。在判定 某個前景區塊為定位參考點之後，我們考慮三種不同的方法尋找該前景區塊的代 表座標。在這節中我們介紹這些方法的計算方式與特性，而其對於定位結果的影 響及誤差分析將在第四章討論。 (1)區塊中心 以整個前景區塊之中心點作為定位參考點的座標。也就是前景區塊中所有像 素的座標帄均值。結果如圖 2-1(b)所示，白色區塊為前景區塊，紅點為定位結果。 此方法的優點是參考的像素量最多，少數像素的誤差不致影響整體結果，缺點是 擷取結果易受設定的門檻值影響。 (2)外接矩形中心 對前景區塊找出外接矩形，接著求出外接矩形的中心位置作為定位參考點的 座標。如圖 2-1(c)所示，藍色矩形即為外接矩形，紅點為定位結果。此方法參考 的像素量最少，對定位結果之 x 值有影響的僅有區塊中 x 值最大與最小的兩個像 素，配合 y 值總共只有上下左右四個點，易受少數像素的誤差影響，但方法簡單 快速。 (3)最亮 N 點中心 找出前景區塊中最亮的 N 個像素(在這裡 N = 10)，求出這 N 點的中心。如圖 2-1(d)，綠點代表 N 個最亮點，紅點代表定位結果。這個方法參考的點數固定且 可調整，因此不易受門檻值與雜訊影響，但因多了對亮度排序的動作，所需的計 算量最大。 (a) (b) (c) (d) 圖 2-1 定位參考點的座標計算方式。(a)近紅外線影像中的定位參考點原圖， 前景區塊切出後分別以(b)區塊中心，(c)外接矩形中心，(d)最亮 N 點中心方法求得之定位結果。
2.3 異質影像中的定位參考點
圖 2-2 是在同一場景中，分別利用近紅外線攝影機與中紅外線攝影機拍攝到 的影像，從中我們可看出異質影像的差異。圖 2-2(a)的近紅外線影像中有 4 個近 紅外線 LED 形成的清楚明亮區塊，但周遭一片黑暗，看不見目標物及場景的其 他部分。而在圖 2-2(b)的中紅外線影像中，則可看見目標物、近紅外線 LED 和 場景的大致輪廓。 因為近紅外線影像與中紅外線影像中均能顯示近紅外線 LED 所代表的定位 參考點，我們可以比較兩者擷取定位參考點的效果，如圖 2-2 所示，白色區塊代 表系統擷取的前景區塊，綠色三角形標示利用 2.2 節最亮 N 點中心方法的參考點 擷取結果。在這個實驗中我們讓系統在近紅外線與中紅外線影像中各尋找 4 個定 位參考點，其中在圖 2-3(a)的近紅外線影像中 4 個參考點都被正確地擷取出來； 而在圖 2-3(b)的中紅外線影像中，畫面左方兩個參考點被正確地擷取到，但右方 卻發生誤判，圖中黃圈為正確的定位參考點，紅圈則為被誤判為定位參考點的雜 訊。 上述的雜訊會被誤判為參考點是因為在中紅外線影像中尋找代表定位參考 點的像素時，由於目標物溫度略大於定位參考點，我們設定兩門檻值 TT與 TL來 區分中紅外線影像中的目標物與定位參考點。根據這兩個門檻值，中紅外線影像 中的像素若溫度大於 TT即判斷為目標物候選像素，溫度介於 TT與 TL之間則判斷 為定位參考點候選像素，溫度低於 TL則被判定為背景像素。但由於目標物的溫 度有擴散現象，溫度由目標物的高溫處下降過渡到背景時，一部份像素可能正好 介於 TT與 TL之間，而被此方法誤判為定位參考點像素。圖 2-3 的紅圈 A 處即為 為目標物的溫度過渡邊緣，而圖 2-3 的紅圈 B 則是目標物的倒影造成的雜訊，這 兩個區塊面積均和定位參考點相似，因而被系統誤判為定位參考點。由於中紅外 線影像資訊過於豐富，例如 LED 本身及其周邊電阻、電路板、地面上的倒影均 會發熱，產生許多類似的誤判問題。因此我們決定僅在校正過程中對中紅外線影 像擷取一次定位參考點，而在即時定位計算過程中均利用近紅外線影像擷取定位 參考點，再利用中紅外線影像擷取目標物並計算立足點座標，並利用單應性轉換 關係將兩座標標系統連結起來。(a) (b) 圖 2-3 異質攝影機切割出的前景區塊與定位參考點座標計算結果。 (a)近紅外線影像，(b)中紅外線影像。 A A B (a) (b) 圖 2-2 異質攝影機的原始影像與定位參考點座標計算結果。 (a)近紅外線影像，(b)中紅外線影像。
2.4 校正程序
如流程圖 2-4 所示。若是自走車上的攝影機高度固定不變時，理論上近紅外 線影像和自走車座標系統間的單應性轉換(HNR)會固定不變。同樣的，若是兩攝 影機間相對位置與方向固定不變時，中紅外線影像和近紅外線影像間的單應性轉 換(HIN)也會固定不變。由於這兩個單應性轉換在上述條件不變的監控過程中可視 為恆定資訊，不隨自走車的移動而變化，我們可將過去監控過程中獲得的單應性 轉換關係應用在新的監控過程中。基於上述特性，我們只需在在監控場景、自走 車或攝影影機的高度或角度改變時，才必頇進入校正程序並重新計算這兩個單應 性轉換關係。 近紅外線影像和自走車座標系統間的單應性轉換(HNR) 根據單應性座標轉換的需求，我們需要知道相同的 4 個定位參考點分別在近 紅外線影像座標系統的座標(LN)與自走車座標系統上的座標(LR)。這 4 個定位參 考點的選擇方式我們已在 2.1 節描述過。其中 LN的座標可根據 2.2 節從影像中擷 取出來，LR座標則是已知資訊。這是因為系統初始化時我們會將自走車座標系 統(RCS)原點與座標軸與世界座標系統(WCS)對齊，因此 LR便等於 LW，也就是我 們在 2.1 節中布設的定位參考點的真實位置。 中紅外線影像和近紅外線影像座標系統間的單應性轉換(HIN) 如圖 2-4 所示，在校正程序中完成 HNR的計算後，下一步便是 HIN的計算。 HIN的計算也需要知道相同的 4 個定位參考點分別在中紅外線影像座標系統的座 標(LI)與近紅外線座標系統上的座標(LN)。其中定位參考點的選擇與 LN的計算均 已在 2.4 節的步驟中完成。另一方面，2.3 節曾提過在中紅外線影像中擷取定位 參考點(LI)較近紅外線影像容易出現誤差，因此在中紅外線影像方面我們提供了 自動與手動兩種不同的參考點擷取方式。 自動擷取中紅外線影像定位參考點 此方法利用在 2.2 節中，和近紅外線影像相同的方式擷取定位參考點。然而 中紅外線影像中偵測定位參考點的結果較不穩定且不準確。參考點偵測結果的不 穩定可能令定位結果隨著時間發生大小方向不一的誤差，但由於中紅外線影像的 定位參考點只需在系統初始化時做一次偵測，偵測結果的不穩定不會對定位結果 造成問題。而偵測結果的不準確則可能造成中紅外線影像到近紅外線影像之間的座標轉換產生固定的偏差，這個偏差會反應在後續即時定位計算的結果上。 手動選擇中紅外線影像定位參考點 在系統初始化時透過使用者介面，在中紅外線影像中手動點選 4 個定位參考 點，利用這些參考點計算座標轉換。這個作法可充分避免雜訊的影響，避免參考 點誤判與偵測結果不準確造成的定位偏差，但卻增加了使用者的額外負擔。 在中紅外線影像中擷 取定位參考點 LI 新的場景或攝 影機位置? 在近紅外線影像中 擷取定位參考點 LN 是 採用校正程序算出的 的 HIN , HNR 計算 HIN 系統初始化 計算 HNR 否 輸出單應性座標轉換關係 圖 2-4 系統初始化階段流程圖。 擷取攝影機影像 校正程序
三、即時定位計算
在 1.4 節中提過由於自走車在場景中的移動，我們需在監控過程中重新計算 自走車座標系統(RCS)與場景座標系統(WCS)之間的座標轉換關係(RTRW)。如圖 3-1 所示，由於監控過程中自走車與場景的關係只有旋轉與帄移，因此可藉由初 始化階段計算出的單應性轉換關係 HIN與 HNR，將中紅外線影像中取得的目標物 立足點座標(PI)，以及近紅外線影像中的定位參考點座標(LN)均轉換到自走車座 標系統中(PR與 LR)。接著根據取得的兩個定位參考點分別在自走車座標系統與場 景座標系統中的座標(LR與 LW)，計算出座標轉換關係(RTRW)。最後再將自走車座 標系統中的目標物立足點，透過此轉換關係轉換到場景座標系統中(PW)，即可完 成即時定位計算之程序，並將立足點座標顯示在使用者介面中。在 3.1 節中我們 將描述如何取得目標物前景區塊並計算出目標物立足點座標。而在 3.2 節將說明 如何獲得自走車座標系統(RCS)與場景座標系統(WCS)間的座標轉換關係，以及 如何處理轉換間遭遇到的誤差。 圖 3-1 系統運作流程圖。 在近紅外線影像中擷取定位參考點 LN 在中紅外線影像中擷取目標物立足點 PI 將 PI轉換到近紅外線影像座標系統 PN 將 PN轉換到自走車座標系統 PR 計算 RTRW 將 PR轉換到場景座標系統 PW 即時定位計算 HIN HNR RTRW 輸出定位結果 擷取攝影機影像 將 LN轉換到自走車座標系統 LR HNR 對自走車送出移 動指令3.1 目標物立足點的計算方式
在系統初始化結束後，系統便開始對視野中的目標物作定位計算。首先我們 實地測詴，設定出適合目標物的溫度門檻值。利用溫度門檻值在中紅外線影像中 切出前景，再利用連通物件法(connected component)找出面積最大的前景區塊當 作目標物前景，如圖 3-2 所示，3-2(a)為原始影像，3-2(b)為擷取到的目標物前景 區塊。這樣的做法能夠濾除影像中不需要的定位參考點、雜訊及倒影等等。在切 出目標物前景區塊之後，我們需要從整個目標物前景區塊中擷取立足點座標。接 下來我們討論兩種不同的取得立足點座標的方式。 (1)利用外接矩形底邊中心計算目標物立足點 由於外接矩形容易隨著目標物上半部(如人類手部)的動作而發生變化，因此 我們只根據下半部計算立足點座標。此方法切割出目標物前景區塊的下半部，找 出下半部的外接矩形，接著將此外接矩形的底邊中心當作目標物的立足點。如圖 3-3 所示，黃色方框為目標物前景區塊下半部之外接矩形，紅點為此外接矩形的 底邊中心，當作目標物之立足點。這個方法較為快速，適合對處理速度要求高的 系統使用；但缺點是無法找出同一個目標物的多個立足點。 (2)利用區域最低點計算目標物立足點 在找出目標物前景區塊後，取得目標物的輪廓，並沿著輪廓尋找區域最低點。 其作法為沿著目標物的輪廓逐點檢查，在一段高度連續下降的輪廓後，若輪廓線 開始上升，我們便將出現轉折的座標當作這段輪廓上的的區域最低點，文獻[5] (a) (b) 圖 3-2 目標物前景示意圖。(a)原始影像，(b)目標物前景區塊。即採取這種方式。如圖 3-4 所示，紅色圓圈代表找到的兩個區域最低點，將被當 作是目標物之立足點。這種做法的優點是能找出同一目標物的多個立足點，例如 人類的兩隻腳，因此在後面的即時定位計算中我們將採用此方法。 (a) (b) 圖 3-4 利用區域最低點計算目標物立足點。(a)原始影像，(b)目標物前景區塊。 (a) (b) 圖 3-3 利用外接矩形底邊中心計算目標物立足點。(a)原始影像，(b)目標物前景區塊。
3.2 自走車與場景座標系統間座標轉換的計算方式
首先我們根據 2.2 節介紹的方法，計算出定位參考點的座標(LN)，再根據初 始化階段取得的兩個單應性轉換關係(HIN、HNR)，將定位參考點的座標轉換到自 走車座標系統中(LN)。接著根據兩個定位參考點在自走車座標系統及場景座標系 統中的座標，計算出兩座標系統間的座標轉換關係(RTRW)。理論上經過單應性轉 換(HIN、HNR)後，這兩個座標系統間就只有旋轉和帄移的變化，因此兩定位參考 點間的距離在兩座標系統中理應相等。但由於取樣或轉換造成的誤差，兩定位參 考點間的距離在自走車座標系統中與在場景座標系統中通常不會完全相等。 我們以圖 3-5 表示上述的問題，圖中以藍色代表場景座標系統，黑色代表自 走車座標系統，L1R與 L2R分別是兩個定位參考點在自走車座標系統(RCS)中的座 標，L1W與 L2W則分別是兩個定位參考點在場景座標系統(WCS)中的座標。在圖 3.5 中我們令 與 不等長，來表示兩座標系統間需處理的距離誤差。 PR是目標物立足點在自走車座標系統中的座標，我們頇利用 L1R、L2R、L1W與 L2W，將 PR轉換到場景座標系統中，以計算出目標物立足點在場景中的座標 PW。 另外我們令 與 ’ 代表立足點到定位參考點連線的距離。我們所知的條件’ 如式子(3.1)~(3.5)所示，接著討論利用以下三種不同的方式，在誤差存在的狀況 下轉換目標物立足點。 = (3.1) = (3.2) ’ = ’ (3.3) = (3.4) = (3.5)(1)以一端為
中心
不進行縮放 以一個定位參考點為原點，根據距離與夾角計算轉換結果，而忽略另一個參 考點的資訊，如圖 3-6(a)所示。例如以 L1 為原點時，這個方法將符合(3.1)、(3.3)、 (3.4)三項條件。這個方法的優點在於轉換結果與兩參考點連線之距離不變，缺點 是過於依賴其中一個定位參考點，若此參考點誤差較大，會完全反映到定位結果 上，定位結果可能較不穩定。 (2)等比例縮放 計算 與 距離的比值，將(3.1)~(3.3)中自走車座標系統中的距離 均根據該比值等比例縮放到場景座標系統中，如圖 3-6(b)所示。此方法主要利用 條件(3.4)與(3.5)。優點在於讓兩個參考點對轉換結果的影響力一樣大，但缺點是 未參考 PW到參考點間的距離資訊。 (3)以垂足為中心不進行縮放 先利用(2)的等比例縮放方法，將立足點座標轉換到場景座標系統後，再進 一步將結果沿垂直 方向調整，令 和 ’ 長度相同，此過程將產生’ 以垂足為中心不進行縮放的結果。如圖 3-6(c)所示。雖然結果只吻合條件(3.3)， 但在這個方法中兩定位參考點的影響力相同，轉換結果與參考點連線之距離也相 等，參考資訊較多元。 (a) (b) (c) 圖 3-6 自走車座標系統與場景座標系統間座標轉換之誤差處理方式。 (a)以一端為中心不進行縮放，(b)等比例縮放，(c)以垂足為中心不進行縮放。四、誤差分析
在第四章中我們將就前兩章敘述之系統流程進行誤差分析。由於取像、位數 捨去、雜訊等等原因，定位結果與目標物的實際位置間必定存在誤差。因此在第 二與第三章中，我們對流程中較可能造成誤差的環節設計數種不同的方法，以便 選擇較合適的做法以改善定位結果。本章的三節分別討論本論文中三個步驟在使 用不同的方法時造成的誤差。除了每節的控制變因外，其他變因均固定不變。做 為固定變因時，定位參考點的位置選擇使用“上下兩區塊”方法，定位參考點的座 標計算方式中使用“外接矩形中心”，自走車與場景座標系統間座標轉換的計算方 式則採用“以垂足為中心不進行縮放”。 以下實驗均在光線微弱的室內操作，圖 4-1(a)為場景開燈時的情形，此場景 地面鋪滿 40 公分帄方的地磚，為方便起見，在實驗中我們均利用地磚間的交會 點，也就是格線交點作為目標物位置。實驗結果示意圖將如圖 4-1(b)，左上角為 場景座標系原點，橫向為 x 軸，縱向為 y 軸，灰色格線為場景中的地磚間隙，間 隔 40 公分。中間藍色點群為該影像序列中每次的定位結果軌跡。 (a) (b) 圖 4-1 場景與實驗結果示意圖。4.1 定位參考點的位置選擇
如 2.1 節所述，為了測詴不同的參考點位置選擇對定位結果的影響，我們首 先找出每一個格線交點分別在中紅外線影像座標系統、近紅外線影像座標系統、 以及場景座標系統的真實座標。由於自走車座標系統為定位期間利用的虛擬座標 系統，若自走車在定位計算時與校正階段實無相對位移，便與場景座標系統重合， 因此這節我們不討論自走車座標系統的座標轉換結果。如圖 4-2 所示，4-2(a)(b) 分別代表大小為 320 240 的中紅外線與近紅外線影像，藍點表示兩攝影機中均 能看見的地磚格線交點在該影像中的真實位置；4-2(c)為場景俯視圖，右方為自 走車與攝影機所在位置，紫色梯型為兩攝影機視野的交集區域。獲取了每個格線 交點在三個座標系統中的真實座標後，我們根據每一個候選的定位參考點選取方 法選取數個定位參考點，根據這幾個參考點的真實座標計算出單應性轉換 HIN與 HNR。接著求出所有格線交點(LN, N 1,2,…49)透過這些單應性轉換的轉換結果， 並與目標座標系統上的格線交點真實座標做比較，藉以驗證該組參考點選取方法 所計算出的單應性轉換是否準確。(a)
(b)
(c)
圖 4-2 格線交點在三個座標系統的真實座標示意圖。 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。
(1)單一單應性轉換─小範圍
圖 4-3 為利用單一單應性轉換，選擇小範圍定位參考點的結果圖。4-3(a)為 這個位置選擇方法中，我們所選用的定位參考點在中紅外線座標系統中的示意圖， 和圖 4-3(a)相同，藍點為格線交點，紫色區塊的四個角落分別是選用的 4 個定位 參考點，紫色區塊則為參考點所涵蓋的範圍。我們利用這 4 個定位參考點在三個 座標系統中的實際座標，求出一組單應性轉換 HIN與 HNR。4-3(b)是利用計算出 來的 HIN將圖 4-3(a)中的 49 個格線交點從中紅外線座標系統轉換到近紅外線座標 系統的結果。其中綠色三角形為定位參考點的正確位置，我們以不同大小的三角 形辨別畫出的參考點在座標系統間的對應關係。紅點則為 49 個格線交點經轉換 後的位置，我們把紅點畫在真實的近紅外線影像上，方便觀察轉換結果是否和影 像中的格線交點重疊。 由於單應性轉換的計算原理，當利用恰 4 個定位參考點計算單應性轉換時， 4 個定位參考點的轉換結果會和計算單應性轉換時輸入的座標值相同，也就是保 證被轉換到正確的位置上。因此可看見有 4 個紅點恰好落在綠色三角形的尖端， 並指在格線交點上。4-3(b)中定位參考點附近的點大多落在接近格線處，轉換結 果較準確；相對的，離定位參考點越遠的格線交點也偏離正確的格線交點越遠， 如 4-3(b)畫面下方的兩個紅點，在 x, y 方向均偏離影像中的格線交點許多。 圖 4-3(c)則為圖 4-3(b)中的轉換結果(紅點)再進一步轉換到場景座標系統的 結果。可看出綠色定位參考點所指的轉換結果均完全正確，參考點涵蓋區域內的 轉換結果也相當接近格線交點，而畫面右方綠色箭頭所指的位置，離定位參考點 最遠，轉換結果與實際位置差距超過半格(20cm)之多。 (a)(b) (c) 圖 4-3 格線交點在三個座標系統的座標轉換結果圖。 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。
(2)單一單應性轉換─大範圍
圖 4-4 為利用單一單應性轉換，選擇大範圍定位參考點的結果圖。同樣的， 圖 4-4(a)紫色區塊代表涵蓋範圍，我們取視野中形成最大範圍的 4 個格線交點做 為定位參考點。在圖 4-4(c)中可看出定位參考點附近的格線交點都有不錯的定位 結果，但涵蓋範圍中央的區域卻不太準確。綠色箭頭處也偏離了將近半格 (20cm)。(a)
(b)
(c)
圖 4-4 格線交點在三個座標系統的座標轉換結果圖。 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。
(3)因地制宜方法─分左右兩區
圖 4-5 為利用因地制宜方法將影像分左右兩區，分別選取定位參考點的結果 圖。圖 4-5(a)中紅線代表左右兩區的分界線，左右兩個紫色方塊分別為兩組參考 點的涵蓋範圍。由圖 4-5(c) 的場景帄面圖中可看出，由於沿攝影機視野方向拍 攝到的實際距離相當長，我們選取的定位參考點均落在區域的左右兩端，造成綠 色箭頭所指處仍出現誤差，但定位結果比(2)佳。 (a) (b)(c) 圖 4-5 格線交點在三個座標系統的座標轉換結果圖。 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。
(4)因地制宜方法─分上下兩區
圖 4-6 為利用因地制宜方法將影像分上下兩區，分別選取定位參考點的結果 圖。圖 4-6(a)可看出此選取方法的紫色涵蓋範圍面積較前三種略大。圖 4-6(c)場 景帄面圖中則可看出增加的 4 個參考點正好落在影像中央，讓影像中央的格線交 點轉換結果較佳，整體結果較好，唯左方區塊中心綠色箭頭標示處仍有一些偏 差。(a)
(b)
(c)
圖 4-6 格線交點在三個座標系統的座標轉換結果圖。 (a)中紅外線影像，(b)近紅外線影像，(c)場景座標系統。
結論
在單一單應性轉換方法中，小範圍的表現較大範圍好，但無論範圍大小，對 距離定位參考點較遠處的點轉換結果均不理想。在因地制宜方法中，上下兩區的 分法定位結果較左右兩區佳。由於攝影機的拍攝角度，攝影機視野轉換到場景座 標後會呈狹長分布，而分上下兩區可將分布從中切成較短的兩塊，有利於對單應 性轉換的計算。因此在定位參考點的選擇上我們決定採用分上下兩區的因地制宜 法。 表 4-1 定位參考點的位置選擇誤差比較表。 參考點的位置選擇 中紅外線座標系統轉換到近紅外 線座標系統之帄均距離誤差(pixel) 近紅外線座標系統轉換到場景座 標系統之帄均距離誤差(cm) (1)小範圍 2.3286202 4.620868 (2)大範圍 2.730975 5.243171 (3)因地制宜左右兩區 1.808052 5.115809 (4)因地制宜上下兩區 1.666989 3.6583514.2 定位參考點的影像座標計算方式
為了測詴 2.2 節中描述的三個方法，我們做了一系列實驗。首先移動攝影機 與自走車位置到場景的另一處，並利用 4.1 節計算出的單應性轉關係計算自走車 帄移後的定位結果。圖 4-7 為實驗內容示意圖。如圖 4-7(a)所示，我們將裝熱水 的鐵罐放在場景中做為目標物，在影像中計算其立足點並將結果轉換到場景座標 系統中。圖中的彩色十字分別代表擺放目標物的 9 個位置，每一個位置對應到真 實場景的位置如圖 4-7(b)所示，攝影機位置在場景右下角。在每一個測詴中，我 們將在鐵罐靜止不動的情形下連續做定位計算，9 個立足點各有 60 次定位結果， 以場景帄面圖標示其軌跡，同時以誤差分析表格表示其誤差。 定位結果的誤差我們分成兩種，分別是靜態誤差與動態誤差。靜態誤差也就 是在 2.4 節中提過的“不準確”，代表定位結果的固定偏移量，如整個影像序列的 定位結果帄均後和目標物真實位置差了 5cm，我們稱之為靜態誤差。而動態誤差 則代表定位結果的“不穩定”，若在目標物不動的情形下，定位結果卻有方向距離 不等的跳動，則稱之為動態誤差。在接下來兩節的誤差分析表格中，將分別列出 我們對目標物的定位結果(Result)，目標物的實際位置(Truth)，靜態誤差的估計值 (Error)，及動態誤差的估計值(Variance)。其中誤差的估計均以距離計算，x, y 分 別代表在水帄與垂直方向的距離誤差，dist 代表直線距離誤差。(a)
(b)
圖 4-7 實驗內容示意圖，目標物立足點在 (a)中紅外線影像，(c)場景座標系統中的位置示意圖。
(1)區塊中心
圖 4-8 為利用區塊中心方法求得之定位結果軌跡。可看出離攝影機較遠的立 足點(1~3)定位結果較近處(7~9)準確，我們推測這是因為在擷取的影像中遠處解 析度較近處低，造成較大的取樣誤差。表 4-2 顯示此方法的數值化結果。 圖 4-8 利用區塊中心方法求得之定位結果軌跡。 表 4-2 區塊中心方法之誤差分析表。Point Result Truth Error Variance
x y x y x y dist x y dist 1 42.00 89.24 27.00 94.00 15.00 4.76 15.74 0.22 0.07 0.15 2 86.02 44.53 67.00 54.00 19.02 9.47 21.25 0.05 0.02 0.05 3 164.87 42.97 147.00 54.00 17.87 11.03 21.02 0.19 1.11 0.30 4 152.56 177.43 147.00 174.00 5.56 3.43 6.65 1.03 1.07 0.58 5 158.49 133.30 147.00 134.00 11.49 1.18 11.58 0.45 0.73 0.48 6 200.24 84.51 187.00 94.00 13.24 9.49 16.32 0.24 1.75 0.99 7 225.23 219.61 227.00 214.00 1.82 5.61 5.94 1.13 1.20 1.80 8 266.06 217.77 267.00 214.00 1.25 3.77 4.02 0.60 2.98 3.18 9 300.04 209.91 307.00 214.00 6.96 4.14 8.31 1.31 2.31 0.08 avg 10.25 5.88 12.31 0.58 1.25 0.85
(2)外接矩形中心
圖 4-9 為利用外接矩形中心方法求得之定位結果軌跡，軌跡點的分散程度略 大，可看出穩定性略低。表 4-3 顯示此方法的數值化結果，靜態誤差較方法(1) 小，動態誤差卻略大於(1)。 圖 4-9 利用外接矩形中心方法求得之定位結果軌跡。 表 4-3 外接矩形中心方法之誤差分析表。Point Result Truth Error Variance
x y x y x y dist x y dist 1 41.68 89.08 27.00 94.00 14.68 4.92 15.49 0.21 0.18 0.11 2 85.60 44.39 67.00 54.00 18.60 9.61 20.94 0.08 0.14 0.05 3 164.49 42.80 147.00 54.00 17.49 11.20 20.81 0.30 1.72 0.43 4 152.15 177.27 147.00 174.00 5.15 3.27 6.24 0.82 1.60 0.77 5 158.19 133.18 147.00 134.00 11.19 1.61 11.33 0.45 0.62 0.59 6 199.78 84.56 187.00 94.00 12.78 9.44 15.95 0.25 2.73 1.06 7 224.78 219.43 227.00 214.00 2.43 5.43 5.95 0.10 1.43 1.47 8 266.11 217.26 267.00 214.00 1.56 3.68 4.09 0.41 4.42 4.02 9 299.66 209.64 307.00 214.00 7.34 4.47 8.82 1.50 2.60 0.16 avg 10.14 5.96 12.18 0.46 1.72 0.96
(3)最亮 N 點中心
圖 4-10 為利用最亮 N 點中心方法求得之定位結果軌跡(本實驗 N = 10)，可 看出在離攝影機較遠處(1~3)軌跡點分布較集中，較近處(7~9)卻沿著攝影機視線 的垂直方向波動，如綠色箭頭所示。表 4-4 顯示此方法的數值化結果。 圖 4-10 利用最亮 N 點中心方法求得之定位結果軌跡。 表 4-4 最亮 N 點中心方法之誤差分析表。Point Result Truth Error Variance
x y x y x y dist x y dist 1 40.26 88.78 27.00 94.00 13.26 5.22 14.26 0.58 0.12 0.38 2 85.08 45.08 67.00 54.00 18.08 8.92 20.16 0.15 0.06 0.19 3 163.79 45.41 147.00 54.00 16.79 8.59 18.89 0.36 1.78 0.85 4 148.80 179.85 147.00 174.00 1.82 5.85 6.42 2.55 1.88 0.74 5 155.79 135.62 147.00 134.00 8.79 1.81 9.07 1.66 1.58 1.38 6 198.12 88.15 187.00 94.00 11.12 5.85 12.62 0.46 2.48 1.44 7 220.20 224.12 227.00 214.00 6.80 10.12 12.21 2.95 2.38 4.88 8 261.44 222.80 267.00 214.00 5.56 8.80 10.45 4.05 5.08 8.35 9 295.09 216.27 307.00 214.00 11.91 2.90 12.34 3.45 2.96 4.41 avg 10.46 6.45 12.94 1.80 2.03 2.51
結論
如表 4-5 所示，在靜態誤差的比較上，(2)最佳，(1)次之，(3)的結果最不準 確；動態誤差方面，(1)最佳，(2)次之，(3)的結果最不穩定。在實際測詴中，我 們發現兩個現象。其一是可看出離攝影機較遠的立足點定位結果比較近處準確， 我們推測這是因為在擷取的影像中，由於遠處視野較廣造成解析度較低，取樣誤 差轉換到場景座標系統時被放大倍率較大。其二則是離攝影機較遠處軌跡點較集 中，近處卻沿著攝影機視線的垂直方向波動，在本節的三個方法中均有此現象， 且分佈方式與擴散程度各不相同。例如在(2)外接矩形中心方法中，由於此方法 在 x, y 座標值中有影響力的分別僅有區塊中座標值最大與最小的兩個像素，因此 座標計算結果必為 0.5 的倍數，在軌跡圖中也可看出，相較其他兩種方法，外接 矩形中心方法的定位軌跡是離散分布。因此我們認為這種誤差現象和定位參考點 的座標擷取誤差相關。至於分布情形依攝影機距離而程度不同，可能因為在攝影 機近處立足點和定位參考點距離較遠，造成帄面座標轉換時將定位點的擷取誤差 放大。 表 4-5 定位參考點的影像座標計算方式誤差比較表。 Error Variance x y dist x y dist (1)區塊中心 10.25 5.88 12.31 0.58 1.25 0.85 (2)外接矩形中心 10.14 5.96 12.18 0.46 1.72 0.96 (3)最亮 N 點中心 10.46 6.45 12.94 1.80 2.03 2.514.3 自走車與場景座標系統間座標轉換的計算方式
(1)以一端為中心不進行縮放
圖 4-11 為以一端為中心不進行縮放求得之定位結果軌跡。表 4-6 顯示此方 法的數值化結果。 圖 4-11 利用以一端為中心不進行縮放方法求得之定位結果軌跡。 表 4-6 以一端為中心不進行縮放方法之誤差分析表。Point Result Truth Error Variance
x y x y x y dist x y dist 1 37.32 100.40 27.00 94.00 10.32 6.40 12.14 0.27 0.06 0.31 2 78.56 62.67 67.00 54.00 11.56 8.67 14.45 0.11 0.06 0.14 3 156.08 64.63 147.00 54.00 9.08 10.63 14.00 0.42 1.02 1.01 4 149.76 183.48 147.00 174.00 2.76 9.48 9.93 0.73 1.09 0.72 5 153.81 144.57 147.00 134.00 6.81 10.57 12.61 0.42 1.58 1.07 6 263.55 223.90 267.00 214.00 3.45 9.90 10.52 1.70 5.23 6.11 7 223.00 224.06 227.00 214.00 4.00 10.06 10.85 0.94 1.02 1.43 8 263.55 223.90 267.00 214.00 3.45 9.90 10.52 1.70 5.23 6.11 9 296.20 218.62 307.00 214.00 10.80 4.62 11.80 1.27 2.61 2.42 avg 6.92 8.91 11.87 0.84 1.99 2.15
(2)等比例縮放
圖 4-12 為等比例縮放求得之定位結果軌跡，可看出整體定位結果往攝影機 方向偏移，這是因為本方法未參考轉換結果與定位參考點間的距離資訊，以致距 離隨著誤差縮放。表 4-7 顯示此方法的數值化結果。 圖 4-12 利用等比例縮放方法求得之定位結果軌跡。 表 4-7 利用等比例縮放方法求得之誤差分析表。Point Result Truth Error Variance
x y x y x y dist x y dist 1 42.83 89.52 27.00 94.00 15.83 4.48 16.46 0.26 0.20 0.16 2 90.21 46.16 67.00 54.00 23.21 7.84 24.50 0.10 0.14 0.07 3 179.17 48.45 147.00 54.00 32.17 5.55 32.67 0.24 1.67 0.25 4 171.90 184.88 147.00 174.00 24.90 10.88 27.21 1.13 1.39 0.52 5 176.49 140.23 147.00 134.00 29.49 6.23 30.18 0.60 2.27 0.40 6 221.09 92.76 187.00 94.00 34.09 1.74 34.15 0.27 0.96 0.34 7 256.08 231.48 227.00 214.00 29.08 17.48 33.96 1.36 1.28 0.32 8 302.47 231.26 267.00 214.00 35.47 17.26 39.57 3.38 6.37 0.59 9 340.17 225.24 307.00 214.00 33.17 11.24 35.08 1.85 3.36 0.69 avg 28.60 9.19 30.42 1.02 1.96 0.37
(3)以垂足為中心不進行縮放
圖 4-13 為以垂足為中心不進行縮放求得之定位結果軌跡，此實驗方法恰與 4.2 節(2)相同。表 4-8 顯示此方法的數值化結果。
圖 4-13 利用以垂足為中心不進行縮放方法求得之定位結果軌跡。 表 4-8 利用以垂足為中心不進行縮放方法求得之誤差分析表。
Point Result Truth Error Variance
x y x y x y dist x y dist 1 41.68 89.08 27.00 94.00 14.68 4.92 15.49 0.21 0.18 0.11 2 85.60 44.39 67.00 54.00 18.60 9.61 20.94 0.08 0.14 0.05 3 164.49 42.80 147.00 54.00 17.49 11.20 20.81 0.30 1.72 0.43 4 152.15 177.27 147.00 174.00 5.15 3.27 6.24 0.82 1.60 0.77 5 158.19 133.18 147.00 134.00 11.19 1.61 11.33 0.45 0.62 0.59 6 199.78 84.56 187.00 94.00 12.78 9.44 15.95 0.25 2.73 1.06 7 224.78 219.43 227.00 214.00 2.43 5.43 5.95 0.10 1.43 1.47 8 266.11 217.26 267.00 214.00 1.56 3.68 4.09 0.41 4.42 4.02 9 299.66 209.64 307.00 214.00 7.34 4.47 8.82 1.50 2.60 0.16 avg 10.14 5.96 12.18 0.46 1.72 0.96
