強健式視覺追蹤應用於擴增實境之研究 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文. 治政 Master’s Thesis大立 ‧. ‧ 國. 學. io. sit. y. Nat. 強健式視覺追蹤應用於擴增實境之研究. n. er. Robust Visual Tracking for Augmented Reality al v i n Ch engchi U. 研究生:王瑞鴻指導教授:何瑁鎧. 中華民國一百年七月 July 2011.

(2) 強健式視覺追蹤應用於擴增實境之研究 Robust Visual Tracking for Augmented Reality. 研究生：王瑞鴻. Student：Ruei-Hong Wang. 指導教授：何瑁鎧. Advisor：Maw-Kae Hor. 立. 國立政治大學治政資訊科學系碩士論文. 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. A Thesis submitted to Department of Computer Science National Chengchi University in partialafulfillment of the Requirements iv l C n forhthe e ndegree g c h iofU Master in Computer Science. 中華民國一百年七月 July 2011.

(3) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(4) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(5) 摘要視覺追蹤(visual tracking)一直是傳統電腦視覺研究中相當重要的議題，許多電腦視覺的應用都需要結合視覺追蹤的幫助才能實現。近年來擴增實境(augmented reality)能快速成功的發展，均有賴於視覺追蹤技術上之精進。擴增實境採用視覺追蹤的技術，可將虛擬的物件呈現在被追蹤的物體(真實場景)上，進而達成所需之應用。. 治政大縮放、光照改變等，影響追蹤結果之精確度。本研究中，我們設計了一套全新的立. 由於在視覺追蹤上，被追蹤之物體易受外在環境因素影響，例如位移、旋轉、. 圖形標記方法作為視覺追蹤之參考點，能降低位移、旋轉與光照改變所造成追蹤. ‧ 國. 學. 結果的誤差，也能在複雜的背景中定位出標記圖形的正確位置，提高視覺追蹤的. ‧. 精確度。同時我們使用立體視覺追蹤物體，將過去只使用單一攝影機於二維影像. y. Nat. 資訊的追蹤問題，提升至使用三維空間的幾何資訊來做追蹤。然後透過剛體(rigid). er. io. sit. 特性找出旋轉量、位移量相同的物件，並且結合一致性隨機取樣(random sample consensus)之技巧以估測最佳的剛體物件運動模型，達到強健性追蹤的目的。. n. al. Ch. engchi. i n U. v. 另外，我們可由使用者提供之影片資訊中擷取特定資料，透過建模技術將所產生之虛擬物件呈現於使用者介面(或被追蹤之物體)上，並藉由這些虛擬物件，提供真實世界外之資訊，達成導覽指引(或擴增實境)的效果。. 實驗結果顯示，我們的方法具有辨識時間快、抗光照變化強、定位準確度高的特性，適合於擴增實境應用，同時我們設計的標記圖形尺寸小，方便適用於導覽指引等應用。. 關鍵字：擴增實境、視覺追蹤、立體視覺、剛體運動 I.

(6) Abstract Visual tracking is one of the most important research topics in traditional computer vision.. Many computer vision applications can not be realized without the. integration of visual tracking techniques.. The fast growing of augmented reality in. recent years relied on the improvement of visual tracking technologies.. External environment such as object displacement, rotation, and scaling as well as illumination conditions will always influence the accuracy of visual tracking.. 政治大. In this. thesis, we designed a set of markers that can reduce the errors induced by the. 立. illumination condition changes as well as that by the object displacement, rotation,. ‧ 國. increase the tracking accuracy.. 學. and scaling. It can also correctly position the markers in complicated background to Instead of using single camera tracking in 2D spaces, We also used the. ‧. we used stereo vision techniques to track the objects in 3D spaces.. properties of rigid objects and search for the objects with the same amount of rotation. y. Nat. Together with the techniques of random sample consensus, we. io. sit. and displacement.. er. can estimate the best rigid object motion model and achieve tracking robustness.. al. n. v i n C h video, we can capture Moreover, from the user supplied e n g c h i U particular information and then generate the virtual objects that can be displaced on the user’s device (or on the tracked objects).. Using these techniques we can either achieve navigation or. guidance in real world or achieve augmented reality as we expected.. The experimental results show that our mechanism has the characteristics of fast recognition, accurate positioning, and resisting to illumination changes that are suitable for augmented reality.. Also, the size of the markers we designed is very. small and good for augmented reality application. Keywords：Augmented reality, visual tracking, stereo vision, rigid body motion II.

(7) 致謝在政大這兩年的求學過程中，得到許許多多人的幫助，讓我的碩士生活添加多采多姿的色彩，在辛苦的碩士求學旅途中，我首先要感謝我的家人，因為有你們的奉獻，我才能在經濟無慮的狀況下完成學業。此外，家人給我的精神鼓舞也是我能順利成長的動力，在我最失意，情緒最低落的時候能作我的避風港，因為有你們的支持，我才能順利完成碩士學業。再來，要感謝我的指導教授何瑁鎧教授，在碩士求學階段指導我的學業，教導我作研究的精神，此外，並時時關心我們，帶領我們踏實走完碩士研究的艱辛之路。除了要感謝何瑁鎧教授之外，特別要感. 政治大. 謝唐政元教授在學業上鉅細靡遺、不厭其煩的指導，讓我的研究更加扎實，更加. 立. 完備，除了學業上的教導，唐老師也鼓勵我們多與學術單位、業界互動，拓展我. ‧ 國. 學. 們的視野。接著，要感謝凱軒學長、逸帆學長、淑怡學姊，在碩士研究過程中給予不少建議，並且從學長姊作研究的態度體認作研究的精神，其中特別要感謝凱. ‧. 軒學長，有學長的指導以及經驗分享下，讓我在研究上更加的順利，許多的問題. y. Nat. sit. 都能迎刃而解。再來要感謝恭良學長、明龍、紹暐、姿旻同學、柏諺學弟，在碩. al. n. 謝。. er. io. 士生活的期間一起成長，一同努力，最後，要感謝的人實在太多了，在此簡短致. Ch. engchi. i n U. v. 王瑞鴻. 僅誌於貓空. 2011 年 8 月 18 日夜. III.

(8) 目錄. 摘要................................................................................................................................ I Abstract ......................................................................................................................... II 致謝.............................................................................................................................. III 目錄..............................................................................................................................IV 圖目錄..........................................................................................................................VI 表目錄....................................................................................................................... VIII 第一章緒論.................................................................................................................. 1 1.1 動機和目的...................................................................................................... 1 1.2 問題描述.......................................................................................................... 2 第二章相關研究.......................................................................................................... 4 2.1 視覺追蹤.......................................................................................................... 4. 立. 政治大. ‧. ‧ 國. 學. 2.2 擴增實境.......................................................................................................... 6. Nat. y. sit. n. al. er. io. 2.2.1 標記系統....................................................................................................... 7 2.2.2 無標記系統................................................................................................. 13 第三章背景知識........................................................................................................ 17 3.1 尺度不變特徵轉換........................................................................................ 17 3.2 一致性隨機取樣方法.................................................................................... 18 3.3 零帄均正規化相關匹配法............................................................................ 21 3.4 相機校正........................................................................................................ 22 第四章標記圖形設計................................................................................................ 24 第五章視覺追蹤方法................................................................................................ 27 5.1 標記系統擴增實境........................................................................................ 28 5.1.1 偵測標記圖形............................................................................................. 29 5.1.2 尋找對應標記圖形..................................................................................... 33 5.1.3 計算三維座標............................................................................................. 34 5.1.4 追蹤目標物................................................................................................. 37. Ch. engchi. i n U. v. 5.1.5 產生虛擬物件............................................................................................. 39 第六章實驗結果........................................................................................................ 41 6.1 無標記系統影像追蹤實驗............................................................................ 41 6.2 使用多個標記圖形擴增實境實驗................................................................ 44 IV.

(9) 6.3 標記系統屬性測試........................................................................................ 49 6.3.1 標記圖形可視範圍實驗............................................................................. 49 6.3.2 標記圖形角度可視範圍實驗..................................................................... 53 6.3.3 標記圖形光照可視範圍實驗..................................................................... 54 6.3.4 標記圖形辨識時間測量實驗..................................................................... 55 6.3.5 標記圖形計算三維空間距離實驗............................................................. 56 6.4 標記圖形立體視覺與使用單一相機視覺比較............................................ 58 第七章結論................................................................................................................ 61 未來研究.............................................................................................................. 62 參考文獻...................................................................................................................... 64. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. V. i n U. v.

(10) 圖目錄. 圖 1 HELMUT GRABNER 使用支持者(SUPPORTERS)追蹤示意圖 .......................................................... 6 圖 2 ARTOOLKIT 標記圖形(此圖引用至[17]) ..................................................................................... 9 圖 3 ARTOOLKIT 運作流程(此圖引用至 HTTP://WWW.HITL.WASHINGTON.EDU) ............................... 10 圖 4 ARTAG 標記圖形 (此圖引用至[8])............................................................................................ 11 圖 5 ARTAG 編碼以及解碼流程(此圖引用至[8]) .............................................................................. 11. 政治大 B M 比對錯誤示意圖，每個方格對應的物體區塊不相同 ............................... 13 立手部擴增實境(此圖引用至[25]) ................................................................................................. 14. 圖 6 ARTAG 具有部分抗遮蔽的能力(此圖引用至[8]) ...................................................................... 12 圖7. ATCHING. 學. ‧ 國. 圖8. LOCK. 圖 9 手部擴增實境三維座標建立(此圖引用至[25]) ......................................................................... 14 圖 10 光流追蹤法示意圖 .................................................................................................................... 15. ‧. 圖 11 RANSAC 流程圖(此圖引用[11]演算法重新繪製).................................................................. 20 圖 12 拍攝包含校正板不同角度以及深度的影像 ............................................................................ 22. y. Nat. 圖 13 選取影像中四個校正板點做相機校正 .................................................................................... 23. sit. 圖 14 ARTOOLKIT 標記圖形，其外框皆為黑色，為了與環境作區別............................................ 24. al. er. io. 圖 15 ARTAG 標記圖形，黑色方框中間為編碼資訊 ....................................................................... 25. n. 圖 16 本研究所設計之四種標記圖形 ................................................................................................ 26. Ch. i n U. v. 圖 17 AR 標記系統流程圖 ................................................................................................................. 28. engchi. 圖 18 標記圖形偵測流程圖 ................................................................................................................ 29 圖 19 包含標記圖形影像 .................................................................................................................... 30 圖 20 影像二值化 ................................................................................................................................ 31 圖 21 使用 CONNECTED COMPONENT 過濾雜訊.................................................................................. 32 圖 22 內插矩形中所有點的資訊(紅點) ............................................................................................. 33 圖 23 系統中 16 個比對模板 .............................................................................................................. 33 圖 24 極線幾何 .................................................................................................................................... 34 圖 25 相機校正資料 ............................................................................................................................ 35 圖 26 相機校正資料分布圖 ................................................................................................................ 36 圖 27 三點取中心點求旋轉以及位移矩陣 ........................................................................................ 39 圖 28 影像追蹤實驗流程 .................................................................................................................... 42 圖 29 影像追蹤實驗影像(一) ............................................................................................................. 43 圖 30 影像追蹤實驗影像(二) ............................................................................................................. 43 VI.

(11) 圖 31 因角度旋轉、位移、縮放，造成 ZNCC 比對誤差 ................................................................ 44 圖 32 使用四個標記圖形作測試，T 字標記圖形為繪製虛擬物件的中心標記 ............................. 45 圖 33 標記圖形辨識且計算三維空間座標(I) .................................................................................... 46 圖 34 對應上圖，於 T 字標記圖形繪製虛擬物件，並且方向與標記圖形方向相同 .................... 46 圖 35 標記圖形辨識且計算三維空間座標(II) ................................................................................... 47 圖 36 對應上圖，於 T 字標記圖形繪製虛擬物件，並且方向與標記圖形方向相同 .................... 47 圖 37 當一個標記圖形遮蔽狀況 ........................................................................................................ 48 圖 38 當一個標記圖形遮蔽，可以藉由其他標記圖形推估位置，並且繪製虛擬物件 ................. 48 圖 39 可視範圍實驗環境 .................................................................................................................... 53. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. VII. i n U. v.

(12) 表目錄表 1 實驗中，標記圖形與代號對應表 ................................................................................................ 49 表 2 標記圖形可視範圍與解析度大小、標記圖形大小實驗表 ........................................................ 50 表 3 特徵大小與解析度 1600X1200 可視距離關係表........................................................................ 51 表 4 特徵大小與解析度 800X600 可視距離關係表............................................................................ 51 表 5 特徵大小與解析度 640X480 可視距離關係表............................................................................ 52. 政治大. 表 6 特徵大小與解析度 320X240 可視距離關係表............................................................................ 52 表 7 標記圖形角度與辨識成功率實驗表 ............................................................................................ 54. 立. 表 8 標記圖形光照辨識成功率表........................................................................................................ 55. ‧ 國. 學. 表 9 標記圖形辨識時間實驗表............................................................................................................ 56 表 10 標記圖形三維空間距離實驗表 .................................................................................................. 58 表 11 使用單一相機作深度值測量表 .................................................................................................. 59. ‧. 表 12 使用雙相機立體視覺深度值測量表 .......................................................................................... 60. n. er. io. sit. y. Nat. al. Ch. engchi. VIII. i n U. v.

(13) 第一章緒論 1.1 動機和目的隨著資訊世代的發展，電腦處理效能有爆炸性的成長，影像處理技術藉由電. 政治大. 腦效能的提升，從傳統處理單張影像，到現今即時處理影片的應用，運用層面也. 立. 越來越廣泛，其中，影像追蹤處理在現今是非常熱門的議題之一，透過數位影像. ‧ 國. 學. 處理、追蹤對應點、判斷對應點所呈現的訊息，便可偵測出影像中的動作所代表的意義，或者，透過追蹤對應點的位置來達到各種應用…等等。其中，影像追蹤. ‧. 更廣泛應用於擴增實境(argument reality , AR)領域、人臉辨識、動作偵測、監測. y. Nat. sit. 系統、影像監視上。近年來，由於智慧型手機的效能快速成長，使得智慧型手機. n. al. er. io. 可以處理許多影像處理的問題，若能發展出快速並且有效追蹤對應點的方法，即. i n U. v. 可使用智慧型手機當作互動媒介並結合擴增實境(AR)，透過智慧型手機的相機鏡. Ch. engchi. 頭來擷取影片，經過對應點的追蹤計算，在其智慧型手機描繪出虛擬物件，讓使用者能與虛擬物件作互動，進而發展出 AR 遊戲、AR 輔助系統。擴增實境(augmented reality , AR)的定義為將虛擬的場景呈現在真實的場景上，通常表現的方式是透過使用者的使用裝置之攝影機，擷取影片資訊，經過對應點的計算辨識後，並產生虛擬物件圖形於使用者介面上，藉由這些虛擬物件提供真實世界額外的資訊或者提供類似導覽指引的資訊給使用者。AR 的技術將帶給使用者相當便利且有趣的應用[1][5][19][20][23]，例如，汽車維修 AR 指引系統，透過使用者手持裝置(智慧型手機或者是 PDA)，將汽車之零件透過手持裝置進行辨認並產生虛擬物件於零件上，列出此零件之相關訊息以及注意事項於手持 1.

(14) 裝置上。類似的引導系統可以用在博物館導覽系統上，藉由手持裝置抓取展品之特徵點，並產生對應之訊息於展品周圍，更能方便使用者了解展品的資訊。另外，還有室內空間設計指引，將建物之空間透過 AR 產生出類似家具的虛擬物件，設計師可藉由 AR 使用裝置，將這些適當虛擬家具物件擺放於適當的位置，其 AR 應用層面相當廣泛。然而，AR 需要面對的問題之一在於如何使用一個強健式的演算法來估測對應點的位置，並將虛擬物件放置所需之對應點上，因為人是隨時會走動的，在移動的過程中，對應點經常會增加或消失，若沒有強健的演算法支持，將會造成對應點錯誤的問題；另一個需要強調的是即時運算(real-time)，AR. 治政大某些地區，隨著使用者的移動，AR 必頇即時運算處理，才能與使用者達到良好立. 經常在現實場景中透過虛擬物件與使用者作互動，並且使用者並不是只會固定於. 的互動。. ‧ 國. 學 ‧. 1.2 問題描述. sit. y. Nat. 本研究討論如何使用群體支持者(supporters)的概念，來改善視覺追蹤(Visual. al. er. io. Tracking)的精確度。在視覺追蹤研究中，我們所觀測追蹤的資訊仍然有許多錯誤. v. n. 資料(outlier)，造成這些錯誤資料的原因有物體旋轉、物體位移過大、光照改變. Ch. engchi. i n U. 量過大以及其他外在環境因素，這些將會造成視覺追蹤上的錯誤，我們希望能藉由多數正確的追蹤點來輔助，利用這些正確的群體推估追蹤的位置；此外，由於尺度不變特徵轉換(SIFT)以及光流法(optical flow)來追蹤影像的對應點之計算處理耗時，我們希望能提出一套演算法能更有效率來處理視覺追蹤並且達到擴增實境的效果，以下將對這兩點問題作說明。. 大多數的視覺追蹤的方法使用以像素為基礎(pixel-based)判斷物體之對應點，這將使得這些演算法無法充分的掌握全域空間(global)以及局部(local)空間的物件資訊，因為在影片中物體常會受到光照、物體遮蔽、拍攝角度的影響，而造成 2.

(15) 對應點追蹤錯誤的問題，雖然有學者提及一些解決的方法[15][21][24]，但其對光照程度的敏感度還是相當的高，在此若能將這些極小錯誤的點使用群體力量來導正，不是以單一對應點的關係做追蹤，而是以物件的觀點來追蹤，將可使得追蹤的準確度提升，我們希望能提出一個強健式(robust)的演算法來改善此問題。. 另外，在上述提及之應用都是以追蹤對應點為基礎，希望能在準確率高及即時追蹤對應點良好的演算法上建構相關應用。在此 Taehee Lee and Tobias Ho¨llerer[26]提出使用 SIFT 以及光流法(optical flow)的混合方式來追蹤影像的對. 治政大的應用上，例如擴增實境，因此，若能解決上述計算時間的問題或是使用精確度立. 應點，但其尋找對應點的計算處理上相當耗時間，無法直接使用於需要即時呈現. 與 SIFT 相當但速度較快的方法，將會具有很高的研究價值。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(16) 第二章相關研究視覺追蹤(Visual Tracking)在電腦視覺領域中為相當重要的研究議題，在許多的應用上都需要結合視覺追蹤的幫助，例如擴增實境、虛擬實境、動作追蹤…等，但. 政治大些錯誤資料的原因有物體旋轉、位移過大、光照改變量過大以及其他外在環境因立視覺追蹤的過程中，我們所觀測的資料中仍然有許多錯誤資料(outlier)，造成這. ‧ 國. 學. 素，這些將會造成視覺追蹤上的錯誤，因此，我們需要使用一個強健式(robust) 的方法抗拒這些錯誤資料，其中，追蹤的物體大部分為剛體，由於剛體具有一定. ‧. 的結構性，在追蹤的過程中其剛體的移動、旋轉…動作(motion)將具有很高的關. sit. y. Nat. 聯性，我們可以從該剛體的其他部分得到追蹤物體的相關連性，只要追蹤到這些. al. er. io. 相關連性強的部份，我們將可以從這些強關聯度的追蹤點推測出該追蹤物體的點，. v. n. 有學者提出來稱為支持者(supporters)，此外，將物體及時做追蹤呈現也是我們必. Ch. engchi. i n U. 頇要考慮的重要因素，接下來將介紹與本研究有關之研究。. 2.1 視覺追蹤視覺追蹤(Visual Tracking)已經廣為使用至物件辨識、自動監控、擴增實境、人機互動應用之中，而這項技術為這些應用的基礎。視覺追蹤的方法大致為將要追蹤的物體，辨識出具有代表性的特徵，根據這些特徵來達到追蹤物體的效果，這些特徵經常是物體的顏色、輪廓、紋理、特徵點…等，透過這些屬性，來過濾出與環境背景不同的區域，進而找出追蹤物。. 4.

(17) 視覺追蹤中常會因為物體被遮蔽，物體快速移動，物體突然消失或出現，物體或相機旋轉、位移，以及光照有所影響，造成追蹤的資料上有所錯誤，也就是錯誤資料(outlier)，若能使用追蹤物體的幾何特性，例如剛體物件中的特徵點具有三維物件的結構性，我們可以透過剛體物件結構性較高的點幫助我們輔助將錯誤的資料修正，或是能利用這些點輔助我們追蹤，我們希望能透過群體的力量，糾正錯誤資料或是用群體的力量來評估追蹤的位置。此外，其他視覺追蹤的相關研究有Helmut Grabner[14]於2010年所提出使用支持者(supporters)來做視覺追蹤(圖 1)，有許多暫時性，但與追蹤物件和部分影像具有潛在的強連結關係，這些動態. 治政大夫轉換(Generalized Hough Transformation , GHT)為基礎，來維持支持者集合，也立. 的物件就稱為支持者，並且使用這些支持者來預測追蹤物的位置。作者以泛化霍. 就是維持與追蹤物相關以及非相關支持者的方法。由於支持者會不斷的改變狀態，. ‧ 國. 學. 並需要隨時動態更新支持者的狀態，因此，作者使用學習模型(learning model)來. ‧. 預測物件的位置，公式為. y. Nat. (𝑥| ) ...................................................... ( 1 ). n. al. er. io. 位置x於I影像中的機率。. sit. ，其中𝑥為追蹤目標物件的位置，而為整個影像， (𝑥| )代表著追蹤目標物件的. Ch. engchi. i n U. v. 由於局部影像之特徵被認為是一個強而有力的工具在特定的物件追蹤上，基於此觀念，作者使用泛化霍夫轉換(Generalized Hough Transformation , GHT)作為物件的分類的偵測，在前處理階段，作者將區域影像存於資料庫中並使用區域影像比對特徵點。接著，使用隱含形狀模型(Implicit Shape Model , ISM)來學習分類規則，在經過大量標籤局部區域的資料庫訓練後，這個模型將可以用來偵測影像中的物件，並且擷取出特徵點。將每個從資料庫比對出來的區域影像做特徵點的萃取，每個特徵點進行投票(voting)，選出最有可能為欲追蹤目標物件之追蹤點，其估測的方法為下式. 5.

(18) (𝑥| ) ∝ 𝑆 = ∑𝐼𝜖𝐹 (𝑥|𝑓) (𝑓| ) ................................ ( 2 ) 其中S為估算為追蹤點的分數，F為特徵點的集合， (𝑓| )為在影像I找到特徵點f 的機率， (𝑥|𝑓)為特徵點f投給目標點x的機率，當估算追蹤點S分數S越高，越有可能是追蹤目標點，換句話說，整個投票空間(voting space)最高點(peak)即為追蹤目標點。在此，作者提到的方法和一般使用ISM方法不同，由於支持者(supporters)會不斷隨時間變化而有所改變，因此必頇不斷更新貢獻特徵集合以及支持者到目標點位置。. 立. 政治大. ‧. ‧ 國. 學. 圖 1 Helmut Grabner 使用支持者(supporters)追蹤示意圖. Nat. y. sit. n. al. er. io. 2.2 擴增實境. (此圖引用至[14]). Ch. engchi. i n U. v. 擴增實境(Augmented Reality, AR)為視覺追蹤的應用，也是虛擬實境的延伸，其概念是希望能夠創造出虛擬物件與現實世界作到人機互動的想法，希望使用者在真實的環境中能與虛構的物件作互動，也就是透過電腦或是手持裝置進行物件辨識以及定位，將虛擬物件套疊到真實環境影像的定位點上，讓使用者看到真實環境與虛擬物件套疊過後的影像，並且根據使用者型態的改變，讓對應的虛擬物件也能有所互動，因此，擴增實境是擴充了現實，作為現實世界與虛擬世界連通的橋樑，而非虛擬實境的概念是用虛擬世界完全取代了現實世界。Azuma(1997)[3] 指出擴增實境頇具備的三項特性:. 6.

(19) (1) 結合真實與虛擬: 將虛擬的物件與真實世界環境做結合互動。 (2) 即時性的互動: 執行擴增實境的時間必頇要能即時產生，方可與使用者做互動。 (3) 必頇在三維空間中運作: 由於使用者處於三維空間之中，擴增實境必頇讓使用者有三維空間的立體感。. 藉由電腦視覺追蹤特徵的技術，可以將擴增實境分為兩類，一類為使用標記系統另一類為使用無標記系統，兩者各有獨特之處，以下將為兩者一一作簡介。. 2.2.1 標記系統. 立. 政治大. 標記系統是目前技術相對於成熟的電腦視覺追蹤的方法，藉由標記圖形作為. ‧ 國. 學. 定位點，根據追蹤標記圖形的所在位置，將所要放置的虛擬物件置放於標記圖形. ‧. 之上，標記系統的好處在於找到的特徵點相對於無標記系統來的穩定、精確，因. y. Nat. 為標記圖形與環境特徵相較之下，具有許多容易辨識的特徵，可以透過這些強烈. er. io. sit. 的特徵來定位標記圖形，並且不需要處理許多複雜的特徵點來篩選出良好的定位點，進而減少計算的複雜度，根據這類特性，標記系統具有容易辨識，處理速度. al. n. v i n 快的優點，然而缺點在於必頇要使用額外的標記圖形作為定位的依據，無法直接 Ch engchi U 從環境特徵中擷取資訊，必頇要透過中間的媒介才能產生擴增實境的效果。. 擴增實境經常使用標記圖形(marker)做為定位的方法，藉由攝影機所擷取出來的影像來辨識出標記圖形，將虛擬物件繪製於影像中的標記圖形上，使用者可藉由標記圖形與影像中的虛擬物件做即時性的互動。使用標記圖形做擴增實境的方法常見的有 ARToolKit[17]或 ARTag[8]…等，其概念是於擷取影像判定與標記圖形最相近的顏色來過濾出標記圖形並且對過濾出的結果做二值化影像，接著在比對內部資訊，驗證此圖形是否為有效的標記圖形，比對成功後計算出角度以及距. 7.

(20) 離，將虛擬物件繪製於影像中定位圖形之上，判斷是否為有效標記圖形的方法大致上分為兩種，一種是使用相關性(correlation)的方法來判別，透過模板比對 (template match)，例如[10][17]等研究，計算出模板與待測影像之間的相關性，並設立一個關連係數的門檻值，必頇要大於門檻值才將之視為相關，然而採用此方法可能會造成判斷定位圖形的錯誤，若許多非標記圖形的偵測物只要滿足門檻值，就被視為可見，並且由於採用的相關性的方法，很有可能會造成標記圖形間互相混淆的狀況，也就是當一標記圖形只要相關性大於另一個標記圖形的門檻值，就很有可能被誤判為是其他的標記圖形，並且在使用相關性判別需要載入大量影. 治政大種是使用數位(digital)的方法來判別，例如[6][8][12][28]等研究，藉由將圖形資訊立. 像模板做模板比對。而相關性判別的優點在於辨識時間速度快，實作容易。另一. 做數位編碼(digital encoding)，不需要設定門檻值，圖形能夠自動化由程式生成，. ‧ 國. 學. 而且一種編碼決定一個特殊圖形，也不容易有圖形之間的判別有互相混淆的情況. ‧. 發生，更減少了誤判環境中非偵測圖形相似於標記圖形的機率，但缺點是其標記. io. n. al. er. 兩種方法的代表，ARToolKit 以及 ARTag 做一些簡述。. ARToolKit 簡介. sit. y. Nat. 圖形只能使用該方法特定的幾種圖形，無法自行設計特殊的樣式。以下將針對這. Ch. engchi. i n U. v. 本研究與 ARToolKit 的方法有部分相關，本節將針對 ARToolKit 做方法以及流程上的討論。. ARToolKit 為 H. Kato et.al(1999)所開發出的一套函式庫，提供給使用者方便建立一個擴增實境的應用程式，許多 AR 領域的研究都使用 ARToolKit 函示庫來開發，因其具有開放原始碼以及可攜性的優點，因此，ARToolKit 在研究擴增實境的領域上具有很大的影響力。 ARToolKit 要實現擴增實境的方法，使用到特定的標記圖形來做為定位目標物， 8.

(21) ARToolKit 使用的是黑色外框的方型卡片(圖 2)，由於方形的形狀較為簡單，辨識起來較容易，而黑色外框是為了增強在影像上辨識的準確性，內部資訊將放置於黑色外框之中，ARToolKit 標記圖形內部資訊是可以任使用者隨意設計，藉由相關係數比對方法，判別標記圖形的內部資訊。根據影像中矩形的變形程度將可以得到卡片俯視的角度，關於距離的部分，判斷影像中卡片的大小與現實卡片的大小將可以定義卡片於攝影機的距離遠近，計算出相機與卡片之間的相對距離以及角度，將虛擬物件繪製於影像中的標記圖形上，達到擴增實境的效果。. 政治大. 立. ‧ 國. 學. n. al. er. io. sit. y. Nat ARToolKit 運作原理為 (1) 擷取數位影像資訊. ‧. 圖 2 ARToolKit 標記圖形(此圖引用至[17]). Ch. engchi. i n U. v. (2) 擷取出來的影像根據設定的色彩門檻值，將影像中存在的標記圖形過濾出來，並且做二值化影像 (3) 接著使用聯通單元法(Connected Components)將雜訊過濾 (4) 偵測影像中相似於矩形的位置 (5) 萃取出矩形的角點以及邊框 (6) 對內部影像做模板比對，並且根據信心門檻值決定是否相符 (7) 計算距離攝影機的相對位置，並且做座標轉換 (8) 將虛擬物件繪製於影像中判定為標記圖形的位置上. 9.

(22) 下圖(圖 3)為 ARToolKit 之流程圖. 政治大. 圖 3 ARToolKit 運作流程(此圖引用至 http://www.hitl.washington.edu). 立. ARTag 簡介. ‧ 國. 學. ARTag 為 M. Fiala(2004)受到 ARToolKit 的啟發的想法，ARTag 於辨識的方法. ‧. 強調的是數位編碼方法，希望能解決 ARToolKit 辨識標記圖形採用相關係數造成. sit. y. Nat. 錯誤判斷的比率，特別是錯誤辨識率(false positive rate)以及內部辨識混淆錯誤率. io. er. (inter-marker confusion rate)，並且增加了錯誤偵測以及更正的功能，能在部分被遮蔽的狀況下還能做正確的辨識，ARTag(圖 4)採用 ARToolKit 的標記圖形概念，. al. n. v i n 使用簡單的矩形作為辨識的標記圖形，能快速定位四個角落， C h ，外框採用黑色邊框 engchi U 但 ARTag 不同於 ARToolKit 的偵測方式為使用以邊為導向的偵測模式，藉由找. 出影像上的邊線，將其邊線延長，交於四點中的矩形極有可能為欲辨識的標記圖形，以邊為導向的方法之優點在於儘管有部分遮蔽，也能找出可能為標記圖形的區域，另一個不同在於內部判別的方法，不需要建立模板來比對相似度，也就是說不用存放數量龐大的模板來比對其相似度，ARTag 採用的是數位編碼的做法 (圖 5)，將內部 6x6 大小的像素轉換成「0」、「1」的二元代碼，並且將 36 個 bits 的資訊分為 10bits 的編號(ID)，16bits 的循環多餘檢查碼(CRC-16)以及 16bit 的前向糾錯(FEC)，扣除幾個容易辨識錯誤的編碼，將有 2002 個獨特的標記圖形可以. 10.

(23) 使用。. 立. 政治大. 圖 4 ARTag 標記圖形 (此圖引用至[8]). ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 5 ARTag 編碼以及解碼流程(此圖引用至[8]). Ch. engchi. i n U. v. ARTag 採用循環多餘檢查碼來自我檢測是否有錯誤的資訊並且透過前向糾錯來矯正錯誤的資訊，這也是和 ARToolKit 最大的不同之處，具有容忍部分遮蔽的能力(圖 6)，但由於採用的是數位編碼的方式，使用者將不能自行設計標記圖形，需要遷就於編碼的方法採用與該方法相同的標記圖形。. 11.

(24) 圖 6 ARTag 具有部分抗遮蔽的能力(此圖引用至[8]). 總結來說，使用標記圖形來追蹤在目前的技術已經逐漸屈於成熟，大部分的作法為，藉由設計具有強烈特徵的標記圖形，來追蹤標記圖形上的特徵，用來辨識追蹤畫面中那一個區塊為標記圖形，例如 ARToolKit、ARTag 皆是以此概念為出. 治政大著手，特徵的顏色通常是最常被使用來區分的一個強烈特徵，藉由偵測出環境中立發點，通常在標記圖形追蹤的方法上，會先以特徵圖形中最容易區分的特徵開始. 與特徵相似的顏色，通常會定義一個範圍值來取類似此特徵的區塊，將這些具有. ‧ 國. 學. 與特徵相似的區塊選取出來後，進而進行內部特徵辨識，在內部特徵辨識中，有. ‧. 許許多多種辨識的方法，通常在這過程中會利用到特徵的形狀來加以辨識，例如. y. Nat. 去偵測上述得到可能的特徵區塊中是否含有矩形、直線、圓形…等與特徵相似的. er. io. sit. 形狀，作第二步的過濾，接著將篩選出來的區塊，作更進一步的比對方法，這裡通常是各種不同的標記圖形演算法著墨的重點，以 ARToolKit 來說則是使用到相. al. n. v i n 似度比較的方法，來取得相機拍攝畫面中可能為標記圖形的影像與作為樣板的標 Ch engchi U 記圖形的差異性，相似度比較的方法有 NCC、ZNCC…等方法，又或是如 ARTag. 採用替標記圖形編碼的方法，能從影像中取得編碼的標記圖形，利用解碼的方法來追蹤標記圖形。通常以標記圖形作追蹤的方法準確度較不使用標記圖形要來的高，因為在追蹤的過程中，使用的是受到變因較小且特徵與環境相比之下最明顯的辨識的標記圖形，比非標記圖形要來的容易辨識。. 12.

(25) 2.2.2 無標記系統無標記系統採用自然特徵追蹤(Nature Feature Tracking)，藉由擷取環境或物件上具有強特徵性的特徵點，例如物體的顏色、紋理、輪廓等，使用視覺追蹤匹配的方法來追蹤這些強特徵性的特徵點。無標記系統開發較為複雜以及困難，無標記系統往往需要許多複雜的計算用於萃取特徵點，如使用 Harris Corner、SIFT、 SURF[4]…等特徵點擷取的方法，並且於影像序列上找尋特徵點的對應，然而這些對應的方法，常常會因為外在環境的變化，使得特徵量有所增減而造成對應上的錯誤，又或者是一些對應方法本身的限制，例如使用區域匹配(Block Matching). 治政大 7)。另外，有些無往往不處於同樣的位置，而造成比對上的誤差，如圖所示(圖立. 的方法，由於擷取出的特徵因為角度的旋轉、位移、縮放，使得兩對映像素資訊. 標記系統於定位追蹤上，需要使用到一些模板來做特徵點的比對，需要建立一些. ‧ 國. 學. 而外的成本花費，也就是針對不同的運用，需要使用到不同的模板來做訓練。. ‧. 然而無標記系統需要更複雜的特徵擷取以及比對的步驟才能取得適合的定位點，. y. sit. io. n. al. er. 更加廣泛。. Nat. 但其直接擷取環境物體的特徵，這樣就不頇額外使用到標記圖形，而且應用層面. Ch. engchi. i n U. v. 圖 7 Block Matching 比對錯誤示意圖，每個方格對應的物體區塊不相同. 使用無標記系統來做擴增實境的研究也相當多樣，例如[13][22][25][26] ， 2009年Taehee Lee[26]所提出使用多執行序(Multithreaded)追蹤並且使用不頇標記圖形定位(marker)的方式來呈現，稱為無標記擴增實境(Markerless Augmented 13.

(26) Reality)，使用「手」取代標記圖形，這邊稱之手部擴增實境(Handy AR)，手部擴增實境(Handy AR)會使用到六度相機點，如圖(圖8)所示，接下來將手部以膚色分類與直方圖方式去偵測特徵點，取得指尖位置後並建立三維座標系統(圖9)。使用這種方法，就不用帶著任何的追蹤裝置或是標記圖形。. 立. 政治大. ‧. ‧ 國. 學 y. sit. io. n. al. er. Nat. 圖 8 手部擴增實境(此圖引用至[25]). Ch. engchi. i n U. v. 圖 9 手部擴增實境三維座標建立(此圖引用至[25]). 14.

(27) 由於尺度不變特徵轉換(SIFT)對旋轉、縮放改變具有不變性以及描述子 (descriptors)也有對光照的改變有不變性，該研究使用尺度不變特徵轉換做特徵點的選取，但由於尺度不變特徵轉換於偵測以及比對的時間無法在每個影格之間的時間內完成，因此，為了克服尺度不變特徵轉換在時間上的限制，必頇限制尺度不變特徵轉換的搜尋空間(search space )，另外，將尺度不變特徵轉換非同步的部分使用多執行序(Multithreaded)的方式來加速處理速度。在追蹤的部分，採用的是光流追蹤法(Optical-Flow-Based Tracking)，我們假設在影片 t 時間內的影像為 image(t)，在 t+dt 時間內的影像為 image(t+1)，其概念是假設空間中某一點，其. 政治大. 投影於某一帄面的投影亮度總和為一固定值(圖 10)。. 立. I’. ‧. ‧ 國. 學. I. Image’(t+1). n. al. er. io. sit. y. Nat. Image(t). t. Ch. engchi. iv n t  dt U. 圖 10 光流追蹤法示意圖. 該研究的特色為混合兩種方法尺度不變特徵轉換以及光流追蹤法 (Optical-Flow-Based Tracking)，由於使用多執行序，能加速其特徵點做偵測以及比較處理速度，並且不需要使用標記圖形，使用「手」即可做擴增實境的應用。. 使用非標記圖形的追蹤在目前是屬於較為新穎的一個技術，不需要在追蹤物上放置任何的標記圖形，藉由去辨識追蹤物上的特徵，來達到追蹤的效果。使用非. 15.

(28) 標記圖形作追蹤的方法最為直覺使用並且互動性較高，使用者不需要另外準備標記圖形來作追蹤，只需要追蹤物在攝影機畫面中，及可讓追蹤演算法作追蹤處理。最常使用來追蹤非標記圖形的物體方法為追蹤物體的強特徵點，這裡有許多種使用非標記圖形追蹤使用的方法，例如 SIFT、SURF…等，藉由找出物體的強特徵區點，在處理這些特徵點雨物體之間的關連性，例如特徵點與剛體物件的關連性，特徵點與物體之間顏色的差異性…等，來分割物體，達到追蹤的效果。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 16. i n U. v.

(29) 第三章背景知識本章將介紹研究中所使用到的各種背景知識，例如尺度不便特徵轉換(SIFT)、一致性隨機取樣方法(RANSAC)、零帄均正規畫相關匹配法(ZNCC)、相機校正。. 立. 3.1 尺度不變特徵轉換. 政治大. ‧ 國. 學. 尺度不變特徵轉換 (Scale Invariant Feature Transform, SIFT)[18]此演算法在尋找對應點上有相當不錯的成效，被廣泛應用於電腦視覺以及物件偵測的領域上，. ‧. SIFT改善了Harris角點偵測法(Harris corner detector)的缺點，以下將先對Harris角. y. Nat. sit. 點偵測法作一簡述，Harris提出Harris角點偵測法(Harris corner detector)[16]來偵測. n. al. er. io. 較明顯的特徵點，其主要概念由Moravec角點偵測法(Moravec detector)衍伸出來，. i n U. v. Harris針對Moravec detector改進其缺點， Harris改善Moravec detector只測試四個. Ch. engchi. 方向的角點，Harris測試角點超過四個方向，然而超過四個方向的角點測試會使得計算量增加，在此，使用泰勒展開式將計算簡化並考慮所有極小的移動量。由於Moravec再處理的過程中對雜訊很敏感，因此，Harris提出使用Gaussian 函數 (Gaussian function)產生帄滑化的區塊，使得雜訊對影像的影響降低。Moravec對邊的反應太過強烈，Harris使用新的測量方法，提出角點/邊緣響應方程式 (Corner/Edge response function），其只針對旋轉不變量做考量，沒有針對縮放不變量(scale-invariant)做處理。在尺度(scale)上並非不變性的問題，為了要去達到尺度不變性(scale-invariant)，SIFT使用的是Difference of Gaussian (DoG) filter，來建立整體的尺度空間(scale space)。SIFT的處理流程為，偵測尺度空間極值 17.

(30) (detection of scale-space extrema )、特徵點定位(accurate keypoint localization)、特徵點方向性(orientation assignment )以及特徵點描述(local image descriptor )四個步驟所組成。SIFT優點為對於影像的旋轉、尺度保持不變性。然而SIFT的缺點在於計算複雜使得處理速度上較為緩慢。. 3.2 一致性隨機取樣方法一致性隨機取樣方法(RANdom SAmple Consensus, RANSAC)[11]其概念是使用參數迭代的數學模型，透過機率統計的方式來估測一組觀測數值，其觀測數值. 治政大 RANSAC 在具有雜訊集資料分布不均勻的樣本，具有相當程度的強健性(robust)，立. 可能具有離群值(outlier)，目的在於希望選取的點 outlier 越少越好。. RANSAC 選取樣本的策略為選取使最多點符合利益者為優先挑選之點，透過此. ‧ 國. 學. 方式，可將資料中誤差的點去除。. ‧. y. Nat. 在每次隨機取樣後，將資料的所有點不在可能的正確資料(inlier)之中的點挑出，. er. io. sit. 若這些點符合所要估測的模型，並且誤差小於使用者所給定的一個範圍值 (threshold)，則將該資料點加入一致性集合(consensus set)中，當一致性集合大於. al. n. v i n 一定的人工設定的上限值，去判定在此選擇點之中的誤差值是否小於目前最佳的 Ch engchi U. 誤差值，若有的話將現在測量的模型取代目前最佳模型，並且使最佳誤差的值用. 現在誤差代替，在不斷地迭代過程中，藉此找出最適當的選取模組，即為所求，下圖為一致性隨機取樣方法演算法流程圖(圖 11)。. 其中，p 為從一迭代過程中，資料集合中隨機選取出均為 inlier 點的機率，並取 w 為每次從資料集合中選取一個 inlier 點的機率， w = inlier點數/資料集合點數 ................................... ( 3 ) 假設要估算模型需要 n 個點，𝑤 𝑛 為隨機從資料集合中選取 n 個點均為 inlier 點的. 18.

(31) 機率，1 − 𝑤 𝑛 為所有選取的 n 個點至少有一點為 outlier 的機率，又(1 − 𝑤 𝑛 )𝑘 為在 k 次選取中都不會選擇到 n 個點都為 inlier 的機率，因此可以推得 1 − p = (1 − 𝑤 𝑛 )𝑘 ............................................... ( 4 ) ，可以將式子表示成 k = log(1 − 𝑝)⁄log(1 − 𝑤 𝑛 ) ...................................... ( 5 ) ，即可得到理論上滿足一致性隨機取樣方法的迭代次數。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 19. i n U. v.

(32) D:測試點集合 M:符合數據之模型 N:符合模型之最低資料數量 K:RANSAC:演算法所需執行迭代次數 T:門檻值. 迭代次數<K 是從集合D中隨機選取資料當做可能的正確資料(inlier). 政治大. 將上述可能的正確資料建置模型. 立. 否. 選擇其餘非正確資料的資料點. ‧ 國. 學該點符合M並且誤差<T值. Nat. 將該點加入一致性集合(Consensus set). 否. n. al. Ch. i n U. 一致性集合之點數>N. engchi. er. io. sit. 否. y. ‧. 是. v. 估測適合該一致性集合的參數模型. 該模型是否為目前最佳模型是將最佳誤差更新成現今誤差並將最佳選取模組更新成目前模型. 結束. 圖 11 RANSAC 流程圖(此圖引用[11]演算法重新繪製) 20.

(33) 3.3 零帄均正規化相關匹配法零帄均正規化相關匹配法(Zero-mean Normalized Cross-Correlation, ZNCC)主要常用於影像上的匹配[7]，例如在影像追蹤的過程中，目標物或相機往往不會靜止不動，因此，前後兩張影像之特徵點將會有幾個像素的偏移，為了去匹配這些特徵點，必頇採用樣式匹配(Template Matching)來進行，從這些特徵點以及鄰近的像素值擷取出來，並在待測影像中搜尋相似度較高的部分，相似度越高其匹配的可能性越高，即將該點視為對應點。. 政治大 ZNCC 值越大，代表其匹配的相似度像素，計算出每個像素之間的差異度，當立. ZNCC 是一種衡量不同影像特徵之間的相似程度的方法，藉由選擇該點之相鄰. ‧ 國. 學. 越高，反之，當 ZNCC 值越低，其相似度越低，我們可以使用該 ZNCC 值來判斷是否與待測影像有相似之影像區域，找出與待測影像的對應點。其流程為將目. ‧. 標影像欲比對的像素值設定一個區域範圍為目標視窗，接著將選取一個區域範圍. sit. y. Nat. 做為可能存在匹配影像的搜尋視窗，該搜尋視窗會大於目標視窗，選取完畢後，. al. er. io. 將使用下式，於搜尋視窗由左至右，由上到下逐一像素移動做 ZNCC 相似值的. v. n. 計算，比對目標視窗與搜尋視窗之間的灰度值，當 ZNCC 值越高，代表其相似. Ch. engchi. i n U. 度越高，越有可能為匹配的影像，ZNCC 值範圍介於 1 ~ -1 之間，1 代表正相關， -1 代表負相關。 ZNCC 公式如下 ZNCC =. ∑𝑖(𝐼(𝑥+𝑖)−𝐼 (̅ 𝑥))(𝐼 ′ (𝑥+∆+𝑖)−𝐼̅′ (𝑥+∆)) √∑𝑖(𝐼(𝑥+𝑖)−𝐼 (̅ 𝑥))2 ∑𝑖(𝐼 ′ (𝑥+∆+𝑖)−𝐼̅′ (𝑥+∆))2. ..................... (6). ̅ 目標視窗帄均像素灰度值， ′ 為搜尋視窗像素灰 I為目標視窗的像素灰度值，I為度值， ̅′ 為搜尋視窗帄均像素灰度值，當計算出來的相似程度越高，代表其越有可能為匹配之對應點；但為了取得求得高密度之比對，勢必要將目標視窗或是搜尋視窗擴大，若在處理龐大數量對應點之下，有可能會造成運算效率降低的問題 21.

(34) 發生；此外使用不同的目標視窗大小以及搜尋視窗大小都將影響最後追蹤的結果，如何針對不同的狀況慎選視窗大小也是需要考量的重要因素。. 3.4 相機校正相機校正是為了從二維影像資訊重建三維立體資訊的重要步驟，透過相機校正的步驟，可以取得相機內外參數(intrinsic parameters)以及外部參數(extrinsic parameters)，減少相機取得影像所產生的形變(distortion)、得到相機的投影矩陣以及還原拍攝物體與相機之間的三維立體資訊。. 政治大孔，做針孔成像的投影。其中立，內部參數會隨著相機鏡頭的焦點不同而有所變化。. 內部參數 K 本質上為針孔成像(pin hole model)的原理，以相機鏡頭中心當作針. ‧ 國. 學. 外部參數包含旋轉矩陣 R(Rotation)以及位移向量 T(Translation)，代表的是相機相較於原點位移的距離以及旋轉的角度。取得相機內外部參數通常會使用校正板做. ‧. 相機校正，先校正出相機內部參數後，再拍攝一張包含校正版的影像，來校正出. sit. y. Nat. 相機的外部參數。相機校正我們使用的是現成軟體校正工具[30]，先使用相機對. n. al. er. io. 校正板拍攝多張各種不同角度、深度的影像，如圖(圖 12)所示。. Ch. engchi. i n U. v. 圖 12 拍攝包含校正板不同角度以及深度的影像. 22.

(35) 取得多張包含校正板之影像後，對所有影像的校正板周圍選取四個點進行內部相機校正，取得相機的內部參數。如圖(圖 13)所示，即可取得校正板的 x 軸、y 軸以及原點 O。. 學圖 13 選取影像中四個校正板點做相機校正. ‧. ‧ 國. 立. 政治大. sit. y. Nat. 校正工具計算出相機的焦距 fc 和相機中心 cc，而 fc 與 cc 為二維向量，相機內. n. al. 𝑓𝑐𝑥 K=[ 0 0. Ch. 0 𝑓𝑐𝑦 0. engchi. er. io. 部參數 K 為 fc 以及 cc 所構成，如下式. v. 𝑐𝑐𝑥 𝑐𝑐𝑦 ] ........................................ ( 7 ) 1. i n U. 取得相機內部參數後，對校正板拍攝一張影像，再經由校正工具即可求出外部參數，也就是得到以校正板為原點的參考座標系中相機所在的座標位置。. 23.

(36) 第四章標記圖形設計在擴增實境的應用上，經常會使用到標記圖形做為虛擬物件的定位點，如何設計一個良好的標記圖形方便於擴增實境中做追蹤以及定位是一個有趣的問題，不少. 政治大. 文章都在探討設計的準則[9]，本章將介紹本研究所設計的標記圖形。. 立. ‧ 國. 學. 標記圖形設計上，設計的方法為兩類，一種為以相關係數比較的作法，例如 ARToolKit，另一種為數位比較的方法，例如 ARTag，此兩種方法各有優缺點，. ‧. ARToolKit 使用的是黑色外框的方型卡片，如圖(圖 14)，黑色的外框易於區別和. sit. y. Nat. 環境之間的差異，並且方形的形狀較為容易辨識，內部資訊將放置於黑色外框之. al. er. io. 中，ARToolKit 標記圖形內部資訊是可以任使用者隨意設計，使用彈性佳，適合. v. n. 用於人機介面互動的專案設計，而辨識的方法為使用相關係數比對，判別標記圖形的內部資訊。. Ch. engchi. i n U. ARToolKit 設計的缺點在於需要讀取額外的樣板作為相關係數比對的依據，又因為是使用相關係數的方法，有時將會有標記圖形彼此辨識錯誤的情況發生，或者是標記圖形不在畫面中，卻出現判斷成功的例子，而造成誤判的狀況。. 圖 14 ARToolKit 標記圖形，其外框皆為黑色，為了與環境作區別 24.

(37) 另外一個使用數位比較方法辨別的是 ARTag，ARTag 一樣使用易於與環境作區別的黑色方型卡(圖 15)，但不使用相關係數比對的方法，使用的是數位編碼、解碼的方式，降低標記圖形之間辨識有可能出現模糊不清的問題，並且增加了容錯能力，此外，因為透過編碼的方式，將可自動產生出多達 2002 種標記圖形，但由於是自動產生，其標記圖形將無 ARToolKit 那麼具變化性且可讀性，標記圖形除了電腦能判讀外，無法直接從標記圖形得知圖形設計的概念，並且 ARTag 使用的是數位比對的方法，若遮蔽住重要的編碼資訊，其辨識結果依然不可靠。. 政治大. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. i n U. v. 圖 15 ARTag 標記圖形，黑色方框中間為編碼資訊. engchi. 本研究綜合 ARToolKit 以及 ARTag 的優點，針對面積較小，僅 2.5cm 的標記圖形作設計，具有以下特色，. 1. 矩形邊框設計由於必頇要滿足擴增實境的即時互動性，因此設計出的標記圖形不可太過於複雜，否則在偵測標記圖形時將會花費過多的偵測時間使得執行速度無法滿足即時性的互動。本研究採用矩形形狀的邊框設計，啟發至 ARToolKit 以及 ARTag…等[8][17][27]的設計，由於矩形形狀簡單，在影像上較為容易偵測 25.

(38) 並且偵測花費的時間較少。為了能夠快速辨識出內部圖形，首先，我們需要定位出矩形的四個頂點，並且藉由內插的方法取得矩形內部的圖形資訊，進而辨識出標記圖形，因此，能快速定位出矩形的四個頂點，也是我們選擇定位圖形為矩形的原因。. 2. 降低光照變化產生的影響有別於其他採用 RGB 空間或灰階空間取出可能的標記圖形範圍的做法，本研究採用 HSV 色彩空間，原因在於 HSV 色彩空間能降低光照對物體特徵的. 治政大飽和度，省略明度的影響，就能盡量降低光照對物體的影響。並且採用彩色立. 影響。HSV 色彩空間具有三個屬性，色相、飽和度、明度，藉由調整色相、. 圖形作為辨識的基本顏色，而非使用灰階黑白兩色作影像辨識，原因在於使. ‧ 國. 學. 用彩色圖形將更有利標記圖形從背景影像中作切割區分，彩色圖形相較複雜. ‧. 環境的背景下，更能簡單且快速辨識出標記圖形可能的區域範圍，使得辨識. sit er. io. 3. 圖形設計. y. Nat. 的成功率提升。. al. n. v i n 在取得畫面中的矩形後，我們會對中央 4x4 大小的區塊圖形作判別，利用矩形 Ch engchi U. 四個點的內插得到矩形中央 4x4 大小的區塊，採用模板比對法(template match). 來判別是否為標記圖形。我們以中央 4×4 大小的區塊作為圖形設計，由於設計的標記圖形僅有 2.5cm 大小，因此，內部圖形不可太過於複雜，所以本研究不使用編解碼的方法，我們設計必頇強調簡單且能快速辨識出標記圖形。(圖 16). 圖 16 本研究所設計之四種標記圖形. 26.

(39) 第五章視覺追蹤方法由於在視覺追蹤上，追蹤物體容易受到外在環境因素影響，例如物體位移、旋轉、縮放、光照改變…等，使得追蹤結果造成誤差，本章將介紹使用立體視覺的概念，. 政治大轉量、同位移量的特性，使用多個標記圖形來估測剛體運動的特性，透過群體的立將以往從二維帄面的追蹤問題提升至三維空間解決，並且透過剛體物件具有同旋. ‧. ‧ 國. 學. 力量來改善追蹤上的誤差，讓追蹤的方法更具強健性。. 在視覺追蹤的過程中，遇到一些變數造成追蹤物體的準確度降低之狀況，例. sit. y. Nat. 如追蹤物體在短時間內位移量過大、物體受到光照影響使得像素顏色改變、物體. al. er. io. 旋轉，物體受到遮蔽…現象，為了讓追蹤物體的方法更具強健性(robust)，我們. v. n. 將參考[14]支持者(supporters)的概念，使用群體的力量來協助追蹤，藉由其他追. Ch. engchi. i n U. 蹤準確的特徵點點來估測追蹤的目標點，不會因為追蹤物體之目標點受到外在環境的變化而使得追蹤物體產生追蹤錯誤的狀況發生，我們能透過其他良好的特徵群將這些錯誤的追蹤修正，此方法將會是本研究的核心。. 我們將採用擴增實境中常使用的方法，使用標記圖形的方法作為本研究的核心，使用標記系統相較於無標記系統能取得較穩定的特徵點，由於標記系統的特徵是人造的，很容易可以快速且準確的辨識出標記圖形的位置，但無標記系統使用的是自然特徵擷取，例如上節所提到的 Harris Corner，然而這些特徵很容易受到外界因素所影響，使用標記系統至少能維持一定的準確性，這也是我們採用標紀圖 27.

(40) 形方法的因素之一。為了強化視覺追蹤的強件性，我們藉由三個以上的標記圖形作視覺追蹤，使用一致性隨機取樣方法(RANdom SAmple Consensus, RANSAC) 來挑選出最佳的旋轉矩陣以及位移矩陣模型，使得前一時間的三維座標點可以乘上旋轉矩陣以及位移矩陣估測出下一時間得三維座標位置，下面將一一說明細節。. 5.1 標記系統擴增實境首先，先就追蹤標記圖形方法述說，研究流程大致上可以分成五個步驟，偵測標記圖形、尋找對應標記圖形、計算三維座標、追蹤目標物以及產生虛擬物件。. 政治大. 以上這些步驟可統整如圖(圖 17)系統流程圖擷取影像. 學. 偵測標記圖形. 偵測成功. y. 於另一台相機尋找對應圖形. n. er. io. sit. Nat. 是. al. 否. ‧. 否. ‧ 國. 立. Ch. 對應成功. e 是n g c h i. i n U. 計算三維座標. 追蹤目標物. 繪出虛擬物件. 影像結束是終止. 圖 17 AR 標記系統流程圖 28. v. 否.

(41) 接下來將為每個步驟一一做介紹。. 5.1.1 偵測標記圖形為了能快速辨識標記圖形，本節將介紹如何使用影像處理的方法來辨識本研究的標記圖形。標記圖形偵測的步驟統整於下圖(圖 18). 擷取影像. 政治大 HSV色彩空間轉換. 立. 影像二值化. ‧ 國. 學. 過濾雜訊尋找矩形. ‧. 辨識標記圖形. n. al. er. io 1. 擷取影像. sit. y. Nat. 圖 18 標記圖形偵測流程圖. Ch. engchi. i n U. v. 我們從網路攝影機取得大小為 1600x1200 解析度的彩色影像(圖 19)，為了加快標記圖形偵測的速度，我們將拷貝一份原始影像，並且將這份拷貝的影像縮小成原始影像大小的 1/4 倍，也就是大小為 400x300 解析度的影像做標記圖形偵測的處理。 2. HSV 色彩空間轉換對影像處理而言，選擇一個適當的色彩空間將可以帶來我們所需要的資訊，在電腦視覺領域中，經常使用 HSV 色彩空間作影像處理，在此，將上步驟處理過之 400x300 解析度的影像做 HSV 色彩空間轉換，轉換至 HSV 色彩空間. 29.

(42) 的好處在於 HSV 色彩空間具有一些抗光性，能減少光照變化所產生的影響，並且由於我們的標記圖形為彩色影像，轉換成 HSV 空間將更有利於環境中取得彩色影像的資訊。 3. 影像二值化為了往後步驟計算方便，將上述處理過的結果做影像二值化處理(圖 20)，當滿足設定的門檻值，將其像素值調成白色，否則調成黑色，其門檻值為 H < 0.08 或 H > 0.8 且 S > 0.4 且 V > 0.2 H、S、V 代表 HSV 空間中的色相、飽和度和明度。. 治政大形的影像，以人工的方式篩選出影像，並且對這些篩選出的影像做 HSV 空間立門檻值得取得方式為在各種不同角度以及各種不同光源下拍攝具有標記圖. 的統計分析，以 x 軸作為 H、S、V 的範圍值，最小值為 0 最大值為 1，採取. ‧ 國. 學. 區間為 0.1，y 軸統計每個區間數值的數量，我們發現統計的分部為常態分佈，. ‧. 因此，我們可以求得鐘形曲線的帄均值以及標準差，由於鐘形曲線取加減三. y. Nat. 被的標準差機率為 99.7%，因此，我們以帄均值加減三倍標準差為門檻值(取. n. er. io. al. sit. 得標記圖形影像的機率為 99.7%)。. Ch. engchi. i n U. 圖 19 包含標記圖形影像. 30. v.

(43) 政治大. 圖 20 影像二值化. 立. 4. 過濾雜訊. ‧ 國. 學. 實際影像上一定會有些雜訊存在，為了消除這些雜訊，我們藉由連通元件. ‧. (connected component)過濾雜訊(圖 21)，將像素屬於白色的部分使用連通元件. y. Nat. 連接起來，計算每一個連通元件的面積大小，當該連通元件面積大小符合我. er. io. sit. 們所給定的門檻值，我們將該連通元件的位置投射至相對的原始影像，也就是從 1600x1200 解析度的原始影像中把對應區域篩選出來，門檻值的大小將. al. n. v i n 會影響此系統追蹤範圍的大小，當門檻值範圍定義越大，將可以取得較近且 Ch engchi U 較遠的影像資訊，但相對來說，必頇要計算更多的標記圖形辨識，因此，最好選用一定距離的可視範圍來調整門檻值大小是比較適當的。. 31.

(44) 政治大，並找出面積範圍值的影像(綠色方框部分) 立. 圖 21 使用 connected component 過濾雜訊. ‧ 國. 學. 5. 尋找矩形. 將對應的區域篩選出來後，先對區域影像做 Canny 邊緣偵測，取得影像的. ‧. 邊緣資訊後，透過輪廓偵測，將影像的輪廓萃取出來，在透過 OpenCV 近似. y. Nat. sit. 多邊形的方法(cvApproxPoly 函式)，找出可能是矩形的輪廓，並且判斷該輪. n. al. er. io. 廓是否具有四個角點以及是否具有凸包(convex hull)的特性，兩者都滿足才被. i n U. v. 挑選出來視為矩形的部分，將這些含有矩形部位的區域作為標記圖形的候選. Ch. engchi. 人，並且進行下一個步驟的判斷。. 6. 判別標記圖形我們希望利用內插的方法取得標記圖形的內部資訊進行標記圖形辨識，透過矩形的四個角點做內插法，可以內插出矩形邊上的資訊，在對矩形的邊做一次內插，即可取得矩形內所有像素值的資訊，我們藉由取得中間 4x4 大小內插出來的內部資訊(圖 22)，與我們預先存好的模板做比對(圖 23)，為了使得所有方向都能判別，每個標記圖形的模板將有四個方向的模板，接著使用 ZNCC 來比對該矩形是否為標記圖形並且判別出標記圖形的方位。 32.

(45) 政治大. 圖 22 內插矩形中所有點的資訊(紅點). 立. ‧. ‧ 國. 學. n. al. 5.1.2 尋找對應標記圖形. Ch. engchi. er. io. sit. y. Nat 圖 23 系統中 16 個比對模板. i n U. v. 為了更有效率於第二台相機尋找對應的標記圖形，本節將會說明如何藉由極線幾何提高搜索標記圖形的精度以及增加效率。. 我們藉由極線幾何(epipolar geometry)的特性，如圖(圖24)所示，假設Q點為物體上的某一個三維座標點，並且該點可被兩部相機CL以及CR所拍攝到，形成影像I1以及I2，Q點座標點投影置影像I1、I2上分別為qL以及qR兩點，此時三維座標點Q、qL、qR以及相機中心所構成的帄面為極線帄面(epipolar plane)。將相機中心 CL以及CR分別交於I1、I2上，產生eL以及eR於I1以及I2上，將eL與qL以及eR與qR做 33.

(46) 連線即可得到兩對應點的極線。我們可以從極線上大略知道物體對應點的分佈位置關係，只需要比對極線附近的特徵點，即可找到兩影像之間的對應點，在I1上的特徵點，我們在I2的極線上做搜尋標記圖形，採用ZNCC來比對極線上可能為標記圖形的區域，將原本搜尋空間從原本二維影像降至為一維空間並且也提高對應點的精確度。接下來，將這些可能為標記圖形的區域做標記圖形辨識，取得標記圖形的資訊。. 立. 政治大. ‧ 國. 學 ‧. 圖 24 極線幾何. sit. y. Nat. 5.1.3 計算三維座標. al. er. io. 為了取得三維座標做後續更精確的定位，我們將取得相機的內外部參數，從相. v. n. 機的內外部參數可以推得個別的投影矩陣，由兩相機的投影矩陣計算三維座標，. Ch. engchi. i n U. 本節將說明如何由內外部參數計算投影矩陣計算出三維座標。. 我們希望藉由相機參數校正取得相機內外部參數，藉由內外部參數可以計算該影像之投影矩陣，取得兩張影像的投影矩陣 P，P’，計算實際三維座標點位置，投影矩陣與實際座標和投影座標的關係為. x = X ..................................................... ( 8 ) x′=P′X ...................................................... ( 9 ) ，其流程將一一說明。 34.

(47) 首先，我們拍攝 20 張含有校正板的影像作為相機校正的資料，如圖(圖 25、圖 26)，使用 Camera Calibration Toolbox[30]此工具取得內外部參數，在我們取得內外部參數之後，即可將影像之投影矩陣個別求出。. 立. 政治大. ‧. ‧ 國. 學. n. Ch. engchi. 35. er. io. sit. y. Nat. al. 圖 25 相機校正資料. i n U. v.

(48) 立. 政治大. ‧ 國. 學 ‧. 圖 26 相機校正資料分布圖. sit. y. Nat. 假設已知兩張影像的投影矩陣為 P，P’，實際三維座標點的位置為 X，. al. er. io. X = (X1 , Y1 , Z1 )，兩張影像的投影點座標為 x，x′，其中假設x = (u, v)，x ′ = (𝑢′ , 𝑣′)，. v. n. 為了簡化矩陣計算，我們採用均質表示法(homogeneous representation)而將公式. Ch. engchi. i n U. 改寫為，將 X，x，x′改寫成X = [X1 Y1 Z1 1]𝑇 ， x = [𝑢 𝑣 1]𝑇 ，x ′ = [𝑢′ 𝑣 ′ 1]𝑇，投影矩陣與實際座標和投影座標的關係為x = X， x ′ = ′X，計算投影矩陣公式為 = K1 [𝑅1 |𝑇1 ] ....................................... ( 10 ) ′. = K 2 [𝑅2 |𝑇2 ] ..................................... ( 11 ). 相機投影矩陣由相機內外部參數所構成，其中 K 為相機內部參數所集合的矩陣， R 為相機外部參數的旋轉矩陣(rotation matrix)，T 為外部參數的帄移矩陣 (translation matrix)，我們透過 K、R、T 的計算即可算出投影矩陣，並且透過投影矩陣計算影像中的投影點座標。. 36.

(49) 根據投影矩陣、 ′，我們透過x = X，x ′ = ′X，可以得知 x × ( X) = 0 ..................................................... ( 12 ) x ′ × ( ′ X) = 0 .................................................. ( 13 ) 並將上式整理，得到矩陣為 𝑥𝑝3𝑇 − 𝑝1𝑇 𝑦𝑝3𝑇 − 𝑝2𝑇 A = ′ ′𝑇 ............................................... ( 14 ) 𝑥 𝑝 3 − 𝑝′1𝑇 [𝑦′𝑝. ′𝑇 3. − 𝑝′𝑇2 ]. 其中 x 之座標為(x,y)，x′為(x ′ , y′)，並利用三角量測估測三維座標位置，其公式為. 立. 政治大. AX = 0 ................................................................. ( 15 ). ，X為估測三維座標位置，接著使用 SVD 解出三維座標點X。. ‧ 國. 學. 5.1.4 追蹤目標物. ‧. 在追蹤的過程中，物體常會隨著外在因素影響導致視覺追蹤錯誤，為了去降低. y. Nat. sit. 視覺追蹤錯誤的狀況發生，我們使用剛體物件具同旋轉量以及位移量的特性作為. n. al. er. io. 追蹤的輔助，來預估標記圖形的位置，本節將一一介紹這些方法。. 1. 剛體運動. Ch. engchi. i n U. v. 我們將追蹤物視為剛體物件，剛體物件具有同旋轉量以及同位移量的特性，藉由 Arun(1987)[2]的方法，我們任取剛體物件中的三點(圖 27)，即可求算出該物體的旋轉矩陣以及位移矩陣，推導過程如下. 假設𝑑𝑖 (𝑡 − 1)為 t-1 時間第 i 個三維點座標，𝑑𝑖 (𝑡)為 t 時間對應 t-1 時間 𝑑𝑖 (𝑡 − 1)的對應點三維點座標，我們於 t-1 時間任取三個物體內部的三維座標點，𝑑𝑖 (𝑡 − 1)、𝑑𝑖+1 (𝑡 − 1)、𝑑𝑖+2 (𝑡 − 1)求出中點為𝑑0 (𝑡 − 1)，令. 37.

(50) 𝑐𝑖 (𝑡 − 1) = 𝑑𝑖 (𝑡 − 1) − 𝑑0 (𝑡 − 1) ....................... ( 16 ) ，t 時間的對應點為𝑑𝑖 (𝑡)、𝑑𝑖+1 (𝑡)、𝑑𝑖+2 (𝑡)求出中點為𝑑0 (𝑡)，令 𝑐𝑖 (𝑡) = 𝑑𝑖 (𝑡) − 𝑑0 (𝑡)............................................ ( 17 ) ，假設物體的旋轉矩陣為 R，物體的位移矩陣為 T，我們可以寫出下式 𝑚𝑖𝑛 ∑. 𝑁. ‖𝑐𝑖 (𝑡) − 𝑅𝑐𝑖 (𝑡 − 1)‖2. 𝑖=1. 𝑁. = 𝑚𝑎𝑥 ∑. 𝑐𝑖 𝑇 (𝑡)𝑅𝑐𝑖 (𝑡 − 1). 𝑖=1. 𝑇 = 𝑚𝑎𝑥 ∑𝑁 𝑖=1 𝑐𝑖 (𝑡)𝑐𝑖 (𝑡 − 1) .................................... ( 18 ). 令. 政治大. 𝑇 𝐾 = ∑𝑁 𝑖=1 𝑐𝑖 (𝑡)𝑐𝑖 (𝑡 − 1) ........................................ ( 19 ). 立. 藉由𝑆𝑉𝐷，求出. ‧ 國. ‧. n. al. 位移矩陣. Ch. 0 0 1 0 ] 𝑈 𝑇 ............................................. ( 22 ) 0 𝛼. er. io. 1 𝑅 = 𝑊 [0 0. sit. y. 𝛼 = det(𝑈𝑊 𝑇 ) ........................................................ ( 21 ). Nat. 旋轉矩陣. 學. 令. 𝐾 = 𝑈𝐷𝑊 𝑇 .............................................................. ( 20 ). engchi. i n U. v. 𝑇 = 𝑐0 (𝑡) − 𝑅𝑐0 (𝑡 − 1) ........................................ ( 23 ). 38.

(51) 𝑑𝑖 (𝑡 − 1). 𝑑0 (𝑡 − 1) 𝑑𝑖+1 (𝑡 − 1). 𝑑𝑖+2 (𝑡 − 1). 𝑐𝑖 (𝑡 − 1) = 𝑑𝑖 (𝑡 − 1) − 𝑑0 (𝑡 − 1) 圖 27 三點取中心點求旋轉以及位移矩陣. 2.. 治政大推估最佳剛體旋轉以及位移矩陣立. 在此，我們會使用多組標記圖形以及結合一致性隨機取樣方法(RANdom. ‧ 國. 學. SAmple Consensus, RANSAC)來增加物體追蹤的強健性，從多組標記圖形中任選. ‧. 三組標記圖形的三維空間座標做旋轉以及位移量的估測，並且把剩下的標記圖形. y. Nat. 點對組帶入估測出來的旋轉以及位移量計算 t 時間經過旋轉以及位移量的三維座. er. io. sit. 標位置，並且與真實 t 時間三維座標位置做誤差比較，我們選出具有最多數量所支持的旋轉以及位移量作為最佳解，藉由最佳的旋轉矩陣以及位移矩陣，推估 t. al. n. v i n 時間最佳剛體物件的位置。令 t 定位圖形 c 的三 C eh為誤差的門檻值，c(t)為時間 engchi U. 維座標點位置，c(t-1)為定位圖形 c 在時間 t-1 的三維座標點位置，兩者為一對應 𝑡 𝑡 關係，𝑅𝑡−1 為在時間 t-1 到 t 時間所估測出來的旋轉矩陣，𝑇𝑡−1 為時間 t-1 到 t 時. 間所估測出來的位移矩陣，表示法如下 𝑡 𝑡 ‖𝑐𝑡 − (𝑅𝑡−1 𝑐𝑡−1 + 𝑇𝑡−1 )‖ < 𝑒 .............................. ( 24 ). 5.1.5 產生虛擬物件最後依據所推估之追蹤目標物的座標，產生擴增實境之虛擬物件。在產生虛擬物件以前，我們必頇將實際標記圖形與三維空間的位置作關連。我們定義特徵五. 39.

(52) 點的角點座標，以標記圖形中心點為特徵原點，其餘四點為標記圖形的角點，座標個別為中點:(0,0,0)、左上:(-1.25,1.25,0)、右上:(1.25,1.25,0)、左下(-1.25,-1.25,0)、右下(1.25,-1.25,0)為標記圖形的座標軸系統，我們將這個座標軸系統對應至三維空間中，標記圖形的三維座標，需要將原始的座標軸系統作座標轉換，對應到我們系統中所使用的三維座標系統，因此，我們必頇要取得座標系統的旋轉以及位移，讓虛擬物件也能轉換置與標記圖形具有相同的旋轉位移的效果，為了達到這個目的，使用上節所述 Arun 的方法，取得旋轉以及位移的轉換矩陣，將虛擬物件的每個點乘上座標轉換的旋轉矩陣加上位移向量，及可將物體與標記圖形作關連。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 40. i n U. v.