無標記系統

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

13

2.2.2 無標記系統

無標記系統採用自然特徵追蹤(Nature Feature Tracking)，藉由擷取環境或物件 上具有強特徵性的特徵點，例如物體的顏色、紋理、輪廓等，使用視覺追蹤匹配 的方法來追蹤這些強特徵性的特徵點。無標記系統開發較為複雜以及困難，無標 記系統往往需要許多複雜的計算用於萃取特徵點，如使用 Harris Corner、SIFT、

SURF[4]…等特徵點擷取的方法，並且於影像序列上找尋特徵點的對應，然而這 些對應的方法，常常會因為外在環境的變化，使得特徵量有所增減而造成對應上 的錯誤，又或者是一些對應方法本身的限制，例如使用區域匹配(Block Matching) 的方法，由於擷取出的特徵因為角度的旋轉、位移、縮放，使得兩對映像素資訊 往往不處於同樣的位置，而造成比對上的誤差，如圖所示(圖 7)。另外，有些無 標記系統於定位追蹤上，需要使用到一些模板來做特徵點的比對，需要建立一些 而外的成本花費，也就是針對不同的運用，需要使用到不同的模板來做訓練。

然而無標記系統需要更複雜的特徵擷取以及比對的步驟才能取得適合的定位點，

但其直接擷取環境物體的特徵，這樣就不頇額外使用到標記圖形，而且應用層面 更加廣泛。

使用無標記系統來做擴增實境的研究也相當多樣，例如[13][22][25][26] ， 2009年Taehee Lee[26]所提出使用多執行序(Multithreaded)追蹤並且使用不頇標 記圖形定位(marker)的方式來呈現，稱為無標記擴增實境(Markerless Augmented

圖 7 Block Matching 比對錯誤示意圖，每個方格對應的物體區塊不相同

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

14

Reality)，使用「手」取代標記圖形，這邊稱之手部擴增實境(Handy AR)，手部 擴增實境(Handy AR)會使用到六度相機點，如圖(圖8)所示，接下來將手部以膚色 分類與直方圖方式去偵測特徵點，取得指尖位置後並建立三維座標系統(圖9)。

使用這種方法，就不用帶著任何的追蹤裝置或是標記圖形。

圖 8 手部擴增實境(此圖引用至[25])

圖 9 手部擴增實境三維座標建立(此圖引用至[25])

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

15

由於尺度不變特徵轉換(SIFT)對旋轉、縮放改變具有不變性以及描述子

(descriptors)也有對光照的改變有不變性，該研究使用尺度不變特徵轉換做特徵點 的選取，但由於尺度不變特徵轉換於偵測以及比對的時間無法在每個影格之間的 時間內完成，因此，為了克服尺度不變特徵轉換在時間上的限制，必頇限制尺度 不變特徵轉換的搜尋空間(search space )，另外，將尺度不變特徵轉換非同步的部 分使用多執行序(Multithreaded)的方式來加速處理速度。在追蹤的部分，採用的 是光流追蹤法(Optical-Flow-Based Tracking)，我們假設在影片 t 時間內的影像為 image(t)，在 t+dt 時間內的影像為 image(t+1)，其概念是假設空間中某一點，其 投影於某一帄面的投影亮度總和為一固定值(圖 10)。

該研究的特色為混合兩種方法尺度不變特徵轉換以及光流追蹤法

(Optical-Flow-Based Tracking)，由於使用多執行序，能加速其特徵點做偵測以及

比較處理速度，並且不需要使用標記圖形，使用「手」即可做擴增實境的應用。

使用非標記圖形的追蹤在目前是屬於較為新穎的一個技術，不需要在追蹤物上 放置任何的標記圖形，藉由去辨識追蹤物上的特徵，來達到追蹤的效果。使用非

圖 10 光流追蹤法示意圖

Image(t) Image’(t+1)

I I’

t t  dt

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

16

標記圖形作追蹤的方法最為直覺使用並且互動性較高，使用者不需要另外準備標 記圖形來作追蹤，只需要追蹤物在攝影機畫面中，及可讓追蹤演算法作追蹤處理。

最常使用來追蹤非標記圖形的物體方法為追蹤物體的強特徵點，這裡有許多種使 用非標記圖形追蹤使用的方法，例如 SIFT、SURF…等，藉由找出物體的強特徵 區點，在處理這些特徵點雨物體之間的關連性，例如特徵點與剛體物件的關連性，

特徵點與物體之間顏色的差異性…等，來分割物體，達到追蹤的效果。

‧

尺度不變特徵轉換 (Scale Invariant Feature Transform, SIFT)[18]此演算法在尋 找對應點上有相當不錯的成效，被廣泛應用於電腦視覺以及物件偵測的領域上，

SIFT改善了Harris角點偵測法(Harris corner detector)的缺點，以下將先對Harris角 點偵測法作一簡述，

Harris提出Harris角點偵測法(Harris corner detector)[16]來偵測 較明顯的特徵點

，

其主要概念由Moravec角點偵測法(Moravec detector)衍伸出來，

Harris針對Moravec detector改進其缺點， Harris改善Moravec detector只測試四個 方向的角點，Harris測試角點超過四個方向，然而超過四個方向的角點測試會使

尺度不變性(scale-invariant)，SIFT使用的是Difference of Gaussian (DoG) filter，來

建立整體的尺度空間(scale space)。SIFT的處理流程為，偵測尺度空間極值

‧

(detection of scale-space extrema )、特徵點定位(accurate keypoint localization)、特 徵點方向性(orientation assignment )以及特徵點描述(local image descriptor )四個 步驟所組成。SIFT優點為對於影像的旋轉、尺度保持不變性。然而SIFT的缺點 在於計算複雜使得處理速度上較為緩慢。

3.2 一致性隨機取樣方法

一致性隨機取樣方法(RANdom SAmple Consensus, RANSAC)[11]其概念是使

用參數迭代的數學模型，透過機率統計的方式來估測一組觀測數值，其觀測數值

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

19

機率，1 − 𝑤

^𝑛

為所有選取的 n 個點至少有一點為 outlier 的機率，又(1 − 𝑤

^𝑛

)

^𝑘

為 在 k 次選取中都不會選擇到 n 個點都為 inlier 的機率，因此可以推得

1 − p = (1 − 𝑤

^𝑛

)

^𝑘

...

( 4 )

，可以將式子表示成

k = log(1 − 𝑝) log(1 − 𝑤⁄ ^𝑛) ... ( 5 )

，即可得到理論上滿足一致性隨機取樣方法的迭代次數。

‧

‧

零帄均正規化相關匹配法(Zero-mean Normalized Cross-Correlation, ZNCC)主要

常用於影像上的匹配[7]，例如在影像追蹤的過程中，目標物或相機往往不會靜

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

22

發生；此外使用不同的目標視窗大小以及搜尋視窗大小都將影響最後追蹤的結果，

如何針對不同的狀況慎選視窗大小也是需要考量的重要因素。

3.4 相機校正

相機校正是為了從二維影像資訊重建三維立體資訊的重要步驟，透過相機校正 的步驟，可以取得相機內外參數(intrinsic parameters)以及外部參數(extrinsic parameters)，減少相機取得影像所產生的形變(distortion)、得到相機的投影矩陣 以及還原拍攝物體與相機之間的三維立體資訊。

內部參數 K 本質上為針孔成像(pin hole model)的原理，以相機鏡頭中心當作針 孔，做針孔成像的投影。其中，內部參數會隨著相機鏡頭的焦點不同而有所變化。

外部參數包含旋轉矩陣 R(Rotation)以及位移向量 T(Translation)，代表的是相機相 較於原點位移的距離以及旋轉的角度。取得相機內外部參數通常會使用校正板做 相機校正，先校正出相機內部參數後，再拍攝一張包含校正版的影像，來校正出 相機的外部參數。相機校正我們使用的是現成軟體校正工具[30]，先使用相機對 校正板拍攝多張各種不同角度、深度的影像，如圖(圖 12)所示。

圖 12 拍攝包含校正板不同角度以及深度的影像

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

23

取得多張包含校正板之影像後，對所有影像的校正板周圍選取四個點進行內部 相機校正，取得相機的內部參數。如圖(圖 13)所示，即可取得校正板的 x 軸、y 軸以及原點 O。

圖 13 選取影像中四個校正板點做相機校正

校正工具計算出相機的焦距 fc 和相機中心 cc，而 fc 與 cc 為二維向量，相機內 部參數 K 為 fc 以及 cc 所構成，如下式

K = [

𝑓𝑐_𝑥 0 𝑐𝑐_𝑥 0 𝑓𝑐_𝑦 𝑐𝑐_𝑦

0 0 1

] ... ( 7 )

取得相機內部參數後，對校正板拍攝一張影像，再經由校正工具即可求出外部參

數，也就是得到以校正板為原點的參考座標系中相機所在的座標位置。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

24

第四章 標記圖形設計

在擴增實境的應用上，經常會使用到標記圖形做為虛擬物件的定位點，如何設計 一個良好的標記圖形方便於擴增實境中做追蹤以及定位是一個有趣的問題，不少 文章都在探討設計的準則[9]，本章將介紹本研究所設計的標記圖形。

標記圖形設計上，設計的方法為兩類，一種為以相關係數比較的作法，例如 ARToolKit，另一種為數位比較的方法，例如 ARTag，此兩種方法各有優缺點，

ARToolKit 使用的是黑色外框的方型卡片，如圖(圖 14)，黑色的外框易於區別和 環境之間的差異，並且方形的形狀較為容易辨識，內部資訊將放置於黑色外框之 中，ARToolKit 標記圖形內部資訊是可以任使用者隨意設計，使用彈性佳，適合 用於人機介面互動的專案設計，而辨識的方法為使用相關係數比對，判別標記圖 形的內部資訊。

ARToolKit 設計的缺點在於需要讀取額外的樣板作為相關係數比對的依據，又 因為是使用相關係數的方法，有時將會有標記圖形彼此辨識錯誤的情況發生，或 者是標記圖形不在畫面中，卻出現判斷成功的例子，而造成誤判的狀況。

圖 14 ARToolKit 標記圖形，其外框皆為黑色，為了與環境作區別

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

25

另外一個使用數位比較方法辨別的是 ARTag，ARTag 一樣使用易於與環境作 區別的黑色方型卡(圖 15)，但不使用相關係數比對的方法，使用的是數位編碼、

解碼的方式，降低標記圖形之間辨識有可能出現模糊不清的問題，並且增加了容 錯能力，此外，因為透過編碼的方式，將可自動產生出多達 2002 種標記圖形，

但由於是自動產生，其標記圖形將無 ARToolKit 那麼具變化性且可讀性，標記圖 形除了電腦能判讀外，無法直接從標記圖形得知圖形設計的概念，並且 ARTag 使用的是數位比對的方法，若遮蔽住重要的編碼資訊，其辨識結果依然不可靠。

圖 15 ARTag 標記圖形，黑色方框中間為編碼資訊

本研究綜合 ARToolKit 以及 ARTag 的優點，針對面積較小，僅 2.5cm 的標記 圖形作設計，具有以下特色，

1. 矩形邊框設計

由於必頇要滿足擴增實境的即時互動性，因此設計出的標記圖形不可太過 於複雜，否則在偵測標記圖形時將會花費過多的偵測時間使得執行速度無法 滿足即時性的互動。本研究採用矩形形狀的邊框設計，啟發至 ARToolKit 以 及 ARTag…等[8][17][27]的設計，由於矩形形狀簡單，在影像上較為容易偵測

‧

四個點的內插得到矩形中央 4x4 大小的區塊，採用模板比對法(template match) 來判別是否為標記圖形。我們以中央 4×4 大小的區塊作為圖形設計，由於設計的 標記圖形僅有 2.5cm 大小，因此，內部圖形不可太過於複雜，所以本研究不使用 編解碼的方法，我們設計必頇強調簡單且能快速辨識出標記圖形。(圖 16)

圖 16 本研究所設計之四種標記圖形

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

27

第五章 視覺追蹤方法

由於在視覺追蹤上，追蹤物體容易受到外在環境因素影響，例如物體位移、旋轉、

縮放、光照改變…等，使得追蹤結果造成誤差，本章將介紹使用立體視覺的概念，

將以往從二維帄面的追蹤問題提升至三維空間解決，並且透過剛體物件具有同旋 轉量、同位移量的特性，使用多個標記圖形來估測剛體運動的特性，透過群體的 力量來改善追蹤上的誤差，讓追蹤的方法更具強健性。

在視覺追蹤的過程中，遇到一些變數造成追蹤物體的準確度降低之狀況，例 如追蹤物體在短時間內位移量過大、物體受到光照影響使得像素顏色改變、物體 旋轉，物體受到遮蔽…現象，為了讓追蹤物體的方法更具強健性(robust)，我們 將參考[14]支持者(supporters)的概念，使用群體的力量來協助追蹤，藉由其他追 蹤準確的特徵點點來估測追蹤的目標點，不會因為追蹤物體之目標點受到外在環 境的變化而使得追蹤物體產生追蹤錯誤的狀況發生，我們能透過其他良好的特徵 群將這些錯誤的追蹤修正，此方法將會是本研究的核心。

我們將採用擴增實境中常使用的方法，使用標記圖形的方法作為本研究的核心，

使用標記系統相較於無標記系統能取得較穩定的特徵點，由於標記系統的特徵是

人造的，很容易可以快速且準確的辨識出標記圖形的位置，但無標記系統使用的

是自然特徵擷取，例如上節所提到的 Harris Corner，然而這些特徵很容易受到外

界因素所影響，使用標記系統至少能維持一定的準確性，這也是我們採用標紀圖

‧

作視覺追蹤，使用一致性隨機取樣方法(RANdom SAmple Consensus, RANSAC)

來挑選出最佳的旋轉矩陣以及位移矩陣模型

，使得前一時間的三維座標點可以乘

‧

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

30

的好處在於 HSV 色彩空間具有一些抗光性，能減少光照變化所產生的影響，

並且由於我們的標記圖形為彩色影像，轉換成 HSV 空間將更有利於環境中取 得彩色影像的資訊。

3. 影像二值化

為了往後步驟計算方便，將上述處理過的結果做影像二值化處理(圖 20)，

當滿足設定的門檻值，將其像素值調成白色，否則調成黑色，其門檻值為 H < 0.08 或 H > 0.8 且 S > 0.4 且 V > 0.2

H、S、V 代表 HSV 空間中的色相、飽和度和明度。

門檻值得取得方式為在各種不同角度以及各種不同光源下拍攝具有標記圖 形的影像，以人工的方式篩選出影像，並且對這些篩選出的影像做 HSV 空間 的統計分析，以 x 軸作為 H、S、V 的範圍值，最小值為 0 最大值為 1，採取 區間為 0.1，y 軸統計每個區間數值的數量，我們發現統計的分部為常態分佈，

因此，我們可以求得鐘形曲線的帄均值以及標準差，由於鐘形曲線取加減三 被的標準差機率為 99.7%，因此，我們以帄均值加減三倍標準差為門檻值(取

因此，我們可以求得鐘形曲線的帄均值以及標準差，由於鐘形曲線取加減三 被的標準差機率為 99.7%，因此，我們以帄均值加減三倍標準差為門檻值(取

在文檔中 強健式視覺追蹤應用於擴增實境之研究 - 政大學術集成 (頁 25-0)