ZMs之相似度計算

假設存在兩組ZMs特徵向量Puuv¹

：maguuuuuv¹

、uuuuuuuvphase¹ 與Pρ²

：maguuuuuv²

、uuuuuuuvphase²

， 其中

max max

1 1 1 1

max max

2 2 2 2

相似度計算數學式子如下：

mag mag S mag mag

mag mag

= ⋅

uuuuuv uuuuuv uuuuuv uuuuuv

uuuuuv uuuuuv

(2) 相位的每個維度為一個角度，由於相位有循環性(circularity)，這意味θ 與

phase nm

m n

uuuuuuuv uuuuuuuv

在此，

S uuuuuuuv uuuuuuuvphase phase 的

速搜

的

尋最相近點的資料結構。

Kd-tree 為一均衡二元數，假設已制定A, B, C...等n 種特徵向量，則訂定樹 第一層 root 為特徵向量 A 之強度向量的平均值，第二層兩個 roots 為特徵向量 B 之強度向量的平均值，依序類推下去，當一查詢特徵向量進入 kd-treet 查詢時，

會先搜尋出最接近的強度向量，接著再比對位向向量，若兩種向量的相似度皆大 於某一門檻值，則將樹中該特徵向量投下一票，再遞迴性地依序完成其他特徵向 量比對及投票動作。由於畫作通常是由一群特徵點所構成，所有資料庫影像的每 個特徵向量都有可能獲得票數，而得票數最高的影像代表與查詢影像有最多相似 的特徵點，則以該資料庫影像做為辨識結果。

第三章 系統架構及畫展資料庫內容索引建立

本章節承接第二章辨識基礎理論，將介紹系統執行流程以及利用實例畫作建 立資料庫的方法，包含畫作尺寸丈量與在歐式空間的位置制定，畫作特徵點描述 子索引建立為畫作辨識的依據，以及畫作特徵點描述子之 Homography 矩形調整 之計算，作為後續相機軌跡估算之基礎。

3.1 系統架構介紹

為了使本論文目標說明以更清楚的方式呈現，以下將使用者在展場中實際使 用系統之情境區分為三大功能，分別為畫作辨識、相機定位以及參觀路徑追蹤。

當使用者使手持具有拍照功能的智慧型手機對著展場中感興趣的畫作拍照，傳送 至系統後即自動偵測查詢影像的特徵點，並與資料庫中影像搜尋比對，得到初步 辨識結果後，透過 Homography 機制來驗證查詢結果，以確保所欲回傳資料之正 確性。由於 Homography 需要正確的特徵點對應關係，在此加入了特徵點篩選步 驟，可使該系統更為強健。流程如圖 3 為示：

圖 3 畫作辨識流程圖

為了提供互動式的畫作相關資訊解說，系統利用相機定位原理，估算出使用者拍 攝的視角，當拍照的位置改變，即回傳不同面貌的作品解說，使參觀民眾對於畫 作具有更深入的了解。此外本系統另外規劃展場畫作的空間配置關係，不僅可以 作為展場室內導航功能，協助參觀民眾前往感興趣的展示區，並且在使用者即將 結束當日的參觀行程時，系統還提供了參觀路徑追蹤功能，回顧當日所欣賞過的 作品，並且提醒使用者還有哪些遺漏的推薦作品，作為下次參觀路徑的建議，提 供更為客製化的服務。示意流程分別為圖 4、5 為示：

圖 4 相機定位流程圖

圖 5 畫作配置及參觀路徑追蹤流程圖

3.2 資料庫製作

為了達成上述系統功能目標，必須事先規劃好資料庫，完善的資料庫製作才 能提供使用者更佳的服務功能，其製作內容包括實際畫作資料設定、資料庫影像 取得、資料庫影像特徵點擷取，執行方法將在以下章節分別介紹。

3.2.1 畫作實際尺寸丈量與畫作 3D 點制定

由於世界座標系統沒有統一的規格，必須透過假設來制定物體在世界座標下 的 3D點座標，首先需測量畫作的實際長寬，若畫作尺寸為 * (㎜x y ²)，令畫作上 的每一點都躺在z=0的平面上，則訂定 3D點座標的方法如圖 6 所示：

圖 6 實體畫作座標示意圖

由圖 6，另左圖點 A 為世界座標原點

(

^0,0,0

)

^，AB與 軸平行，x CA 與 軸平行，

利用[24]之假設，令物體上的點都躺在

y

=0

z 的平面上，考慮到畫作實際長寬比

例，可定A,B,C,D 4 個 corners 的 3D 點座標分別為

(

^0,0,0

) (

^, x^,0,0

) (

^{, 0,−}y^,0

) (

^, x^,−y^,0

)

。對著畫作拍攝一張影像，畫作面積需盡量填滿 整個畫面，影像需清晰避免手震造成模糊，每張影像中只含有一張畫作，在影像 中可得知畫作 4 個 corners 的 2D 點座標，基於 4 個 2D 點、對應的 3D 點之關係

以及所有 3D 點都躺在z=0平面上的假設，可列出數學式子如下： 面的對應，得到資料庫影像與實際畫作(2D ground truth)間的 homography

matrix 後，在 3.2.2 節裡將利用 找出畫作上所有 2D 特徵點所對應到的 2D ground truth 座標。

HDB H_DB

3.2.2 畫展畫作 ZMs 描述子與特徵點位置之資料庫建立

對於資料庫中拍攝的每一張影像，利用 2.1 節 MSER 特徵點擷取與 2.2 節 Zernike Moment 特徵點描述子，可求得資料庫裡每一張影像的特徵向量集合，如 圖 7 所示，紅色橢圓表示特徵區域。每個橢圓所包含的特徵點區域，可計算出 一個相對應的 Zernike Moment 的特徵，如 2.2 節所提到的 magnitude 向量與 phase 向量兩部份以及該特徵點的 2D 點座標。

圖 7 資料庫影像之 MSER 特徵點區域示意圖 說明：紅色橢圓表示所偵測出的特徵區域

此為高更的《帶光環的自畫像》

當搜尋完畢資料庫畫作的特徵點後，必須先為這些特徵點建立其相對應的 2D ground truth 資訊，以便後續查詢影像在找完特徵點時，可以很快的計算出查詢 影像與實際畫作的 Homography 關係。要建立資料庫畫作每一個特徵點的 2D ground truth 資訊，可以先用手點方式點選畫作的四個邊框之 corners 的 2D 特徵 點位置(pixels)，而這四個 corners 分別又對應到 3.2.1 節描述的位置

(

0,0,0

) (

, x,0,0

) (

, 0,−y,0

) (

, x,−y,0

)

，由公式

( )

3.2 得知資料庫畫作與實際畫作之間的 Homography 矩陣關係式，當已知資料庫畫作特徵點的 2D 座標時，可以用公 式 反算出該 2D ground truth 座標，求出 2D ground truth 座標後便可利用此資 訊作為後續相機定位之用。

HDB

(

3.2

)

( )

3.3 1

1

1 Λ Λ

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

− Y

X v u H_DB

第四章 拍攝畫作之影像查詢

影像間相互對應的 2D 特徵點，即可計算出彼此之間 Homography matrix 的 關係式：

)

H_image

將公式

(

^4.1 重新整理為

data condition 二方法來讓計算結果更為強健(robust)。

4.2.2 拍攝畫作之特徵點篩選與驗證正確率之計算

使用者所拍攝的查詢影像，除了過度模糊或主體佔鏡頭畫面面積太小之外，

該畫作所擷取出的特徵點總數通常會大於 4 點，而這些特徵點當中又可能包含了 對應錯誤的情形，因此需要加入篩選特徵點的機制以求出最佳 Homography matrix，以下將介紹三個步驟，分別為 RANSAC 、 搜尋反投影點之最小 median error 以及 data condition，以求出最佳的 Homography matrix H 。

4.2.2.1 利用 RANSAC 與 Minimum Median Error 檢驗找出最佳 H

假設資料庫影像與查詢影像之間一共有m 組對應點，在計算 時如前面

所述，只有當至少 4 組點都不包含錯誤的對應點時，結果才會好。因此利用 RANSAC 的精神，從 組對應點隨機選 4 組來算，重覆此動作 n 次，然後選取

這n 次中最好的結果來做為 的解。為了評估每一次所估測結果的好壞，先

從 組對應點隨機選 4 個點來計算 Homography matrix

image

H

m

image

H

m H ，接著利用該 H ，將查

詢影像其餘m−4點反投到資料庫影像上而得到：D_estimated,j, j=5~m，這些反投 影點與資料庫影像的 2D 對應點：D_{ground_truth,j}, j=5~m必定存在些許誤差，為了 避免極端狀況，取出這些誤差的中間值(median error)，記錄為 ，

結果，可將 dErr 排序並且取出_i

n i

medErr_i, =1~ 做為評估這組解好壞的依據。若希望從 個 Homography matrices 中挑 選 最佳估測

n H_i,i=1~n

出 me min

(

medErr_i

)

將該

(

med min

，再

)

Err 所對應到的 定為最佳的 Homography matrix ，以下為演算法 流程：

i Hi H_best

( ) ( )

iteration 成計算時的誤差。為了避免這種數值誤差(numeric error)，利用

N 方法[25]，在利用對應的 2D 特徵點座標計算Homography matrix時，可先將影像 原點移至影像中心點，使 4 個corners到影像原點的距離皆相等，再將 2D 特徵點 座標的長、寬(u, v)可變動的範圍都壓縮至

[

−1 1

]

之間以避免數值計算誤差，使

) 1 . 4 ( 估算出的Homography matri能夠更精準。

4.3 利用 Homography matrix H

image

之查詢結果驗證

由 4.1 節的投票結果，可找出得票數最高的候選影像，但仍無法確定該候選 影像是否就是使用者所輸入之查詢影像，因此在得到辨識階段初步結果後，利用 rectification[26]的觀念，將查詢影像搭配 4.2 之 ，使查詢影像轉正後與資料 庫回傳影像疊合，若兩張影像間的差值越小則越相似，回傳影像之可信度也越

圖 8 Homography 檢驗流程示意

第五章 畫作與相機之相對位置估測

第二至四章節部分所討論的是有關畫作辨識、驗證辨識結果正確性以及 Homography matrix 的估測方法，而本章節所要陳述的主題為相機定位，為了使 系統與使用者之間更具有互動性，必須估測出畫作與使用者相機位置間的相對關 係。以下分為三個子章節，分別為相機定位估測、畫作空間配置圖製作以及使用 者參觀路徑重建。

5.1 畫作與相機之空間座標相對位置的計算

5.1.1 內部參數之計算

由公式

( )

可得知，Homography matrix 是由內部參數 乘以 projection matrix

[

的第一、二、四 columns 所得來，為了與 4.2 節所討論的 (指兩 張影像間的 Homography matrix)作區別，本章節定義 Homography matrix 為 ， 所代表意義為實際畫作與單張 2D 影像間的 Homography matrix。

(

^3.2

1 .

3

)

]

1 0 0

0 ₀

0

v u β γ α

，

K t

R H_image

HR

[24]所提到分解相機內部參數的方法，主要是利用 2 至 3 張影像，也就是使 用 2 到 3 個 Homography matrices 來分解出 ，然而在現實中無法規定使用者所 拍攝的影像張數，因此將分解K 的方法做適當彈性調整，只需使用一張影像即可

推算出K。令相機內部參數K =

K

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

α 、β為 、u v 兩軸的 aspect ratio，

γ 為兩軸的歪斜程度，若影像座標的兩個座標軸呈 90°，則γ =0，

(

u₀ v₀

)

為影 像中心點，由公式

( )

^4.2 可得知一張影像可提供兩個等式，因此假設γ =0以及

為影像之正中央位置，利用上述資訊來求解剩下兩個未知數

(

u0, v0

)

α 、β。令

( )

j column

[ ]

^{i ≠ j}

( )( )

5.1 5.2 可列出以下式子：

)

homography matrix 式子為 ，當 已知，並且承 5.1.1 節

計算出內部參數 ，利用以上資訊便可以計算出將旋轉矩陣以及位移矩陣，利用

內部參數反矩陣分別乘上 homography matrix 的第一、二、三個 column，可求出 旋轉矩陣的第一、二 columns，以及位移矩陣，而剩下未知的旋轉矩陣第三軸，

可藉由前面所提兩軸正交之特性，利用旋轉矩陣已知的兩軸進行向量外積計算，

5.2 畫展畫作空間配置圖之建立

在 5.1 節中，系統是將畫展中的所有畫作視為獨立個體，每張畫作都擁有各 自的座標系統，然而為了提供使用者室內參觀方向導覽以及參觀路徑追蹤的服 務，必須事先知道在展場中所有畫作的空間配置圖，也就是需要串聯起原本各自 獨立的畫作，定義出一個共同的世界座標原點後，再找出彼此之間的空間相對關

在 5.1 節中，系統是將畫展中的所有畫作視為獨立個體，每張畫作都擁有各 自的座標系統，然而為了提供使用者室內參觀方向導覽以及參觀路徑追蹤的服 務，必須事先知道在展場中所有畫作的空間配置圖，也就是需要串聯起原本各自 獨立的畫作，定義出一個共同的世界座標原點後，再找出彼此之間的空間相對關

在文檔中 室內畫展導覽系統及參觀路徑追蹤 (頁 15-0)