國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
2.2 比對方法
在過去的諸多研究中，許多研究學者是以區塊比對的方式，在影像中截取影 像區塊，做為相似度量測時的依據，後來有研究學者提出以補綴面為基礎比對方 法，透過幾何關係在多視角影像中截取影像資訊，再進行相似度量測，此小節將 分別介紹區塊比對方法與補綴面為基礎比對方法，以及這兩種比對方法在多視角 影像環境下，進行相似度測量會產生的問題。
區塊比對方法(Block Matching)
如圖 16 區塊比對方法示意圖所示，在影像I 中有2 f 、1 f 、2 f 、3 f 四個對應4 點的候選點，區塊比對方法會以影像I 特徵點及影像1 I 對應候選點周遭，固定大2 小的方形像素區塊進行相似度量測，此以比對區塊大小為 5 x 5 的方形像素區塊 為例，其中影像I 特徵點1 f 的比對區塊為0 B ，影像1 I 對應候選點2 f 的比對區塊1 為B ，在相似度測量的部分，較常見的作法是以差值帄方和、正規化相關匹配2 法、零帄均正規化相關匹配方法、尺度不變特徵轉換、色彩直方圖等方法進行相 似度的量測，藉由相似度測量值的高低從對應候選點中選出對應點。
圖 16：區塊比對方法示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
22
區塊比對方法產生的問題(Block Matching Problem)
多視角影像的環境下，區塊比對方法在進行相似度測量的比對區塊，容易受 到多視角影像間拍攝視角旋轉及拍攝距離差異的影響，產生比對區塊內進行相似 度測量的像素群組不相同及其相對位置不一致的問題，如圖 17 比對區塊像素群 組不相同示意圖所示，影像I 比對區塊1 B 中的像素資訊，不完全在影像1 I 對應候2 選點 f 的比對區塊1 B 範圍內，在進行相似度量測時，比對區塊像素群組不相同2 及其相對位置皆不一致的情況，容易造成相似度測量值的不準確。
圖 17：比對區塊像素群組不相同示意圖
比對區塊內的像素群組不相同及其相對位置不一致的程度，會受到多視角影 像間拍攝視角的旋轉角度與拍攝位置的距離差異所影響，其中受到多視角影像間 拍攝視角旋轉產生的問題，我們稱之為區塊比對旋轉問題(block matching rotation problem)，如圖 18 區塊比對旋轉問題示意圖(a)所示，以相異視角的 1 號相機C 與1 2 號相機C ，對貼有彩色數字的九宮格圖樣帄面拍攝影像，此以比對區塊大小為2 3 x 3 的方形像素區塊為例，如圖 19 區塊比對旋轉問題示意圖(b)所示，比對區塊 Block 與比對區塊1 Block 的影像資訊，受到拍攝視角的影響旋轉了 180 度，拍攝2 視角旋轉造成兩者比對區塊內的影像資訊相對位置不一致。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
圖 18：區塊比對旋轉問題示意圖(a)
圖 19：區塊比對旋轉問題示意圖(b)
受到多視角影像間拍攝距離差異產生的問題，我們稱之為區塊比對縮放問題 (block matching scale problem)，如圖 20 區塊比對縮放問題示意圖(a)所示，以相 異距離的 1 號相機C 與 2 號相機1 C ，在相同焦距的情況下，對貼有彩色數字的2 九宮格圖樣帄面拍攝影像，此以比對區塊大小為 3 x 3 的方形像素區塊為例，如 圖 21 區塊比對旋轉問題示意圖(b)所示，由於 1 號相機距離貼有彩色數字的九宮 格圖樣帄面比較遠，2 號相機距離貼有彩色數字的九宮格圖樣帄面比較近，比對 區塊Block 與比對區塊1 Block 的影像資訊，受到拍攝距離的影響，比對區塊2 Block 的 9 個像素所記錄的資訊，實際上是比對區塊2 Block 中的 1 個像素放大之1 後的結果，拍攝距離差異造成兩者比對區塊內的影像資訊像素群組不相同。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
24
圖 20：區塊比對縮放問題示意圖(a)
圖 21：區塊比對縮放問題示意圖(b)
補綴面為基礎比對方法(Patch-based Matching)
參照圖 22 補綴面為基礎比對方法示意圖(a)所示，影像I 為參照影像，影像1 中的 1 組對應點，可推算出相對於三維空間中的三維點 X，利用三維點 X 與 1 號相機中心C 可求得法向量，接著透過三維點 X 以及求得的法向量，可以在三1 維空間中唯一決定 1 個帄面，我們稱之為補綴面，此以比對區塊大小為 5 x 5 像 素區塊為例，如圖 23 補綴面為基礎比對方法示意圖(b)所示，從 1 號相機中心C1 對參照影像的比對區塊射出 25 條射線，這 25 條射線會與補綴面交會出 25 個三 維點，如圖 24 補綴面為基礎比對方法示意圖(c)所示，將補綴面上這 25 個三維點，
投影到影像I 上形成 25 個投影點，投影點所在的像素資訊，依照投影順序重新2 排列為 5 x 5 方形比對區塊後，與參照影像I 上的 5 x 5 比對區塊進行相似度量1 測。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
25
圖 22：補綴面為基礎比對方法示意圖(a)
圖 23：補綴面為基礎比對方法示意圖(b)
圖 24：補綴面為基礎比對方法示意圖(c)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
26
補綴面為基礎比對方法產生的問題(Patch-based Matching Problem)
補綴面為基礎比對方法藉由多視角影像之間的幾何關係，將投影點所在的像 素資訊，依照投影順序重新排列為方形比對區塊後，再進行相似度量測，較不易 受到多視角影像間拍攝視角旋轉造成的影響，如圖 25 依投影順序重新排列比對 區塊示意圖所示，經過重新排列比對區塊後，比對區塊Block 與比對區塊為1 Block 內的像素群組及其相對位置皆一致，但是補綴面為基礎比對方法在相似度2
測量的準確程度，仍然會受到多視角影像間拍攝距離差異的影響，我們稱之為補 綴面為基礎比對縮放問題(Patch-based Matching Scale Problem)。
圖 25：依投影順序重新排列比對區塊示意圖
補綴面為基礎比對縮放問題，是由於補綴面三維點投影至多視角影像時，若 兩台相機的影像投影面與補綴面三維點的距離差異過大，則會造成投影點過於集 中或是過於分散兩種情況，如圖 26 投影點集中示意圖與圖 27 投影點分散示意圖 所示，此以比對區塊大小為 3 x 3 像素區塊為例，當投影點過於集中時，投影點 所涵蓋的像素區塊量變少而且重複性高，當投影點過於分散時，雖然投影點所涵 蓋的像素區塊數量與投影點的數量相同，但是會因為縮放的比例造成像素資訊程 度性的失真，補綴面為基礎比對方法當出現其中一種情況時，皆容易在相似度的 測量上發生不準確的情形。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
27
圖 26：投影點集中示意圖 圖 27：投影點分散示意圖
‧
內部參數(Intrinsic Parameters)：
參照圖 28 針孔成像原理示意圖所示，C 為相機中心，當我們已知三維點 XO
= (399.5, 299.5)，因此，相機內部針孔成像的幾何關係可以用公式(2-2)表示之，
其中，相機之內部參數即為公式(2-3)中的 K 矩陣。