第四章 手部追蹤
4.3 快速區塊比對
在區塊比對法部分，本論文採用影像金字塔與快速區塊比對搭配的方式來達
29
到加速的目的。
4.3.1 影像金字塔
影像金字塔的觀念是由上而下，逐步逼近來找尋匹配的位移候選點位置的技 巧，一來是因為縮小後的影像所建立的樣板區塊所包含的資訊較為豐富，二來是 可達到使用較少的搜尋次數來獲得大範圍搜尋的目的。影像金字塔會將原始影像 縮小倍率成較小的影像，根據本論文所設定的層數來依序產生縮小影像。將時間 連續的前一張影像 A 與當前影像 B 做縮小處理後，計算原始影像 B 中特徵點投 影在各個縮小影像中的位置，來當作該階層樣板區塊的中心位置，而每一層的樣 板區塊面積大小皆相同。接著從目前縮小影像中最小張的影像開始﹝即為影像金 字塔最頂層﹞，將投影到縮小影像 B 的特徵點位置對應在同一層的影像 A 上，
再以該對應點為搜尋中心，建立搜尋區域來作區塊比對，其結果為目前影像 B 之特徵點在縮小影像上，於前一張影像 A 縮小後的移動位置。
在影像金字塔頂層找到縮小影像 B 的投影特偵點對應在縮小影像 A 的位移 點之後，本論文將該位移點向下投影在影像 A 下一層較大的影像上，來獲得新 的搜尋區域中心，分別對同一層的影像 B 的每一個樣板區塊做區塊比對，來獲 得更準確的位移量，而影像 A 所建立的搜尋區域在每一層都是相同的大小。根 據新的位移量來更新位移點的位置，並重複向下投影，直到在原始影像 A 上做 完區塊比對為止。執行的順序如下圖 20 所示：
30
右圖紅色方框表示樣板區塊，左圖黃色方塊表示搜尋區域 綠色表示上一層對應的搜尋範圍。
圖20、 影像金字塔的執行順序與區塊示意圖
本論文使用兩層的影像金字塔，倍率為 0.5，即表示縮小影像為原始影像的 四分之一。由於本論文在每一層影像金字塔中使用固定大小的搜尋範圍，所以影 像金字塔在影像縮小後，所搜尋的範圍是原始影像的四倍大小，因執行兩次同面 積搜尋，相較傳統全域搜尋(Full Search)約能夠減少一半的搜尋時間。
4.3.2 區塊比對
本 論 文 在 快 速 區 塊 比 對 採 用 空 間 強 度 分 佈 法 [10](Spatial Intensity Distribution)來做為特徵比對的部分，它是利用樣板區塊(Template Block)的幾何 分佈在搜尋區域內的強度來加速的方式，下面將介紹其設計原理。
比較下圖 21 中的 Block1 與 Block2，能找出共有 6 處不同和 10 處相同的位 置，其不同的地方並不是透過複雜的計算而來，而是單純的比較數值是否相同。
31
圖21、 Block1(左) 與 Block2(右)
這種差異比較的方法類似 MPC(Matching Pel Count)的使用門檻值為 0 的情 況：
𝑀𝑃𝐶 𝑥, 𝑦, 𝑢, 𝑣 = 𝑇 𝑥, 𝑦, 𝑢, 𝑣, 𝑖, 𝑗
𝑁
𝑗 =1 𝑁
𝑖=1
𝑇 𝑥, 𝑦, 𝑢, 𝑣, 𝑖, 𝑗
= 1, if 𝐼𝑡−1 𝑥 + 𝑖, 𝑦 + 𝑗 − 𝐼𝑡 𝑥 + 𝑢 + 𝑖, 𝑦 + 𝑣 + 𝑗 < 𝑇
0, otherwise
式子中，(𝑥, 𝑦)為 t-1 時刻的影像上的座標，(𝑢, 𝑣)為位移向量，(𝑖, 𝑗)為樣板區塊 的掃描引索，其樣板區塊所使用的寬度與高度皆為 N。𝑇 𝑥, 𝑦, 𝑢, 𝑣, 𝑖, 𝑗 表示在 t-1 時刻的影像上，以(𝑥, 𝑦)作為樣板區塊的基準點，平移(𝑖, 𝑗)的像素點與在 t 時刻的 影像位移(𝑢, 𝑣)後，於(𝑥 + 𝑢, 𝑦 + 𝑣)上作為基準點，平移(𝑖, 𝑗)的像素點是否有相 同，當兩像素誤差低於誤差門檻值𝑇時，則判定(𝑢, 𝑣)相同，否則則認為其不相 似。所以𝑀𝑃𝐶 𝑥, 𝑦, 𝑢, 𝑣 為 t-1 時刻的影像上(𝑥, 𝑦)位置在 t 時刻的影像上位移(𝑢, 𝑣) 的相似分數，越高則表示兩者越像。根據這一點，空間強度分佈以下式做為加速 根據：
𝑀𝑃𝐶 𝑥, 𝑦, 𝑢, 𝑣 ≥ 𝑅 × 𝑁2
式子中 R 為匹配相似度，𝑁2為總分。調整參數 R 可以控制匹配程度的品質，用 來產生匹配分數底標，以做為所能接受的匹配程度門檻值，下面將講解其加速設
32
計。
首 先 將 匹 配 計 算 中 所 有 會 使 用 到 的 像 素 灰 度 值 ， 建 立 出 一 個 直 接 定 址 表 (Direct-Address Table)，藉由這個定址表，將能夠直接的取得所有具有相同灰階 值的像素座標，如下圖 22 所示。
圖22、 Direct-address table 範例
接著利用相對座標的計算來取得基準點的位置，以圖 23 為例子，樣板區塊中，
當(i, j) = (1,0)時，它的灰階值為 45，而搜尋區域 (u,v)=(3,1)的灰階值也是 45，若 這兩點是對應點時，則基準點位置 (U,V)的計算方法就成為 (u-i , v-j)，即 (3-1,1-0)=(2,1)。
圖23、 樣板區塊與搜尋影像
在獲得基準點之後，需要一個投票暫存器，以儲存匹配的投票結果，對樣板 區塊每個像素來做投票。首先從樣板區塊中(0, 0) 開始，取出其灰階值後，藉由 查詢直接定址表來取得誤差在門檻值(初始為 0)內所有灰階值的位置座標，然後
33
根據前面計算基準點的方法得到個別對應的基準點(U, V)，並在投票暫存器中(U, V)的位置投票，如圖 24 所示。
圖24、 投票暫存器投票過程
若投票分數有兩個以上的基準點超過底標分數，則對這些基準點做 SSD 或 SAD 來找出最小匹配誤差。演算法中誤差門檻值 Th 為 MPC 匹配的門檻值，會 隨著匹配過程發生找不到候選點時而遞增，直到找到等於或超過底標分數為止，
如圖 25 所示。
圖25、 迴圈結構中誤差門檻值改變造成的投票結果
4.3.3 以 LBP 為特徵的空間強度分佈演算法
在原來的做法中，它是以灰度值影像來運算，而論文則是依據 LBP 影像，
34
來做為空間強度分佈的輸入影像，因此必頇將原來的加速方法做一些調整，才能 有效的計算 LBP 影像間的距離。圖 26 為本論文所設計的空間強度分佈演算流 程：
圖26、 適用於 LBP 影像的空間強度分佈演算法
對於一個特徵點，調整後的空間強度分佈演算法所需的輸入包含(1)目前的 LBP 影像，(2)前一張的 LBP 影像，(3)特徵點的位置和(4)搜尋區域的中心位置。
在本論文中採用的樣板區塊大小為 11× 11，搜尋區域為 17× 17。
演算法開始 前會以 搜 尋中心建立 搜尋區 域 中 LBP 影 像的直接 定址表 (Direct-Address Table)以及 LBP 數值的 XOR 誤差表。直接定址表的功能在於紀 錄前一張 LBP 影像中位於搜尋區域內，所包含的不同 LBP 數值的所有位置資訊；
而 LBP 數值 XOR 誤差表則是記錄在每一個漢明距離的誤差下所有可能的 LBP 數值。下面圖 27 為 LBP 數值 XOR 誤差表的示意圖。
35
圖27、 LBP 數值 XOR 誤差表範例
演算法會依序將目前 LBP 影像的特徵點為中心建立樣板區塊，並依序從樣 板區塊中計算他們的 LBP 數值，透過查詢 XOR 誤差表中漢明距離為 0 的數值，
在搜尋區域內以直接定址表來取出與樣板區塊中所包含的每一個 LBP 數值的所 有可能對應位置對應的 LBP 數值位置，並於計算基準點後，在投票暫存器內投 票。
當樣板區塊內的數值皆完成投票動作後，檢查投票暫存器中，是否有基準點 的得票量超過本論文所設定的門檻值。若暫存器內的得票量都沒有超過門檻值，
則將漢明距離放寬加 1，重新再做投票，並將新的得票量再加入投票暫存器；若 暫存器內有一個點的數值超過門檻值，則將該點輸出做為匹配點；若暫存器內有 多個點超過門檻值，則使用 SAD 來做篩選，將輸出最小誤差者做為匹配點。
假設(𝑥1, 𝑦1)為在當前畫面中的一個特徵點位置，而(𝑥2, 𝑦2)為此特徵點在上 一畫面經上述區塊比對所得到的最佳對應點位置，則此特徵點的相對移動向量 (𝑢, 𝑣)即為𝑢 = 𝑥1− 𝑥2和𝑣 = 𝑦1− 𝑦2。