3 系統設計
3.2 粒子追蹤
3.2.1 相關濾波器追蹤法
過去的研究[11–14]顯示相關濾波器（correlation filter）應用於視覺追蹤（visual tracking）上，無論在準確率和效率方面表現都很好，在本論文中，我們採用[11]
的方法來追蹤粒子。這方法主要以以下方程式為基礎：
G h f (10)
其中𝑓是圖片，𝐺是一個矩陣，記錄圖片𝑓各個位置的相關值（correlation），相關值 越高，追蹤目標越有可能出現在該位置，ℎ是濾波器， ⊗表示摺積（convolution）。
這方法訓練出濾波器ℎ，並利用濾波器ℎ計算圖片𝑓上各位置的相關值而找出目標位 置。
假設粒子起始出現在第𝑡幀，根據粒子起始的標記，我們向右擴大和向上下擴 大這個 bounding box，使得擴大後的 bounding box 的寬度為粒子直徑的 3.5 倍，高 度為粒子直徑的 2 倍，位置如 Figure 3.5 所示，實線 bounding box 為粒子標記，虛 線 bounding box 為擴大實線 bounding box 後的結果，此擴大的 bounding box 是作 為 search window 之用，在下一幀中將會在 search window 範圍內偵測粒子的位置，
search window 的位置如此設計的原因是粒子只會往右移動，且上下移動幅度不大。
有的追蹤目標。
Figure 3.5 標記及其擴大後的 search window 的位置關係示意圖
Figure 3.6 最小 search window 的寬度與粒子直徑的比例的直方圖
Figure 3.7 最小 search window 的高度與粒子直徑的比例的直方圖
1 1
t t t
G H f (13) 相關值最高的位置就是粒子中心的位置。Figure 3.9 是利用濾波器計算相關值的範 例，如圖所示，輸出的相關值最高點出現在粒子中心的位置。在第𝑡 + 1幀以這個 預測的標記利用方程式(12)訓練出新的濾波器ℎ𝑡+1，並更新濾波器：
1 1 1
t t t
H H h (14) 其中0 ≤ 𝜌 ≤ 1。在第𝑡 + 2幀追蹤粒子時，利用濾波器𝐻𝑡+1來追蹤粒子。在往後的 幀中的追蹤方法也以此類推。
Figure 3.8 訓練濾波器的範例。圖(a)是粒子的圖片及其標記，圖(b)是根據標記 位置定義的相關值，圖(c)是由圖(a)和圖(b)訓練得到的濾波器。
Figure 3.9 利用濾波器計算相關值的範例。左圖表示濾波器，與 Figure 3.8(c)一 樣，中圖是 search window 內的圖片，右圖是輸出的相關值分佈。
3.2.2 正規化互相關比對法
正規化互相關比對法主要利用正規化互相關（Normalized Cross-Correlation, NCC）來量測目標出現在圖片上各個位置的可能性。給定一張圖片𝑓（大小為
Figure 3.10 正規化互相關比對的範例。左圖是模板，中圖是 search window 內的 圖片，右圖是輸出的 NCC 值分佈。
3.2.3 結合正規化互相關比對法和線性外推法
正規化互相關比對法存在一個問題，就是如果追蹤的粒子鄰近區域裏存在一 個外觀大小相似的粒子，追蹤器可能會誤認相似的粒子為追蹤目標的粒子，範例 如 Figure 3.11 所示，Figure 3.11(a)是模板，與 Figure 3.11(b)中左側的粒子是同一個 粒子，但是 Figure 3.11(b)中右側的粒子與它的外觀相似，所以計算出來的 NCC 值
u v, u v, u v, (19)
其中0 ≤ 𝑤 ≤ 1。當一個位置上兩者分數都高的時候，結合出來的分數才高。在每 一幀追蹤粒子時，以方程式(18)或(19)計算出來的分數最高的位置就是標記中心的 位置。如 Figure 3.11(e)和(f)所示，兩種結合分數的方法都能有效區分相似的粒子，
使追蹤器選擇離預測位置較近的粒子。
Figure 3.11 結合正規化互相關比對法和線性外推法的範例。圖(a)是模板，圖(b) 是 search window 內的圖片，圖(c)是輸出的 NCC 值分佈，圖(d)是根據線性外推法 預測的位置所計算的分數分佈，圖(e)是加權平均圖(c)和圖(d)的分數的結果，圖(f)
是圖(c)和圖(d)的分數乘積的結果。
3.3 互動式標記方法
baseline method，就是線性插值法（linear interpolation），這是最簡單的填補缺少的 標記的方法。假設𝐿𝑠 = (𝑥𝑠, 𝑦𝑠, 𝑙)和𝐿𝑒 = (𝑥𝑒, 𝑦𝑒, 𝑙)是兩個使用者標記（𝑠 < 𝑒），線性段預測，系統利用兩個使用者的標記去預測其中間缺失的標記。Figure 3.12 顯示一 個粒子的行走軌跡及其標記，實線的 bounding box 表示使用者標記，虛線 bounding box 表示系統預測的標記，在互動過程中，每一次使用者修正標記上面的數字表示
現在我們提出兩種互動式影片標記方法：One-way method 和 Two-way meth-od。
One-way method 是以影片播放幀的順序來標記。初始時，這方法需要使用者 標記粒子剛出現時的標記𝐿1，系統根據這標記利用粒子追蹤方法來追蹤使用者標
蹤。在第𝑡′+ 1幀及之後的幀中，粒子的位置要使用新的濾波器來重新預測，
Two-way method 不限定以影片播放幀的順序來標記，這方法會把兩個使用者 標 記 之 間 的 標 記 分 成 兩 個 集 合 ， 再 分 別 去 預 測 這 兩 個 集 合 裏 的 標 記 ， 假 設
其中間缺失的標記。以為 Figure 3.13 例，此圖顯示一個粒子的行走軌跡及其標記，
實線的 bounding box 表示使用者標記，虛線 bounding box 表示系統預測的標記，
標記上面的數字代表標記所在的幀，對於這個粒子，總共有四個使用者標記，這 四個使用者標記把粒子的行走軌跡分成三段，系統預測標記工作就分成三段進行，
對於標記 1 到標記 4 一段，標記 2 是系統利用標記 1 向後追蹤而預測出來的，標 記 3 是系統利用標記 4 往回追蹤而預測出來的，對於標記 4 到標記 10 一段，標記 5 至標記 7 是系統利用標記 4 向後追蹤而預測出來的，標記 8 至標記 9 是系統利用 標記 10 往回追蹤而預測出來的，對於標記 10 到標記 14 一段的預測也以此類推。
Figure 3.13 Two-way method 的範例
4 實驗
使用我們的系統來標記影片，並計算標記過程中人工標記的個數（包括粒子起始 和結束位置的標記和更正錯誤的標記）來評估我們的系統可以減少多少人力。如 果預測的標記與 ground truth 標記的中心距離不必超過 10 像素（pixels），此標記算 成是正確的標記。
Figure 4.1 測試影片 Droplet1 的幀範例
Figure 4.2 測試影片 Droplet2 的幀範例
Figure 4.3 測試影片 Bead 的幀範例
根據不同的粒子追蹤方法和互動式標記方法，我們可以組合出不同的互動式 追蹤方法，Table 4.2 列出所有的組合方法。在之後的實驗，我們會比較這些方法。
在模擬的過程中，對於不限制標記順序的方法（Interp、CF-2way、NCC-2way、
NCC-Extrap-sum-2way 和 NCC-Extrap-mul-2way），每一次得到系統預測的標記後
他方法，標記的順序與影片播放順序一樣。
方法名稱 粒子追蹤方法 互動式標記方法
Interp 線性插值法
CF-1way-1
相關濾波器追蹤法
One-way method，
修正標記時，更新濾波器 會考慮之前訓練得到的
濾波器
CF-1way-2
One-way method，
修正標記時，更新濾波器 不會考慮之前訓練得到
的濾波器
CF-2way Two-way method
NCC-1way
正規化互相關比對法 One-way method
NCC-2way Two-way method
NCC-Extrap-sum-1way 結合正規化互相關比對 法和線性外推法的追蹤 法，使用加權平均來結合
兩種分數
One-way method
NCC-Extrap-sum-2way Two-way method
NCC-Extrap-mul-1way 結合正規化互相關比對 法和線性外推法的追蹤 法，使用乘積來結合兩種
分數
One-way method
NCC-Extrap-mul-2way Two-way method
響，參數𝛼是在訓練濾波器時用來定義相關值分佈的分散程度，Figure 4.4 顯示 α = 25.75時效果最好。參數𝜌是更新濾波器的權重，Figure 4.5 顯示若𝛼值取在 25 與 50 之間，方法 CF-1way-1 的效能對於參數𝜌的變化不是很敏感，𝜌 = 0.2時效果 最好。
Figure 4.6 和 Figure 4.7 分別顯示兩個參數𝛼和𝜌對方法 CF-1way-2 的效能的影 響。從 Figure 4.4 和 Figure 4.6 可以看到，方法 CF-1way-1 和方法 CF-1way-2 對參 數𝛼的反應是相似的，這是可以預期的，因為方法 CF-1way-1 和方法 CF-1way-2 在 訓練濾波器時並沒有不一樣。但是從 Figure 4.5 和 Figure 4.7 可以看到，兩個方法 對參數𝜌的反應是不一樣的，因為更新濾波器的步驟不同，相比方法 CF-1way-1，
方法 CF-1way-2 的效能對於參數𝜌的變化更加的不敏感，𝜌 = 0.005時效果最好。
Figure 4.4 參數𝛼的變化對方法 CF-1way-1 的影響
Figure 4.5 參數𝜌的變化對方法 CF-1way-1 的影響
Figure 4.7 參數𝜌的變化對方法 CF-1way-2 的影響
Figure 4.8 和 Figure 4.9 分別顯示兩個參數𝛼和𝜌對方法 CF-2way 的效能的影響，
結果與 CF-1way-2 很相似，都是在𝛼 = 25.75時效果最好，而且對於參數𝜌的變化 不敏感，𝜌 = 0.005時效果最好。這是因為兩個方法都是從修正的標記開始重新追 蹤，唯一差別在於，CF-1way-2 只會做一個方向的追蹤，而 CF-2way 會做兩個方 向的追蹤。
Figure 4.8 參數𝛼的變化對方法 CF-2way 的影響
Figure 4.10 參數𝜎的變化對方法 NCC-Extrap-sum-1way 的影響
Figure 4.10 和 Figure 4.11 分 別 顯 示 兩 個 參 數 𝜎 和 𝑤 對 方 法 NCC-Extrap-sum-1way 的效能的影響。參數𝜎是在計算外推法預測位置的分數時用 來定義分數分佈的分散程度，Figure 4.10 顯示σ = 0.6時效果最好。參數𝑤是結合 NCC 和外推法的分數的權重，Figure 4.11 顯示𝑤 = 0.9時效果最好，所以 NCC 值 的權重較重，而利用外推法預測位置的分數則是作輔助之用。
Figure 4.12 和 Figure 4.13 分 別 顯 示 兩 個 參 數 𝜎 和 𝑤 對 方 法 NCC-Extrap-sum-2way 的效能的影響，趨勢基本上與 NCC-Extrap-sum-1way 的相同。
Figure 4.12 顯示𝜎 = 0.8時效果最好，Figure 4.13 顯示𝑤 = 0.8時效果最好。
Figure 4.14 顯示參數𝜎對方法 NCC-Extrap-mul-1way 的效能的影響，𝜎 = 1時效 果最好，這意味着利用外推法來預測的位置不太準確，所以在計算預測位置的分 數時採用分數分散程度高的分佈。
Figure 4.15 顯示參數𝜎對方法 NCC-Extrap-mul-2way 的效能的影響，趨勢與 NCC-Extrap-mul-1way 的相同，𝜎 = 0.9時效果最好。
Figure 4.13 參數𝑤的變化對方法 NCC-Extrap-sum-2way 的影響
Figure 4.15 參數𝜎的變化對方法 NCC-Extrap-mul-2way 的影響
Table 4.3 總結以上調整參數的結果，之後我們會利用這組參數在影片 Droplet2 和 Bead 上進行實驗。
方法名稱 參數設定 NCC-Extrap-mul-2way 𝜎 = 0.9
Table 4.3 各方法的參數設定