國立臺灣大學電機資訊學院資訊工程學研究所 碩士論文
Department of Computer Science and Information Engineering College of Electrical Engineering and Computer Science
National Taiwan University Master Thesis
應用於 DNA 解煉曲線分析的高效互動式粒子追蹤方法 An Effective & Interactive Approach to Particle Tracking for DNA
Melting Curve Analysis
李穎忠
Weng Chong Lei
指導教授：張智星 博士
Advisor: Jyh-Shing Roger Jang, Ph.D.
中文摘要
DNA 解煉曲線分析是一種研究 DNA 序列變異的重要技術，但是研究人員必 須標記螢光顯微鏡拍下的實驗影片才能得到實驗數據，這是一個很花時間的工作。
本論文提出一個互動式的影片標記系統，這系統利用粒子追蹤方法自動替使用者 標記實驗影片，並設有互動機制，讓使用者只需要標記一小部分，就可以完成整 個標記工作。我們的系統經過實驗驗證其有效性。
關鍵字：DNA 解煉曲線分析、影片標記、粒子追蹤
ABSTRACT
DNA melting curve analysis is an important technique for the detection of DNA sequence variants. However, it requires object annotation in video from fluorescence microscopy, which is tedious. In this thesis, we present an interactive video annotation system that tracks the particles in video interactively and provides all the labels with little manual effort. Evaluations on realistic video data demonstrate the effectiveness of our system.
KEYWORDS: DNA melting curve analysis, Video annotation, Particle tracking.
目錄
口試委員會審定書 ...i
中文摘要 ... ii
ABSTRACT ... iii
目錄 ...iv
圖目錄 ...vi
表目錄 ...ix
1 導論 ... 1
1.1 研究動機 ... 1
1.2 相關研究 ... 2
1.3 論文架構 ... 3
2 影片特性 ... 4
3 系統設計 ... 7
3.1 粒子圓心位置和半徑的估計方法 ... 7
3.2 粒子追蹤 ... 10
3.2.1 相關濾波器追蹤法 ... 11
4.2 實驗結果 ... 34
4.3 錯誤分析 ... 37
5 總結 ... 40
參考文獻 ... 41
圖目錄
Figure 1.1 進行 DNA 解煉曲線分析之生物實驗室晶片的設計 ... 1
Figure 1.2 從螢光顯微鏡拍下載體通過微通道的影片畫面 ... 2
Figure 2.1 粒子移動過程中亮度漸減的範例 ... 5
Figure 2.2 速度快的粒子繞行超越速度慢的粒子的範例 ... 6
Figure 3.1 使用者使用我們的系統標記一個粒子的流程圖 ... 7
Figure 3.2 估計粒子圓心和半徑的流程圖 ... 8
Figure 3.3 二值化圖片受雜訊影響的範例。圖(a)是高雜訊的圖片，圖(b)是二值化 圖(a)後的結果，圖(c)是圖(b) dilation 後的結果，圖(d)是圖(c) erosion 後 的結果。 ... 9
Figure 3.4 左欄是粒子的圖片，右欄是對應的 bounding circle 偵測結果。 ... 10
Figure 3.5 標記及其擴大後的 search window 的位置關係示意圖 ... 12
Figure 3.6 最小 search window 的寬度與粒子直徑的比例的直方圖 ... 12
Figure 3.7 最小 search window 的高度與粒子直徑的比例的直方圖 ... 13
Figure 3.8 訓練濾波器的範例。圖(a)是粒子的圖片及其標記，圖(b)是根據標記位 置定義的相關值，圖(c)是由圖(a)和圖(b)訓練得到的濾波器。 ... 14
search window 內的圖片，圖(c)是輸出的 NCC 值分佈，圖(d)是根據線性 外推法預測的位置所計算的分數分佈，圖(e)是加權平均圖(c)和圖(d)的
分數的結果，圖(f)是圖(c)和圖(d)的分數乘積的結果。 ... 18
Figure 3.12 線性插值標記法的範例 ... 20
Figure 3.13 Two-way method 的範例 ... 22
Figure 4.1 測試影片 Droplet1 的幀範例 ... 24
Figure 4.2 測試影片 Droplet2 的幀範例 ... 24
Figure 4.3 測試影片 Bead 的幀範例 ... 24
Figure 4.4 參數𝛼的變化對方法 CF-1way-1 的影響... 26
Figure 4.5 參數𝜌的變化對方法 CF-1way-1 的影響 ... 27
Figure 4.6 參數𝛼的變化對方法 CF-1way-2 的影響... 27
Figure 4.7 參數𝜌的變化對方法 CF-1way-2 的影響 ... 28
Figure 4.8 參數𝛼的變化對方法 CF-2way 的影響 ... 29
Figure 4.9 參數𝜌的變化對方法 CF-2way 的影響 ... 29
Figure 4.10 參數𝜎的變化對方法 NCC-Extrap-sum-1way 的影響 ... 30
Figure 4.11 參數𝑤的變化對方法 NCC-Extrap-sum-1way 的影響 ... 30
Figure 4.12 參數𝜎的變化對方法 NCC-Extrap-sum-2way 的影響 ... 31
Figure 4.13 參數𝑤的變化對方法 NCC-Extrap-sum-2way 的影響 ... 32
Figure 4.14 參數𝜎的變化對方法 NCC-Extrap-mul-1way 的影響 ... 32
Figure 4.15 參數𝜎的變化對方法 NCC-Extrap-mul-2way 的影響 ... 33 Figure 4.16 圖(a)顯示粒子剛進行畫面時的情況，圖(b)顯示粒子即將離開畫面時的
Figure 4.17 標記影片 Droplet2 的過程中人工標記的數量與正確標記的數量的關係 圖...36 Figure 4.18 標記影片 Bead 的過程中人工標記的數量與正確標記的數量的關係圖 37 Figure 4.19 難以辨認亮度極低的粒子的位置的範例。紅色 bounding box 為 ground truth 標記，綠色 bounding box 為預測的 bounding box。 ... 38 Figure 4.20 雜訊太多導致追蹤錯誤的範例。紅色 bounding box 為 ground truth 標記，
綠色 bounding box 為預測的 bounding box。 ... 38 Figure 4.21 方法 NCC-Extrap-mul-1way 的錯誤範例。紅色的路線是粒子 1 的 ground truth 軌跡，綠色的路線是預測的軌跡。 ... 39
表目錄
Table 4.1 實驗影片的統計資料 ... 23
Table 4.2 各種互動式追蹤方法的組成成份 ... 25
Table 4.3 各方法的參數設定 ... 34
Table 4.4 標記影片實驗結果 ... 35
1 導論
在某些情況下，生物學家進行實驗後，需要分析顯微鏡拍下的圖片或影片，
經由標記它們以取得實驗數據，DNA 解煉曲線分析（DNA melting curve analysis）
就是其中一個例子，但是這種標記工作是冗長乏味的。本論文將提出互動式粒子 追蹤（interactive particle tracking）方法，並嘗試改進其效能，以幫助人們快速標 記螢光顯微鏡（fluorescence microscope）下拍下的影片。以下的子節會分別說明研 究動機、相關研究和論文架構。
1.1 研究動機
單核苷酸多態性（Single Nucleotide Polymorphism, SNP）是指中單一核苷酸的 改變所引起的 DNA 序列多樣性，為常見的基因變異之一。對於很多 DNA 序列相 關的研究，單核苷酸多態性是很重要的生物標記（biomarker），檢測單核苷酸多態 性可以應用在遺傳性疾病的預防、育種和品種改良等等。
DNA 解煉曲線分析是一種檢測單核苷酸多態性的技術。國立臺灣大學盧彥文 教授所帶領的研究團隊利用微通道（micro-channel）製作而成的生物實驗室晶片來 進行 DNA 解煉曲線分析，該單核苷酸多態性之檢測系統的設計如 Figure 1.1 所示，
微通道的右側經加熱器（heater）加熱，使得其温度從左到右逐漸升高，載體（carrier）
載着 DNA 和螢光劑（fluorescent dye）從左到右經過微通道，DNA 經過加熱後解 煉，載體的螢光也會隨之減弱，觀察這一過程中載體螢光亮度（fluorescent intensity）
Figure 1.2 從螢光顯微鏡拍下載體通過微通道的影片畫面
的變化可以判斷 DNA 的解煉温度（melting temperature）。因此研究人員必須標記 從螢光顯微鏡拍下以上實驗過程的影片（畫面範例請看 Figure 1.2），記錄每一個載 體的位置和亮度，從而推算出温度和亮度的關係。這樣逐幀標記（frame by frame labeling）是需要大量的人力（human effort）和時間，所以我們的目標是設計一個 系統，利用粒子追踪等方法自動化標記影片的過程，從而減少人力和時間。
1.2 相關研究
過 去 有 關 粒 子 追 踪 的 研 究 有 [1–4] ， 這 些 方 法 都 被 實 作 成 多 款 軟 體 ： ParticleTracker（ImageJ plugin）[4] 、u-track[2]、Trackpy[1]和 PLuTARC[3]。這些 方法一般可以分成兩個步驟，第一個步驟是在每一幀偵測粒子的中心點，然後第 二步連結相鄰的幀中偵測到的粒子，形成粒子行動的軌跡（trajectory）。[5]比較各 種粒子追蹤方法在不同的情景下的表現，發現沒有一種方法在所有的情景下都表 現最好，證明不同的方法適合於不同的應用。
另外，有一些研究[6–10]是屬於互動式影片標記技術（interactive video anno- tation），這一類的研究的目的是減少人手標記的數量。互動式影片標記技術讓使用 者先標記一部分的幀，然後電腦會自動填補未標記的幀，使用者修正一些電腦錯 誤的標記，電腦也會根據使用者的修正資訊，去改進其他標記，透過使用者與電 腦輪流進行標記和修正，最終得到所有正確的標記。[6]使用線性插值法（linear interpolation）來填補缺少的標記。[7]提出利用 K-D 樹（K-D tree）來快速找出追 蹤目標可能的位置，並利用動態規劃（dynamic programming）來找出可以串聯使
記擴展到未標記的幀的目的。[10]利用物件偵測方法（object detection）來取得缺 少的標記（以 Hough forests 作為偵測器），並提出增量式學習方法（incremental learning）來快速更新偵測器。在互動式影片標記技術的架構下，使用者標記幀的 順序會影響整個標記工作的效率，所以[8], [10]提出 active learning 來預測使用者先 標記哪些幀可以更快速的完成整個標記工作。
我們提出的粒子方法與現有的方法不同的在於，現有的方法著重在分析粒子 行走的軌跡，而我們的應用需要取得粒子的亮度，所以我們的方法會分析粒子的 大小及其中心區域的亮度，並且結合互動式標記方法，進一步減少標記影片的人 力。
1.3 論文架構
本論文往後的章節安排如下。第 2 章分析 DNA 解煉曲線分析的實驗影片的性 質，第 3 章詳細介紹我們的系統設計和互動式粒子追蹤方法，第 4 章介紹實驗設 定和展示實驗結果，最後第 5 章作出結論。
2 影片特性
我們要標記的影片是利用螢光顯微鏡拍下 DNA 解煉曲線分析的實驗過程而取 得的。在本章裏出現的圖均來自於測試影片 Droplet2，在第 4 章將有詳細介紹。影 片有以下幾項特性：
(1) 如 Figure 1.2 所示，我們所要標記的粒子是畫面中的亮點。粒子的形狀是 圓形。在一段影片裏會存在大小不同的粒子；
(2) 粒子會從左側進入畫面，向右移動直到離開畫面。一般情況下，粒子在 y 軸方向的移動幅度很小（特殊情況請看第 6 點）；
(3) 粒子在從左側移動到右側的過程中，亮度會逐漸變暗，如 Figure 2.1 中被 bounding box 所標示的粒子；
(4) 粒子在移動過程中大小不變；
(5) 半徑越小的粒子移動速度越快；
(6) 粒子之間不會互相遮擋。若粒子的移動路徑上存在另一移動速度比它慢 的粒子，它會繞行超越，如 Figure 2.2 中粒子 1 超越粒子 2。
Figure 2.1 粒子移動過程中亮度漸減的範例
Figure 2.2 速度快的粒子繞行超越速度慢的粒子的範例
3 系統設計
我們的標記系統遵從互動式影片標記技術的設計原則，即系統利用使用者提 供的標記，計算出缺少的標記，又能根據使用者的修正資訊改進標記的質量，而 系統與使用者互動時系統給予使用者的回饋是即時的，使用者不須等待就能得到 更新後的標記。
使用者使用我們的系統標記一個粒子的流程如 Figure 3.1，使用者首先在粒子 進入畫面時以矩形標記粒子，系統會在使用者標記的範圍內估計該粒子的圓心位 置和半徑，然後系統會追蹤粒子的行動，而取得它在往後的幀的標記，使用者檢 查系統預測的標記的正確性，一旦發現標記錯誤就進行更正，系統會根據使用者 的修改重新追蹤粒子，並改進標記，使用者繼續檢查改進的標記，重複使用者修 改和系統更新的步驟，直得最後取得這個粒子所有正確的標記。
隨後的 3.1 節會詳細介紹估計粒子的圓心和半徑的方法，3.2 節將會介紹粒子 追蹤方法，3.3 節將會介紹互動式標記的方法和系統與使用者互動時更新標記的方 法。
Figure 3.2 估計粒子圓心和半徑的流程圖
然後使用Otsu’s method 把圖片二值化（thresholding），所得到的二元圖像（binary image）是只有屬於粒子的部分的像素（pixel）為 1，其他屬於背景的部分的像素 為 0，但是當影片雜訊比較多時，這時候得到的二元圖像會受雜訊影響而變得不穩 定，如 Figure 3.3，所以要再經過 dilation 和 erosion 的操作後，我們才可以得到一 個比較穩定描述該粒子形狀的遮罩（mask），之後對這個遮罩使用 Sobel edge de- tection method 找出粒子的邊界，最後以邊界作為數據點使用最小平方法（least squares method）去擬合（fitting）出圓曲線（bounding circle）。
具體擬合的方法如下：假設粒子的邊界各點的座標為{(𝑥𝑖, 𝑦𝑖)|𝑖 = 1,2, … , 𝑁}，
以(𝑥𝑐, 𝑦𝑐)和𝑟分別表示 bounding circle 的圓心座標和半徑，我們要最小化以下目標 函數（objective function）：
2
2 2, , 1
min
c c
N
c i c i
x y r i
x x y y r
(1)方程式(1)中的目標函數的值為最小值 0 的充分及必要條件是，粒子的邊界上各點 與圓心距離都為𝑟，所以我們可以得到以下方程式組：
2 2 2
1 1
2 2 2
2 2
2 2 2
c c
c c
c N c N
x x y y r
x x y y r
x x y y r
(2)
Figure 3.3 二值化圖片受雜訊影響的範例。圖(a)是高雜訊的圖片，圖(b)是二值 化圖(a)後的結果，圖(c)是圖(b) dilation 後的結果，圖(d)是圖(c) erosion 後的結果。
展開方程式(2)可以得到
2 2 2 2 2
1 1 1 1
2 2 2 2 2
2 2 2 2
2 2 2 2 2
2 2
2 2
2 2
c c c c
c c c c
N c N c c c N N
x x y y r x y x y
x x y y r x y x y
x x y y r x y x y
(3)
以矩陣的形式表示，方程式(3)可以被改寫為
Az B (4)
其中
1 1
2 2
2 2 1
2 2 1
2 N 2 N 1
x y
x y
x y
A (5)
2 2 2
c c
c c
x y
r x y
z (6)
2 2
1 1
2 2
x y x y
2 2
1, 2, 3 1 2
c c
x z y z r z z z (9) 其中𝑧𝑖表示向量𝐳的第𝑖個元素。
Figure 3.4 顯示我們的估計方法的穩定性（robustness），無論粒子大小變化和 雜訊的多寡，只要確定圖片內只存在一個粒子，我們的方法都能正確地找出粒子 的圓心和半徑。
Figure 3.4 左欄是粒子的圖片，右欄是對應的 bounding circle 偵測結果。
3.2 粒子追蹤
由於我們的系統需要與使用者進行互動，系統必須即時預測出缺少的標記，
基於效率的考量，我們選擇以下三種粒子追蹤方法：相關濾波器追蹤法（correlation filter based tracking）[11] 、正規化 互相 關 比 對法 （normalized cross-correlation
追蹤方法。
在追蹤的過程中，我們使用 bounding box 標記。在利用 3.1 節的方法得到 bounding circle 的圓心和半徑之後，我們把它轉換成 bounding box 標記，bounding box 的中心位置是 bounding circle 的圓心， bounding box 邊長的長度是 bounding circle 的直徑，每個 bounding box 都是正方形，bounding circle 和 bounding box 之 間可以互相轉換。由於粒子在移動的過程中大小不變，所以我們在追蹤時只考慮 目標位置，不考慮目標大小變化。
3.2.1 相關濾波器追蹤法
過去的研究[11–14]顯示相關濾波器（correlation filter）應用於視覺追蹤（visual tracking）上，無論在準確率和效率方面表現都很好，在本論文中，我們採用[11]
的方法來追蹤粒子。這方法主要以以下方程式為基礎：
G h f (10)
其中𝑓是圖片，𝐺是一個矩陣，記錄圖片𝑓各個位置的相關值（correlation），相關值 越高，追蹤目標越有可能出現在該位置，ℎ是濾波器， ⊗表示摺積（convolution）。
這方法訓練出濾波器ℎ，並利用濾波器ℎ計算圖片𝑓上各位置的相關值而找出目標位 置。
假設粒子起始出現在第𝑡幀，根據粒子起始的標記，我們向右擴大和向上下擴 大這個 bounding box，使得擴大後的 bounding box 的寬度為粒子直徑的 3.5 倍，高 度為粒子直徑的 2 倍，位置如 Figure 3.5 所示，實線 bounding box 為粒子標記，虛 線 bounding box 為擴大實線 bounding box 後的結果，此擴大的 bounding box 是作 為 search window 之用，在下一幀中將會在 search window 範圍內偵測粒子的位置，
search window 的位置如此設計的原因是粒子只會往右移動，且上下移動幅度不大。
有的追蹤目標。
Figure 3.5 標記及其擴大後的 search window 的位置關係示意圖
Figure 3.6 最小 search window 的寬度與粒子直徑的比例的直方圖
Figure 3.7 最小 search window 的高度與粒子直徑的比例的直方圖
讓圖片𝑓𝑡等於第𝑡幀 search window 範圍內的圖片，並定義相關值為
*
Gt e
z z
(11)
其中𝒛∗是標記的中心位置（即粒子的圓心），粒子的圓心位置相關值最高，離圓心 位置越遠，相關值越低，Figure 3.8(b)是相關值分佈的範例。濾波器ℎ𝑡的訓練方法 如下：
1 t
t
h G
(12)
1 1
t t t
G H f (13) 相關值最高的位置就是粒子中心的位置。Figure 3.9 是利用濾波器計算相關值的範 例，如圖所示，輸出的相關值最高點出現在粒子中心的位置。在第𝑡 + 1幀以這個 預測的標記利用方程式(12)訓練出新的濾波器ℎ𝑡+1，並更新濾波器：
1 1 1
t t t
H H h (14) 其中0 ≤ 𝜌 ≤ 1。在第𝑡 + 2幀追蹤粒子時，利用濾波器𝐻𝑡+1來追蹤粒子。在往後的 幀中的追蹤方法也以此類推。
Figure 3.8 訓練濾波器的範例。圖(a)是粒子的圖片及其標記，圖(b)是根據標記 位置定義的相關值，圖(c)是由圖(a)和圖(b)訓練得到的濾波器。
Figure 3.9 利用濾波器計算相關值的範例。左圖表示濾波器，與 Figure 3.8(c)一 樣，中圖是 search window 內的圖片，右圖是輸出的相關值分佈。
3.2.2 正規化互相關比對法
正規化互相關比對法主要利用正規化互相關（Normalized Cross-Correlation, NCC）來量測目標出現在圖片上各個位置的可能性。給定一張圖片𝑓（大小為 𝑀𝑥× 𝑀𝑦）和一模板（template）𝑝（大小為𝑁𝑥× 𝑁𝑦），NCC 量測𝑓上各部分的 subimage 與𝑝的相似性，其計算方法如下：
, ,
2 2
,
, ,
, ,
,
, ,
u v x y
u v
x y x y
f x y f p x u y v p u v
f x y f p x u y v p
(15)其中𝑓(𝑥, 𝑦)是圖片𝑓上座標(𝑥, 𝑦)的亮度，𝑝(𝑥, 𝑦)是模板𝑝上座標(𝑥, 𝑦)的亮度，𝑝̅是 模板𝑝的平均亮度，𝑓̅𝑢,𝑣是圖片𝑓中以座標(𝑢, 𝑣)為中心，大小為𝑁𝑥× 𝑁𝑦（即模板的 大小）的 subimage 的亮度平均值，計算方法如下：
2
2
2 2
1 1
,
1 ,
Nx Ny
Nx Ny
u v
u v
x y x u y v
f f x y
N N
(16)經正規化後，NCC 值介於−1和1之間。
假設粒子起始出現在第𝑡幀，系統把粒子起始的標記的部分當作模板，在後續
Figure 3.10 正規化互相關比對的範例。左圖是模板，中圖是 search window 內的 圖片，右圖是輸出的 NCC 值分佈。
3.2.3 結合正規化互相關比對法和線性外推法
正規化互相關比對法存在一個問題，就是如果追蹤的粒子鄰近區域裏存在一 個外觀大小相似的粒子，追蹤器可能會誤認相似的粒子為追蹤目標的粒子，範例 如 Figure 3.11 所示，Figure 3.11(a)是模板，與 Figure 3.11(b)中左側的粒子是同一個 粒子，但是 Figure 3.11(b)中右側的粒子與它的外觀相似，所以計算出來的 NCC 值 分佈如 Figure 3.11(c)所示，兩個高峰分別出現在兩個粒子的中心位置，但在右側 粒子的中心位置的峰值較高，所以系統誤認右側粒子是追蹤目標。為了解決這個 問題，我們利用線性外推來預測粒子在下一幀的位置。假設粒子在前兩個幀的標 記的中心座標分別是(𝑥1, 𝑦1)和(𝑥2, 𝑦2)，我們預測粒子在目前幀的標記中心座標是 (𝑥3, 𝑦3) = (2𝑥2− 𝑥1, 2𝑦2− 𝑦1)，根據預測出來的座標，我們以以下方法來計算分 數：
2 3, 3
,
u x v y
u v e l
(17)
其中𝑙是粒子的直徑，0 < 𝜎 ≤ 1，如 Figure 3.11(d)所示，分數最高的地方在預測的 位置上，離預測的位置越遠分數越低。
追蹤方法與正規化互相關比對法相同，唯一差別是，我們不只考慮 NCC 的數 值，同時也考慮方程式(17)所計算出來的分數，結合兩者的方法有兩個，分別是
u v, w
u v, 1 w
u v, (18)
u v, u v, u v, (19)
其中0 ≤ 𝑤 ≤ 1。當一個位置上兩者分數都高的時候，結合出來的分數才高。在每 一幀追蹤粒子時，以方程式(18)或(19)計算出來的分數最高的位置就是標記中心的 位置。如 Figure 3.11(e)和(f)所示，兩種結合分數的方法都能有效區分相似的粒子，
使追蹤器選擇離預測位置較近的粒子。
Figure 3.11 結合正規化互相關比對法和線性外推法的範例。圖(a)是模板，圖(b) 是 search window 內的圖片，圖(c)是輸出的 NCC 值分佈，圖(d)是根據線性外推法 預測的位置所計算的分數分佈，圖(e)是加權平均圖(c)和圖(d)的分數的結果，圖(f)
是圖(c)和圖(d)的分數乘積的結果。
3.3 互動式標記方法
首先我們定義一些符號，我們以𝐿𝑖 = (𝑥𝑖, 𝑦𝑖, 𝑙)表示目標粒子在第𝑖幀的標記，
其中(𝑥𝑖, 𝑦𝑖)是 bounding box 標記的左上角座標，𝑙是 bounding box 的邊長。集合𝑄包 含所有目標粒子的使用者標記，若標記𝐿𝑖是由使用者手動標記的，則𝐿𝑖 ∈ 𝑄，否則 𝐿𝑖 ∉ 𝑄。不失一般性，我們假設目標粒子出現在第 1 幀與第𝑇幀之間。
在介紹使用前一節的粒子追蹤方法來進行互動式標記前，我們先介紹一個 baseline method，就是線性插值法（linear interpolation），這是最簡單的填補缺少的 標記的方法。假設𝐿𝑠 = (𝑥𝑠, 𝑦𝑠, 𝑙)和𝐿𝑒 = (𝑥𝑒, 𝑦𝑒, 𝑙)是兩個使用者標記（𝑠 < 𝑒），線性 插值法以以下方法來預測第𝑠 + 1幀與第𝑒 − 1幀之間的標記：
e s,
e s , fort s s
x x y y
L x t s y t s l s t e
e s e s
(20) 完整的標記過程如下，首先系統需要使用者先標記一個粒子行走軌跡的開始 和結束的標記，即𝐿1 = (𝑥1, 𝑦1, 𝑙)和𝐿𝑇 = (𝑥𝑇, 𝑦𝑇, 𝑙)，𝐿1, 𝐿𝑇 ∈ 𝑄，然後系統利用線性 插值法來預測這粒子在第 2 幀與第𝑇 − 1幀之間的標記。若使用者得到系統預測的 標記後發現其中第𝑡𝑘幀的標記𝐿𝑡𝑘是錯誤的，使用者修正這個標記後，標記𝐿𝑡𝑘被加 到集合𝑄，𝐿𝑡𝑘 ∈ 𝑄，系統把𝐿1和𝐿𝑡𝑘當成起始標記和結束標記，利用方程式(20)重新 預測第 2 幀與第𝑡𝑘− 1幀之間的標記，同理系統把𝐿𝑡𝑘和𝐿𝑇當成起始標記和結束標 記來重新預測第𝑡𝑘+ 1幀與第𝑇幀之間的標記。使用者再檢查更新後的標記的正確 性，每一次使用者修正一個錯誤的標記𝐿𝑖時，標記𝐿𝑖被加到集合𝑄，系統會找出一 個使用者標記𝐿𝑚，其中 𝑚 = argmin𝑗∈{𝑗|𝐿𝑗∈𝑄,1≤𝑗<𝑖}|𝑗 − 𝑖|，意即在前面的幀中找出 一個所在的幀距離修正的標記所在的幀最近的使用者標記，系統利用𝐿𝑚和𝐿𝑖以線 性插值法來預測兩者之間的標記，系統也會找出另一個使用者標記𝐿𝑛，其中 𝑛 = argmin𝑗∈{𝑗|𝐿∈𝑄,𝑖<𝑗≤𝑇}|𝑗 − 𝑖|，意即在後面的幀中找出一個所在的幀距離修正的
段預測，系統利用兩個使用者的標記去預測其中間缺失的標記。Figure 3.12 顯示一 個粒子的行走軌跡及其標記，實線的 bounding box 表示使用者標記，虛線 bounding box 表示系統預測的標記，在互動過程中，每一次使用者修正標記上面的數字表示 標記所在的幀，在這個例子中，這個粒子總共有四個使用者標記，這四個使用者 標記把粒子的行走軌跡分成三段，系統預測標記工作就分成三段進行，標記 2 和 標記 3 是系統利用標記 1 和標記 4 來預測出來的，標記 5~7 由標記 4 和標記 8 來 預測出來的，標記 9~11 由標記 8 和標記 12 來預測出來的。
Figure 3.12 線性插值標記法的範例
現在我們提出兩種互動式影片標記方法：One-way method 和 Two-way meth- od。
One-way method 是以影片播放幀的順序來標記。初始時，這方法需要使用者 標記粒子剛出現時的標記𝐿1，系統根據這標記利用粒子追蹤方法來追蹤使用者標 記的粒子，從而找出該粒子在往後的幀的標記，追蹤直到預測的標記超出圖片的 範圍後停止。使用者得到系統追蹤的結果後，以影片播放的順序逐幀檢查標記的 正確性，若使用者在第𝑡′幀發現標記是錯誤的，使用者修改了標記𝐿𝑡′後，對於不 同的粒子追蹤法採取不同的處理方式：
(1) 對於相關濾波器追蹤法，系統根據更正的標記利用方程式(12)訓練出新的濾波 器ℎ𝑡′+1後，有兩種更新濾波器的方法，第一種方法是考慮之前訓練得到的濾
蹤。在第𝑡′+ 1幀及之後的幀中，粒子的位置要使用新的濾波器來重新預測，
同時濾波器也要重新訓練和更新；
(2) 對於正規化互相關比對法和結合了線式外推的追蹤法，系統把模板更新成第𝑡′ 幀更正後的標記的部分，在第𝑡′+ 1幀及之後的幀中，以新的模板來重新追蹤 粒子的位置；
使用者以影片播放的順序逐幀檢查標記後，就能得到這個粒子所有正確的標記。
Two-way method 不限定以影片播放幀的順序來標記，這方法會把兩個使用者 標 記 之 間 的 標 記 分 成 兩 個 集 合 ， 再 分 別 去 預 測 這 兩 個 集 合 裏 的 標 記 ， 假 設 𝐿𝑠 = (𝑥𝑠, 𝑦𝑠, 𝑙)和𝐿𝑒 = (𝑥𝑒, 𝑦𝑒, 𝑙)是兩個使用者標記（𝑠 < 𝑒），劃分的方法是比較標記 所在的幀與兩個標記所在的幀的距離，與標記𝐿𝑠所在的幀比較近的標記被分在第一 個集合𝐷𝑠,𝑒,1 = {𝐿𝑗|𝑗 = 𝑠 + 1, 𝑠 + 2, … , 𝑠 + ⌈𝑒−𝑠−12 ⌉}，其他標記則被分在第二個集合 𝐷𝑠,𝑒,2 = {𝐿𝑗|𝑗 = 𝑠 + ⌈𝑒−𝑠−12 ⌉ + 1, 𝑠 + ⌈𝑒−𝑠−12 ⌉ + 2, … , 𝑒 − 1}。完整的標記過程如下，
初始時與線性插值法一樣，需要使用者標記粒子起始和結束的標記（𝐿1和𝐿𝑇），我 們使用以上方法把其中間的標記分為兩個集合，𝐷1,𝑇,1和𝐷1,𝑇,2，第一個集合𝐷1,𝑇,1裏 的標記是利用粒子追蹤方法從起始標記𝐿1開始向後1追蹤粒子而得到的，第二個集
合𝐷1,𝑇,2裏的標記則是從結束標記𝐿𝑇開始往回追蹤粒子而得到的，往回追蹤和向後
追蹤的方法一樣，唯一不同的部分是，產生 search window 的方法改為向左擴大 bounding box。每一次使用者修正一個錯誤的標記𝐿𝑖時，標記𝐿i被加到集合𝑄，與線 性插值法一樣，系統會找出一個使用者標記𝐿𝑚，其中 𝑚 = argmin𝑗∈{𝑗|𝐿𝑗∈𝑄,1≤𝑗<𝑖}|𝑗 − 𝑖|，然後劃分出集合𝐷𝑚,𝑖,2，系統利用更正過的標記𝐿𝑖往回追蹤粒子來更正𝐷𝑚,𝑖,2中 的標記，系統也會找出另一個使用者標記𝐿𝑛，其中 𝑛 = argmin𝑗∈{𝑗|𝐿𝑗∈𝑄,𝑖<𝑗≤𝑇}|𝑗 − 𝑖|，
並劃分出集合𝐷𝑖,𝑛,1，利用更正過的標記𝐿𝑖向後追蹤粒子來更正𝐷𝑖,𝑛,1中的標記。重 複幾次回合的互動後，就可以得到這個粒子所有正確的標記。
其中間缺失的標記。以為 Figure 3.13 例，此圖顯示一個粒子的行走軌跡及其標記，
實線的 bounding box 表示使用者標記，虛線 bounding box 表示系統預測的標記，
標記上面的數字代表標記所在的幀，對於這個粒子，總共有四個使用者標記，這 四個使用者標記把粒子的行走軌跡分成三段，系統預測標記工作就分成三段進行，
對於標記 1 到標記 4 一段，標記 2 是系統利用標記 1 向後追蹤而預測出來的，標 記 3 是系統利用標記 4 往回追蹤而預測出來的，對於標記 4 到標記 10 一段，標記 5 至標記 7 是系統利用標記 4 向後追蹤而預測出來的，標記 8 至標記 9 是系統利用 標記 10 往回追蹤而預測出來的，對於標記 10 到標記 14 一段的預測也以此類推。
Figure 3.13 Two-way method 的範例
4 實驗
我們會用三個真實的 DNA 解煉曲線分析的實驗影片來評估我們的系統，這三 個影片的資料如 Table 4.1 所示，其中影片 Droplet1 用作調整系統參數之用。測試 影片的 ground truth 標記的大小是利用 3.1 節中的估計方法得到，位置則全由人工 標記出來的。
影片名稱 Droplet1 Droplet2 Bead
解析度 2048×492 2048×438 2048×432
幀數量 1203 637 420
粒子數量 15 53 5
標記數量 635 4192 727
粒子直徑的平均值 與標準差（單位：
像素）
67.42 ± 14.09 47.33 ± 7.21 49.24 ± 1.58
粒子亮度的範圍 42.79 ~ 92.51 72.95 ~ 108.08 32.34 ~ 96.75 粒子上下移動距離
的平均值（單位：
像素）
6.08 1.16 1.03
每個粒子的標記數
量的平均值 42.33 79.09 145.4
Table 4.1 實驗影片的統計資料
使用我們的系統來標記影片，並計算標記過程中人工標記的個數（包括粒子起始 和結束位置的標記和更正錯誤的標記）來評估我們的系統可以減少多少人力。如 果預測的標記與 ground truth 標記的中心距離不必超過 10 像素（pixels），此標記算 成是正確的標記。
Figure 4.1 測試影片 Droplet1 的幀範例
Figure 4.2 測試影片 Droplet2 的幀範例
Figure 4.3 測試影片 Bead 的幀範例
根據不同的粒子追蹤方法和互動式標記方法，我們可以組合出不同的互動式 追蹤方法，Table 4.2 列出所有的組合方法。在之後的實驗，我們會比較這些方法。
在模擬的過程中，對於不限制標記順序的方法（Interp、CF-2way、NCC-2way、
NCC-Extrap-sum-2way 和 NCC-Extrap-mul-2way），每一次得到系統預測的標記後
他方法，標記的順序與影片播放順序一樣。
方法名稱 粒子追蹤方法 互動式標記方法
Interp 線性插值法
CF-1way-1
相關濾波器追蹤法
One-way method，
修正標記時，更新濾波器 會考慮之前訓練得到的
濾波器
CF-1way-2
One-way method，
修正標記時，更新濾波器 不會考慮之前訓練得到
的濾波器
CF-2way Two-way method
NCC-1way
正規化互相關比對法 One-way method
NCC-2way Two-way method
NCC-Extrap-sum-1way 結合正規化互相關比對 法和線性外推法的追蹤 法，使用加權平均來結合
兩種分數
One-way method
NCC-Extrap-sum-2way Two-way method
NCC-Extrap-mul-1way 結合正規化互相關比對 法和線性外推法的追蹤 法，使用乘積來結合兩種
分數
One-way method
NCC-Extrap-mul-2way Two-way method
響，參數𝛼是在訓練濾波器時用來定義相關值分佈的分散程度，Figure 4.4 顯示 α = 25.75時效果最好。參數𝜌是更新濾波器的權重，Figure 4.5 顯示若𝛼值取在 25 與 50 之間，方法 CF-1way-1 的效能對於參數𝜌的變化不是很敏感，𝜌 = 0.2時效果 最好。
Figure 4.6 和 Figure 4.7 分別顯示兩個參數𝛼和𝜌對方法 CF-1way-2 的效能的影 響。從 Figure 4.4 和 Figure 4.6 可以看到，方法 CF-1way-1 和方法 CF-1way-2 對參 數𝛼的反應是相似的，這是可以預期的，因為方法 CF-1way-1 和方法 CF-1way-2 在 訓練濾波器時並沒有不一樣。但是從 Figure 4.5 和 Figure 4.7 可以看到，兩個方法 對參數𝜌的反應是不一樣的，因為更新濾波器的步驟不同，相比方法 CF-1way-1，
方法 CF-1way-2 的效能對於參數𝜌的變化更加的不敏感，𝜌 = 0.005時效果最好。
Figure 4.4 參數𝛼的變化對方法 CF-1way-1 的影響
Figure 4.5 參數𝜌的變化對方法 CF-1way-1 的影響
Figure 4.7 參數𝜌的變化對方法 CF-1way-2 的影響
Figure 4.8 和 Figure 4.9 分別顯示兩個參數𝛼和𝜌對方法 CF-2way 的效能的影響，
結果與 CF-1way-2 很相似，都是在𝛼 = 25.75時效果最好，而且對於參數𝜌的變化 不敏感，𝜌 = 0.005時效果最好。這是因為兩個方法都是從修正的標記開始重新追 蹤，唯一差別在於，CF-1way-2 只會做一個方向的追蹤，而 CF-2way 會做兩個方 向的追蹤。
Figure 4.8 參數𝛼的變化對方法 CF-2way 的影響
Figure 4.10 參數𝜎的變化對方法 NCC-Extrap-sum-1way 的影響
Figure 4.10 和 Figure 4.11 分 別 顯 示 兩 個 參 數 𝜎 和 𝑤 對 方 法 NCC-Extrap-sum-1way 的效能的影響。參數𝜎是在計算外推法預測位置的分數時用 來定義分數分佈的分散程度，Figure 4.10 顯示σ = 0.6時效果最好。參數𝑤是結合 NCC 和外推法的分數的權重，Figure 4.11 顯示𝑤 = 0.9時效果最好，所以 NCC 值 的權重較重，而利用外推法預測位置的分數則是作輔助之用。
Figure 4.12 和 Figure 4.13 分 別 顯 示 兩 個 參 數 𝜎 和 𝑤 對 方 法 NCC-Extrap-sum-2way 的效能的影響，趨勢基本上與 NCC-Extrap-sum-1way 的相同。
Figure 4.12 顯示𝜎 = 0.8時效果最好，Figure 4.13 顯示𝑤 = 0.8時效果最好。
Figure 4.14 顯示參數𝜎對方法 NCC-Extrap-mul-1way 的效能的影響，𝜎 = 1時效 果最好，這意味着利用外推法來預測的位置不太準確，所以在計算預測位置的分 數時採用分數分散程度高的分佈。
Figure 4.15 顯示參數𝜎對方法 NCC-Extrap-mul-2way 的效能的影響，趨勢與 NCC-Extrap-mul-1way 的相同，𝜎 = 0.9時效果最好。
Figure 4.13 參數𝑤的變化對方法 NCC-Extrap-sum-2way 的影響
Figure 4.15 參數𝜎的變化對方法 NCC-Extrap-mul-2way 的影響
Table 4.3 總結以上調整參數的結果，之後我們會利用這組參數在影片 Droplet2 和 Bead 上進行實驗。
方法名稱 參數設定
Interp 沒有參數可調整
CF-1way-1 𝛼 = 25.75, 𝜌 = 0.2 CF-1way-2 𝛼 = 25.75, 𝜌 = 0.005
CF-2way 𝛼 = 25.75, 𝜌 = 0.005
NCC-1way 沒有參數可調整
NCC-2way 沒有參數可調整
NCC-Extrap-sum-1way 𝜎 = 0.6, 𝑤 = 0.9 NCC-Extrap-sum-2way 𝜎 = 0.8, 𝑤 = 0.8 NCC-Extrap-mul-1way 𝜎 = 1 NCC-Extrap-mul-2way 𝜎 = 0.9
Table 4.3 各方法的參數設定
4.2 實驗結果
Table 4.4 展示利用各種方法來標記影片 Droplet2 和 Bead 的實驗結果，括號內 的數值表示人工標記佔所有標記的百分比。以利用方法 NCC-Extrap-sum-1way 來 標記影片 Bead 作為例子，我們只需要人手標記其中 1.24%的標記，其餘 98.76%的 標記則由系統自動標記。
實驗結果顯示 CF-1way-2 比 CF-1way-1 的效能好，說明修正標記時，更新濾 波器不考慮之前訓練得到的濾波器比考慮之前訓練得到的濾波器好。
若我們比較相關濾波器追蹤法、正規化互相關比對法和結合正規化互相關比 對法與線性外推法的追蹤方法三種粒子追蹤方法，我們發現結合正規化互相關比 對法與線性外推法的追蹤方法的表現最好，無論結合方法是加權平均或乘積，而 相關濾波器追蹤法表現最差（比 baseline method 差），且同一組參數設定在兩個測 試影片中的表現起伏大，說明相關濾波器應用於 DNA 解煉曲線分析的影片時穩健 性差，所以並不適用於此類影片。
若我們比較兩種相關互動式標記方法，我們發現 one-way method 都比 two-way
Droplet2 (標記總數=4192)
Bead (標記總數=727) Interp 457 (10.90%) 88 (12.10%) CF-1way-1 2137 (50.98%) 162 (22.28%) CF-1way-2 1475 (35.19%) 79 (10.87%)
CF-2way 1973 (47.07%) 112 (15.41%) NCC-1way 56 (1.34%) 11 (1.51%) NCC-2way 129 (3.08%) 21 (2.89%) NCC-Extrap-sum-1way 53 (1.26%) 9 (1.24%) NCC-Extrap-sum-2way 115 (2.74%) 20 (2.75%) NCC-Extrap-mul-1way 53 (1.26%) 9 (1.24%) NCC-Extrap-mul-2way 116 (2.77%) 18 (2.48%)
Table 4.4 標記影片實驗結果
原因是，往回追蹤比向後追蹤的準確性差，Figure 4.16 展示了同一個粒子在剛進入 畫面時和即將離開畫面時的情況，正如第 2 章中的描述，粒子在移動的過程中，
亮度會逐漸變暗，比較 Figure 4.16(a)與 Figure 4.16(b)，我們可以看到粒子的亮度 在下降過程中越來越接近粒子附近的雜訊的亮度，在 two-way method 中，系統會 利用 Figure 4.16(b)來當作模板或訓練濾波器，並以之來作往回追蹤，由於粒子的 亮度與雜訊的亮度相當，所以模板和訓練出來的濾波器並不能準確的對粒子的外 觀（appearance）做模型，結果造成往回追蹤不準確，雖然 Figure 4.16(a)也受雜訊 影響，但粒子的亮度比較亮，粒子的外觀特點比較明顯，受雜訊影響比較小，所 以以 Figure 4.16(a)來作向後追蹤比較準確。
綜 合 比 較 所 有 的 互 動 式 粒 子 追 蹤 方 法 ， NCC-Extrap-sum-1way 和
Figure 4.16 圖(a)顯示粒子剛進行畫面時的情況，圖(b)顯示粒子即將離開畫面時 的情況。
Figure 4.17 與 Figure 4.18 分別顯示在使用者使用各種方法去標記影片 Droplet2 和 Bead 的過程中，正確標記的數量隨着人手標記的數量增加而增加的情況，正確 標記的數量的上升速度越快表示該方法的效率越高，即相同數量的人手標記可以 得到更多的正確標記。
Figure 4.17 標記影片 Droplet2 的過程中人工標記的數量與正確標記的數量的關
Figure 4.18 標記影片 Bead 的過程中人工標記的數量與正確標記的數量的關係圖
4.3 錯誤分析
我們對效能最好的方法 NCC-Extrap-sum-1way 和 NCC-Extrap-mul-1way 作錯 誤分析，由於兩方法的錯誤情況相同，所以以下只以 NCC-Extrap-mul-1way 來說 明。
大部分的錯誤發生在追蹤即將離開畫面的粒子的時候，一個原因是粒子的亮 度太低，以致人在標記 ground truth 時，難以正確標記粒子位置，範例如 Figure 4.19 所示，我們難以確定哪一個標記才是正確的標記。另一個原因是雜訊太多，使粒
Figure 4.19 難以辨認亮度極低的粒子的位置的範例。紅色 bounding box 為 ground truth 標記，綠色 bounding box 為預測的 bounding box。
Figure 4.20 雜訊太多導致追蹤錯誤的範例。紅色 bounding box 為 ground truth 標 記，綠色 bounding box 為預測的 bounding box。
我們發現結合正規化互相關比對法與線性外推法的追蹤方法並不能完全解決 3.2.3 節中提到的問題，錯誤例子如 Figure 4.21 所示，我們要追蹤粒子 1，但是粒 子 1 行走的路徑不是直線，所以利用線性外推法預測的位置是錯誤的，而預測的 位置上又剛好有一個外觀很像粒子 1 的粒子，所以系統誤認該粒子是粒子 1，造成 了追蹤錯誤。如果我們在預測粒子的位置時不只考慮前兩個幀，利用 polynomial curve fitting 去擬合前面多個幀中粒子的移動路徑，從而預測粒子在下一幀的位置，
這也許可以解決這個問題。
Figure 4.21 方法 NCC-Extrap-mul-1way 的錯誤範例。紅色的路線是粒子 1 的 ground truth 軌跡，綠色的路線是預測的軌跡。
5 總結
本論文提出互動式標記系統來幫助使用者標記 DNA 解煉曲線分析的實驗影片，
使使用者只需要標記一部分的標記就能得到所有需要的標記。為了達到這個目的，
我們比較不同的粒子追蹤方法，並提出兩種互動式影片標記方法，系統與使用者 互動的機制讓系統可以根據使用者的回饋更新標記。我們使用真實影片來驗證我 們的方法，在實驗中，我們比較各種粒子追蹤方法與互動式標記方法的組合，實 驗結果顯示，我們的系統可以有效減少使用者標記的操作數量。
在未來發展方面，如同 4.3 節中所提到，可以利用 polynomial curve fitting 來 處理移動軌跡不是直線的粒子。對於 two-way method，我們現在的方法是把每兩 個人工標記之間的標記分成兩半，兩個人工標記各自負責預測一半的標記，未來 可做的方法是兩個人工標記都負責預測其之間所有的標記，然後結合來自兩個方 向的追蹤所預測的標記，從而得到最後預測的標記。這些方法也許能夠提高系統 標記影片的效率。
參考文獻
[1] J. C. Crocker and D. G. Grier, “Methods of digital video microscopy for colloidal studies,” Journal of Colloid and Interface Science, vol. 179, no. 1, pp. 298–310, 1996.
[2] K. Jaqaman, D. Loerke, M. Mettlen, H. Kuwata, S. Grinstein, S. L. Schmid, and G.
Danuser, “Robust single-particle tracking in live-cell time-lapse sequences,”
Nature Methods, vol. 5, no. 8, pp. 695–702, 2008.
[3] P. J. Lu, P. A. Sims, H. Oki, J. B. Macarthur, and D. A. Weitz, “Target-locking acquisition with real-time confocal (TARC) microscopy,” Optics Express, vol. 15, pp. 8702–8712, 2007.
[4] I. Sbalzarini and P. Koumoutsakos, “Feature point tracking and trajectory analysis for video imaging in cell biology,” Journal of Structural Biology, vol. 151, no. 2, pp. 182–195, 2005.
[5] N. Chenouard, I. Smal, F. de Chaumont, M. Maska, I. F. Sbalzarini, Y. Gong, J.
Cardinale, C. Carthel, S. Coraluppi, M. Winter, A. R. Cohen, W. J. Godinez, K.
Rohr, Y. Kalaidzidis, L. Liang, J. Duncan, H. Shen, Y. Xu, K. E. G. Magnusson, J.
Jalden, H. M. Blau, P. Paul-Gilloteaux, P. Roudot, C. Kervrann, F. Waharte, J.-Y.
Tinevez, S. L. Shorte, J. Willemse, K. Celler, G. P. van Wezel, H.-W. Dan, Y.-S.
Tsai, C. O. de Solorzano, J.-C. Olivo-Marin, and E. Meijering, “Objective comparison of particle tracking methods,” Nature Methods, vol. 11, no. 3, pp.
281–289, Mar. 2014.
[6] J. Yuen, B. C. Russell, C. Liu, and A. Torralba, “LabelMe video: Building a video database with human annotations,” in International Conference on Computer Vision (ICCV), 2009, pp. 1451–1458.
[7] A. M. Buchanan and A. W. Fitzgibbon, “Interactive feature tracking using K-D
Computer Vision (ECCV), 2010, pp. 610–623.
[10] A. Yao, J. Gall, C. Leistner, and L. Van Gool, “Interactive object detection,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012, pp.
3242–3249.
[11] K. Zhang, L. Zhang, Q. Liu, D. Zhang, and M.-H. Yang, “Fast visual tracking via dense spatio-temporal context learning,” in European Conference on Computer Vision (ECCV), 2014, pp. 127–141.
[12] D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui, “Visual object tracking using adaptive correlation filters,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010, pp. 2544–2550.
[13] J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, “High-speed tracking with kernelized correlation filters,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 3, pp. 583–596, 2015.
[14] J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, “Exploiting the circulant structure of tracking-by-detection with kernels,” in European Conference on Computer Vision (ECCV), 2012, pp. 702–715.
