成功追蹤的區塊分析

首先，我們觀察在一連串影像中的成功追蹤結果，連續 40 張的影像區塊的大 小、形狀會增減，也有新出現的區塊，但在這裡我們先不考慮新進影像的區塊，因 為在第三章中提出以相似性較大作為判別新出現區塊的方法只是大略的概念，穩定 性不足，如果加進來分析，恐怕會擾亂結果。此外，我們希望分析那些最穩定的結 果，所以在追蹤的時候，除了以目前的第n張影像對第n−1張影像找交集最大或是 最相似的，反過來也用第 張影像對第 張影像找交集最大或是最相似的，如果 兩者彼此對應才被我們認為是穩定的追蹤結果，換言之就是要求連續影像的區塊對 應關係必須一對一。

−1

n n

圖 4-1是三種區塊切割方法和兩種追蹤方式對於成功追蹤的區塊數之比較，圖 4-2則是三種區塊切割方法和兩種追蹤方式對於成功追蹤的區塊面積之比較。首先我 們可以看到區塊擴增及合併演算法在一開始成功追蹤的區塊很多，但是後面急遽的 下降，尤其是考慮相似度的追蹤下降的更快。圖 4-3是區塊擴增及合併演算法在第 10、20、30 和 40 張影像中，一對一做交集及相似度追蹤的結果，有顏色的區塊即 是成功追蹤的部分。我們可以看到以相似度做追蹤能夠讓切割不是非常穩定但相似 性高的區塊保留下來（如紅色框起處），但同時也使得有些看似很穩定的區塊追蹤失 敗（如藍色框起處），其原因是來自於切割時所產生的一些破碎的區塊，使得在計算 相似度上受到干擾而遺失追蹤。此外細碎的切割也是有一定的機率使得區塊達不到 交集的門檻而失蹤，因此切割的完整性對於我們的追蹤是很重要的。

演算法及追蹤方法的追蹤個數比較

Region growing and merging with more info.

Region growing and merging

圖 4-1 各演算法成功追蹤區塊數之變化。 number of frame

Area（pixel）

Spatial and temporal integration

Spatial and temporal integration with more info.

Spatial integration with more info.

Spatial integration

Spatial integration with more info.

Spatial and temporal integration Spatial and temporal integration with more info.

Region growing and merging

Region growing and merging with more info.

Spatial integration

圖 4-3 原圖(左)、區塊擴增與合併之結果用交集追蹤方法(中)，和利用相似度與交集門 檻的追蹤方法(右)，所得之結果。

由於某些區塊大小變動較大，採用交集的追蹤法常會因此而追蹤失敗，但採用相似 性的追蹤則能夠一直追著最相似的區塊而持續找到，如圖 4-4月曆上方藍色圈起處。

反之，有些區塊雖然很穩定，但是新進入影像的顏色有一些差異，最後超出相似度 追蹤容許的範圍，而導致我們追蹤失敗，如圖 4-4影像左上角紅色圈起處。因而兩 種追蹤方式可以說各有優缺。然而這兩種追蹤方式都有追錯區塊的風險，交集追蹤 可能因物體小又移動的很快，使得不同物體的區塊有大部分是交集的，相似性

圖 4-4 原圖(左)、空間整合方法用交集追蹤方法(中)和材質與交集的追蹤方法(右)，所得之結果。

追蹤的錯誤，如圖 4-5(a)到(c)，由於(a)將球和旁邊相同顏色的區塊合在一起，而(b) 的切割將球和旁邊的區塊分開來，經過相似性的比對，認為對應的是球旁邊的區塊，

(c)中區塊切割的結果不佳，使得沒有任何一個區塊符合相似性追蹤的條件，因而追 蹤失敗。

(a) (b) (c) 圖 4-5 相似度追蹤錯誤的例子。

圖 4-4(i)、(n)是將 40 張影像中有追蹤到之區塊的重心畫出來，同一區塊的點（同 顏色的點）越多代表其追蹤到的次數越多，左半邊出現了許多條線，因為物體顏色 鮮明、多數形狀很穩定，使得成功追蹤的機率高，反觀(n)中粉紅色圈起處，因為區 塊形狀經常變動很大，因而看不出其運動的規律性。從這張重心的軌跡圖中，我們 也可以稍微看出物體的移動情形，且其軌跡大致上符合了真實區塊的移動方向，說 明了能夠以我們的方法計算出區塊遞移的大致情況。

最後是時間和空間整合方法的追蹤，圖 4-6是時間和空間整合方法在第 10、20、

30 和 40 張影像中，一對一做交集及相似度追蹤對應的結果。雖然時間和空間整合 方法在影像中球體合的切割因為受到光影影響，而不如在合併時只考慮交集的空間 整合方法來的完整，使得採用交集追蹤時會追不到，但是在相似度追蹤卻能克服這 個問題。

從圖 4-1成功追蹤的區塊改變曲線來看時間和空間整合方法，我們追到的區塊 是逐漸在減少的，甚至一開始就比區塊擴增及合併演算法方法少，減少的也比空間 整合方法稍快，但是在圖 4-2的追蹤面積改變曲線中，可以看到時間和空間整合方 法比另兩種方法都來的穩定，這是由於時間和空間整合方法提供讓前一張影像好的 切割能保留下來的機會，減少的區塊數目可能只是合併到其他的區塊中而不是消 失。時間回饋演算法能保留過去切割好的部分，因此降低了小區塊出現的機率，也 降低了用相似度追蹤錯誤的機率，故時間和空間整合方法在相似度追蹤上的表現能

圖 4-6 原圖(左)、時間和空間整合方法用交集追蹤方法(中)和材質與交集的追蹤方法(右)，

所得之結果。

比交集追蹤來的更好，因而我們可以發現一點，對於切割較穩定的區塊使用相似性 number of frame

Area（pixel）

Spatial and temporal intergration Spatial intergration Region growing and merging

Spatial and temporal integration

Spatial integration

Region growing and merging

圖 4-7 單一區塊追蹤面積變化圖。