利用灰階化後的影像，使用區塊比對法來進行物件追蹤，但利用區塊比對法對交通 物件進行追蹤時，會發現車輛會隨著移動離攝影機越近而放大或離攝影機越遠而縮小，
但是區塊比對法本身並不適用於追蹤物件放大縮小的現象，在此基於區塊比對法的概 念，加入物件框大小調整的機制，讓搜尋框會隨著物體的移動變化而有所改變並能正確 的追蹤出移動物件。
Search window d
d
w h
Object window
圖 4.1 取得搜尋視窗示意圖
Search window d
d
w h
Object window
Search window w
h
Matched window
(a) f(t−1)畫面 (b) f(t)畫面 圖 4.2 取得物件位置示意圖
首先，在 f(t−1)畫面上對整張影像進行角點偵測，並同時取得在 f(t−1)畫面中取 得物件框(object window)，並以此物件框的上 、下、左、右延伸出d距離的搜尋視窗(search window)，搜尋視窗大小為(2d+w)×(2d+h)，其中 w 和h為物件框的大小，如圖 4.1 所
示。
在 f(t−1)畫面中取得物件框(object window)後利用物件框所產生的搜尋視窗，對應 到 f(t)的相同位置進行全域搜尋找出在 f(t)畫面中與 f(t−1)畫面與物件框最相似的區 塊，來判斷物件移動在 f(t)畫面上的位置，如圖 4.2 所示。
確定移動物件在 f(t)畫面的位置後，但移動物件會因移動所產生大小變化，因此必 須適當的調整物件框的大小，來將待追蹤的物件正確的框選出來，在 f(t−1)畫面記錄物 件框的左上角座標及右下角座標，以此座標為基準從 f(t−1)畫面物件框內的左上角與右 下角內取出24×24的子區塊(sub-object window)，取得子區塊後便對此子區塊做 SUSAN 角 點 偵 測 ， 並 在 f(t)畫 面 中 找 到 的 區 塊 位 置 以 左 上 角 與 右 下 角 在 長 出 子 搜 尋 框 (sub-object search window)並對此搜尋框進行角點偵測且在 f(t)畫面所對應的子搜尋框 內僅對擁有角點部份進行搜尋，因此先行在 f(t−1)畫面物件框內挑選最靠近左上角座標 的角點以及右下角座標的角點，計算角點與手動框選物件框左上角座標和右下角座標之 間的距離，並以此距離為依據與在 f(t)畫面子搜尋框內所得到的角點結果進行比對且僅 挑選相同距離的角點來當作合適的特徵角點，而在進行比對時僅對同時存在於 f(t)畫面 及 f(t−1)畫面子區塊的角點部分來做區塊比對。
sub-object window
Matched window Corner
sub-object window
Matched window Corner
sub-object search window
(a) f(t−1)畫面 (b) f(t)畫面 圖 4.3 子區塊追蹤示意圖
以左上角為例，如圖 4.3 所示
1. 確定物件在 f(t)畫面上的位置。
2. 在 f(t−1)畫面取得子區塊後執行 SUSAN 角點偵測。
3. 在 f(t)畫面執行 SUSAN 角點偵測並找到物件位置取得子搜尋框。
4. 在 f(t−1)畫面上挑選最靠近子區塊左上角座標的角點，並計算此座標與被標記為 角點座標之間的距離，以此距離對 f(t)畫面的子搜尋視窗進行比對，並找出相同 距離的角點，而在進行比對時僅對被標為角點的像素進行比對。
5. 找到左上角子區塊在 f(t)畫面最相似的區塊。
利用上述的方法，便可以找到物件框左上子區塊與右下子區塊在 f(t)畫面最相似的 區塊位置，便以此找到的兩個位置構成一個矩形大小做為物件框在 f(t)畫面得物件框大 小，因此可以更新物件框的位置並以新的大小重新取得 f(t)畫面所找到的物件框大小，
便能找出移動物件並跟隨著移動物件的大小變化產生新的物件框大小。
4.3 實驗結果
利用上節所敘述的方法，總共挑選了四組實驗影片來進行實驗，來進行物件追蹤，
影片內容均為在天氣晴朗時戶外所拍攝的交通影片，在下列的實驗結果中所圈選的皆為 汽車車輛，在下列實驗過程中所使用的電腦與軟體工具，為之前敘述的相同配備。
在圖 4.4 中初始手動框選的物件框大小為40×33，左上角座標為(172,49)右下角座標 為(211,81)影片長度為 147 個 frame 數，SUSAN 的門檻值T 與G分別為 12 與 19，當汽 車越靠近時因為離鏡頭越近會逐漸放大，由實驗結果可以得知，當手動框選的物件框在 第 5 個 frame 數放大為41×33，在後面的 frame 數物件框的大小會逐漸變化外並可正確 的將行進中的汽車框選並進行追蹤，物件框變化大小如表 4.1 所示，圖 4.4 中的(a)至(d) 主要是在不同 frame 數下的追蹤效果。
在圖 4.5 中實驗影片中初始手動框選的物件框大小為37×30，其中左上角座標 (75,97)、右下角座標(111,126)，影片長度為 68 個 frame 數，SUSAN 的門檻值T與G分 別為 12 與 19，在汽車持續進行中時，物件框除了正確的追蹤外並可按照汽車因由遠而 近所造成的放大現象，物件框會隨著有所變化如表 4.2 所示，圖 4.5 中的(a)至(d)主要是 在不同 frame 數下的追蹤效果。
(a) 5th frame (b) 15th frame
(c) 25th frame (d) 35th frame 圖 4.4 交通車輛追蹤(實驗一)
表 4.1 實驗一物件框大小
frame 物件框大小 放大比例
5th 41×33 1.00
15th 42×33 1.02
25th 42×35 1.08
35th 43×38 1.20
圖 4.6 此組實驗中初始手動的物件框大小為41×33，左上角座標為(20,88)，右下角 座標為(40,104)，影片長度為 116 個 frame 數，SUSAN 的門檻值T與G分別為 12 與 19，
在第 5 個 frame 時物件框會逐漸縮小是因為，初始手動框選時所框選的部分超出待追蹤 移動物件也就是汽車的範圍，之後物件框便會隨著汽車行進正確的將汽車框選出來，物 件框也會持續跟著變大，物件框的變化如表 4.3 所示，圖 4.6 中的(a)至(f)主要是在不同 frame 數下的追蹤效果。
(a) 5th frame (b) 15th frame
(c) 25th frame (d) 35th frame 圖 4.5 交通車輛追蹤(實驗二)
表 4.2 實驗二物件框大小
frame 物件框大小 放大比例
5th 37×31 1.00
15th 39×31 1.05
25th 41×31 1.10
35th 43×34 1.27
圖 4.7 此組實驗中手動初始物件框大小35×26，左上角座標為(74,72)，右下角座標 為(91,84)，影片長度為 98 個 frame 數，SUSAN 的門檻值T與G分別為 12 與 19，同樣 的在第 5 個 frame 數時手動框稍微縮小一樣是因為是初始的手動框一開始框選時超出汽 車的範圍，物件框的變化如表 4.4 所示，圖 4.7 中的(a)至(f)主要是在不同 frame 數下的 追蹤效果。
在這些實驗中可以發現，挑選的都是當汽車慢慢靠近鏡頭的畫面，因此手動物件框 除了會隨著移動物件的靠近來變化初始物件框的大小外，也可準確的使物件框跟隨著汽 車而移動。
(a) 5th frame (b) 15th frame
(c) 25th frame (d) 35th frame
(e) 40th frame (f) 45th frame 圖 4.6 交通車輛追蹤(實驗三)
表 4.3 實驗三物件框大小
frame 物件框大小 放大比例
5th 37×32 1.00
15th 38×34 1.09
25th 38×36 1.15
35th 38×39 1.25
40th 40×39 1.31
(a) 5th frame (b) 15th frame
(c) 25th frame (d) 35th frame
(e) 40th frame (f) 45th frame 圖 4.7 交通車輛追蹤(實驗四)
表 4.4 實驗四物件框大小
frame 物件框大小 放大比例
5th 34×25 1.00
15th 36×26 1.10
25th 39×28 1.28
35th 40×33 1.55
40th 42×35 1.79
第5章 結論
在本研究中主要是利用手動框選的物件框來追蹤有興趣的移動物件，首先，先利用 區塊比對法來進行物件追蹤，而最主要的方法是比對每個像素之間的差異度，差異越小 代表像素彼此之間為最相似，雖然區塊比對法可準確的追蹤移動物件，但加入了 SUSAN 角點偵測，來找出屬於移動物件本身的角點，並僅對擁有角點的部分進行區塊比對來找 出最相似的區塊，進而改善物件框利用區塊比對法時物件框不會伴隨著物件大小而有所 改變，且再加入角點後可達到對於移動物件追蹤更加準確的效果。
由上章節的實驗結果可發現，手動框選的物件框確實會除了可以準確的追蹤出待追 蹤的物件外，更會隨著移動物件的遠近而有縮放的動作，這是因為利用手動物件框的左 上角座標與右下角座標為基準，來建立子區塊並對子區塊所對應的搜尋視窗進行比對，
而搜尋比對時只對擁有角點的部分進行，當找到最相似區塊時變更新其左上角座標與右 下角座標，來達到對於物件追蹤的效果外，更可以讓物件框隨著物件移動而縮放的目的。
參考文獻
[1] C. Micheloni and G. L. Foresti, “Zoom on target while tracking,” In Proceedings of IEEE International Conference on Image Processing, Vol. 3, issue 3, pp. 117-120, 2005.
[2] M. F. Abdelkader, R. Chellappa, and Q. Zheng, “Intergrated motion detection and tracking for visual surveillance,” In Proceedings of Fourth IEEE Conference on Computer Vision Systems, pp. 28, 2006.
[3] Y. C. Chung, C. H. Wang, J. M. Wang, S. C. Lin, and S. W. Chen,“Integration of omnidirectional and movable cameras for indoor surveillance,” In Proceedings of IPPR Conference on Computer Vision Graphics and Image Processing, 2004.
[4] C. E. Smith, C. A. Richards, S. A. Brandt, and N. P. Papanikolopoulos, “Visual tracking for intelligent vehicle-highway systems,” IEEE Transactions Vehicular Technology, Vol.
45, issue. 4, pp. 744-759, 1996.
[5] D. J. Dailey, F. W. Cathey, and S. Pumrin, “An algorithm to estimate mean traffic speed using uncalibrated cameras,” IEEE Transactions Intelligent Transportation Systems, Vol.
1, issue. 2, pp. 98-107, 2000.
[6] J. F. Vega-Riveros and K. Jabbour, “Review of motion analysis techniques,” IEEE Communications Speech and Vision, Vol. 136, issue. 6, pp. 397-404, 1989.
[7] R. J. Li, S. G. Yu, and X. K. Yang, “Efficient spatio-temporal segmentation for extracting moving objects in video sequences,” IEEE Transactions on Consumer Electronics, Vol.
53, issue. 3, pp. 1161- 1167, 2007.
[8] H. P. Moravec, “Toward automatic visual obstacle avoidance,” In Proceedings of Fifth of International Joint Conference on Artificial Intelligence, Vol. 1, issue 1, pp. 584, 1977.
[9] C. Harris and M. Stephens, “A combined corner and edge detector,” In Proceedings of Fourth Alvey Vision Conference, Vol. 15, pp. 147-151, 1988.
[10] B. D. Lucas and T. Kanade. “An iterative image registration technique with an application to stereo vision”, In Proceedings of International Joint Conference on Artificial Intelligence, pp. 674-679, 1981.
[11] C. Tomasi and T. Kanade, “Detection and tracking of point features,” Carnegie Mel-lon University, Technical Report, 1991.
[12] S. M. Smith and M. Stephens, “SUSAN: A new approach to low level image processing,” International Journal of Computer Vision, Vol. 23, issue 1, pp. 45-78, 1997.
[13] S. A. El-Azim, I. Ismail, and H. A. El-Latiff, “An efficient object tracking technique
using block-matching algorithm,” In Proceedings of the Nineteenth National, Radio Science Conference, pp. 427-433, 2002.
[14] K. R. Rao and J. J. Hwang, Techniques and standards for image, video and audio coding, Prentice Hall, 1996.
[15] H. M. Jong, L. G. Chen, and T. D. Chiueh, “Accuracy improvement and cost reduction of 3-step search block-matching algorithm for video coding,” IEEE Transactions Circuits and Systems for Video Technology, Vol. 4, issue 1, pp. 88-90, 1994.
[16] L. M. Po and W. C. Ma, “A novel four-step search algorithm for fast block motion estimation,” IEEE Transactions Circuits and Systems for Video Technology, Vol. 6, issue 3,pp. 313-317, 1996.