監控視訊影像之軌跡式物件搜尋

(1)

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文

監控視訊影像之軌跡式物件搜尋

Trajectory-based Object Search for Surveillance Videos

研究生：盧宣良

指導教授：莊仁輝教授

(2)

監控視訊影像之軌跡式物件搜尋

Trajectory-based Object Search for Surveillance Videos

研究生：盧宣良 Student：Hsuan-Liang Lu

指導教授：莊仁輝 Advisor：Jen-Hui Chuang

國立交通大學

多媒體工程研究所

碩士論文

A Thesis

Submitted to Institute of MultimediaEngineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

(3)

監控視訊影像之軌跡式物件搜尋

學生：盧宣良指導教授：莊仁輝博士

國立交通大學

多媒體工程研究所碩士班

摘要

本論文提出監控影片在經過前景偵測後，不利用前景影像內容的色彩、紋理與輪廓資訊而僅使用前景物體的外接矩形資訊，透過簡單地分析畫面間矩形的重疊程度來達到快速追蹤前景物體與建立軌跡之目的。完成後的軌跡再與追蹤過程中得到的軌跡特徵資訊整合，便可建構監控影片資料庫的軌跡式索引。而追蹤過程中，前景物體的外接矩形尺寸可能在某些因素的影響而產生變化，因此我們亦提出尺寸分析的方法，將具有尺寸變化的外接矩形進行調整，使其重疊程度之估算能更為準確。此外，我們亦可利用此外接矩形尺寸的分析方法來將交會中的前景物體個別分離出來。最後，本論文提供一個使用者搜尋介面，讓使用者可以輸入搜尋目標的移動方向或軌跡路徑來對監控影片的內容進行搜尋，透過與影片的軌跡式索引資料分析比對，便可以快速地回傳適切的影像片段，使搜尋的工作能更有效率。

(4)

Trajectory-based Object Search for

Surveillance Videos

Student：Hsuan-Liang Lu Advisor：Dr. Jen-Hui Chuang

Institute of Multimedia Engineering

National Chiao Tung University

Abstract

In this thesis, we propose a tracking method that only employs bounding boxes of detected objects without using color, texture and contour information. With a simple overlap analysis of its bounding boxes in successive images, we can track an object and construct its trajectory very quickly. Using these trajectories along with their associated attributes obtained from object tracking, the trajectory-based indexes of a surveillance video database can be constructed. During the object tracking, undesir-able size change of bounding boxes may occur. A novel size analysis method is de-veloped to resize such bounding boxes to improve the results of overlap analysis. Besides, we can also employ the proposed size analysis of bounding boxes to help the separation of occluded objects. Finally, a search interface is provided, so that a

(5)

致謝

首先要感謝我的指導教授莊仁輝老師，這兩年在老師的指導下瞭解對於研究的思考與實作方法，使得我的研究工作得以完成。同時必須感謝蒙恬科技公司與徐繼聖處長，在合作計畫與個人研究方面所提供的協助與指教，使兩方面能順利地進行。另外，謝謝 ISLAB 中所有的夥伴，國華學長、世旻、聖中、邦展、尚一、永昌、學弟妹們以及隔壁實驗室的夥伴，謝謝大家的指導、扶持與叮嚀，除了讓實驗室保有和樂氣氛，使沉悶心情可以得以紓解外，在通往目標的路上大家可以一起努力、奮鬥是這兩年中難忘的記憶。還要謝謝這兩年在新竹、台北的大學同學們，與你們打打鬧鬧是最佳的舒壓方式。最重要的是感謝一直以來關心我、支持我的家人，這一切的一切都是你們的辛苦付出所成就的，衷心地感謝你們。最後，謝謝這段時期所有幫助過我的朋友們，僅以此文表達我誠摯的謝意，謝謝大家。

(6)

目錄

摘要 ...i Abstract...ii 致謝... iii 目錄...iv 圖目錄...v 表目錄...vii 第一章緒論 ...1 1.1 研究動機...1 1.2 相關研究...2 1.3 系統流程...5 1.4 各章節簡介...6 第二章監控影像資料庫簡介 ...7 第三章軌跡式索引架構 ...12 3.1 前景物體的外接矩形...12 3.2 軌跡式索引之架構...13 第四章僅以外接矩形資訊建立軌跡 ...17 4.1 考慮畫面間隔之調適性區塊重疊追蹤...18 4.2 分析尺寸改變之外接矩形...21 4.3 交會狀況之尺寸調整...31 4.4 雜訊濾除...34 第五章使用者搜尋介面 ...37 5.1 以方向搜尋...37 5.2 以軌跡搜尋...39 第六章實驗結果與討論 ...43 6.1 分析尺寸改變外接矩形之結果...43 6.2 建立前景物體軌跡之結果...44 6.3 物體軌跡搜尋之結果...47 第七章結論與未來展望 ...52 參考文獻 ...54

(7)

圖目錄

圖 1.1 軌跡式索引之建立流程圖...5 圖 2.1 應用導向的資料屬性標示（僅顯示一部分）...8 圖 2.2 應用類型的搜尋選項...9 圖 3.1 前景物體之外接矩形...13 圖 3.2 外接矩形的左上端座標與寬和高...13 圖 3.3 軌跡式索引之架構圖...14 圖 3.4 外接矩形串鏈...15 圖 3.5 圖 3.4 的外接矩形串鏈形成之質心軌跡...15 圖 4.1 單純移動模式下有無使用顏色直方圖之軌跡結果...17 圖 4.2 追蹤方法流程圖...18 圖 4.3 區塊重疊示意圖...19 圖 4.4 調適在相同時間間隔下之外接矩形的估測位置...20 圖 4.5 使用區塊重疊追蹤之結果...21 圖 4.6 外接矩形尺寸改變造成跳動軌跡之範例...22 圖 4.7 外接矩形尺寸改變之實例...23 圖 4.8 外接矩形尺寸分析方法流程圖...23 圖 4.9 畫面深淺處的尺寸差異...24 圖 4.10 估測寬度變化方向之範例...28 圖 4.11 圖 4.4(a)~(d)外接矩形經過調整後之結果 ...30 圖 4.12 圖 4.6 情況使用外接矩形尺寸分析改善之結果...30 圖 4.13 分析前後軌跡中質心連線向量的分佈...31 圖 4.14 分離交會前景物體的方法流程圖...32 圖 4.15 預測的質心點...33 圖 4.16 以外接矩形內的預測質心點數判斷是否交會...33 圖 4.17 連續影像中交會的兩人之分離結果...34 圖 4.18 不正確的外接矩形...35 圖 4.19 不正確的軌跡...36 圖 5.1 使用者搜尋介面...37 圖 5.2 以方向搜尋示意圖...38 圖 5.3 兩軌跡最靠近部分形成的封閉區域...40 圖 5.4 高寬比與長度差異的二維分佈...41 圖 5.5 以軌跡搜尋示意圖...42 圖 6.1 手腳擺動和所偵測的前景不完整之尺寸改變的分析調整結果...44 圖 6.2 前景物體與背景物結合之尺寸改變的分析調整結果...44 圖 6.3 未交會的兩個前景物體...45

(8)

圖 6.4 兩個前景物體所產生的軌跡...45 圖 6.5 發生交會的兩個前景物體...45 圖 6.6 交會的兩個前景物體所產生的軌跡...46 圖 6.7 離開與進入的前景物體...47 圖 6.8 離開與進入前景物體的重疊所形成的錯誤軌跡...47 圖 6.9 以方向搜尋之結果...48 圖 6.10 以軌跡搜尋之範例 1...49 圖 6.11 圖 6.10 搜尋結果的高寬比和長度差異的二維分佈...50 圖 6.12 以軌跡搜尋之範例 2...50 圖 6.13 以軌跡搜尋之範例 3...51 圖 A-1 硬體設備 ...56 圖 A-2 彩色攝影機 ...57 圖 A-3 紅外線攝影機 ...57 圖 A-4 監控影像資料庫系統架構 ...58 圖 A-5 使用者之操作介面 ...58 圖 A-6 依視訊內容的關鍵特徵篩選影片的搜尋功能 ...59 圖 A-7 搜尋“室外-大樓門口＂條件所篩選出的影片一覽表 ...59 圖 A-8 管理者之操作介面（一） ...60 圖 A-9 管理者之操作介面（二） ...60 圖 A-10 視訊檔名稱編碼 ...61

(9)

表目錄

表 2.1 場景與視訊特徵的數量統計...10 表 2.2 應用導向的數量統計...11 表 4.1 各種外接矩形的尺寸變化與不同的寬度與高度變化方向之估測...25 表 7.1 未來可能擴充的搜尋方式與選項...53 表 B-1 流水編號與系統時間之關係...64

(10)

第一章緒論

1.1 研究動機

為了確保人員或貴重物品的安全，在許多地區與場合中，都有安全監控系統的架設。隨著科技的進步與硬體技術的提升，攝影機的成本與體積逐漸降低，監視攝影機的利用越來越普遍，小至家庭大至大樓、路口，隨處皆能看到安全監控系統的應用。這幾年安全監控系統已由傳統的類比錄製方式走向數位錄製方式，搭配影像壓縮功能與低價的儲存媒體（硬碟、光碟），大大提升資料的保存容量與期限。此外，數位化的影像資料也適用於網路傳輸，這將使監控系統的影像來源變得更多元且豐富。因此數位化監控系統與傳統以錄影帶為儲存媒介的監控系統相比，將可保留更多、更久的資料，不需擔心關鍵的資訊會因時間距今久遠而被抹除，這將使警察機關與保全業者有充分的資料來處理相關案件。以民國 94 年台中毒蠻牛案為例，承辦員警查看了一萬多卷監視錄影帶與光碟後，查得嫌犯使用車輛的車牌，而在十天內迅速破案，足以見得監控資料保存之重要性。對於警察機關與保全業者而言，固然期望透過調閱各處的監視畫面以獲取相關的人事物資訊，來發掘環境中的異常事件或犯罪行為，然而面對龐大的儲存資料時，如何迅速且有效率地從中找出能提供關鍵線索的片段，的確是一件重要的課題。上述傳統的作法是以人工查看方式來搜尋可疑對象，但是這樣的方式往往會使人員疲累且耗費太多時間，而降低辦案的效率與速度。因此如果我們能夠以電腦視覺與影像處理的方式，在數位化的視訊資料中篩選特定的內容，藉由指定某一項特徵來過濾大部分不相關的影像片段，讓人力檢視的資料量減少，將可節

(11)

景物體外接矩形的幾何空間資訊分析，並未使用前景物體的色彩與輪廓資訊。然後我們以上述的分析結果（軌跡及相關特徵資訊）做為監控影像資料的索引，希望透過索引與使用者輸入資訊的比對，能協助使用者從龐大的影像資料中縮小搜尋範圍，並且回傳與使用者輸入資訊近似的影像片段，以方便使用者進一步的人力檢視。

1.2 相關研究

影像處理與電腦視覺技術在很多方面都有廣泛的運用，從單張影像的分析到連續影像的視訊處理皆在其範疇內。前者是對於影像中某特定目標的分析與判讀，如工業用途的機器視覺檢測或車牌辨識等；後者主要比前者多了時間軸上的資訊，除了單張影像可能的應用外，對於前後影像的內容可以找出有關係的對應，如視訊壓縮、前景偵測、物件追蹤等等。在傳統安全監控系統的領域中，所保存的視訊資料，同樣可以透過連續影像的視訊處理方式，來達到對於不同場景與目標物的影像內容，提供各種智慧化的分析與應用。安全監控系統常見的影像與視訊內容分析方法，為建立與分析前景物體的移動軌跡，因為移動軌跡在某種程度上可以代表前景物體在時間軸上的行為或狀態，尤其是在街道場景，從軌跡路徑就可以觀察到前景物的動向與去處。而軌跡通常是伴隨著追蹤而產生的，對於行人的追蹤我們涉獵相關的資料，文獻[1]以兩物件的重疊程度來判斷前後的兩個物件是否配對，並以一矩陣記錄前後影像中所有物件的配對狀況，從此記錄數據中研判物件當時是在進入、離開、結合或分離的狀態，若是有兩個物件結合則將它們的追蹤區塊合併，若兩物件分離則以方向與色彩資訊來區分這兩個分開的物件。同樣記錄物件移動的狀態來追蹤也使用在文獻[2]中，透過對物件位置、速度、加速度等資訊的統計分析，判斷追蹤區塊是單獨、結合、離開畫面、進入畫面等狀況，並以色彩特徵區隔遮蔽的物件。而另一種追蹤方式是將物件分成多個小區塊，這些小區塊可能是人體的頭、手、

(12)

軀幹、腳等部位[3]或是直接將物件的外接矩形切成許多小矩形[4]，對這些小區塊以輪廓、紋理或色彩等資訊進行各自目標的追蹤，最後再將各區塊的追蹤結果整合成一個完整的物件。還有一類是透過對訓練資料(training data)學習的方式先建立物件移動的模型，以此模型對來物件進行比對追蹤[5][6]，其中建立的模型可以很複雜如[6]，由人體各個部位的小區段（頭、肩頸、手臂…等）組成，不同的運動姿勢模型是由不同人體區段所組合而成；而[5]的模型則是相對較不複雜，僅以行人行走姿勢的邊緣表徵來建立行走模型，若追蹤物件被遮蔽時，可以用之前配對的模型來預測該物件的位置。安全監控系統中採用軌跡資訊的相關應用有行人的行為判別與搜尋 [7][8][11][12][13]、交通安全監控[9]、路徑分析[10]等。而在行為判別的應用方面，可以透過對移動軌跡的分析，將所屬前景物體的行為模式區分為正常行為與異常行為，通常這類功能是應用在即時的安全監控系統上[11]，當系統判斷有異常行為發生時，就可以立即發出警報或留下異常行為紀錄。而分析移動軌跡是否為異常行為有許多不同的作法，其中較普遍的作法是定義單一或多組軌跡模型代表正常行為，當有新的軌跡出現時，則與之進行比對，符合者則為正常行為之移動軌跡。常見的正常行為之軌跡模型是透過訓練資料的學習過程而建構的。如文獻[11]中提出的應用是使用訓練資料來進行軌跡分類，將場景中出現比例較高的軌跡種類定義成正常行為的軌跡模型，而比例較低者則視為異常行為。不過此方法在單純的場景中雖可即時辨別軌跡種類，達到警報的效果；不過在複雜的監視街景中，因為目標物（行人或車輛）多樣的行為模式，將使得異常行為之移動軌跡無法單純地僅以“發生比例＂做為評判的依據。而行為判別在非即時的後端應用，亦可使用軌跡資訊來輔助搜尋影片中的異

(13)

Component Analysis (PCA)對所有分段的軌跡資料做降維的動作，PCA 後在 spectral clustering 過程中對各分段軌跡的 PCA 參數利用 K-Means 達成分群的效果。最後再以 string matching 的方式將完整的軌跡修補回來，並儲存在索引資料庫中。當系統接收到一個軌跡查詢的要求時（特定行為之軌跡），會以同樣的流程(PCA、spectral clustering、string matching)對該查詢軌跡進行處理，得到該軌跡符合索引形式的資料，接著查閱系統內的索引資料並回傳相似度較高的軌跡清單。而在文獻[13]中則是分析影片中前景物體之外接矩形與色彩資訊來追蹤前景物以建立軌跡，然後以此軌跡做為影片的索引。當使用者欲檢閱監視影片內容時，不必從頭至尾監看，而是透過對特定行為的描述，與索引資料進行比對之後，即可快速地調閱出類似的人事物使搜索範圍縮小，再經由人為挑選找出欲尋找目標。然而其於追蹤的過程中，一直都有色彩資訊的運算與比對，但是實際上在許多單純的移動情況下，只使用外接矩形的資訊就可以完成軌跡的建立，單純移動情況中的額外色彩資訊運算反而造成冗餘的計算而使執行速度變慢，未來面對更長、更龐大的資料量時（如資料庫），其影響將會更顯著。本論文將以文獻[13]所提出的方法架構為基礎，對監控影片建立軌跡式索引，我們將會改良該文獻的方法使運算量降低以增加執行的效能，只使用前景物體的外接矩形資訊而不採用矩形內部前景的影像內容（如色彩、輪廓）來完成追蹤物體並且建立軌跡，同時對於前景物體外接矩形的尺寸變化提出一套分析與調整的方法，使建立的軌跡能夠更平順流暢。為了處理前景物體發生交會的情況，我們將會對同一個前景物體的外接矩形做多次的尺寸分析與調整，讓發生交會的多個前景物體能夠因此而被分離出來。最後提供一個搜尋介面，讓使用者輸入欲查詢的特徵資訊或軌跡，經由與索引資料比對後，可回傳相似度較高的查詢結果給使用者做進一步的檢視。接下來的兩個小節將說明本論文方法的系統流程與後面章節內容之簡介。

(14)

1.3 系統流程

圖 1.1 為本論文中建立軌跡式索引之流程。首先將監視影片經過蒙恬科技的追蹤監控系統 TrackIN 偵測前景，以獲取影片中前景物體的外接矩形資訊。接著對這些外接矩形進行追蹤與分析，追蹤過程中同時建立前景物體的移動軌跡，並更新該軌跡的相關空間與時間資訊，當追蹤完成後便形成一軌跡式索引資料。得到影片的軌跡式索引後，接下來就過濾場景中雜訊所形成的軌跡，雜訊濾除後便將保留下來的影片索引儲存。使用者可以透過所提供的搜尋介面，手繪輸入欲查詢的軌跡資訊，接著程式便會將使用者輸入的資訊與影片索引進行比對，最後回傳影片中近似的搜尋結果與影像片段，讓使用者以人工的方式加以檢視。前景物體外接矩形 TrackIN 前景偵測建立前景物體軌跡及記錄其特徵資訊濾除雜訊形成之軌跡影片輸入

(15)

1.4 各章節簡介

本論文共分為七章，除了本章為緒論外，第二章簡介蒙恬科技與本實驗室共同合作開發的監控影像資料庫。第三章說明我們定義的軌跡式索引之架構與詳細內容。第四章則是說明如何使用前景物體外接矩形的進行追蹤，與外接矩形尺寸分析與調整方法，並考量前景物體在交會狀況之下，如何利用尺寸分析的結果將交會的前景物體分離，在第四章的最後則是說明我們對雜訊產生的軌跡使用的濾除方法。第五章介紹使用者搜尋介面的操作方法，與採用的搜尋方式及軌跡比對方法。第六章為實驗結果與討論，主要展示第四章的追蹤結果與第五章的搜尋結果，並討論結果中不理想、有待改良之部份。第七章為結論並探討本研究未來的可行之研究方向。

(16)

第二章監控影像資料庫簡介

由於科技的發達與進步，基於安全考量與防範入侵的各種監控系統因應而生。然而當前的監控系統都有使用上的限制與瓶頸，並非適用於任何情況，因此為了檢驗系統的正確性、穩定性與廣泛性，蒙恬科技公司與交通大學合作針對不同場景、目標物、光源、移動軌跡等各種條件變化進行拍攝，建立影像之資料庫，以提供給開發端針對監控系統上偵測、辨識、追蹤等功能做為執行效能之評估與驗證。最後希望未來此資料庫能當作產學界相關研究的平台，提供各界開發端進行系統效能之評估。建置資料庫可分為兩個部份，影像蒐集和資料庫架構設計。影像蒐集為拍攝監控影像所採用的拍攝方式與設備；資料庫架構為整體設計的核心，又分成以下三種項目，如影片名稱編碼規則、資料屬性定義、功能介面設計。接下來將介紹這兩部份的內容。由於此資料庫之基本架構與功能已於文獻[13]中詳細論述，因此本章節主要說明資料庫後續延伸的功能與新增的資料屬性，而文獻[13]中既有的資料庫內容將另整理於附錄A之中，本章節最後展示目前資料庫的影片數量與種類。在影像蒐集的部份，拍攝地點以交通大學內之場景為主，並模擬監控視角拍攝室內與室外出入口的門禁影像，拍攝所使用的硬體設備詳見附錄 A。而在資料庫架構的部份，影片名稱編碼規則、資料屬性定義、功能介面設計的基本內容請參閱附錄 A 說明。然而在資料屬性定義與功能介面設計這兩方面我們有做後續的延伸，以下就延伸的內容做詳細的說明。在原來的資料屬性項目中，只有以拍攝場景的分別和影片內容的視訊特徵來

(17)

定應用模組的影像搜尋與取得以供監控系統測試。因此資料庫中每一段影片我們以 Yes/NO 來表示是否具有該類型之應用，如圖 2.1 中每一欄位的標示。而同一段影片可能會屬於多種應用類型，對於應用類型的界定，彼此會產生重疊性。目前我們對資料庫總共整理出 15 項應用類型，內容如下： (a) 虛擬圍牆：在影像中畫出一個虛擬界線，做為有無跨界或入侵的偵測。 (b) 人臉辨識：辨識影像中的人臉，人臉的特徵必須足夠清晰。 (c) 人潮估計：估計場景之中的行人數量，場景涵蓋的範圍較廣。 (d) 車潮估計：估計路段或十字路口的車輛數目，場景涵蓋的範圍較廣。 (e) 車牌辨識：辨識影像中的車牌，車牌的特徵必須足夠清晰。 (f) 車速估計：估計影片中車輛移動的速率。 (g) 遺失物偵測-反光：偵測有反光特性物品（玻璃材質）遺失之情形。 (h) 遺失物偵測-陰影：在具有陰影影響的情況下，偵測物品的遺失。 (i) 行人逗留-室內：偵測行人於室內環境的逗留情況，如辦公室。 (j) 行人逗留-戶外：偵測行人於戶外環境的逗留情況，如居家門口。 (k) 交錯 ID 保留：測試目標物發生交錯後，其 ID 編號保留的準確性。 (l) 人車分類：區別影像中的人物與車輛。 (m) 停車場管理：所有具有停車場監控場景特色的影片。 (n) Counting-人：針對某一門口行人之計數，通常為門口上方俯拍之場景。 (o) Counting-車：針對某一路段或車道的車輛之計數。

(18)

由於多了應用導向的資料屬性，因此在資料庫的功能介面中，有關資料搜尋的功能也新增了應用類型的選項，如圖 2.2 所示，單次搜尋最多可複選三種應用類型，以找出同時具備多種應用的影片。圖 2.2 應用類型的搜尋選項。在資料庫內容的擴充方面，除了增加更多類型的場景外，也針對各種應用類型拍攝具有該應用情境的影片。接下來將以兩種分類依據：原來的資料屬性（場景、視訊特徵）與新增的應用導向的資料屬性，對目前資料庫儲存的所有影像資料進行數量的統計。表 2.1 是以場景與視訊特徵為分類依據的數量統計表；而表 2.2 則是採用應用導向的分類依據對目前資料庫內容所做的數量統計。

(19)

表 2.1 場景與視訊特徵的數量統計。視訊特徵影片數量 Raw data _數量彩色(720x480) 232 94 紅外線(720x480) 125 26 彩色(320x240) 40 4 攝影型態夜間低照度(320x240) 25 1 行人 347 116 車輛 15 3 目標物人車混合 60 10 房間門口 85 22 室內電梯門口 14 12 大樓門口 105 35 餐廳門口 52 19 進出大門口 30 6 圖書館門口 91 28 場景室外環校道路 45 3 近視角 77 14 中視角 322 106 視角距離遠視角 23 5 短(<1Min) 252 中(1Min~5Min) 126 影片長度長(10Min~30Min) 44 單獨(1) 139 少量(2~3) 189 中量(4~6) 67 Max 目標物數量大量(>6) 27 無 323 開始目標物存在畫面開始有目標物 99 N/A 327 119 快速變化 77 21 漸進變化 4 4 光源變化昏暗 14 4 N/A 328 110 背景物體搖晃 23 10 搖晃干擾鏡頭搖晃 71 13 N/A 195 34 地板牆壁反光 34 14 其他干擾玻璃反光 193 81 正常行進 400 加速前進 2 行為模式佇留遊走 20

(20)

表 2.2 應用導向的數量統計。應用類型影片數量虛擬圍牆 390 人臉辨識 255 人潮估計 25 車潮估計 40 車牌辨識 70 車速估計 110 遺失物偵測-反光 15 遺失物偵測-陰影 55 行人逗留-室內 6 行人逗留-戶外 15 交錯後 ID 保留 150 人車分類 45 停車場管理 25 counting-人 220 counting-車 30

(21)

第三章軌跡式索引架構

監視影片的索引，我們採用文獻[13]提出的概念，以監視影片中前景物體的移動軌跡做為主要的內容，並結合空間、時間等特徵資訊，組成一足以描述移動中的前景物體之資訊，而以其做為軌跡式索引。在前景物體移動軌跡的建構方面，其作法是對相同的前景物體進行追蹤(tracking)，然後依照出現的時間順序將其串接，形成該前景物體的移動軌跡。因此，在進行追蹤之前，系統必須獲得前景物體的資訊，在此我們採取與[13]一樣的方式，藉由蒙恬 TrackIN 程式達成前景物偵測的目的，將前景物體從背景中分割出來，並以外接矩形(bounding box) 的型式來表示此前景物體。由於外接矩形資訊只需要以簡單的座標值記錄，並且可以簡易地表達前景物體在空間中的位置與形體資訊，將可降低前景資訊量及增加資料轉移的便利性。因此本系統對於前景資訊只考慮前景物體的外接矩形之幾何形狀意義，而不就矩形內部的影像內容深入分析，是故暫且不考慮前景物體的色彩資訊、輪廓或肢體型態。在接下來的小節中將分別說明前景物體的外接矩形之資料結構與軌跡式索引之架構。

3.1 前景物體的外接矩形

本論文中皆以外接矩形來表示被偵測到的前景物體，如圖 3.1 所示，影像中的前景物體經過偵測後從背景中分割出來，此前景區域的上下左右四個邊界所形成的矩形，即為該前景物體的外接矩形。一般而言外接矩形可以直角座標格式記錄，記錄左上角端點之座標及矩形的寬度與高度，如此即可充分代表外接矩形的空間資訊，如圖 3.2 所示。此外，前景物體的外接矩形中也有記錄時間資訊，這些時間資訊分別是外接矩形對應的取樣影像(sample image)之流水編號以及取樣當時的系統時間(system time)。將上述空間與時間的資訊結合，我們定義外接矩形的資料格式為：

(22)

(

x y w h f t

)

B= , , , , , (3-1) 其中(x, y)為外接矩形左上角的座標，w、h 分別是外接矩形的寬與高，以上資訊 皆以像素為單位；f 為取樣影像的流水編號，單位為自然數；t 則是取樣影像的系 統時間，以毫秒為單位。而我們同時保留兩項時間資訊（f 及 t）是由於蒙恬 TrackIN 程式的影像取樣頻率是依據前景偵測結果能與視訊影像同步播放而作動態調整 的，因此 f 與 t 兩者之間並非單純的線性關係（詳見附錄 B）。所以同時將 f、t 保留，可幫助我們得到較精確的時間資訊。 圖 3.1 前景物體之外接矩形。圖 3.2 外接矩形的左上端座標與寬和高。

3.2 軌跡式索引之架構

h w (x, y)

(23)

們將於第四章中詳述說明。本論文的軌跡式索引即是以前景物體的軌跡資訊為主，再附加上一些描述前景物體的特徵資訊，整合成為一個完整的索引架構，如圖 3.3 所示，其詳細內容將於本小節作說明。圖 3.3 軌跡式索引之架構圖。 前景物體之軌跡 前景物體的軌跡是經由前景物體的外接矩形串鏈而得到的。外接矩形串鏈是指將連續影像中代表相同前景物體的外接矩形依照時間順序串接所獲得的串鏈結果，單一軌跡的外接矩形串鏈如圖 3.4 所示，其中箭頭的指向表示外接矩形的連接順序，由較早時間的外接矩形指向較晚時間的外接矩形，每個矩形都串接完 成後將會形成一以時間順序連接的外接矩形串鏈(L)，其資料格式如下：

{

₋₁, , ₊₁,K

}

= Bt Bt Bt L (3-2) 其中 Bt是指在時間 t 所得到的外接矩形，其資料內容為(3-1)式中所示。而前景物 體的軌跡是從外接矩形串鏈中取出每個矩形的質心座標

(

x ,_c y_c

)

，並將它們依矩 形串接的順序連接，我們可將此座標序列表示成(3-3)式之格式，其中 t 為質心所 對應的時間。圖 3.5 中紅色連線即是圖 3.4 中的外接矩形串鏈所形成的質心軌跡，其中矩形顏色表示時間的順序，深色為較早的時間，淺色為較晚的時間。在軌跡式索引前景物體之(質心)軌跡 {(xc(t-1), yc(t-1)), (xc(t), yc(t)), (xc(t+1), yc(t+1)), …} 空間資訊 （wavg, havg, …）時間資訊

（fstart, fend, tstart, tend, …）

軌跡之特徵資訊

其他資訊

(24)

(

) (

)

{

₍₋₁₎, ₍₋₁₎ , ₍₎, ₍₎ , ₍₊₁₎, ₍₊₁₎ ,K

}

= xct yct xct yct xct yct T (3-3) 圖 3.4 外接矩形串鏈。圖 3.5 圖 3.4 的外接矩形串鏈形成之質心軌跡。 軌跡之特徵資訊 除了表達移動資訊的質心軌跡，在產生軌跡的過程中我們能得到許多物體分析之相關資訊，這些資訊有助於我們描述軌跡的型態和前景物體的特徵。因此在軌跡式索引的架構之中，對於任一軌跡我們亦加上若干相關的特徵資訊包括空間資訊、時間資訊以及無法純粹以空間與時間分類的其他（綜合）資訊，主要內容如下： z 空間資訊 (1) 前景物體寬度：軌跡內所有外接矩形的平均寬度。

(25)

(3) 起始系統時間：軌跡起點的系統時間。 (4) 結束系統時間：軌跡終點的系統時間。 z 其他資訊 (1) 外接矩形數量：軌跡內的外接矩形數目。 (2) 前景物體的平均移動速率：前景物體的總移動距離除以總移動時間。 (3) 前景物體的平均移動角度：軌跡內所有質心連線之向量的平均角度。這些特徵資訊在第五章介紹的物件搜尋方式中使用，使用者可以輸入前景物體與軌跡的相關特徵，或者手繪輸入欲搜尋的移動路徑，透過與監視影片的軌跡式索引比對後，最後系統會回覆相似的搜尋結果給予使用者檢視。

(26)

第四章僅以外接矩形資訊建立軌跡

追蹤前景物體可以取得該前景物體在時間軸的資訊，最簡單的例子即是取得物體的移動路徑。本章將說明論文使用的前景物體追蹤方法，我們將以文獻[13] 所提出的方法為基礎，並且加以改良而達成追蹤的目的。文獻[13]在前景物體追蹤的過程中同時以區塊重疊(overlap)與顏色直方圖(color histogram)兩項資訊，做為是否為相同前景物體之判斷依據。對於追蹤所需的運算而言，取得區塊重疊資訊的運算量遠小於計算顏色直方圖所需的運算量，且我們發現若前景物體在單純的移動模式下，只使用區塊重疊資訊來追蹤已經能夠獲得不錯的結果，如圖 4.1 所示，該影像內容為單純移動模式的行人，圖 4.1(a)中的綠色連線是使用區塊重疊與顏色直方圖追蹤而產生的軌跡；而圖 4.1(b)中的紅色連線則是只使用區塊重疊追蹤而產生的軌跡，兩者差異不大。 (a) (b) 圖 4.1 單純移動模式下有無使用顏色直方圖之軌跡結果：(a)有使用顏色直方圖追蹤，(b)沒有使用顏色直方圖追蹤。

(27)

根據特徵資訊中的前景物體寬高來將它調整至適當的尺寸。最後更進一步將尺寸調整的方法運用在處理前景物體交會的情況，使發生遮蔽的兩個（或兩個以上）物體能從中被分離出來，再去做區塊重疊之計算。本章追蹤方法之流程圖為圖 4.2，我們會先敘述區塊重疊的基本原理，然後再說明計算區塊重疊之前要如何分析外接矩形的尺寸，接著考慮追蹤時遇到交會的情況，並說明我們將如何取得前景交會的數量，使得分析尺寸之時能夠一併將交會的前景物體分離。詳細的作法將在以下各小節內容中說明。圖 4.2 追蹤方法流程圖。

4.1 考慮畫面間隔之調適性區塊重疊追蹤

前景偵測的過程中，所處理的影像是來自對視訊影片的取樣(sample)，當取樣的頻率越大，處理的影像數量會越多；而取樣頻率越小，處理的影像數量也會較少，程式的執行速度會較快。通常前景偵測程式的取樣頻率約在 10~15 fps (frame per second)，視應用系統之設計而異。依照此取樣頻率數值推算連續兩張取樣影像的時間間隔，大約為 67~100 ms。假設前景物體（行人）的移動速度不甚快，則同一個前景物體在此時間間隔內（67~100 ms），所偵測到的前後兩個前 景物體之外接矩形，必然會產生些許重疊，如圖 4.3 中 Bt-1與 Bt為同一個前景物體在連續兩張影像中的外接矩形，藍色半透明區塊則是其重疊的部份。在本論文中，我們即參考[13]利用此重疊特性來追蹤相同前景物體在連續影像的移動，然後產生其移動軌跡。在前景物體追蹤的過程中，我們會持續讀取連續影像經過蒙恬 TrackIN 前景偵測程式得到的外接矩形資訊，然後將每次讀取進來的新進外接矩形和目前已經偵測前景交會數量分析外接矩形尺寸計算區塊重疊程度加入軌跡、更新特徵資訊外接矩形

(28)

跡。比對採用文獻[13]中提出的方法，取出所有現存軌跡中最後加入的外接矩形，並計算它們與新進外接矩形的重疊比率(overlap ratio)。重疊比率是指以兩個矩形面積的交集(intersection)除以聯集(union)所得到的比率：

(

)

(

)

overlap new last new last T B B Area B B Area ratio overlap > ∪ ∩ = (4-1) 其中 Blast是軌跡中最後加入的外接矩形，Bnew則是新進的外接矩形。如(4-1)式所 示，用簡單的方式判斷，當重疊比率大於門檻值 Toverlap時，就將比對的兩個外接矩形視為相同的前景物體，當發生同時有多個重疊比率大於門檻值時，則取比率 值最大者，經過實驗我們將 Toverlap設定為 0.15(約七分之ㄧ)。找到新進外接矩形所對應的軌跡之後，就更新該軌跡的內容（加入新的質心點），同時也更新其對應的特徵資訊。圖 4.3 區塊重疊示意圖。然而由於蒙恬 TrackIN 程式是採用動態的取樣頻率，因此連續兩張取樣影像 Blast Bnew

(29)

的移動，以比例估計的方式推算在相同時間間隔的移動狀況，之後才來計算重疊比率。以圖 4.4 為例，左圖中紅色外接矩形移動至藍色外接矩形位置的時間間隔為 300 ms，而我們的欲得出此物體於 100 ms 時的位置，假設物體的速率、方向與形狀在移動過程中不改變，我們就以相同的移動資訊利用比例關係來估計它在 100 ms 的位置。右圖綠色矩形則是此例估計後獲得的估測矩形，以矩形的質心位置來看，在時間間隔為 100 ms 時的質心位置約是在左圖兩質心連線三分之一之處。圖 4.4 調適在相同時間間隔下之外接矩形的估測位置。經過矩形位置的調適後可以發現，因時間間隔過大而導致重疊面積太小之問題在此方法中可獲得補償。如此即可在動態的取樣頻率下，利用區塊重疊程度達成追蹤前景物體的目的。圖 4.5(a)為連續影像經過前景偵測後所得到的前景物體外接矩形。而圖 4.5(b)則是以圖 4.5(a)的外接矩形為前景資訊，然後以本小節的區塊重疊方法進行前景物體追蹤，並連接外接矩形質心所得到前景物體的軌跡，其中紅色的點代表每個外接矩形的質心。

(30)

(a) (b) 圖 4.5 使用區塊重疊追蹤之結果：(a)連續影像的前景物體外接矩形，(b)前景物體之軌跡。

4.2 分析尺寸改變之外接矩形

因為本論文所產生的軌跡是採用外接矩形的質心連線，所以當前景物體的外接矩形的尺寸不一致時（即尺寸有改變），可能會使軌跡產生不正常的跳動或間距不均的情形，在圖 4.6(a)中行人的移動是平順地走過，但是因為該行人的外接

(31)

體的陰影、地面的倒影等情形，如圖 4.7(a)～(d)所示。因此在計算區塊重疊比率追蹤前景物之前，我們提出一套分析外接矩形尺寸的方法，希望可以將有尺寸改變的外接矩形調整至適當大小，使重疊比率的結果能更準確、產生的軌跡能更平順流暢，方法流程如圖 4.8 所示。在計算新進外接矩形與軌跡（最後加入的外接矩形）之間的重疊比率之前，先以該軌跡特徵資訊內的外接矩形寬度與高度來判斷新進外接矩形是否有尺寸改變的情形。若有尺寸改變，則以軌跡特徵資訊內所記錄的尺寸資訊來調整新進外接矩形的尺寸，並且由特徵資訊內所記錄的軌跡之速率與角度來修正其質心位置。最後就以調整後的新進外接矩形來計算其與軌跡（最後加入的外接矩形）之間的重疊比率，進行前景物的追蹤。 (a) (b) 圖 4.6 外接矩形尺寸改變造成跳動軌跡之範例：(a)原始影像行人的移動，(b)前景偵測不完整產生的尺寸改變，(c)形成的跳動軌跡。

(32)

(c) 圖 4.6 （續） (a) (b) (c) (d) 圖 4.7 外接矩形尺寸改變之實例：(a)行人手腳擺動，(b)行人發生交會，(c)前景物體陰影，(d) 地面倒影。軌跡與特徵資訊尺寸差異偵測外接矩形尺寸與質心位置調整計算區塊重疊比率新進外接矩形

(33)

度（高度）所得到的比值α做為判定之依據，如(4-2)式所示：高度）軌跡紀錄的平均寬度（）外接矩形的寬度（高度 = α (4-2) 若α值介於 0.5～0.8 之間將被視為寬度（高度）變小，若α介於 0.8～1.2 視為寬度（高度）不變，若α介於 1.2～2.5 則視為寬度（高度）變大。而當α值落在 0.5 與 2.5 這兩數值形成區間之外時，則視為是過大的尺寸改變，可能不在我們考量的狀況中而將其忽略。經過上述判斷後，當外接矩形的寬度與高度兩者中有一者是有發生改變時（變大或變小），則將該外接矩形視為是有尺寸改變的，且將選擇不以此改變的尺寸去更新特徵資訊中的外接矩形平均寬度與平均高度。然而在有些正常的情況下是必然會發生尺寸變化的，如前景物體由場景的近處（圖 4.9(a)中的紅圈）移動至場景的遠處（圖 4.9(b)中的紅圈），或者由遠處移動到近處這種移動過程之情況。為了避免將這種情況判斷是外接矩形尺寸發生改變，因此當寬度與高度兩者的α值之比例介於 0.95 與 1.05 之間時，我們視寬度與高度為同比例縮放（矩形尺寸變化前後為相似形），我們就去更新特徵資訊中記錄的平均寬度與高度，以彌補前景物體在畫面遠近位置的尺寸變化。 (a) (b) 圖 4.9 畫面深淺處的尺寸差異：(a)前景物體於畫面淺處，(b)前景物體於畫面深處。

(34)

依照上述方法分別得到外接矩形寬度與高度的改變狀態後（變小、不變、變大），可歸納出九種外接矩形尺寸改變的狀況，茲整理如下： (1) 寬度不變且高度不變， (2) 寬度不變且高度變大， (3) 寬度不變且高度變小， (4) 寬度變大且高度不變， (5) 寬度變大且高度變大， (6) 寬度變大且高度變小， (7) 寬度變小且高度不變， (8) 寬度變小且高度變大， (9) 寬度變小且高度變小。除了外接矩形寬度與高度的大小變化，我們可再進一步考量與估測各種狀況下寬度與高度的變化方向。我們的估測方法中，一維空間的變化方向，可粗略分為三種類型。以寬度（高度）說明，若為變大時，我們將分成向右（下）變大、左右（上下）對稱變大、向左（上）變大；同樣的，若為變小時，即是從右（下）縮小、左右（上下）對稱縮小、從左（上）縮小三種。將上述九種外接矩形尺寸改變狀況配合我們在一維空間所制定的三種寬度或高度的變化方向，其所有可能的尺寸變化加上寬度與高度的變化方向整理於表 4.1，其中最右邊欄位中的紅色矩形代表有發生尺寸改變的外接矩形；而藍色矩形則是表示沒有尺寸改變的正確尺寸外接矩形。

(35)

2 寬度不變且高度變大

3 寬度不變且高度變小

4 寬度變大且高度不變

5 寬度變大且高度變大

(36)

7 寬度變小且高度不變

8 寬度變小且高度變大

(37)

根據以上整理，在追蹤的過程中，一旦發現外接矩形有尺寸改變時，我們先找出該尺寸改變是九種尺寸變化中的哪一種（表 4.1 第二欄），然後從該種變化狀況中估測的所有寬度、高度變化方向裡（表 4.1 的第三欄），挑選出一個能夠使後續產生的軌跡最平穩、流暢的選項。以圖 4.10(a)為例，紅色軌跡是在分析綠色新進外接矩形之前，我們的方法對該行人已經產生的軌跡。很明顯的，此新進外接矩形與該行人的實際大小相比，已經發生了尺寸改變，而此例的尺寸變化是寬度變大且高度不變之狀況，因此根據以上我們的作法就是從圖 4.10 (b)、圖 4.10 (c)、圖 4.10 (d)三種寬度變化方向中挑選出一個使後續軌跡最平穩且流暢的選項，圖 4.10 (b)~(d)的寬度變化方向依序是向右變大、左右對稱變大、向左變大，而橘色的點即是依據變化方向的類型所推測的質心點位置並與原軌跡的末端點連線，在此例中較合適的選項應該為圖 4.10 (b)。 (a) (b) (c) (d) 圖 4.10 估測寬度變化方向之範例：(a)發生尺寸變化的外接矩形，(b)估測寬度向右變大，(c)估測寬度左右對稱變大，(d)估測寬度向左變大。

(38)

為了找出哪一個選項合適，我們先對某一尺寸改變狀況中的所有變化方向類型之矩形（如寬度變大且高度變大的九種矩形），皆求出它的質心與軌跡末端點形成向量的速率(以s 表示_v )與角度(以a 表示_v )，然後將這兩個值與軌跡特徵資訊中記錄的速率(以sT表示)與角度(以aT表示)進行誤差比較，而這兩個值個別得到的誤差量我們將會統合成為一個單一的誤差量β，如(3-3)式所示；其中w為誤差量β中速率誤差所佔之比例；

(

1−w

)

則為角度誤差所佔之比例，實驗中我們預設 w 為0.5。我們挑選使β最小的變化方向之矩形做為加入軌跡的選項。

(

w

)

a a a w s s s T T v T T v− _× ₊ − _× ₋ = 1 β (4-3) 變化方向之矩形挑選完後，接著就調整新進外接矩形的尺寸與質心位置使其符合我們挑選的矩形尺寸，然後以調整後的尺寸進行 4.1 小節的區塊重疊追蹤方法。上一個小節中圖 4.7(a)～(d)中的外接矩形尺寸經過調整後得到的結果為圖 4.11(a)～(d)，圖 4.11(a)中的行人因雙手擺動而使外接矩形的寬度變大（綠色矩形），經過調整後可使外接矩形的寬度左右對稱縮小至符合該行人適當的寬度（藍色矩形）。圖 4.11(b)中右邊的行人因與左邊的行人發生交會而使外接矩形的寬度與高度同時變大（綠色矩形），經過調整後可將外接矩形的寬度與高度縮小至符合該行人的寬度與高度（黃色矩形），而我們亦會將外接矩形調整至左邊行人的適當尺寸，詳細內容將會在下一小節中詳述。圖 4.11(c)中的行人因地面陰影的影響使外接矩形的寬度變大（綠色矩形），經過調整後可使外接矩形的寬度從右方縮小至適合的寬度（藍色矩形）。圖 4.11(d)中的行人因地板的倒影使外接矩形

(39)

改善成為圖 4.12(b)之結果，在圖 4.6(c)中軌跡左側的跳動情況，在此已經獲得解決。圖 4.13 顯示圖 4.6(c)與圖 4.12(b)的軌跡中相鄰質心連線所構成向量的分佈，其中藍色點為尺寸分析前的向量分佈，紅色則為尺寸分析後的向量分佈，可以觀察到在分析前差異較大的五個藍色點所代表的向量，在分析後已經調整落在較平穩的範圍(y=−10~10)，因此可以表示在外接矩形分析後軌跡亦可調整至較平穩的狀況。 (a) (b) (c) (d) 圖 4.11 圖 4.4(a)~(d)外接矩形經過調整後之結果。 (a) (b) 圖 4.12 圖 4.6 情況使用外接矩形尺寸分析改善之結果：(a)調整尺寸後的外接矩形，(b)改善後之軌跡。

(40)

-30 -20 -10 0 10 20 30 -40 -35 -30 -25 -20 -15 -10 -5 0 5 分析前向量分析後向量圖 4.13 分析前後軌跡中質心連線向量的分佈。

4.3 交會狀況之尺寸調整

當畫面中含有多個前景物體時，就可能會有前景交會的狀況發生。前景物體交會時，會造成前景物體結合(merge)與遮蔽(occlusion)的現象，對於目標物追蹤而言是必須克服的問題。在上一小節中，我們發現前景物體交會也是導致外接矩形尺寸改變的原因之一，而透過外接矩形尺寸的分析，我們可以將外接矩形調整至其中一個前景物體的適當大小，如上小節中圖 4.11(b)的黃色矩形。由此可知， y x

(41)

先在調整外接矩形尺寸之前，我們先判斷該外接矩形是否為多前景物體交會所形成，並取得交會的前景數量，接下來以此交會數量做為調整外接矩形尺寸的重複次數，最後得到交會前景物體各自調整尺寸之後的外接矩形。圖 4.14 分離交會前景物體的方法流程圖。 交會數量偵測 通常一個外接矩形是代表一個前景物體，但是當兩個以上的前景物體發生交會而使前景區域結合時，這時候產生的外接矩形則會包含兩個以上的前景物體。因此我們從外接矩形內所包含的前景物體數量來判斷是否發生交會，當有兩個以上的前景物體存在於外接矩形內時，則視為有交會發生，此外接矩形是在交會狀況下所形成的，之後統稱此類外接矩形為“交會物體的外接矩形＂。而外接矩形內的前景物體數量，我們是以現有的軌跡數目與特徵資訊來進行 預測。假設在 t 時間系統已經產生了 n 條軌跡，接下來我們以這 n 條軌跡的特徵 資訊所記錄的速率與角度資訊去推測前景物體在 t+1 時間的質心位置。如圖 4.15 所示，紅色點與藍色點所連接的軌跡為系統在 t 時間所形成的軌跡，而橙色點則 是以軌跡的速率與角度資訊所預測在 t+1 時間的前景物體質心位置。我們將這些 預測質心點的位置記錄下來，當我們取得一個 t+1 時間的新進外接矩形後，便判 斷有多少預測質心點在該矩形區塊內，若有兩個以上的預測質心點，即視為是交會物體的外接矩形，如圖 4.16(a)；反之矩形內預測質心點只有一個或不存在，則視為非交會物體的外接矩形，如圖 4.16(b)，而以一般狀況處理之。交會物體的外接矩形內部的預測質心點數量則是代表矩形內的前景物體數量，該數量是我們下一個步驟“重複調整交會物體的外接矩形尺寸＂所必要的重要資訊。交會數量偵測重複調整交會外接矩形尺寸分離完成尺寸改變的外接矩形

(42)

圖 4.15 預測的質心點。 (a) (b) 圖 4.16 以外接矩形內的預測質心點數判斷是否交會：(a)交會物體的外接矩形，(b)非交會物體的外接矩形。 重複調整交會物體的外接矩形尺寸 找出交會物體的外接矩形後，接下來的目標是將交會的前景物體從中分離出來。從圖 4.11(b)可以明顯地發現，在經過一次的外接矩形尺寸調整後，已經可以將因交會而使尺寸改變的外接矩形調整至其中一個前景物體的適當大小，我們便依照此結果的特性，重複地對交會物體的外接矩形進行 4.2 小節中提出的尺寸分析與調整方法，以框出矩形裡面的每一個前景物體。

(43)

像中交會情況的分離結果，其中暗紅色矩形即是交會物體的外接矩形，而黃色矩形為調整尺寸後代表右方行人的外接矩形；藍色矩形為調整尺寸後代表左方行人的外接矩形；綠色矩形為未調整尺寸的雜訊。

(a) (b) (c) (d) (e) 圖 4.17 連續影像中交會的兩人之分離結果：(a)frame 69，(b)frame 70，(c)frame 71，(d)frame 72，

(e)frame 73。

4.4 雜訊濾除

在本論文的方法中需要對雜訊進行過濾與排除，以使追蹤與軌跡的結果能更為準確，本小節說明我們所使用的雜訊判斷與過濾方式。本論文中所謂的雜訊即是在追蹤過程所遇到的不正確的外接矩形，以及追蹤完成後所形成的不正確的軌跡。 不正確的外接矩形 追蹤過程中的不正確資訊主要是指不正確的外接矩形，例如畫面邊緣的外接矩形（圖 4.18(a)）或是前景偵測破碎而產生的外接矩形（圖 4.18(b)）。畫面邊緣的外接矩形通常是前景物體剛要進入畫面（軌跡起點）或離開畫面（軌跡終點）的瞬間所產生，此時的外接矩形尚未包含前景物體的完整大小，所以不足以代表該前景物體的尺寸，因此必須將此錯誤資訊排除。上述邊緣外接矩形排除的動作在軌跡起點的狀況尤其重要，因為我們希望軌跡一開始所得到的前景物體尺寸就

(44)

是對每一個新進的外接矩形，都先判斷其是否在畫面邊緣（以座標資訊比對），若在邊緣，則不對該矩形做任何分析動作，而直接讀取下一個外接矩形；若不在邊緣，則視該矩形具有完整的前景物體資訊，而進行前景物追蹤的動作。而另一種不正確的外接矩形是前景偵測破碎而產生外接矩形，如圖 4.18(b) 所示。這種情況除了尺寸不正確外，更可能將一個前景物體誤判為多個前景物體，因此我們的方法是從這些前景破碎的矩形中挑出一個與前景物體重疊最多的外接矩形，並嘗試將它調整至符合前景物體的尺寸然後與軌跡串接，而其餘的外接矩形則把它們當成是其他物體排除在該軌跡之外。 (a) (b) 圖 4.18 不正確的外接矩形：(a)畫面邊緣的外接矩形，(b)前景破碎的外接矩形。 不正確的軌跡 追蹤完成後產生的軌跡，可能仍會包含不正確的資訊，因為在監控影片裡，來自場景中的光源變化及背景物體（如樹葉）擺動，皆會被當成是前景而偵測出來，並產生外接矩形，而這些外接矩形所串接成的軌跡並不是一般我們所認定的目標物（行人、車輛或其他動物）之移動路徑，因此我們仍需要將其視為雜訊刪除。圖 4.19(a)中綠色矩形為光源變化所產生的外接矩形，紅色連線為綠色矩形

(45)

(a) (b) 圖 4.19 不正確的軌跡：(a)光影變化產生的軌跡，(b)樹葉擺動產生的軌跡。這些不正確的軌跡經過實驗觀察後發現，至少會含有以下兩種特性的其中一種：(1)在畫面中通常位置變動不大，(2)常出現一下就消失，不具長時間連續性。因此我們即採用以上兩種特性來過濾光源變化與背景物體搖動所產生的軌跡。利用特性(1)必須取得位置變動的資訊，而對於一條軌跡在畫面中的位置變動程 度，我們以該軌跡中所有外接矩形質心的 x 座標與 y 座標計算出來的標準差 (standard deviation)來表示之。假設所有質心 x 座標的平均值為x ；y 座標的平均_c 值為y ，則 x 座標與 y 座標分別得到的標準差_c σ_x、σ_y如式(4-4)所示，其中 N 為 軌跡中所有外接矩形質心的數量，亦可用來表示該軌跡於特性(2)中所述的時間連續性。

(

)

_∑

(

)

∑

= = − = − = N i c ci y N i c ci x y y N x x N 1 2 1 2 1 , 1 _σ σ (4-4) 當軌跡的σ_x與σ_y皆為很小的值時，我們視該軌跡在畫面中的位置變動太小（特性(1)），而將之濾除；當軌跡的 N 值低於 TN時，視該軌跡不具長時間連續性（特性(2)），所以將之濾除，根據實驗結果我們將 TN定為 3。經過這兩種特性對不正確的軌跡濾除後，保留下來的軌跡即是行人、車輛或其他動物所形成之軌跡。

(46)

第五章使用者搜尋介面

當監控影片經過本論文第四章的前景追蹤方法後，我們已經可以得到該影片的軌跡式索引資訊。在本章節中我們提供一個搜尋介面，如圖 5.1 所示，讓使用者可以輸入查詢的訊息，並且將此訊息與監控影片的索引資訊進行比對，以此方式來達到搜尋的效果。本章節的內容，首先我們介紹搜尋介面所提供的兩種搜尋方式：以方向搜尋和以軌跡搜尋，在下面小節中將分別說明這兩種搜尋方式的作法，最後呈現搜尋後的結果。圖 5.1 使用者搜尋介面。

(47)

移動角度資訊，因此我們只要將使用者所輸入的角度訊息與影片中所有索引的角度資訊進行比對，即可找到與輸入角度相似的軌跡。假設使用者輸入的方向在畫面中形成的角度為φ，而軌跡式索引內記錄的角度為θ ，當 φ−θ 小於 22.5 度時，我們就將這兩者視為是相似的，並回傳該索引的所有資訊給使用者做進一步的檢視。以下展示以方向搜尋的過程與圖例，首先在選取以方向搜尋後，即可按下“Input＂按鈕手繪輸入欲搜尋的方向，輸入完成後將方向顯示於搜尋介面右側圖框，如圖 5.2(a)所示；接下來按下“Search＂按鈕就開始與該影片的所有軌跡式索引資料進行比對，比對完成後將較為相似的軌跡輸出在介面右下方的清單中，讓使用者選取檢視，如圖 5.2(b)的紅框區域。 (a) 圖 5.2 以方向搜尋示意圖：(a)使用者輸入的方向資訊，(b)搜尋完成之相似軌跡回傳結果。

(48)

(b) 圖 5.2 （續）

5.2 以軌跡搜尋

以軌跡搜尋的方式是指給予使用者輸入一個完整的移動軌跡，此手繪軌跡將與監控影片索引中的質心連線軌跡進行相似度比對，除了具有 5.1 小節中的方向性比較外，更具備有空間相對位置的資訊比較，屬於限制條件較多的搜尋方式，使用者可以針對特定移動路徑進行搜尋。對於使用者手繪輸入的軌跡，我們同樣會建立其相關資訊，就如同我們在追蹤過程中對前景物體產生的軌跡所建立與更新特徵資訊一般，如此手繪軌跡與監控影片的軌跡式索引就可以有相對應的資訊來進行比對與分析。在資訊比對中，方向資訊的比對如 5.1 小節中所述之方法，

(49)

跡，軌跡 T 為比對索引之軌跡，我們以軌跡端點與它在另一軌跡的投影點形成之 連線為邊界，如圖中的線段S₁S₁'與線段S₁S₁'，其中S₁'為S₁的投影點；T₂'為T₂的投影點。兩軌跡最靠近部分形成的封閉區域即為S1到T2'之折線、S1'到T2之折線、線段S₁S₁'和線段S₁S₁'所圍繞出來的區域。該封閉區域之高寬比則定義如(5-1) 式，高寬比越小表示兩軌跡越靠近，相似度越高。

(

)

2 2 1 2 1, '子軌跡長度 ', 子軌跡長度 2 封閉區域之面積高寬比 T S T S + = (5-1) 而兩軌跡的長度差異我們取兩軌跡的近似交集長度除以近似聯集長度來表示，以圖 5.3 之例，近似交集長度為

(

S₁,T₂'子軌跡長度+S₁',T₂子軌跡長度

)

2，而近似聯集長度則為

(

軌跡S長度+軌跡T長度−交集長度

)

。為了與高寬比一樣，數值越小表示兩軌跡越相似，所以我們用 1 減去交集長度除以聯集長度的結果來代表兩軌跡的長度差異，如(5-2)式所示。聯集長度交集長度長度差異=1− (5-2) 圖 5.3 兩軌跡最靠近部分形成的封閉區域。因此最後我們就以使用者手繪軌跡與索引軌跡的高寬比、長度差異再加上方向差異，這三項資訊做為是否相似之判斷，其中高寬比與長度差異可以整合為一二維分布如圖 5.4 所示，每一個點代表一組軌跡的比對結果，我們取與原點的距 軌跡 S 軌跡 T S1 S1’ S2 T2 T2’ T1

(50)

離來整合高寬比與長度差異這兩者的比較結果，距離越短表示越相似的比較結果。最後再使用兩軌跡的方向差異（角度差）來去除移動方向不相似的軌跡，我們採用與 5.1 節相同的方式來達成。 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 長度差異高寬比圖 5.4 高寬比與長度差異的二維分佈。接下來我們展示以軌跡搜尋的過程與圖例，首先在選取以軌跡搜尋後，即可按下“Input＂按鈕輸入欲搜尋的軌跡，輸入完成後如圖 5.5(a)所示；接下來按下 “Search＂按鈕後就開始與該影片的所有索引資料進行比對，比對完成後將較為

(51)

(a)

(b)

(52)

第六章實驗結果與討論

本章將對外接矩形的尺寸分析、前景物體的軌跡建立及軌跡搜尋的方法進行實驗，並討論其結果。在 6.1 小節中，我們先展示有尺寸改變的外接矩形在經過 4.2 小節的分析方法後所改善的結果。而在 6.2 小節中，我們接著討論前景物體在交會與非交會的情況下使用第四章的追蹤與分析的方式而獲得的軌跡結果。最後在 6.3 小節我們對第五章的使用者搜尋功能進行測試，並討論兩種搜尋方式的結果與效益。

6.1 分析尺寸改變外接矩形之結果

在 4.2 小節中我們對尺寸改變的外接矩形進行分析，經過分析後可以將受到某些因素而產生尺寸變化的外接矩形調整至符合前景物體的適當尺寸。這些影像的因素包含行人手腳的擺動、行人交會、所偵測前景不完整、所偵測前景包含背景（以及陰影、地面倒影、玻璃鏡像等）。在前面（圖 4.11）已經有呈現一些分析的結果，在本小節我們在展示更多調整後的外接矩形結果。經過實驗我們發現，多數的矩形尺寸改變是來自行人的手腳擺動和所偵測的前景不完整，這一類的分析與調整結果如圖 6.1 中的各圖，左邊三張為手腳擺動的情形，右邊三張為所偵測的前景不完整的情形，其中綠色矩形是前景偵測後所得到的外接矩形；而黃色矩形是分析後所調整的結果。而另一類的狀況是來自環境的因素，使前景物體與周圍的背景物體結合而產生的尺寸變化，這些背景物體例如樹葉、地面倒影、玻璃鏡像等。行人與背景物結合的分析與調整結果如圖 6.2

(53)

圖 6.1 手腳擺動和所偵測的前景不完整之尺寸改變的分析調整結果。圖 6.2 前景物體與背景物結合之尺寸改變的分析調整結果。

6.2 建立前景物體軌跡之結果

前景物體之追蹤結果我們分做兩種狀況來討論，未交會情況之前景物追蹤和發生交會情況之前景物追蹤。前者為前景物體較單純的移動狀況，在此我們可以觀察僅用前景物體的外接矩形而不用其他前景資訊是否可以達成軌跡的建立。而後者的情況可以驗證 4.3 小節中所提到的方法，觀察交會前景物體的分離結果與各自形成的軌跡。 前景物體未交會之情況 我們對連續影像中移動的兩個前景物體在未產生交會的情況進行追蹤，移動過程我們僅取第一張、最後一張與最中間的影像來表示，如圖 6.3(a)~(c)。而這兩個前景物體經過追蹤後各別產生的軌跡如圖 6.4 中所示，上面軌跡為上方行人的軌跡，下面軌跡為下方行人的軌跡。

(54)

(a) (b) (c) 圖 6.3 未交會的兩個前景物體：(a) frame 25，(b) frame 42，(c) frame 59。

圖 6.4 兩個前景物體所產生的軌跡。 前景物體發生交會之情況 同樣地，我們也對連續影像中發生交會的兩個前景物體在進行追蹤，移動過程我們同樣取第一張、最後一張與交會期間的影像來表示，如圖 6.5(a)~(c)。而這兩個前景物體經過追蹤後各別產生的軌跡如圖 6.6 中所示，紅色軌跡為向左移動的行人之軌跡，綠色軌跡為向右移動的行人之軌跡。

(55)

圖 6.6 交會的兩個前景物體所產生的軌跡。由於上述方法是利用前景物體移動時速度與角度的穩定性，來追蹤及調整外接矩形的尺寸，將會不適用於前景物體有劇烈速度變化（如突然跑步）或是太複雜的移動路徑（如轉彎、徘徊遊走）。此外，由於我們僅僅使用前景物體的外接矩形的重疊性質，而未參考前景物體的其他特徵資訊來進行追蹤，將使時間前後的兩個外接矩形會產生只要“重疊程度夠大＂就被視為同一物體的問題。此問題在一前景物體離開畫面，而在離開的位置亦有另一前景物體將進入畫面的時候尤其顯著。以圖 6.7 為例，因為離開的前景物體與進入的前景物體發生了夠大的重疊，於是演算法會誤以為兩者為同一前景物體，而將離開者之質心軌跡又連至進入者之質心，以致產生了錯誤的軌跡及其特徵資訊（圖 6.8）。未來可以藉由加入前景物體的外觀資訊以提高物體追蹤的正確性來改善此問題。而在執行速度的提昇方面，我們以一段 10 分鐘的監控影片於相同條件下進行實驗，在僅使用前景物體外接矩形資訊的追蹤方式下，約 14 秒完成軌跡的建置；而在加入外接矩形內的顏色直方圖資訊後，因為增加了影像的存取與運算的動作，所以其軌跡的完成時間將會增加到 55 秒。

(56)

(a) (b) 圖 6.7 離開與進入的前景物體：(a)離開畫面的前景物體，(b)進入畫面的前景物體。圖 6.8 離開與進入前景物體的重疊所形成的錯誤軌跡。

6.3 物體軌跡搜尋之結果

在使用者搜尋介面中，我們提供兩種搜尋的判斷方式給使用者搜尋，分別為以方向搜尋和以軌跡搜尋。以方向搜尋為讓使用者指定一移動方向，只以軌跡的移動方向來搜尋，搜尋完成後，即輸出移動方向與使用者輸入方向相似的軌跡。而以軌跡搜尋的方式則是讓使用者手繪輸入一完整的軌跡路徑，系統便從索引資訊中找出與該手繪軌跡相似的軌跡，同時考量軌跡的方向與位置資訊。以下我們就以這兩種搜尋方式對一已建立軌跡式索引的的十分鐘監控影片進行搜尋，該影

(57)

畫面右邊移動的前景物體，經過搜尋之後，可從全部的 90 條軌跡中回傳 21 條相似的軌跡。而圖 6.9(b)為搜尋影片中向畫面左邊移動的前景物體，經過搜尋之後，可從全部的 90 條軌跡中回傳 20 條相似的軌跡。圖 6.9(c)為搜尋影片中向畫面上方移動的前景物體，經過搜尋之後，可從全部的 90 條軌跡中回傳 11 條相似的軌跡。圖 6.9(d)為搜尋影片中向畫面下方移動的前景物體，經過搜尋之後，可從全部的 90 條軌跡中回傳 16 條相似的軌跡。 (a) (b) (c) (d) 圖 6.9 以方向搜尋之結果：(a)搜尋向畫面右邊移動的前景物體，(b)搜尋向畫面左邊移動的前景物體，(c)搜尋向畫面上方移動的前景物體，(d)搜尋向畫面下方移動的前景物體。 以軌跡搜尋之結果 我們手繪輸入一完整從右至左移動的軌跡（圖 6.10(a)），經過搜尋後可以獲得 19 條相似的軌跡，圖 6.10(b)~(d)為最相似的前三條軌跡，而圖 6.11 為圖 6.10

(58)

式圖 6.10(b)~(d)中的軌跡與手繪軌跡的比對結果。圖 6.12 與圖 6.13 為展示其他兩條軌跡之搜尋範例，圖 6.12(a)為手繪輸入於畫面上方由右至左移動之軌跡，而圖 6.12(b)~(d)為其搜尋後最相似的前三條軌跡。圖 6.13(a)為手繪輸入向畫面上方移動之軌跡，而圖 6.13(b)~(d)為其搜尋後最相似的前三條軌跡。 (a) (b) (c) (d) 圖 6.10 以軌跡搜尋之範例 1：(a)欲搜尋的軌跡路徑，(b)～(d)依序是與手繪輸入軌跡最相似的前三條軌跡。

(59)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 1.2 1.3 1.4 1.5 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 長度差異高寬比圖 6.11 圖 6.10 搜尋結果的高寬比和長度差異的二維分佈。 (a) (b) (c) (d) 圖 6.12 以軌跡搜尋之範例 2：(a)欲搜尋的軌跡路徑，(b)～(d)依序是與手繪輸入軌跡最相似的前圖 6.6(b)之軌跡圖 6.6(c)之軌跡圖 6.6(d)之軌跡

(60)

(a)

(b) (c) (d)

圖 6.13 以軌跡搜尋之範例 3：(a)欲搜尋的軌跡路徑，(b)～(d)依序是與手繪輸入軌跡最相似的前三條軌跡。

(61)

第七章結論與未來展望

在本論文中，我們提出僅採用前景物體的外接矩形資訊，不使用前景的色彩、紋理與輪廓，來達到快速追蹤前景物與建立軌跡的目的，進而建構監控影片的軌跡式索引資訊。而在追蹤過程中，前景物體的外接矩形遭受到外界因素而產生尺寸改變時，我們也提出尺寸調整的辦法，將發生變化的外接矩形尺寸調整至適當的大小。此外，對於前景物體交會所形成的外接矩形，除了尺寸的調整外，我們更進一步預測交會的前景數量，並以尺寸調整的方式將交會的數個前景物體從中分離出來。當軌跡式索引完成之後，我們提供使用者一個手繪輸入的搜尋介面，讓使用者可以輸入欲查詢的移動方向與軌跡，透過與軌跡式索引的資訊比對，將能快速地回傳相似的軌跡片段，讓使用者做進一步的檢視，以節省人工查看監控影片的時間。由於我們僅僅使用前景物體的外接矩形資訊，可以降低前景的資訊量與增加資料轉移的便利性。降低前景的資訊量雖可以加快前景分析的速度，但若在更複雜的情況，或者是更細膩的搜尋方式之下，光是前景物體的外接矩形資訊，仍會稍嫌不足的。因此未來的發展中可以考量更多的前景資訊，如色彩和輪廓資訊。除了可以處理複雜的情況並且增加前景追蹤的準確度外，更可能使索引內容有更詳盡的資訊，如色彩分佈資訊、行人的四肢與軀幹位置資訊、行人的姿態。而搜尋介面亦可因應索引的資訊擴充，增加更多元的搜尋方式，如針對特定顏色的穿著搜尋、特定姿態的行人搜尋等，茲整理如表 7.1。而對於夜間監控系統而言，其重要性更勝於日間監控，且夜間所拍攝的紅外線影像，其資訊量往往比日間的彩色影像更匱乏且包含更多的雜訊，因此未來對於夜間視訊影像的索引建制與搜尋功能設計，是我們需要持續研究的課題。

(62)

表 7.1 未來可能擴充的搜尋方式與選項。搜尋方式備註速度針對特定移動速度的物體搜尋。尺寸搜尋特定尺寸大小的前景。長寬比例以長寬比例之特性對行人、車輛或貓狗等物體搜尋。區域搜尋搜尋是否有物體進入畫面中的某特定區域。時間範圍指定搜尋特定時間範圍內的人事物。停留時間指定一時間長度，以找出逗留物體。是否曾發生交會尋找曾經與其他物體交會的物體。衣著顏色搜尋特定衣著顏色的人物。指定某一搜尋結果之軌跡再次搜尋以某一搜尋後的軌跡為基準，再次尋找所有與它相似的軌跡。

(63)

參考文獻

[1] L. M. Fuentes and S. A. Velastin, “People Tracking in Surveillance Applica-tions,” Image and Vision Computing, vol. 24, pp. 1165-1171, November 2006. [2] P. L. Mazzeo, P. Spagnolo, M. Leo, and T. D'Orazio, “Visual Players Detection

and Tracking in Soccer Matches,” IEEE Fifth International Conference on Ad-vanced Video and Signal Based Surveillance, pp. 326-333, September 2008. [3] B. Wu and R. Nevatia, “Tracking of Multiple, Partially Occluded Humans based

on Static Body Part Detection,” IEEE Computer Society Conference on Com-puter Vision and Pattern Recognition, vol. 1, pp. 951-958, June 2006.

[4] A. Adam, E. Rivlin, and I. Shimshoni, “Robust Fragments-based Tracking Using the Integral Histogram,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 798-805, 2006.

[5] H. Lim, O. I. Camps, M. Sznaier, and V. I. Morariu, “Dynamic Appearance Modeling for Human Tracking,” IEEE Computer Society Conference on Com-puter Vision and Pattern Recognition, vol. 1, pp. 751-757, 2006.

[6] D. Ramanan, D. A. Forsyth, and A. Zisserman, “Tracking People by Learning Their Appearance,” IEEE Transactions on Pattern Analysis and Machine Intelli-gence, vol. 29, pp. 65-81, January 2007.

[7] D. Makris and T. Ellis, “Path Detection in Video Surveillance,” Image and Vision Computing Journal, vol. 20, pp. 895-903, 2002.

[8] I. Junejo, O. Javed, and M. Shah, “Multi Feature Path Modeling for Video Sur-veillance,” Proceedings of International Conference on Pattern Recognition, vol. 2, pp. 716-719, 2004.

監控視訊影像之軌跡式物件搜尋

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文