室內即時監控系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：方瓊瑤博士. 室內即時監控系統 A Real-Time Indoor Surveillance System Using Two Active Cameras. 研究生：楊宗翰撰中華民國九十七年六月.

(2) 摘要本研究使用二台 PTZ 網路攝影機來自動偵測以及追蹤進入監控環境為室內的目標。使用雙 PTZ 攝影機的室內即時監控系統的優點在於攝影機的功能能夠彼此交換。其中一台攝影機用於定位，主要負責偵測出監控環境內的目標位置。另外一台攝影機用於特寫及追蹤，主要負責對目標進行臉部的特寫並進行影像的儲存。對監控系統而言，儘可能的擷取出進入者的臉部影像非常重要，特別是在發生危險事件後，此影像利於人工對進入者進行辨識或是系統自動辨識皆可。由於進入監控環境的人可在監控環境內任意移動，因此使用二台可交換功能的攝影機系統能讓攝影機更容易得到適合辨識臉部的照片。此外，3D 空間的追蹤能幫助我們分析進入者的行為，包括進入者進入的時間以及在監控環境內移動的位置狀況等。我們相亯利用攝影機間功能的交換性，可以增加完成這些監控系統要求的可能性。因此本研究提出了一種攝影機功能交換區域的方法，實驗結果顯示這種方法也能在即時系統上面穩定的運作。.

(3) Abstract This paper presents a method using dual PTZ network cameras to automatically detect and track the invaders which intrude into an indoor surveillance space. The main advantage of using dual PTZ cameras in the indoor surveillance system is their assignment swap ability. Initially, one PTZ (called orientation camera) can be used to monitor the surveillance space to detect the invaders and the other (called zoom camera) then can track them. In the surveillance system, to obtain the front face picture of invaders as clear as possible is very important since the invader should be manually or automatically recognized after the events. However, the invaders may arbitrarily move in the surveillance space, thus the tracker which should extract the detail information of the invaders may never obtain the suitable pictures. Moreover, 3D tracking can help us to analyze the behavior of the invader, including when and what the invader has down in the surveillance space, in the future. We believe to swap the assignments of monitor and tracker can greatly increase the possibility to accomplish these kinds of surveillance demands. This paper proposes an assignment swap strategy applying dual PTZ cameras in the surveillance system. The experimental results show the method can work robustly in real-time..

(4) 誌謝在師範大學的這二年研究生活中，感謝指導教授方瓊瑤老師的指導，除了認真指導我影像處理以及如何對一項研究自行去找到解決的方法，也因為老師細心與耐心的指導，這篇論文才能如期完成。另外感謝陳世旺老師在碩一時即讓我們知道做研究的精神與態度，以及電腦視覺的教導。感謝李忠謀老師在繁忙的職務中，帶領我們實驗室進行研究計畫，無形中對我的研究有相當大的幫助。感謝鍾國亮老師批閱本論文，並特地到師大參加學生的口試，給予寶貴的意見。謝謝貝利勃老師在碩一時帶領我進入影像的領域，讓我在之後研究上對影像的了解有相當的幫助。感謝系上教導過我的師長，在研究所的這二年給予指教。特別感謝海洋大學楊劍東老師和其他實驗室的學長們，二年中雖然我離開了實驗室但是你們依然給我不少研究上的幫助，以前打下的基礎也在這二年間發揮出來，謝謝。感謝共同奮鬥過的同學：邵柏、漢威、士祺、亭凱、宗儒、志成、士翔、羿甫，二年大家一起奮鬥，一起為了研究熬夜。感謝實驗室的其他人：建富、雨農、柏諺、安鈞、允中學長們，剛進研究所還好有你們的幫忙，讓我一開始順利不少。明翰、宛甄、秋利、竹煖、婉雅、彥儀、之凡，謝謝你們讓我在忙翻的碩二生活增加了不少樂趣，未來希望你們也能順利的完成研究。最後感謝我的家人一路上的支持，沒有你們放心的讓我在外獨力自主的求學，我也不能一路走到這，未來還要你們繼續的支持，謝謝。. Tsung-Han Yang 2009.06.15.

(5) 目錄圖目錄..................................................................................................................iii 表目錄....................................................................................................................v 第一章簡介......................................................................................................1-1 1.1 動機.........................................................................................................1-1 1.2 文獻探討.................................................................................................1-4 1.3 文章架構.................................................................................................1-6 第二章系統架設環境......................................................................................2-1 2.1 系統硬體架構.........................................................................................2-1 2.1.1 架設環境....................................................................................…..2-1 2.1.2 攝影機架設......................................................................................2-1 2.2 系統流程圖….........................................................................................2-3 第三章 PTZ 攝影機定位..................................................................................3-1 3.1 影像平面轉換至攝影機空間座標.........................................................3-1 3.2 攝影機旋轉以及校正.............................................................................3-2 3.3 攝影機空間轉換至監視環境座標.........................................................3-5 3.4 攝影機定位轉換公式.............................................................................3-7 3.5 追蹤物體移動.........................................................................................3-8 第四章入口監控與攝影機功能交換..............................................................4-1 4.1 入口監控.................................................................................................4-1 4.2 攝影機功能交換判別.............................................................................4-6 第五章系統實驗..............................................................................................5-1 5.1 目標高度判別.........................................................................................5-1 5.2 攝影機功能交換.....................................................................................5-4. i.

(6) 第六章結論與未來工作..................................................................................6-1 6.1 結論.........................................................................................................6-1 6.2 未來工作.................................................................................................6-2 參考文獻...........................................................................................................A-1. ii.

(7) 圖目錄圖 1.1. 各種 RFID 標籤.....................................................................................1-2. 圖 1.2. 環場攝影機影像...................................................................................1-3. 圖 1.3. 雙 PTZ 攝影機對單一目標所拍攝影像...............................................1-3. 圖 2.1. 攝影機側視的影像...............................................................................2-2. 圖 2.2. 攝影機俯視的影像...............................................................................2-3. 圖 2.3. 系統主控流程圖...................................................................................2-4. 圖 2.4. 系統初始化流程圖一...........................................................................2-5. 圖 2.5. 系統初始化流程圖二...........................................................................2-6. 圖 2.6. 目標追蹤流程圖...................................................................................2-7. 圖 2.7. 攝影機調整流程圖.............................................................................. 2-7. 圖 2.8. 攝影機事件關係圖.............................................................................2-10. 圖 3.1. 影像平面對應攝影機空間關係圖.......................................................3-1. 圖 3.2. 攝影機對立體空間垂直軸產生偏斜狀況...........................................3-2. 圖 3.3. 攝影機上下旋轉示意圖.......................................................................3-3. 圖 3.4. 攝影機水平旋轉示意圖.......................................................................3-4. 圖 3.5. 攝影機轉換監視環境座標...................................................................3-5. 圖 3.6. 空間示意圖...........................................................................................3-7. 圖 3.7. 影像平面最大 FOV 參數設定圖..........................................................3-9. 圖 3.8. 攝影機欲旋轉角參數圖.......................................................................3-9. 圖 4.1. 入口背景與目標進入 motion 圖..........................................................4-1. 圖 4.2. 高度判別示意圖...................................................................................4-1. 圖 4.3. 入口監控區域圖...................................................................................4-2. 圖 4.4 A、B 區域 motion 比較圖.....................................................................4-2 圖 4.5 AB 區連續影像圖.................................................................................4-3 iii.

(8) 圖 4.6. 區域最高點...........................................................................................4-4. 圖 4.7. 臉部高度偵測過程圖...........................................................................4-5. 圖 4.8. 臉部高度偵測例子...............................................................................4-6. 圖 4.9. 定位攝影機適當監控區域圖...............................................................4-7. 圖 5.1. 目標進入高度偵測區之範例...............................................................5-1. 圖 5.2. 臉部高度連續偵測圖...........................................................................5-2. 圖 5.3. 目標臉部追蹤.......................................................................................5-4. 圖 5.4. 攝影機功能交換實驗圖 1-1.................................................................5-5. 圖 5.5. 攝影機功能交換實驗圖 1-2.................................................................5-6. 圖 5.6. 攝影機功能交換實驗圖 1-3.................................................................5-7. 圖 5.7. 攝影機功能交換實驗圖 1-4.................................................................5-8. 圖 5.8. 攝影機功能交換實驗圖 1-5.................................................................5-9. 圖 5.9. 攝影機功能交換實驗圖 1-6...............................................................5-10. 圖 5.10 攝影機功能交換實驗圖 1-7...............................................................5-11 圖 5.11 攝影機功能交換實驗圖 1-8...............................................................5-12 圖 5.12 攝影機功能交換實驗圖 2-1...............................................................5-13 圖 5.13 攝影機功能交換實驗圖 2-2...............................................................5-14 圖 5.14 攝影機功能交換實驗圖 2-3...............................................................5-15 圖 5.15 攝影機功能交換實驗圖 2-4，目標轉身示意圖.................................5-16 圖 5.16 攝影機功能交換實驗圖 3-1...............................................................5-17 圖 5.17 攝影機功能交換實驗圖 3-2...............................................................5-18 圖 5.18 定位異常示意圖一.............................................................................5-19 圖 5.19 定位異常示意圖二.............................................................................5-19 圖 6.1. 攝影機示意圖.......................................................................................6-2. iv.

(9) 表目錄圖 2.1. 攝影機事件表.......................................................................................2-8. 圖 4.1 AB 二區域 projection 量........................................................................4-3 圖 5.1. 高度偵測之實驗結果...........................................................................5-3. v.

(10) 第一章簡介 1.1 動機近年來，智慧型家庭的想法開始被推廣，從冷氣的自動控制到老人照護，都讓傳統的居家生活型態造成極大的改變，而安全的居住環境，也是其中重要的一環。人們在居家的門禁器材使用上亦開始捨棄傳統的門鎖，因為傳統的門鎖雖然價格非常便宜，卻有鎖頭容易破壞、鎖鑰容易複製等缺點，使得安全性相對減低。因此各式新的門禁技術被研發，目前常見的有紅外線感應器、RFID (Radio Frequency IDentification)門禁卡(如圖 1.1)以及指紋辨識等。這些新開發的門禁，在某些特定的監控環境上相當有效。例如 RFID 門禁系統，它能夠從 RFID 標籤得知是哪張門禁卡進入管理區域，所以在貨品或是人員進出的管控有相當高的應用價值。但是 RFID 系統的設置成本高，且不能確定進入監視環境的持卡者是否為卡片擁有者，有可能會遭到有心人士利用而入侵。這在對於一些需要安全性考量而嚴格監控的場所來說是不允許發生的。如存有大量考生資訊的伺服器空間，假設考生資料被竊取，不僅會讓大量個人資料外流，也會對於公司聲譽造成影響。紅外線感應裝置也屬於便宜、有效的門禁系統。相對於其他系統，紅外線裝置能偵測是否有物體進入，相當方便。但外外線裝置過於敏感的特性，小小的雜訊即會觸發感應，往往造成系統過度反應。上述的各種門禁系統，皆能達到入口監控的目的，卻都無法確認是何人進入監控場景亦無法有效的存證影像或影片做人工輔助辨識。視訊監控系統是目前常見的入口及室內監控設備，不僅能從系統記錄的畫面中取得進出安全區域的狀況，也能對室內的情況繼續監控，且其設備成本也不算昂貴。視訊監控系統可採用的攝影機為 IP(Internet Protocol) 攝影機、PTZ(pan, tilt, and zoom)攝影機、環場攝影機、固定型攝影機等。. 1-1.

(11) 不論採用何種攝影機，在架設的過程中需要考慮到相當多環境死角的問題。. 圖 1.1 各種 RFID 標籤. 上述各種攝影機皆有可視範圍，使用單一攝影機時，除了有視場過小的問題之外，也無法準確得知監控物體的實際距離。為了克服這個問題，可考慮採用二台以上的攝影機結合的系統：以往最常採用的是一台固定式攝影機結合一台 PTZ 或是一台環場攝影機結合一台 PTZ。固定式攝影機結合 PTZ 的優點是利用固定式攝影機定位，再利用 PTZ 變焦定位臉部的速度快，但是環境的架設因素以及能監控的範圍只限於固定式攝影機的視場較為不利；環場攝影機結合 PTZ 雖為較優良的方法，可是環場攝影機的影像解晰度較低，而且影像上的物體會扭曲變形，必須要先經過數學運算轉換才能得到追蹤目標的正確座標，使用上無法做到較快的即時處理。. 1-2.

(12) 圖 1.2 環場攝影機影像. 在本研究中，我們嘗詴採用二台 PTZ 的 IP 攝影機來當作研究設備，一台做為定位，一台用來進行臉部追蹤。採用雙 PTZ 的優點在於(1)能用二台的視場交叉定位追縱物體的空間位置。(2)二台 PTZ 的功能能夠交換，達到減少死角的功能。(3)能夠追蹤立體空間的目標。. 圖 1.3 雙 PTZ 攝影機對單一目標所拍攝影像. 1-3.

(13) 1.2 文獻探討本研究所提的室內即時監控系統分為三大部份： (1)即時追蹤一人。在確定室內人數為一人時，其中一台攝影機作為定位用，另一台攝影機則用來追蹤。 (2)攝影機之間的功能交換。當追蹤攝影機或定位攝影機無法達成原定目標時，需要將二台攝影機功能交換，以提高追蹤與定位的效率。 (3)對移動目標做立體空間路徑的追蹤。利用 PTZ 攝影機來做前景物追蹤的方法在許多地方已被發表，如 [Azz05]等就利用 PTZ 攝影機可連續多角度拍攝的特性，以 mosaicing 的方法將各個 PTZ 角度的畫面做結合，再利用 ego-motion estimation 的方法取出前景，以此進行室內的環場影像追蹤。 [Fun04]等則利用一台 CCD 攝影機結合一台 PTZ 達到人臉追蹤的目的。在他們的系統中，先以固定式的 CCD 進行人臉定位，擷取出前景物時估計出臉部的大略位置，再將參數傳給 PTZ 攝影機以取得臉部特寫的影像。由於目標的擷取使用的是固定式的 CCD，因此該論文的追蹤範圍相對的被限制在 CCD 的 FOV(field of visual)內。 [王 05-1]、[王 05-2]則提出了以環場攝影機結合 PTZ 的系統，由環場攝影機先進行目標物的定位，再交由 PTZ 攝影機進行臉部特寫的擷取。在此篇研究中，環場攝影機以及 PTZ 的定位方式描述的非常詳細，也有相當不錯的效果。但是環場攝影機尋找目標物雖快，影像卻必須要經過數學公式轉換才能使用，且實驗場景若在複雜的地點，只採用一台 PTZ 有可能會形成找到目標物，卻無法取得其臉部正面影像的情況。[Wei06]所設計以多台攝影進行同一人物定位的方式相當良好，只是該研究將追蹤目標的定位平面訂為地面，因此在對於追蹤人臉的系統來說必須另外進行處理人臉位置的估計。[Amn06]以人臉擷取的方式來進行物體的追蹤，結合二台的 PTZ 攝影機之後相當有效，也能清楚的擷取到人臉的特寫鏡頭，但其只對單一 1-4.

(14) 直線路徑做追蹤無法做到二維平面的追蹤。[Yan08]以 MHI 的影像來進行動態物體的追蹤，但 MHI(motion history image)的影像在物體連續動作下相當有效，卻無法對靜止過久的目標進行追蹤，另外在環境與物體顏色近似的情況下會也失效。 [Eve07]的研究所提出利用顏色區塊機率來進行 PTZ 的定位追蹤是相當有用的一種結合方式，也能對靜止不動的目標達到追蹤的效果。不過使用 mean shift 的缺點在於必須先行定義追蹤區塊的起始顏色資訊，當追蹤目標產生像脫外套這種色度變化過大的情況會使得追蹤系統產生問題。 [Yan07]利用了被動式 RFID 輔助攝影機在虛擬空間上進行追蹤。利用散佈被動式 RFID 來幫助攝影機追蹤監控物體在空間上的位置，缺點在於 RFID 的散佈要先做過精確的校正定位。 [Bao05]等提出了以 fuzzy logic 的技術來進行彩色影像中多人臉追蹤的研究，其方法是先取出膚色的部份，再去計算膚色區域內部非膚色的區域數，即 border 數，接著再計算膚色區域外部 border 數。如眼睛部份會造成人臉內部會形成二個 borders，上述假設成立後則再送到 fuzzy controller 去進行是否為人臉的判別動作。在 fuzzy controller 中其又設計一套方式讓超過二個 borders 的影像分成多個人臉。[Baf08]研究了不同顏色模型結合 fuzzy integral 的技術，來判別前景物的方法，對於本研究中追蹤目標高度相當有參考價值。不過前景物擷取最常碰見的問題是固定式攝影機的擷取效果比較良好，本研究必須再針對這點進行改良。 [Foc02]結合了三台攝影機，利用高斯機率分佈以及二種不同的顏色模型取關係式來結合找出前景和背景，在僅找一個目標時有良好的效果，但同時追蹤二個太靠近的目標時則會產生問題，這也是我們希望能以多台攝影機達到不同視角追蹤的目的。 [Var08] 則是定義一個區域，使用 GMM(Gaussian Mixture Model)來建立背景達到偵測 motion 的目的。在本研究中嘗詴使用 IP 型的 PTZ 攝影機取得影像，不需要將處理系 1-5.

(15) 統架設在攝影機附近。雖然在取得影像的過程會較慢，卻能應用在更廣的範圍如遠距離追蹤。由於使用多台攝影機的系統相較複雜，因此在進行此研究時，需要盡量避免使用過於複雜的運算或模型轉換，但又要能夠達到追蹤效果為目的。 1.3 文章架構本文在第二章中介紹系統的設備環境以及架設位置，包括架設在各個位置可能發生的問題，最後介紹系統的流程圖。第三章則介紹二台 PTZ 攝影機的校正，主要攝影機的參數控制以及功能轉換時參數調整。第四章則討論在各種情況下，攝影機進行各自工作的處理方式；包括當追蹤目標進入場景的追蹤方式，以及在追蹤目標離開場景時的入口監控。第五章為實驗結果與討論。第六章為結論以及未來工作。. 1-6.

(16) 第二章系統架設環境本章介紹監控系統的架設環境以及攝影機架設位置，之後介紹系統的流程圖。. 2.1 系統硬體架構 2.1.1 架設環境在系統環境方面，本研究的攝影機架設在室內單出入口的空間。以視訊監控系統而言，最大的問題在於死角以及光影變化造成的影響。從死角的方面來說，一開始架設系統的同時若沒有考慮到架設位置是否會產生死角，可能(1)讓系統追蹤突然失去目標，(2)讓室內人數監控上的計算錯誤，或是根本就(3)無法監控到目標進入監控場所。光影變化則會讓攝影機在進行室內追蹤時，無法偵測出人臉或特定顏色的目標，例如光線太強造成人臉過白，傳統膚色偵測範圍無法適用，或是室內關燈時環境過黑影像中的目標無法辨識。對於使用 PTZ 攝影機而言，變焦過後取景的光影變化也需要考慮，例如當 PTZ 攝影機在剛進行完轉動、變焦後，會立即自動進行白平衡的動作，此時會造成影像極大的變化，令連續影像相減法失去其效用。而 PTZ 攝影機架設的地點太靠近日光燈，日光燈的閃爍頻率也有可能會影響取像。室外光線也會對靠近窗戶邊的追蹤造成攝影機光圈縮小而使畫面過於偏暗的問題。最後可能影響的因素是當室內光線主要來源發生問題時，造成的閃爍。 2.1.2 攝影機架設對於行人計數系統來說，攝影機最適合安裝在天花板上方，藉由俯視角度取得影像，如圖 2.2，此方法能方便取得行人計數的結果。但人臉辨識系統使用此種架設方式卻會造成無法辨識人臉，側視所讀取到的影像即. 2-1.

(17) 使能正確取得人臉，亦會有景深的問題，意指失去物體相對於攝影機在空間上的位置，如圖 2.1。因此，傳統的解決方式大部分為採用一環場攝影機搭配一台 PTZ 攝影機來解決這二種架設法產生的問題。不過在本研究中，希望不僅是追蹤到目標，也能找到其正向的臉部，而上述的系統可能發生唯一的 PTZ 攝影機擷取不到正向人臉，造成無法取得臉部清晰的特寫。當採用雙 PTZ 攝影機，除了每台 PTZ 皆可擁有俯視以及側視的能力之外，亦有利於當其中一台擷取不到臉部特寫影像，可以嘗試由另一台來擷取，同時也能藉由雙 PTZ 攝影機計算出追蹤目標的空間位置。對以往只有一台廣角攝影機的系統而言，雙 PTZ 攝影機的架設方式更有彈性調整的空間。當然對於只有二台攝影機的系統還是有不足的地方，如還是有可能二台攝影機皆擷取到追蹤目標的側面影像，因此在第三章我們推導的公式是針對二台以上的攝影機系統來設計，讓未來加入更多的攝影機也能運作。. 圖 2.1 攝影機側視的影像. 2-2.

(18) 圖 2.2 攝影機俯視的影像. 由於傳統控制攝影機以及擷取影像皆用有線傳輸的方式，因此使得監控系統的伺服端 PC 皆無法離攝影機太遠，所以本系統採用 IP 型 PTZ 攝影機，解決了此問題。雖然在擷取影像的過程不如有線攝影機方便，卻可以達到身在遠方也可以進行監控的目的。在這種系統架構中，只需要一台 PC 進行追蹤的程式，即可多方使用監控軟體進行觀看。甚至進行定位追蹤的 PC 產生問題，只需要另一台電腦執行追蹤的程式，一樣可達到系統的正常運作，所以此系統沒有固定的伺服端或是客戶端。. 2.2 系統流程圖在本研究中，系統先從 IP 攝影機輸入即時影像，再對室內場景進行目標進入偵測，當有目標進入場景後，即對目標進行定位與追蹤，其相關的演算法及空間定位公式於下一章介紹。在完成追蹤目標的定位後，系統會預測物體的移動位置或是進行變焦來特寫追蹤的目標，並決定是否將攝影機功能對調或進行攝影機參數的調整。. 2-3.

(19) System initialization Yes Does the target exist?. Target detection. Target position detection. No. No. Is the target still in the surveillance space?. Camera adjustment. Target tracking. Yes. 圖 2.3 系統主控流程圖. 從主控的系統流程來說，如圖 2.3 所示，需針對入口部分進行目標是否進入的偵測，在發現目標進入後，對其高度進行判別。因為在系統定位的過程中，必須先定義目標的高度平面，才有利於雙攝影機對追蹤目標進行空間定位，推導的方程式會在第三章介紹。在這二項步驟完成後才算是完成系統的初始化。接著利用目標的高度平面計算出目標在空間中的位置後，將攝影機的功能分成定位及特寫二種： (1)定位攝影機負責定位目標，並計算及預測目標可能移動的位置以利追蹤。 (2)特寫攝影機則負責取得清晰的目標特寫影像。當攝影機功能不能交換時，只要其中之一的功能失效，則極有可能會喪失目標的資訊。以舊有監控系統最常發生失誤的情況二類為例： (1)系統定位到可疑目標卻擷取不到目標的清晰影像。 (2)系統可取得目標的清晰影像卻無法轉動視角持續追蹤。因此，使用雙 PTZ 攝影機，不止能利用攝影機變焦功能取得清晰影像，還能在二台攝影機的功能交換後，擴大追蹤範圍，進而提升對追蹤目標的監控能力。 2-4.

(20) Major camera. Subordinate camera. Real-time image sequences. Real-time image sequences. Motion detection. No. Yes Does the target exist?. Target position detection. 圖 2.4 系統初始化流程圖一. 系統初始化的第一步，先將二台攝影機分別指定成主攝影機及副攝影機，當副攝影機偵測不到目標進入時，則保持入口監控。在目標進入監控場景後，則呼叫主攝影機對追蹤目標進行高度的判別，相關流程如圖 2.4 所示。而當副攝影機進行入口監控的同時，主攝影機則保持在待命的狀態，減少系統資源的浪費。在偵測出目標之後，系統對目標進行二維的投影，利用投影平面的資訊定義出追蹤目標的臉部中心高度，進而利用此高度作為進行追蹤所需要的高度參數，如圖 2.5。如果無法利用垂直投影量取得目標臉部中心高度時，則自行定義目標比較有可能的平均臉部高度，以台灣男性為例，大約為 160 公分，而考量到男女臉部高度差異後，我們將此參數設定為 155 公分。得到此一參數值後，即可利用第三章所推導的公式來進行定位。. 2-5.

(21) 圖 2.5 系統初始化流程圖二. 前面提到，在目標追蹤時，我們把攝影機的功能分為定位以及特寫二種。首先利用定位攝影機取得移動目標所在位置，算出目標離影像中心的距離，轉換為監視空間目標所在的位置。爾後利用這個空間位置讓特寫攝影機的進行運作。特寫攝影機在取得目標空間位置後，將攝影機的影像平面中心對準目標，再進行變焦取得特寫影像，並進行膚色的偵測，確認是否擷取到臉部位置再儲存影像。. 2-6.

(22) System initialization Monitor camera. Tracker camera Position tracking. Real-time image sequences. Motion detection. Camera focal length adaption. Target position calculation. Color detection. Target position prediction. Photo record. No. Is the target still in the surveillance space?. Camera adjustment. Yes. 圖 2.6 目標追蹤流程圖 System initialization. Target tracking. Camera capabilities analysis No Camera parameter analysis. Need to exchange roles? Yes. Yes Need to change parameters? No. Camera parameter calculation. Parameter adaption. No Is the target still in the surveillance space? Yes. 圖 2.7 攝影機調整流程圖 2-7.

(23) 在估計出目標於監視空間的位置後，系統會對此一位置去進行分析，包括攝影機是否需要功能交換以及攝影機參數的是否調整等。以定位功能而言，當目標離定位攝影機過遠時，移動量的偵測將因嚴重破碎的情況而影響於空間位置計算，所以利用較靠近目標的攝影機來進行定位是一種解決方法，亦能直接看到清楚的目標影像，同時離目標較遠的攝影機則可以利用變焦的功能取得目標的特寫影像。當目標開始遠離定位攝影機時，則要判別是否要交換攝影機功能。攝影機功能交換的情況有相當多種，其中包括有不利於某一攝影機現下功能的事件發生、目標追蹤失敗或目標離開場景等，都可能造成系統需要交換攝影機功能。表 2.1 中我們列出了可能發生的事件。表 2.1 攝影機事件表事件入口偵測事件 1 偵測出目標. 事件定位追蹤事件 2 3 4 5. 主攝影機進行定位及高度偵測定位攝影機. 定位攝影機視場進行參數調整不利擷取目標. 副攝影機. 系統處理. 進行追蹤. 系統追蹤啟動. 追蹤攝影機. 系統處理. 進行參數調整. 攝影機. 轉換為追蹤功能轉換為定位功能. 功能交換. 儲存影像. 儲存影像. 目標影像儲存. 目標於某處. 持續定位目標. 進行變焦取得特. 靜止一段時間. 空間位置. 寫影像並儲存圖片. 目標靠近. 判別是否能持續持續進行變焦取得判定攝影機之必取得定位資訊特寫影像要性行能交換. 追蹤攝影機無法取得正面影像. 追蹤攝影機. 行為監控. 6 追蹤失敗. 儲存影像. 儲存影像. 當前室內狀況儲存. 7 目標離開場景. 回復入口監控. 回復入口監控. 回歸原始入口監控. 持續定位其空間位置. 進行變焦取得其影像並儲存. 安全警告. 9 產生警告. 維持原功能. 維持原功能. 安全警告. 10 入口監控. 目標進入偵測. 目標進入偵測. 維持入口監控. 11 產生警告. 回復入口監控. 回復入口監控. 安全警告. 8. 目標行進至某特定位置. 2-8.

(24) 其中我們討論所有事件的連結關係，可以發現攝影機功能交換與三項要素有關聯。分別為偵測出目標，追蹤失敗及目標的位置。這也形成此系統最主要會產生攝影機功能交換的事件。當偵測出目標，系統開始對目標的位置做判定，並起始追蹤，此時攝影機功能一定會從入口偵測轉為定位追蹤。追蹤失敗時，要判斷是處於何種失敗狀況然後儲存當下場景內的影像，再回復入口監控。如：目標進入攝影機死角、目標離開監視環境等，攝影機功能會從定位、追蹤轉為入口偵測。目標位置則是會依據目標在監視環境中，對應二台攝影機間適合監控的範圍，可能產生功能交換的情況，如表 2.1 中的事件 2 為例，由於每台攝影機皆有其適合做定位偵測的距離，目標在經過功能交換的區域時，系統即執行攝影機功能交換，於第四章會對功能交換的區域做介紹。當攝影機的功能不需要交換時，特寫攝影機要進行旋轉變焦的調整。在完成功能交換與參數調整後，要對目標是否即將離開場景進行偵測，如果離開，則將系統還原成初始化重新開始。若目標仍停留在監控環境內則回到定位追蹤的流程持續進行追蹤。. 2-9.

(25) 1. 10. 9 System Initialize. 2. 3. 5. 11. 8. 4. 6. 7. 圖 2.8 攝影機事件關係圖. 圖 2.8 為攝影機事件的關係圖，系統在初始化完成後，首先會進入入口偵測的事件。如果偵測出目標進入場景，則開始定位追蹤事件，其中各項事件都有可能自行重複發生，也有可能事件間交互發生，而事件 4 和事件 8 則是系統需要特別注意進行處理的二個事件。事件 4 發生後，後續可能為追蹤失敗或是目標在原處不動，系統此時要對目標當時所在儲存影像紀錄。事件 8 則是當監控環境內有需要特別留意的位置時，當目標進入此空間則產生安全警告。無論各項事件發生的情況，最終都會進入追蹤失敗或是目標離開場景二項(事件 6 與事件 7)，而這二項事件產生後，最後也必然回歸入口偵測的事件。. 2-10.

(26) 第三章 PTZ 攝影機定位進行追蹤之前，必須先處理 PTZ 攝影機與的空間轉換問題。監控三度空間中的目標首重定位，系統必須先從影像平面上找尋目標位置，再轉換到攝影機的三維座標，最後再轉換為監控環境的空間座標來完成定位。這個章節將詳細說明各種座標系統間的相關性及其轉換關係式。. 3.1 影像平面轉換至攝影機空間座標假設一影像平面中心點為 (i0 , j0 ) ，某像素在影像上面的位置表示為. (iw , jh ) 。另外攝影機的三度空間座標軸則定義成 ( X C , YC , ZC )T 。在影像平面正中間的像素即原點正對攝影機空間三維的 ZC 軸的前提下，則 ZC 軸通過 (i0 , j0 ) ，見圖 3.1。. Camera coordinate system. YC ZC. XC i (i0 , j0) Image plane. j 圖 3.1 影像平面對應攝影機空間關係圖 3-1.

(27) 像素 (iw , jh ) 於影像平面三度空間 I 的位置的關係式可從該像素距離影像中心點位置來換算，如式(3.1)： I  ( (iw  i0 ), ( jh  j0 ),1)T. (3.1). 其中    x / f 和    y / f ，f 是影像平面到攝影機空間座標原點的焦距，  x 和  y 則是影像平面水平和垂直的 scale factors。而當影像平面三維座標系轉換至攝影機空間座標系 C 時也需要 scale factor 做轉換，即λ，可得式(3.2)： C  I. (3.2). 3.2 攝影機旋轉以及校正由於在裝設攝影機時是以平行真實空間(world coordinate)的垂直軸來架設，可以大幅減少像素從影像平面轉換至空間位置的計。但如果沒有依此方式架設則必須對其垂直軸來進行校正。. Z C. ZC. X C. YC. θ. 圖 3.2 攝影機對立體空間垂直軸產生偏斜狀況 3-2.

(28) 以攝影機座標系校正前的 YC 軸做為旋轉軸來做校正，可得到一旋轉矩陣以及校正完的座標 C 如式(3.3)：.  cos θ 0 sin θ  C   0 1 0 C  sin θ 0 cos θ . (3.3). 當攝影機座標的垂直軸做完校正後，即可考慮對攝影機座標系做水平以及垂直旋轉的計算。PTZ 攝影機進行水平以及垂直的旋轉校正後，可以得知攝影機座標系對應於未水平和垂直旋轉校正前的夾角 p 和夾角 t 值，可利用此二夾角算出影像平面上各點對應於真實空間座標的位置。. Z CT Z C. X CT. YCT. t. 圖 3.3 攝影機上下旋轉示意圖. PTZ 攝影機的 tilt 值指的是攝影機以 X CT 軸為旋轉軸進行旋轉產生的旋轉角度，如圖 3.3。一個空間中的點對應於攝影機座標中心，當攝影機座標做上下旋轉後可以得到一新座標位置 CT。由於此座標之後還必須轉換至真實空間座標系，所以 tilt 值就要考慮攝影機座標系垂直校正後 Z 軸對 3-3.

(29) 應真實空間 Z 軸的 tilt 值進去，則 t  t0  t1。 t0 為目標點對應攝影機座標系. X CT 軸旋轉校正的 tilt 值， t 1 為攝影機 X CT 軸旋轉校正後對應至真實空間座標軸的 tilt 值。校正完 tilt 值後可得知 Cθ 和攝影機上下旋轉校正的座標系 CT 的關係如式(3.4)：. 1 CT  0 0. 0 cos t sin t.   sin t C cos t  0. (3.4). 攝影機座標系完成上下旋轉校正的 CT 後，水平旋轉的處理與上下旋轉相同，差別在於攝影機的旋轉軸變成以 Z CP 軸為旋轉軸，如圖 3.4。同樣先求得對應於攝影機座標系未水平旋轉校正前的 pan 值 p0 ，再求對應於真實空間的 p1 值後，算出 p  p0  p1 為攝影機座標系水平旋轉後對應至真實空間座標系的 pan 值。. Z CP. YC P. X CP. p. 圖 3.4 攝影機水平旋轉示意圖. 3-4. YCT.

(30) 從 CT 推導成攝影機水平旋轉校正完的座標系 C P 的關係式亦為一旋轉矩陣如式(3.5)：. cos p  sin p 0 C P   sin p cos p 0CT  0 0 1. (3.5). 3.3 攝影機空間轉換至監視環境座標當一像素位置由影像平面轉換至攝影機座標空間，並完成對真實空間的旋轉校正後，只需要將攝影機於真實空間的座標參數導入，及可完成從攝影機座標系轉換到真實空間座標系，亦完成整個座標系統的轉換。將真實空間的三維空間座標軸定義成 XWYWZW，見圖 3.5：. Z CP. X CP ZW XW (u,v,h). YC P. h (u,v). YW 圖 3.5 攝影機轉換監視環境座標. 其中(u,v,h)代表攝影機於真實空間中的座標位置。由圖 3.5 以及式(3.5) 可導出二者的關係式為式(3.6)：. X  u   Y   C  C  v  W p      Z  h 3-5. (3.6).

(31) 將式(3.1)至式(3.5)代入式(3.6)可得式(3.7)：. CW. . . . . . u  (3.7) C p   v  h  cos p  sin p 0 u   sin p cos p 0C   v    T    0 h  0 1 cos p  sin p cos t sin p sin t  u   sin p cos p cos t  cos p sin t C   v        0 h  sin t cos t  cos p  sin p cos t sin p sin t   cos θ 0 sin θ  u   sin p cos p cos t  cos p sin t   0  1 0 C   v     0 h  sin t cos t   sin θ 0 cos θ    (iw  i0 )  u  R   ( jh  j0 )   v    h  1. cos p cos  sin p sin t sin  R  sin p cos  cos p sin t sin    cos t sin .  sin p cos t cos p sin   sin p sin t cos  cos p cos t sin p sin   cos p sin t cos   sin t cos t cos. 其中的 R 即為空間旋轉矩陣。攝影機在真實空間中配置時如果 ZC 軸沒有產生偏斜，則可將式(3.7)簡化成式(3.8)：. X  cos p  sin p cos t sin p sin t   iw  u   Y   C    sin p cos p cos t  cos p sin t   j    v  W h        Z   0    sin t cos t    1  h. (3.8). 在完成空間轉換的關係式後，由平面轉空間的係數 λ 也必須設定。可利用式(3.8)， CW 中的 Z 與 λ 的關係式，即可求得 λ。. . hZ  ( jh  j0 ) sin t  cos t. 3-6. (3.9).

(32) 3.4 攝影機定位轉換公式要整合多台的攝影機，在前面的章節提到過利用真實座標系來整合不同攝影機的運作，真實空間座標是其中一種方法。在本系統中由於必須追蹤目標於空間上的位置，因此採用各台攝影機利用共同的真實空間座標系來達到互相轉換座標系的要求。當追蹤目標對準影像正中間後，即令. I  (0,0,1)T 可以將式(3.8)改寫成式(3.10)，直接將影像平面上的位置轉換為真實空間座標。. X  u  (h  Z ) sin p tan t Y  v  (h  Z ) cos p tan t. (3.10). Z  Target height. World Coordinates. 圖 3.6 空間示意圖. 以圖 3.6 來解釋式(3.10)的產生，主要是依據攝影機對於影像平面中心點可定義為一光學主軸，在定義了某個高度平面後，光學主軸可與此高度平面交叉產生空間上唯一的一點，即可求得此點於空間上的座標。而完成式(3.10)後，還需要將此一真實空間座標系的座標轉換成其他攝影機的光學主軸要通過此點時所需要的旋轉角度。對於攝影機旋轉只要求得水平以及 3-7.

(33) 上下旋轉的角度即可，即式(3.11)：. ( X  u ' ) 2  (Y  v' ) 2 t 0 '  tan  t1 ' h' Z X  u' p0 '  tan 1 ( )  p1 ' Y  v' 1. (3.11). 由於真實空間座標系上任一目標座標，皆可利用式(3.11)計算出攝影機將目標對準光學主軸所需要的旋轉參數，所以在求得目標於真實空間的位置後，即可馬上轉換給各個攝影機進行追蹤。. 3.5 追蹤物體移動在開始追蹤之前，目標於監視空間的位置必須先利用式(3.10)求出，其中最重要的二個參數為定位攝影機的水平與垂直旋轉角。當定位攝影機所定位出的目標不在影像中心點時，則要利用式(3.8)進行較複雜的轉換，利用式(3.8)去求得真實空間座標可得到式(3.12)如下：. X. hZ ( (iw  i0 ) cos p   ( jh  j0 ) sin p cos t  sin p sin t )  u  ( jh  j0 ) sin t  cos t. hZ ( (iw  i0 ) sin p   ( jh  j0 ) cos p cos t  cos p sin t )  v  ( jh  j0 ) sin t  cos t (3.12) Z  Target height. Y. 由上述式子可以發現運算式大為複雜，且 scale factor 也會因為高度平面的不同而有不同的影響，讓定位目標的難度大為增加。因此利用攝影機影像平面中心旋轉至欲定位目標所需要增加的角度計算出來，再代入式 (3.10)即可。. 3-8.

(34) H 2. W 2 (i0 , j0). H 2. W 2. 圖 3.7 影像平面最大 FOV 參數設定圖. 圖 3.8 攝影機欲旋轉角參數圖. 假設影像平面的最大長寬為 W 和 H，最大 FOV 的視角為 φW 和 φH，再利用圖 3.7 與圖 3.8 的參數設定可推導出式(3.13)：.  i  i ~ p W  w  W w 2 W /2 W j   jh  ~ t  H h  H 2 H /2 H. (3.13). 接著將式(3.13)代入式(3.10)即可得到影像平面上不位於中心的目標所在監視空間位置。 3-9.

(35) X  u  (h  Z ) sin( p  ~ p ) tan(t  ~ t) Y  v  (h  Z ) cos( p  ~ p ) tan(t  ~ t). (3.14). Z  Target height 利用此一方法可以避免複雜的計算且能不使用 scale factor 去找到所需定位的目標。並只需要計算出空間位置，即可藉由式(3.11)讓多台攝影機進行追蹤或取得清晰影像。. 3-10.

(36) 第四章入口監控與攝影機功能交換對於一個監視系統而言，目標的進入監控範圍與否、進入的時間、目標影像的擷取等為基本且必要的功能。在本研究中由於採用了二台 PTZ 攝影機，且為了提升目標追蹤的正確性並希望更容易擷取目標特寫影像，設計了攝影機功能交換的機制。因此對攝影機間功能的交換再進行討論。. 4.1 入口監控在實作目標臉部高度判別之前，必須先對目標是否進入場景進行入口偵測，本研究中，以入口上方的攝影機來對目標進入所產生的前景物為依據來進行目標臉部高度判別。. 圖 4.1 入口背景與目標進入 motion 圖. (a). (b). (c). 圖 4.2 高度判別示意圖 (a)目標進入。(b)目標高度判別。(c)目標進入之 motion。. 第三章曾提到必須要有追蹤目標平面高度 Z 才能對追蹤目標進行空間的定位，因此我們對系統的起始環境就預設為對入口的監控。如圖 4.3，系統從入口影像定義了二個區域 A 和 B。. 4-1.

(37) 圖 4.3 入口監控區域圖. 圖中紅線區域為門的邊緣，如此定義的原因在於不同的人進入的方式，會令 A 區域和 B 區域的 motion 量有不同的變化，如圖 4.4：. 圖 4.4 A、B 區域 motion 比較圖. 由圖 4.4 左右比較之下可以發現，有些人習慣將門打的很開的進出入口，因此會讓 B 區的 motion 明顯高於 A 區，而有的人會是將門打開一點點從旁邊進入，此時 A 區的 motion 量則會高於 B 區。圖 4.5 的 AB 二區域的 motion 我們將之做 projection 可得到表 4.3 的結果：. 4-2.

(38) 圖 4.5 AB 區連續影像圖. 表 4.1 AB 二區域 projection 量 A-area Frame 10~12. f10 f11 f12. Motion Count. 20. 15. 10. 5. 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94. Vertical Position. B-area Frame 10~12 20. f10 f11. Motion Count. f12 15. 10. 5. 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94. Vertical Position. 4-3.

(39) 從表 4.1 的結果可以發現，跟據不同人進入的情況會使得 AB 二區的 motion projection 量有很大的差異。因此要利用此區域進行高度的判別，首先必須選擇 A 或 B 區何者做為判定的標準。選擇 A 或 B 的方法為 motion 量的多寡，以較多的為判別的標準，理由在於不同的人進入的方式不同，會較為偏向 A 區或 B 區使得某一邊的 motion 量相較比另一區來的多。表 4.1 的結果系統會選擇 A 區做為判定的區域。由於系統希望能追蹤到臉部的特寫，所以由表 4.1 的 A 區臉部的高度位置去觀察，約略等於影像上端的區域最高點，見圖 4.6：. A-area Frame 10~12. f10 f11 f12. Motion Count. 20. 15. 10. 5. 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94. Vertical Position. 圖 4.6 區域最高點. 在求得區域最高點後將之反算回影像平面依對應環境的比例即可求出高度，例如以門的高度做為比例尺或其他環境相關物體，亦可由式(3.9) 計算攝影機角度對應與門的距離算出高度。在第二章我們有提到，在主攝影機進行目標臉高判別的步驟之前，必須先經由副攝影機進行進入目標的判別，主攝影機才能對一系列的 motion 量去進行高度的運算。而圖 4.6 中找出最高點區域的方法如下(圖 4.7)： 4-4.

(40) (1)先找出 motion 量圖中最高點 M。 (2)從起始點開始至最高點 M 之間各點分別對 M 點做梯度偵測。 (3)找出梯度最小的點即為圖 4.4 區域最高點。 A-area Frame 11. M. f11. Motion Count. 20. ③. 15. 10. ② 5. ① 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94. Vertical Position. 圖 4.7 臉部高度偵測過程圖. 圖 4.7 的偵測法中，並不一定能準確的偵測到臉部高度，以圖 4.8 為例，會發現偵測出來梯度最小的位置並非理想中偵測出臉部的位置。因此在系統處理一連串偵測出來的高度值時，還需對這些值進行判別，處理方式為取一連串偵測值中最大的值為高度設定值。. 4-5.

(41) A-area Frame 12. M. f12. Motion Count. 20. 15. 10. 5. 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94. Vertical Position. 圖 4.8 臉部高度偵測例子. 4.2 攝影機功能交換判別在討論攝影機功能交換之前，必須先了解表 2.1 可能發生需要交換的事件，其中最可能發生交換的事件為表 2.1 的事件 2。因為在目標於監視空間內走動，最有可能在各個攝影機所能執行定位或追蹤的較佳區域範圍內產生變動，因而最容易產生事件 2 要執行二者功能互換。在圖 4.9 中，我們對定位攝影機較適當做定位的區域做定義，由於每台攝影機適合的範圍不同，因此需要各別實驗取得，也可能因為環境的影響造成區域的變動。假設攝影機間無法取得較好的 swap area 區域或是只有紅色危險區域能交集，則需要考慮多裝設攝影機。. 4-6.

(42) 圖 4.9 定位攝影機適當監控區域圖. 如圖 4.9，將 O1 與 O2 攝影機的適合定位區域(綠色區)找出後，可以得到一交集區，我們稱此區域為攝影機功能交換的準備區域，當追蹤目標進入到此區域後，表示極有可能發生表 2.1 事件中的 2 或 5 的事件，因此必須在此時進行攝影機功能交換的準備工作或是確認執行功能的交換。在本系統中，我們預設的準備動作定義為將變焦攝影機的變焦係數調整成未變焦前的狀況，以利確定要進行功能交換時，能加速系統轉換定位用的背景的建置以及避免因原定位攝影機離目標過遠產生的前景物過於破碎，而無法正確定位的情況，此時讓二台攝影機保持最大 FOV 有利於尋找目標。. 4-7.

(43) 第五章系統實驗此章主要實作了二項實驗，一項為目標臉部高度的判別，一項為攝影機進行功能交換，本系統採用了二台 AXIS-213 型 PTZ 攝影機，以乙太網路連接 Intel Core 2 1.86 GHz 的 PC 做運算處理。在第四章中，已先將靠近入口的攝影機定義成 O2，靠近窗戶的攝影機為 O1(如圖 4.5)，後續我們也將以此來敘述某特定位置攝影機。. 5.1 目標高度判別在第四章曾談到目標進入監控環境時會對 AB 二區域有不同的影響，圖 5.1 為一連串目標進入時於高度偵測區 AB 二區的情況。圖 5.2 則是系統從起始狀態到臉部高度偵測完畢的連續情形。. 圖 5.1 目標進入高度偵測區之範例. 5-1.

(44) 1. 2. 3. Serial Estimation (cm). (a). Null. (b). Null. (c). 1-160. (d). 1-160 2-156 3-156 4-158 圖 5.2 臉部高度連續偵測圖. (a)系統初始狀態，未有目標進入場景。(b)入口上方攝影機偵測到目標進入，起始高度偵測；(c)成功計算第一次高度。(d)多次計算後，系統取其最大值作為目標高度。. 在圖 5.2 的(a)列中，系統仍處於入口進入偵測的狀態，此時高度偵測仍未開始作用，直到目標進入監控場景，如圖 5.2 的(b)。圖(b)-3 中，系統測得目標進入監控場景的移動量而起始高度偵測流程，如圖(b)-2。但由於目標的位移量過少，因此系統無法依據 A 區或 B 區來判別目標的高度。圖 (c)中，系統依據 A 區的移動量成功判別第一次的高度約為 160 公分。之後系統多次判別為 156~160 公分，最後取大值 160 公分為系統偵測的高度值。. 5-2.

(45) 表 5.1 顯示了不同人進入監控場景的實驗結果，在實驗中發現，當目標的衣服與入口環境的顏色近似時，可能造成系統對目標高度的誤判。在表 5.1 的第四個實驗對象，即可發現目標的衣服與背景過於相同而影響位移偵測量，但系統仍能與頭部的位移量進行計算而偵測出目標大略高度。. 表 5.1 高度偵測之實驗結果 Real Height (cm). Estimation (cm). 1. 151. 146.83. 2. 172. 177.51. 3. 162. 164.36. 4. 167. 168.74. Num.. Experiment Image. 5-3.

(46) 在表 5.1 的各個偵測結果中，發現偵測出來的結果雖然與實際身高有差距，但由於系統主要目的在臉部追蹤，因此目標實際高度主要是以實驗對象的臉部高度為依據而非身高。以上實驗的目標臉部高度與偵測高度的誤差平均為 3.45 cm，因此系統在臉部高度的判別上是準確的。. 5.2 攝影機功能交換圖 5.3 為攝影機未進行功能交換前對臉部追蹤的實驗圖。. (a). (b). (c). (d). 圖 5.3 目標臉部追蹤 (a)O2 攝影機用於特寫。(b)O1 攝影機用於定位，目標正對定位攝影機，能見到目標正面臉部影像；(c)目標轉身後正對特寫攝影機，此時 O2 攝影機能擷取到目標正向臉部。(d)O1 攝影機保持定位功能，無法拍到目標正向臉部。 5-4.

(47) 首先根據第三章的定位基礎，實作了目標追蹤的實驗，如圖 5.3，在系統判別出目標高度後，即以此高度對目標進行空間上的位置運算，再交由特寫攝影機進行變焦取得目標放大影像。在圖 5.3 的(a)組圖中，目標雖背對特寫放大攝影機，仍能從(b)組的定位攝影機取得其臉部影像。圖 5.3 的(c)組圖中即展現了人物正對特寫攝影機及側面時的臉部影像結果。在觀察完圖 5.3 後，在圖(a)與(b)的情況下，得知如果攝影機永遠保持單一功能，如定位或特寫，則目標背對特寫攝影機時就無法取得較好的特寫影像。因此當系統能夠根據目標的位置去對攝影機功能進行調整即可得到比較好的臉部擷取效果。 O1 Camera. O2 Camera. (a). (b). 圖 5.4 攝影機功能交換實驗圖 1-1 (a)目標進入場景。(b)系統開始對目標進行定位與特寫。. 圖 5.4 的(a)為目標剛進入監控場景，已完成目標高度偵測，此時 O1 攝影機進入定位功能。圖 5.4 的(b)，O1 攝影機進行定位，O2 攝影機對目標進行特寫的功能。目標這時背對攝影機，因此無法取得臉部特寫影像。 5-5.

(48) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.5 攝影機功能交換實驗圖 1-2 (a)系統對目標持續進行定位。(b)攝影機功能交換並開始對目標進行特寫。 (c)逐漸擷取到目標正向臉部影像. 圖 5.5 中，(a)圖的 O1 攝影機仍為定位功能，但計算出目標的真實空間位置後，系統判定適合做定位的攝影機為 O2，因此在(b)的時候將 O2 攝影轉換為定位攝影機，而 O1 攝影機轉為特寫功能。(b)到(c)為 O1 攝影機開始對目標進行特寫的過程，而 O2 攝影機則持續進行定位的功能。. 5-6.

(49) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.6 攝影機功能交換實驗圖 1-3 (a)系統持續對目標進行特寫。(b)系統成功取得目標臉部正向特寫。(c)目標經過 swap area 準備進行攝影機功能交換。. 在圖 5.5 中 O1 攝影機為了擷取目標臉部特寫而進行了 zoom in 的動作。圖 5.6 的(b)中即可見到系統成功擷取到目標正向的臉部影像。而圖 5.6 的(c)圖中，系統在偵測出目標的位置開始進入 swap area，因此將 O1 攝影機進行 zoom out 以準備之後攝影機功能的交換。. 5-7.

(50) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.7 攝影機功能交換實驗圖 1-4 (a)系統準備進行攝影機功能交換，將 O1 攝影機 zoom out。(b)、(c)O1 攝影機轉換至定位功能，O2 攝影機準備進行特寫功能。. 圖 5.7 展現了系統即將把攝影機功能交換的情況，在(a)圖為接續圖 5.6 將 O1 進行 zoom out 的步驟，而(b)與(c)則是 O1 攝影機準備進行定位功能。先前的章節我們有提過，當目標背對特寫攝影機時，如果定位攝影機比較接近目標的情況下，由於距離較近可能可以擷取到目標臉部影像。圖(c)即可發現能擷取到目標臉部影像，雖然非完整正向臉部。. 5-8.

(51) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.8 攝影機功能交換實驗圖 1-5 (a)O2 攝影機成功轉為特寫功能，對目標進行追蹤及特寫。(b)O2 攝影機進行目標臉部特寫。(c)成功擷取到目標正向臉部影像。. 圖 5.8 為系統在目標經過 swap area 後成功將二台攝影機功能互換的成果，在(c)圖中可發現原本利用 O1 攝影機取得目標臉部特寫影像，這時已轉換成利用 O2 攝影機。與圖 5.3 的(c)圖比較，會發現圖 5.8 的(c)圖目標臉部較明亮，原因在於攝影機光圈的判定是以影像中心為基準，圖 5.3 時影像中心為對準窗戶，而室外為極明亮的情況，造成攝影機光圈變小，使得特寫攝影機的影像偏暗。 5-9.

(52) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.9 攝影機功能交換實驗圖 1-6 (a)成功擷取到目標正向臉部影像。(b)系統保持特寫狀態對目標進行追蹤。 (c)目標再次經過 swap area 準備進行攝影機功能交換。. 圖 5.9 可見系統成功擷取到目標正向臉部影像，其中(b)圖目標些許偏移影像中心是來自於 O1 攝影機在進行定位時的偏差，不過並不影響到擷取目標臉部影像。圖(c)時即正確的對準目標於影像中心，並因為目標再次經過 swap area，系統將 O2 攝影機 zoom out 以利準備再次進行攝影機功能的交換。. 5-10.

(53) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.10 攝影機功能交換實驗圖 1-7 (a)O2 攝影機 zoom out 完成。(b)系統準備將 O2 攝影機轉換為定位功能。(c)O2 成功轉換為定位功能，O1 攝影機亦轉為特寫功能。(比較(b)(c)二圖中 O1 門的位置即可發現 O1 已開始對目標進行追蹤). 5-11.

(54) O1 Camera. O2 Camera. (a). (b). (c). 圖 5.11 攝影機功能交換實驗圖 1-8 (a)系統利用 O1 攝影機進行目標特寫。(b)O1 攝影機只能擷取至目標背後景像，但 O2 攝影機可擷取到目標臉部影像。(c)目標即將離開場景。. 圖 5.10 和圖 5.11 分別再次展現了攝影機功能交換後的影像。以結果而言，攝影機功能交換後，目標正對特寫攝影機的情況下都能取得目標正向臉部影像，而在目標正對定位攝影機的情況也有不錯的表現，如圖 5.11 的(b)。以下是其他實驗對象的結果：. 5-12.

(55) O1 Camera. O2 Camera. (a). (b). (c). (d). 圖 5.12 攝影機功能交換實驗圖 2-1 (a)目標進入監控環境。(b)系統對目標進行定位。(c)O1 攝影機進行特寫。 (d)O1 攝影機持續對目標進行特寫，O2 攝影機保持定位功能。. 5-13.

(56) O1 Camera. O2 Camera. (a). (b). (c). (d). 圖 5.13 攝影機功能交換實驗圖 2-2 (a)O1 攝影機進行目標特寫，但無擷取到良好的正向臉部影像。(b)目標經過 swap area，系統準備轉換攝影機間功能。(c)O1 進行 zoom out。(d)系統準備轉換攝影機功能。. 5-14.

(57) O1 Camera. O2 Camera. (a). (b). (c). (d). 圖 5.14 攝影機功能交換實驗圖 2-3 (a)系統準備將 O2 攝影機進行 zoom in。(b)系統開始對目標進行特寫。(c) 目標背對特寫攝影機且定位攝影機亦無法取得正向臉部影像。(d)由定位攝影機 O1 取得目標正向臉部影像。. 5-15.

(58) 前面我們提到，目標不一定正對特寫攝影機，是有機會從接近目標的定位攝影機取得目標臉部影像，但也有可能目標同時皆無法從二台攝影機取得臉部影像，如圖 5.13 的(a)，圖 5.14 的(c)。不過因為人在室內的環境下常有轉身的動作，因此系統還是能從目標轉身的過程中，取得其臉部正向影像。圖 5.15 即是目標轉身後系統取得臉部特寫的示意圖：. O1 Camera. O2 Camera. (a). (b). (c). 圖 5.15 攝影機功能交換實驗圖 2-4，目標轉身示意圖 (a)目標背對特寫攝影機 O2 且定位攝影機 O1 也無法擷取良好的目標臉部影像。(b)目標進行轉身。(c)特寫攝影機取得目標正向臉部影像。 5-16.

(59) O1 Camera. O2 Camera. (a). (b). (c). (d). 圖 5.16 攝影機功能交換實驗圖 3-1 (a)系統以 O1 做為特寫功能。(b)系統對目標進行特寫。(c)擷取出目標正向臉部影像。(d)持續對目標進行特寫追蹤。. 5-17.

(60) O1 Camera. O2 Camera. (a). (b). (c). (d). 圖 5.17 攝影機功能交換實驗圖 3-2 (a)系統持續對目標進行特寫。(b)目標經過 swap area。(c)O2 攝影機轉換為特寫功能。(d)系統取得目標臉部影像。. 5-18.

(61) 在實驗的過程中，有幾點問題會造成系統無法準確定位或特寫到目標，如：目標移動過快、目標身體部位或衣物與環境顏色相同等。. O1 Camera. O2 Camera. System Detection. 圖 5.18 定位異常示意圖一. 圖 5.18 從系統偵測圖中發現，由於目標移動過快而造成系統判別目標頭部位置偏移太多。使得 O1 攝影機進行特寫時無法正確擷取目標臉部影像。但在圖 5.13 的(a)圖中，當目標移動速度減緩時系統仍可正確擷取到目標臉部影像。圖 5.19 則是目標髮色與門類似，造成系統偵測時取的位置比目標實際上臉部高度更低，因此在 O2 攝影機進行特寫時，目標會在影像上呈現低於影像中心的結果。. O1 Camera. O2 Camera. 圖 5.19 定位異常示意圖二. 5-19. System Detection.

(62) 第六章結論與未來工作 6.1 結論本研究提出了以二台 PTZ 攝影機來進行室內的人物追蹤。我們提出了與先前皆是一台固定攝影機做定位，一台用於追蹤不同的做法，而是採用二台 PTZ 攝影機，因應不同的情況進行攝影機的功能交換，讓攝影機的功能性能夠不被限制在原本定義的功能上，這樣的做法能夠讓做到原本監控的功用，還能增加一些額外的功能，如追蹤人物的正向臉部，3D 空間追蹤等。在攝影機追蹤的公式推導中，我們捨棄了以 scale factor 來對目標物進行追蹤的傳統方式，而是將目標對應定位攝影機影像中心的位置，轉換為實際空間平面上座標。這樣的做法能夠減少複雜的運算，讓整體系統的運算量減低，也能正確的估算出目標物於空間中的位置。此外，利用空間平面上的座標來做為追蹤的依據，而不是利用二台攝影機間的平面互相做轉換的好處在於未來如果增加了多台攝影機，只需要利用空間平面上的座標點即可進行追蹤。攝影機功能交換是本研究的重點之一。我們著重在將二台攝影機間的定位與特寫的功能，以目標在空間平面上的位置做為決定的根據，當目標經過定義的 swap area 後，讓攝影機間彼此能夠交換定位或特寫的功用。這是為了對目標的臉部能有更好的擷取效果，以往固定式攝影機只負責定位的功能，而追蹤的 PTZ 攝影機可能只能取得目標特定角度的影像，不見得能取得正向的臉部，因此本研究中讓二台攝影機間的功能被夠被交換來達到減少死角以及對取得正向臉部有更大的成效。. 6-1.

(63) 6.2 未來工作整體來說，本系統還有許多繼續發展的空間。從定位攝影機的方面來討論，當目標離開定位攝影機視角後，目前並沒有加入定位攝影機對目標進行旋轉再次定位的功能。若定位攝影機能繼續對目標前進的方向進行旋轉再加以定位，就能減少更多的監控上的死角。或是定位攝影機若能利用變焦功能對較遠的目標進行定位，增加對目標臉部正向的判定而讓系統去調整攝影機的功能。這樣不止會減少攝影機交換的次數，也能讓本研究中不完整的遠方目標定位更精準。系統追蹤方面，本研究中目前只針對目標移動完後的座標去進行追蹤，當目標移動位置偏差較大時，攝影機只移動一半的距離，但移動位置過於異常時則忽略此次偵測結果。未來可考慮加入以顏色為基礎的目標追蹤法，以利在目標移動量偵測失常時有輔助定位追蹤的功能。此外，由於系統對於目標物的追蹤是以目標進入場景所判別的高度為依據，後續可利用移動向量的偵測去判別目標改變高度，讓三維空間的目標追蹤能夠更完整。以圖 6.1 為例，假設目標對門口進行移動，對 O1 攝影機而言為偏上的移動向量，O2 攝影機為向下。但如果目標進行蹲下的動作時，二台攝影機皆會偵測到向下的移動向量，而能對目標進行高度修正再進而對目標進行追蹤。未來希望在結合更多的技術後，能夠讓此系統不侷限在室內環境，而是在室外或環境複雜的地方也能對目標進行追蹤。 O1 Camera. O2 Camera. 圖 6.1 攝影機示意圖. 6-2.

(64) 參考文獻 [Amn06] P. Amnuaykanjanasin, S. Aramvith, and T. H. Chalidabhongse, “Real-Time Face Identification Using Two Cooperative Active Cameras,” Proceedings of the 9th International Conference on Control, Automation, Robotics and Vision, Singapore, pp. 1 – 6, 2006. [Azz05] P. Azzari, L. D. Stefano, and A. Bevilacqua, “An Effective Real-time Mosaicing Algorithm Apt to Detect Motion Through Background Subtraction Using a PTZ Camera,” Proceedings of IEEE Conference on Video and Signal Based Surveillance, Como, Italy, pp. 511 – 516, 2005. [Bao05] P. T. Bao, J. Y. Kim, and S. Y. Na, “Fast Multi-face Detection in Color Images Using Fuzzy Logic,” Proceedings of 2005 International Symposium on Intelligent Signal Processing and Communication Systems, Hong Kong, pp. 777 – 780, 2005. [Baf08] F. E. Baf, T. Bouwmans, and B. Vachon, “Foreground Detection using the Choquet Integral,” Proceedings of the Ninth International Workshop on Image Analysis for Multimedia Interactive Services, Klagenfurt, Austria, pp. 187 – 190, 2008.. [Che08] K. W. Chen, C. C. Lai, Y. P. Hung, and C. S. Chen, “An Adaptive Learning Method for Target Tracking across Multiple Cameras,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Alaska, pp. 1 – 8, 2008. [Cuc05] R. Cucchiara, C. Grana, A. Prati, and R. Vezzani, “Computer Vision System for In-house Video Surveillance,” Proceedings of the IEE Conference on Vision, Image, and Signal Processing, pp. 242 – 249, 2005.. A-1.

(65) [Dra08] I. Draganjac, Z. Kovacic, D. Ujlaki, and J. Mikulic, “Dual Camera Surveillance System for Control and Alarm Generation in Security Applications,” Proceedings of the IEEE International Symposium on Industrial Electronics, pp. 1070 – 1075, 2008. [Esh08] R. Eshel and Y. Moses, “Homography Based Multiple Camera Detection and Tracking of People in a Dense Crowd,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Alaska, pp. 1 – 8, 2008. [Eve07] I. Everts, N. Sebe, and G. Jones, “Cooperative Object Tracking with Multiple PTZ Cameras,” Proceedings of the 14th International Conference on Image Analysis and Processing, Modena, Italy, pp. 323 – 330, 2007. [Foc02] D. Focken and R. Stiefelhagen, “Towards Vision-based 3D People Tracking in a Smart Room,” Proceedings of the Fourth IEEE International Conference on Multimodal Interfaces, Pittsburgh, pp. 400 – 405, 2002. [Fun04] T. Funahasahi, M. Tominaga, T. Fujiwara, and H. Koshimizu, “Hierarchical Face Tracking by Using PTZ Camera,” Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, Seoul, Korea, pp. 427 – 432, 2004. [Hu06] W. Hu, M. Hu; X. Zhou, T. Tan, J. Lou, and S. Maybank; “Principal Axis-based Correspondence Between Multiple Cameras for People Tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 28, pp. 663 – 671, 2006.. [Lu08] Y. Lu and S. Payandeh, “Cooperative Hybrid Multi-camera Tracking for People Surveillance,” Proceedings of the IEEE Conference on CCECE/CCGEI, Niagara Falls, Canada, pp. 1365 – 1368, 2008.. A-2.

(66) [Var08] P. D. Z Varcheie, M. Sills-Lavoie, and G. A. Bilodeau, “An Efficient Region-Based Background Subtraction Technique,” Proceedings of the Canadian Conference on Computer and Robot Vision, Windsor, Ontario, Canada, pp. 71 – 78, 2008. [Yan08] L. Yan and S. Payandeh, “Cooperative Hybrid Multi-camera Tracking for People Surveillance,” Proceedings of Canadian Conference on Electrical and Computer Engineering, Ontario, Canada, pp. 001365 – 001368, 2008. [Yan07] P. Yang, W. Wu, M. Moniri, and C. C. Chibelushi, “RFID Tag Infrastructures for Camera Tracking in Virtual Studio Environment,” Proceedings of the 4th European Conference on Visual Media Production, London, pp. 1 – 8, 2007.. [王 05-1] 王政雄，“使用環場及 PTZ 攝影機結合之系統”，國立台灣師範大學資訊工程研究所碩士論文，民國 94 年。 [王 05-2] 王志高，吳先晃，結合全景與 PTZ 相機之視訊監控系統， Proceedings of the 2005 Workshop on Consumer Electronics and Signal Processing (WCEsp 2005), Taiwan, Nov. 17-18.. A-3.

(67)