混合行人與汽機車於路口之影像式偵測系統研究

國立交通大學

電機與控制工程研究所

碩士論文

混合行人與汽機車於路口之 

影像式偵測系統研究 

 

The Study of a Pedestrian and Vehicle Detection System 

in Complicated Intersection 

研 究 生：陳俊偉

指導教授：吳炳飛 教授

中華民國九十八年十二月

 

The Study of a Pedestrian and Vehicle Detection System 

in Complicated Intersection 

 

 

 

 

研  究  生：陳俊偉      Student：Chun‐Wei Chen 

 

指導教授：吳炳飛  教授      Advisor：Prof. Bing‐Fei Wu 

 

 

國  立  交  通  大  學 

電  機  與  控  制  工  程  研究所 

碩  士  論  文 

 

A Thesis  Submitted to Department of Electrical Engineering  College of Electrical Engineering  National Chiao Tung University  in partial Fulfillment of the Requirements  for the Degree of  Master  in  Electrical and Control Engineering    December 2009    Hsinchu, Taiwan, Republic of China 

 

中華民國九十八年十二月

混合行人與汽機車於路口之

影像式偵測系統研究

學生：陳俊偉   

 

 

 

 

指導教授：吳炳飛  教授 

 

國立交通大學電機與控制工程研究所    碩士班

 

 

摘要

本研究目的是利用影像處理技術來實現路口監控系統。路口系統使用影像資 訊，偵測路口行人的流量，可以配合適當的紅綠燈轉換時間，有助於整體交通的 流暢性，並且警示欲通過路口之車輛，注意行人安全。  本系統包含了移動物件偵測模組、行人辨識模組以及移動物件追蹤模組。移 動物件偵測模組混合用背景更新法得到的前景資訊與連續影像相減的移動輪廓 資訊兩種方法來偵測行人與汽機車。當物體移動時用移動物件輪廓，物體停止時 則是用前景影像。行人辨識模組則是偵測並辨識出行人與汽機車，行人偵測的困 難點在於重疊行人，所以本論文使用三種不同的影像特徵來做行人偵測，第一種 是行人頭部輪廓，配合本論文提出的角偵測找出可能的行人頭部；第二種是利用 行人群的位置關係，搭配行人高度和寬度，將行人群做分割；第三種是行人頭髮 灰階值的特徵，比對擷取到的頭髮位置和行人高度判斷是否為行人。汽機車偵測 的特徵是用汽機車底部陰影，陰影區域符合汽機車的範圍當作偵測結果。移動物 件追蹤模組將行人和汽機車偵測結果做追蹤處理，配合追蹤預測的位置，比對目 前與追蹤的影像資訊，只有比對成功的移動物件才認定是追蹤成功。  由實驗結果顯示，本系統能有效與強健的進行行人偵測，本論文所提出的方 法，平均行人偵測率與正確率皆有九成以上，而且本系統在戶外長時間運作不受 光線影響。 

The Study of a Pedestrian and Vehicle Detection

System in Complicated Intersection 

 

Student：Chun‐Wei Chen 

Advisor：Prof. Bing‐Fei Wu 

 

Department of Electrical and Control Engineering 

National Chiao Tung University 

 

ABSTRACT

The goal of this study is using image processing technologies to implement the  intersection  monitoring  system.  The  system  calculates  the  pedestrian  flow  in  intersection  by  means  of  the  image  information.  Incorporating  with  the  pedestrian  flow and the transition time of red light, not only the traffic can be smoother but also  the pedestrian safety can be improved by warning the passing vehicles.   

The  proposed  system  composed  moving  object  detection  unit  (MODU),  pedestrian recognition unit (PRU), and object tracking unit (OUT). MODU, a proposed  hybrid method, integrates the foreground information from background subtraction  and  the  moving  contour  from  consecutive  frame  difference  to  detect  pedestrians,  motorcyclists, and vehicles. The detection uses moving contour information while the  object  is  moving;  otherwise  the  foreground  information  is  utilized.  Pedestrian  recognition unit distinguish the pedestrian from the motorcyclist and the vehicle. The  difficulty  in  pedestrian  detection  is  the  overlap  of  pedestrians.  Therefore,  three  different kinds of characteristic are used to detect and recognize the pedestrian. The  first characteristic is head shape of the pedestrian. Through the corner detection, the 

positions of head candidates can be found. The pedestrians can be separated from  the  crowd  by  analyzing  space  information  and  considering  the  width  and  height  of  the pedestrian. Third characteristic is gray level of the hair. The pedestrian is found by  comparing  the  height  of  object  with  the  detected  position  of  the  hair.  Since  the  shadow  always  exists  in  the  bottom  of  the  vehicle  and  motorcycle,  the  shadow  characteristic  is  utilized.  If  the  shadow  region  matches  with  size  of  the  vehicle  and  motorcycle,  the  position  of  vehicle  and  motorcycle  is  detected.  OTU  tracks  the  detected pedestrian, the motorcyclist, and the vehicle. Comparing the current image  information with the previous information, the object is tracked when the matching  succeeds.    The experimental results demonstrate that the proposed system can detect the  pedestrian effectively and robustly. The average detection ratio and correct ratio are  both above 90%. Moreover, our system performs very well in the daytime, no matter  what kinds of lighting effect.                           

致謝 

  在交大研究所兩年的時光，在生活週遭有許多朋友和師長，不斷的鼓勵和支 持下，終於能夠完成順利完成研究。在待人相處上能更加成熟穩健，對事情處理 上也更有效率。    首先要感謝指導教授  吳炳飛老師，在這些日子下不斷的照顧和指導，提供 一個良好的研究環境，配合學長姐和學弟妹之間的意見交流和研究討論下，對實 驗室的整體研究有很大的助益。在遇到人生挫折或研究困難時，也是老師提供良 好的建議下，順利度過難關並且順利畢業。    感謝實驗室裡面的眾位學長，昭榮學長、信元學長、志忠學長、偉昕學長、 益賓學長、盈翰學長、正隆學長、敏偉學長、秉宗學長、晉源學長、家維學長、 崇瑞學長、玟欣學姐、宣亦學長和仕偉學長等等。還有室友兼實驗室同學治君、 海強、慎廷和敬達。加上各位學弟合力的幫助下，感謝各位學長學弟為實驗室帶 來歡笑和活力，使實驗室的每個人擁有良好的身心狀態下，去做研究和討論。    最後要感謝家人的陪伴，在兩年的時間裡，因為有父母的關心和哥哥姐姐鼓 舞下，使我有動力繼續研究，順利完成論文。 

目錄

摘要...i Abstract...ii 致謝...iv 目錄...v 圖目錄...vii 表目錄...x 第一章 緒論...1 1.1 研究動機...1 1.2 相關研究...1 1.3 論文架構...5 第二章 場景介紹與影像前處理...6 2.1 拍攝場景說明...6 2.2 系統架構...7 2.3 影像前處理...8 2.3.1 邊緣萃取...8 2.3.2 移動物件擷取...10 2.3.3 背景收斂與更新...13 2.3.4 雜訊濾除...15 2.3.5 影像強化...16 第三章 行人偵測與汽機車偵測...18 3.1 行人偵測...18 3.1.1 行人頭部偵測...19 3.1.2 行人群分割偵測...22 3.1.3 行人頭髮灰階值偵測...27 3.1.4 行人偵測結果...30 3.2 汽機車偵測...31

3.2.1 汽機車底部陰影擷取...32 3.2.2 連接相鄰汽機車底部陰影...33 3.2.3 汽機車偵測結果...35 第四章 行人追蹤與汽機車追蹤...36 4.1 行人追蹤...36 4.1.1 行人偵測結果做追蹤更新...37 4.1.2 點對點比對法...37 4.1.3 統計比對法...39 4.1.4 追蹤預測和追蹤補償...41 4.2 汽機車追蹤...43 4.2.1 汽機車偵測結果做追蹤更新...44 4.2.2 移動物件結果做追蹤更新...45 4.2.3 停止汽機車追蹤比對...46 第五章 實驗結果...49 5.1 實驗場景與測試環境...49 5.2 行人計數結果...50 5.3 分析與討論...55 第六章 結論與未來展望...60 6.1 結論...60 6.2 未來展望...60 參考文獻...62

圖目錄

圖 2-1 路口場景和攝影機拍攝示意圖...6 圖 2-2 路口場景側向示意圖...7 圖 2-3 系統整體流程圖...7 圖 2-4 影像前處理流程圖...8 圖 2-5 邊緣九宮格示意圖...8 圖 2-6 水平邊緣九宮格示意圖...9 圖 2-7 垂直邊緣九宮格示意圖...9 圖 2-8 垂直加水平邊緣結果...10 圖 2-9 連續影像串列示意圖...10 圖 2-10 本文的移動物件結果...12 圖 2-11 傳統移動物件結果...12 圖 2-12 前景圖結果...14 圖 2-13 濾波器九宮格示意圖...15 圖 2-14 是否去雜訊圖的比較...16 圖 2-15 影像強化四宮格示意圖...16 圖 2-16 移動物件強化的結果...17 圖 3-1 行人偵測流程圖...18 圖 3-2 框選範圍示意圖...19 圖 3-3 連通物件的結果...19 圖 3-4 頭部偵測流程圖...19 圖 3-5 角偵測九宮格示意圖...20 圖 3-6 四種角偵測示意圖...20 圖 3-7 角偵測結果圖...21 圖 3-8 頭部偵測結果...21 圖 3-9 行人群分割偵測流程圖...22 圖 3-10 四個角落非移動物件區域結果...22 圖 3-11 移動物件和非移動物件區域示意圖...23 圖 3-12 行人群分割方法 1 和 2 示意圖...24 圖 3-13 行人群分割方法 3 和 4 示意圖...24 圖 3-14 行人群分割方法 5 和 6 示意圖...25 圖 3-15 行人群分割方法 7 和 8 示意圖...25 圖 3-16 行人群分割方法 9 和 10 示意圖...26 圖 3-17 行人群分割結果一...26 圖 3-18 行人群分割結果二...26 圖 3-19 頭髮灰階偵測流程圖...27 圖 3-20 灰階值降階前後示意圖...27 圖 3-21 頭髮灰階值範圍...28 圖 3-22 頭髮偵測結果一...28 圖 3-23 頭髮偵測結果二...28

圖 3-24 行人頭髮和行人高度示意圖(1) ...29 圖 3-25 行人頭髮和行人高度示意圖(2) ...29 圖 3-26 行人頭髮和行人高度示意圖(3) ...29 圖 3-27 行人頭髮和行人高度示意圖(4) ...29 圖 3-28 頭髮偵測結果...30 圖 3-29 行人偵測結果一...30 圖 3-30 行人偵測結果二...30 圖 3-31 機車行駛圖...31 圖 3-32 汽車行駛圖...31 圖 3-33 汽機車偵測流程圖...32 圖 3-34 陰影累積示意圖...32 圖 3-35 汽車底部陰影結果...33 圖 3-36 相鄰像素示意圖...33 圖 3-37 陰影分布示意圖一...33 圖 3-38 陰影分布示意圖二...34 圖 3-39 陰影分布示意圖三...34 圖 3-40 汽車底部陰影結果一...35 圖 3-41 汽車底部陰影結果二...35 圖 3-42 汽機車偵測結果一...35 圖 3-43 汽機車偵測結果二...35 圖 4-1 行人追蹤流程圖...36 圖 4-2 連續兩張影像行人偵測結果關係圖...37 圖 4-3 點對點比對示意圖...38 圖 4-4 直方圖比較結果(a) ...40 圖 4-5 直方圖比較結果(b) ...40 圖 4-6 追蹤預測示意圖...41 圖 4-7 預測位置誤差示意圖...41 圖 4-8 預測位置修正範圍的示意圖...42 圖 4-9 行人交錯情況...42 圖 4-10 汽機車追蹤流程圖...43 圖 4-11 連續兩張影像的汽機車偵測結果示意圖...44 圖 4-12 追蹤結果和移動物件示意圖一...46 圖 4-13 追蹤結果和移動物件示意圖二...46 圖 4-14 停止前的直方圖的統計圖...47 圖 4-15 剛停止時的直方圖的統計圖...48 圖 4-16 直方圖的比較圖...48 圖 5-1 行人行走狀況示意圖...49 圖 5-2 汽機車行駛狀況示意圖...49 圖 5-3 24 小時結果的折線圖...52 圖 5-4 行人追蹤結果...53 圖 5-5 多人及人群追蹤結果...54

圖 5-6 汽機車追蹤結果...55 圖 5-7 行人拿特殊東西...56 圖 5-8 行人的重疊率過高...56 圖 5-9 大型汽車擋住視野...57 圖 5-10 汽車停在路邊...57 圖 5-11 夜間場景光線分布不均...57 圖 5-12 夜間場景穿暗色系服裝...58 圖 5-13 汽機車車燈影響...58

表目錄

表 1-1 參考文獻相關資訊...4

表 5-1 程式執行時間表格...50

表 5-2 24 小時測試結果...51

第一章 緒論

1.1 研究動機

現在許多路口、商店、住家附近、公司裡面和公共設施出入口都裝有攝影機， 這些攝影機有一部份都是為了監控人的行為，並且長時間做影像保存，可能攝影 場景有拍攝到犯罪證據，就可以提供影像當作破案的關鍵，或者是對路口的行人 或者汽機車事故作紀錄，可以提供警察在釐清事故現場的整個車禍起源。 在大眾運輸出入口的攝影機做行人流量統計，可以藉由流量來判斷交通運輸 設施的使用量，有了使用量資訊就可以彈性調配不同時段的交通班次，可以增加 整體大眾運輸的使用效率。 在住家室內的攝影機，可以利用人的偵測配合人的行為辨識的動作，如果家 中有老年人或者小孩子，配合人的行為辨識可以知道是否發生危險的狀況，如果 發生暈倒的情況就可以發出警示，提供給家人第一時間知道，就可以馬上做出急 救的處理。 在路口做行人流量計數，可以提供斑馬線的行人流量資訊，配合當時馬路車 流資訊，就可以評估出該路口的紅綠燈等候時間，適當的紅綠燈等候時間可以減 少塞車的交通麻煩，也可以增加行車的效率。如果有不同時間的行人和車流量， 就可以針對不同時間彈性調整紅綠燈轉換的時間。在行人流量過大的路口，就可 以放置行人專用天橋或者行人地下穿越道，就可以避免過多的行人穿越馬路，減 少發生事故。配合紅綠燈的資訊，在行人過馬路的時候，可以判斷行人是否闖紅 燈的情況，或者在有行人過馬路的時候碰上快紅燈的情況，也可以進一步做紅綠 燈的微調，避免事故發生。

1.2 相關研究

行人偵測的方法分很多種類，在前處理中有兩種主要的方法，有使用背景擷 取法[1,2,3,4]得到前景影像資訊去做進一步影像處理，如果要長時間擷取背景，

就必須加入背景更新的方法，因為在長時間處理上，光線隨時間變化，造成畫面 上的明亮程度也受到影響，如果擷取出的背景影像是正確的，得到的前景資訊會 相當完整。在[2]文中提到，使用前景擷取出來的行人物件，可能前景物件會產 生破碎的情況，先對這些破碎的前景做個別的追蹤，利用每個前景的面積大小、 影像邊界座標位置、密度與速度做紀錄，再把可能屬於行人的前景連接起來當作 一個行人的前景，接著才做行人的追蹤處理。 另一種方法就是使用連續影像相減[5]，可以得到移動物件的移動影像資訊， 因為只使用相鄰影像處理的關係，移動影像資訊不會受到陽光變化而影響，但是 因為只能抓取移動物件資訊，當行人停止不動或移動緩慢時，就無法有效的做出 正確的行人偵測。在[6]中有提到相關的應用，對連續影像的同一個人的位移做 出偵測，對前一張影像行人的位置周圍做處理，分別是上方、下方、左方、右方 四個方位做處理，如果其中一個方位和現在處理中影像的行人差異最小，就認定 此行人的移動方位。 在偵測方法上，有使用類神經網路(Neural Networks，NNS)[1,7]，利用行人 擁有的特徵放到類神經網路去訓練抓取權重值，利用訓練結果做行人偵測。要訓 練的行人數量越多越好，因為行人的外觀變化性大，如果有足夠的訓練數目就能 夠增加辨識的正確性。例如用水平邊緣、垂直邊緣、行人外觀顏色、密度與密度 比例等等特徵下去做行人訓練。

支援向量機(Support Vector Machines，SVM)[8,9,10,11]是另一個常使用的辨 識方法，必須要有許多的特徵去做處理，如果使用的行人特徵有高的辨別程度， 可以增加行人辨識成功性，但是使用 SVM 的缺點就是計算量大，使用的特徵越 多就必須花費更多的時間。大量的擷取不同的行人與非行人的樣本來進行分類器 訓練[9]，同時擷取人的邊緣特徵加入訓練，並且配合立體視覺的計算把行人的 位置找出來。在[10]中使用對稱性的特徵，因為正面行人具有左右對稱性，使用 顏色的資訊做左右對稱性的比較，並且把顏色資訊轉換到頻域中去做處理，做出 行人的特徵資訊再用 SVM 去做行人偵測。

為了解決影像中會發生重疊的情況，有些攝影機架設位置會選擇特殊位置， 把攝影機架設在行人的正上方，攝影角度垂直向下[12,13]，在這種角度下，看到 的行人都是頭頂蓋住身體，所以不會產生行人身體擋住行人的情況，但是也失去 了行人身體的資訊。[12]文中使用行人的不同行走輪廓當作樣板，針對影像中出 現的前景做比對，雖然不會產生行人重疊的情況，卻犧牲了影像可見範圍，如果 有傾斜的角度就可以增加影像看到的場景。 行人樣板做比對(Template Matching)[3,12,14,17]法是使用行人不同部位的行 人特徵，做出一組行人樣板，當偵測到可能屬於行人的部份時就進行比對，把比 對程度高的行人就認定是正確的行人。在[3]中使用垂直投影直方圖的資訊，利 用影像中行人是呈現長條型的特性，可以在垂直的投影直方圖中看出，行人中間 點包含頭部的區域中投影量會比較大，利用這點就可以對並排相鄰的行人做出個 別的偵測。針對行人下半身的資訊做處理[14]，計算行人下半部垂直邊緣的對稱 性，可以把走在路中的行人偵測出來。使用 Harr-like 的邊緣影像當作特徵[17]， 對行人的邊緣影像密度做統計，分別對行人的不同部位的邊緣密度做處理。主要 利用人的對稱性來當作主要偵測[18]，利用對稱性求出適當的行人位置，再把偵 測結果使用卡爾曼濾波器(Kalman filter)來做追蹤。使用人的頭部顏色直方圖資訊 當作模組[19]，把正確的頭部模組和非頭部的模組放入 Ada Boost 訓練，利用訓 練出來的頭部模組就可以針對行人的頭部做偵測。在[20]文中，使用橫向行人的 輪廓當作模組，把側向行人的走路外觀分成八種型態，再利用隱馬爾可夫模型 (Hidden Markov Model，HMM)的方法，可以做出橫向行人的模組，以方便之後 的訓練。 橫向行走的行人偵測，還可以用行人的走路節奏和週期[5,21,22,24]，在行人 橫向行走時腳步會有開闔的情形，利用追蹤同一個人的資訊下，判斷其腳部區域 是否有週期性的變化，也可以判斷是否是行人。觀察已偵測到之行人下半部區域 的能量變化偵測行人[21]，如果是行人的腳部行走情況，能量就會出現一個由低 到高再到低的能量變化，藉由能量變化判斷此物件是否為移動的行人。用行人橫 向具有的週期性變化[24]，將邊緣化之後的影像找出行人步伐的角度，把連續影

像的腳步資訊導入公式計算，最後再做分類的動作，就可以知道目標的行人步伐 變化程度。 使用紅外線來做影像處理和行人偵測[11,26]，利用人的體溫和周圍溫度差異， 紅外線可以偵測出不同的影像，而且紅外線可以使用在沒有燈光的晚上，一般的 攝影機會因為光線不足，導致晚上的場景難以正確的進行行人偵測。以行人邊緣 和輪廓資訊為特徵的 SVM 行人辨識[11]，並且比較白天使用普通攝影機和紅外 線的兩種結果，在文中的方法使用紅外線的偵測率是高於一般攝影機。 上述有許多不同種類的行人偵測方法，把不同場景可能會遇到的情況整理起 來，以表 1-1 來說明，主要是以攝影機擺設位置和拍攝情況分類，還有說明場景 中出現的物件情況，分成只有行人，或者汽機車也會出現。最後要考慮是否有在 室內做拍攝和晚上攝影的情況。 表 1-1 參考文獻相關資訊 攝影機拍攝場景 參考文獻 攝影機架設高處往下俯視 [1]、[2]、[5]、[6]、[11]、[15]、[22] 攝影機以人的高度往前拍攝 [3]、[7]、[9]、[10]、[11]、[14]、[17]、 [18]、[21]、[23]、[26] 攝影機架設高處垂直往下拍攝 [12]、[13] 攝影機架設在汽車上拍攝 [8]、[16]、[25] 場景中只出現人 [1]、[7]、[10]、[15]、[17]、[18]、[19]、 [20]、[23]、[24] 場景中有出現人和汽機車 [2]、[3]、[5]、[6]、[8]、[9]、[11]、[14]、 [16]、[21]、[22]、[26] 有在室內做拍攝 [9]、[12]、[13]、[19] 攝影時間有晚上 [11]、[26] 本文中的行人偵測法，將移動物件和前景資訊混合使用，把兩種方法的優點 進行強化處理，避免用兩種方法的缺點。直接對影像中的行人外觀特徵做影像處 理，從外型輪廓、邊緣特徵、影像灰階值與行人群的位置關係等等特性，配合不 同特徵，將行人偵測法分成三種方法去考慮，以行人輪廓和邊緣特徵作考量當作 第一種行人偵測法；把行人群互相的位置關係做考量當作第二種行人偵測法；將 頭髮影像灰階值作為主要判斷當作第三種行人偵測法。汽機車偵測是用汽機車底

部陰影資訊做主要偵測特徵。之後利用追蹤法把偵測結果做進一步的處理，將連 續的行人和汽機車偵測結果做結合，可以得到行人和汽機車移動的變化情況。最 後用行人和汽機車追蹤結果，可以進行行人計數的判斷。

1.3 論文架構

本論文分成六個章節討論。第一章節是緒論，說明研究動機、相關研究和論 文架構。第二章節主要是實驗場景的說明，整個系統的架構說明和影像前處理。 第三章節是做物件偵測，分成行人偵測和汽機車偵測兩種。而第四章節是做物件 追蹤，把之前兩種偵測結果進行行人追蹤和汽機車追蹤，追蹤結果可以做行人計 數。第五章節是實驗結果，分析和討論行人計數結果。第六章節是說明本系統的 結論和未來可以發展的情況。本系統主要是對行人做偵測和追蹤，但是如果遇到 相同位置下的汽機車也有偵測和追蹤到，先以汽機車偵測的結果為主要判斷，再 來才判斷行人偵測和追蹤。

第二章 場景介紹和影像前處理

第一節說明拍攝場景，在影像中行人和汽機車會出現的各種情況。第二節為 本論文的整體架構，說明會利用的影像處理程序。第三節是說明影像前處理，把 本論文中所有的影像前處理方法做詳細說明。

2.1 拍攝場景說明

攝影機架設在路口紅綠燈號誌的旁邊位置，架設高度大約在離地面 5 公尺高 的地方，往下拍攝路口有斑馬線的地方。如圖 2-1 所示，拍攝的場景是 T 字形路 口的區域，粉紅色虛線代表可見寬度，紅色虛線區域是偵測區，右邊影像是真實 場景當作對照，主要拍攝場景為斑馬線的區域，在影像左右邊緣有拍攝到路兩旁 的房子。行人和汽機車會出現的情況如下說明： (1) 行人橫向走斑馬線過馬路。 (2) 行人縱向在路旁走過馬路。 (3) 行人等紅綠燈停在偵測範圍中。 (4) 汽機車由上方往下方行駛要往左或往右轉彎。 (5) 汽機車由橫向的馬路轉彎進上方的馬路。 (6) 汽機車等紅綠燈停在偵測範圍中。   圖 2-1 路口場景和攝影機拍攝示意圖

  拍攝區域的路面並不是完全水平，如圖 2-2 所示，在路口中間的路面是水平 的情況，過了斑馬線之後的路面是往下傾斜。因為有傾斜的路面，在影像中看到 的行人和汽機車外觀和移動的狀態就不是每個區域都相同，尤其是縱向移動的情 況，因為傾斜的關係，在影像中的垂直方向的位移量就會比平地還要小，造成行 人偵測和汽機車偵測上的困難度，就必須要更周詳的考慮不同路面造成的影響。 圖 2-2 路口場景側向示意圖

2.2 系統架構

整個流程重點在偵測和追蹤兩個部分，如圖 2-3 所示，為了做出偵測和追蹤， 在流程上必須先做影像前處理的動作，把之後需要的影像資訊先做前處理，之後 做偵測和追蹤時要用資訊就不必重複做。偵測分成兩個重點，一個是做行人偵測 的部分，把單張影像做處理找出可能是行人的位置；另一個是汽機車偵測的部分， 主要是為了區分行人和非行人兩個部分，因為場景中非行人多屬於汽機車，所以 針對汽機車做出偵測的部分。追蹤的部分也分成兩個重點，一個是做行人追蹤， 行人追蹤目的在於把屬於同一個行人的偵測結果連接，順利對畫面中每一個行人 做出移動位置的紀錄；另一個是汽機車追蹤，把汽機車偵測結果做追蹤的處理， 利用追蹤的資訊判斷是否為非行人的物件。汽機車的部分認定是非行人的部分， 所以可以刪除因為汽機車造成的錯誤行人追蹤。行人計數方面就是在行人離開有 效偵測範圍(Region of Interest,ROI)的時候做出計數，計算總共有多少行人進入並 且離開 ROI。 整體流 程開始 影像 前處理 行人 偵測 汽機車 偵測 汽機車 追蹤 行人 追蹤 刪除錯誤 行人追蹤 行人 計數 整體流 程結束 圖 2-3 系統整體流程圖

2.3 影像前處理

如圖 2-4 所示主要使用的兩種影像資訊，利用連續影像做出的移動物件，和 背景影像做出的前景擷取法。本論文兩種方法都有使用，主要使用移動物件的資 訊當作主要偵測資訊，所以針對移動物件的影像結果必須要做其他處理，去除影 像中屬於非移動物件的雜訊，最後再對影像做形體完整性的加強。移動物件的方 法最大的缺點在於停止的物件無法偵測，所以針對這個缺點使用前景資訊來做輔 助資訊，但是背景影像會隨時間變化而改變，必須加入背景更新的機制，而屬於 背景的物件中還必須考慮長時間停留在影像中的物件，背景在路口的情況就會變 的相當複雜，所以把前景擷取的方法當作輔助的影像資訊使用。   圖 2-4 影像前處理流程圖

2.3.1 邊緣萃取

在影像處理中，經常會使用邊緣偵測的方法，邊緣偵測的方法有很多種， Sobel 邊緣偵測為常見的偵測方法，因為此方法不僅速度快，偵測效果也好。通 常物件都有許多邊緣的特徵，不同物件有不同的邊緣特徵，人、汽車和機車的邊 緣特徵也都不相同，如何利用這些不同邊緣的特性就是影像處理的重點。圖 2-5 所示，九宮格代表影像處理中的像素位置，正中間的位置就是代表正在處理的影 像像素，其他八格像素分別和正中間位置有相對應的關係。 圖 2-5 邊緣九宮格示意圖 Sobel 邊緣偵測在本文中只用兩種形式，一種是水平邊緣偵測，另一種是垂                  

直邊緣偵測，如果要取得完整的邊緣偵測就把兩種邊緣偵測結果合併。 利用公式(2-1)就可以得到水平邊緣偵測的方法，把得到的 , 的結果數值， 再做進一步的處理，把水平邊緣結果大於門檻值像素當作是水平邊緣，水平邊緣 結果小於門檻值的像素當作非水平邊緣，就可以得到水平邊緣的二值化影像。用 3x3 九宮格表示就如圖 2-6 所示，把九個像素的灰階值大小各別帶入九個位置的 權重就可以得到水平邊緣的結果。 , 2 2 (2-1) 圖 2-6 水平邊緣九宮格示意圖 和水平邊緣相同，垂直邊緣照著公式(2-2)代入，可以得到 , 的數值結果， 垂直邊緣結果大於門檻值當作是垂直邊緣，垂直邊緣結果小於門檻值當作非垂直 邊緣，利用兩種結果可以得到垂直邊緣的二值化影像。用 3x3 九宮格表示就如圖 2-7 所示，把九個像素的灰階值大小各別帶入九個位置的權重就可以得到垂直邊 緣的結果。 , 2 2 (2-2) 圖 2-7 垂直邊緣九宮格示意圖 圖 2-8(b)展示垂直加水平邊緣偵測的結果，所以抓取的邊緣是整體的邊緣， 路面柏油路雖然在不同區域有不同的灰階值，因為像素和像素間沒有劇烈的灰階 1 2 1 0  0  0  1  2  1  1 0  1  2 0  2  1 0  1 

值差異，所以在路面不存在邊緣特性；路面上畫的圖案就有邊緣的特性存在，尤 其白線邊緣更是明顯；人、汽車和機車的移動物件邊緣特性就很多，在移動物件 和路面之間也存在邊緣，人的穿著和汽機車的外觀也存在著不少邊緣特性；其他 部分，路旁的房子、電線杆、欄杆等等也都有不少的邊緣特徵。 (a)原始圖形 (b)邊緣結果圖形 圖 2-8 垂直加水平邊緣結果

2.3.2 移動物件擷取

利用影片是連續影像組成的特性，把連續影像的圖片資訊保留，只要是移動 的物件，在連續畫面中就會有些微的差異，利用這些差異性就能夠擷取出移動物 件的輪廓。如圖 2-9 所示，每一張代表一個影像，在連續影像就可以組成一段完 整的影片，影片時間由左至右，左邊是過去的影像，右邊是未來的影像，Img(t) 的影像代表正在處理的影像。 圖 2-9 連續影像串列示意圖 Img(t)代表現在正在處理的影像，Img(t-1)代表前一時刻處理的影像，Img(t-2) 代表往前兩時刻處理的影像，其他以此類推。 傳統方法是連續影像的灰階值相減可以得到移動物件，把相減的灰階值差值

設定門檻值，如果高於門檻值就認定是移動物件，低於門檻值則是非移動物件。 因為行人的移動速度相較於汽車來的慢，利用連續影像相減的方法做出的移動物 件容易不明顯，把原本方法加上本文提出的改良方法可以有所改善。 排除連續影像處理，跳過中間的一張影像，把目前的影像和往前兩時刻的影 像的灰階值差距當作主要的移動物件判斷，加上這兩張影像的影像邊緣資訊，利 用公式(2-3)可以得到移動物件，通過判斷式的時候，該像素就屬於移動物件；反 之，該像素就屬於非移動物件。 _, 1 , _{, ,} 2 , , 2 0 , otherwise (2-3) , 是目前影像的灰階值，x 和 y 代表影像座標的水平和垂直位置， , 是把目前的影像做邊緣處理結果， 是灰階值差的門檻值， 設定值 是 10， 是邊緣差值的門檻值， 設定值是 10。 使用傳統的方法不適用於所有的場景，因為行人的位移和方向並不固定，主 要是橫向位移和縱向位移居多，不同的位移產生的移動物件自然不同，經改良之 後可以減少不明顯的移動物件產生，減少往後的影像處理上的困難。 圖 2-10 的上半部是移動物件的圖，白色代表移動物件，黑色代表非移動物 件，使用灰階二值化，把移動物件的灰階值設為 255，不屬於移動物件的部分灰 階值設定成 0，下半部是原始影像，綠色範圍是偵測範圍，紅色範圍是行人計數 範圍。可以看出行人橫向和縱向移動時的移動物件不一樣，橫向移動時行人的左 右位移量大於縱向移動的上下位移量，所以橫向移動的行人移動物件比較完整， 縱向移動的行人移動物件就容易產生破碎的情況。縱向移動的行人還有一個特性， 行人和攝影機距離不同距離下做出的移動物件破碎情況不相同，行人和攝影機距 離遠，產生的移動物件比較破碎；反之，行人和攝影機距離近，產生的移動物件 比較完整。只要原因是兩者之間在影像中顯示的移動量是不一樣的，移動量越大， 移動物件越明顯。

(a)縱向移動的行人 (b)橫向移動的行人 圖 2-10 本文的移動物件結果 圖 2-11 是利用傳統的方法做出的情況，因為使用連續的影像，在行人移動 量小的時候，容易產生移動物件破碎的情況，過於破碎的移動物件無法判定是行 人，造成往後影像處理的困難度大幅上升。尤其是縱向行人在影像中位移量比較 小，容易產生破碎的移動物件。 (a)縱向移動的行人 (b)橫向移動的行人 圖 2-11 傳統移動物件結果 傳統方法和改良過的影像相比，橫向行人在傳統方法可以順利產生移動物件， 改良過的移動物件會比真實的行人還要寬，縱向移動的行人在傳統方式下只剩下 些許的移動物件，改良過的移動物件在縱向行人還可以看出是行人的輪廓。主要 是改善了縱向行人的移動物件破碎的情況，在橫向行人也加強了移動物件的完整 性。

2.3.3 背景收斂與更新

利用影片開始之後的一段時間，做背景擷取的處理。使用背景影像和有行人 的影像相減可以得到前景的資訊，只要不屬於背景的人、汽車和機車都可以利用 此方法得到，不只可以得到移動的物件的資訊，也可以得到停止不動的人、汽車 和機車的資訊。 系統一開始執行時就先收歛背景，取 600 張影像做處理，連續兩張影像的灰 階值差小於門檻值就認定該點屬於背景，列入灰階值的統計，反之就認定是前景， 而不列入統計。累計 100 張以上的灰階值中，取出累計次數最多的灰階值當作背 景的灰階值，如果影像中某點累計次數都小於 100 次，就把第 600 張的點當作是 背景影像。因為灰階值有 256 個，過多的灰階值數目造成背景累計的困難，所以 對 256 個灰階值作降階的動作，降階成 64 個灰階值之後再做背景收斂的動作， 就可以順利做背景累計。降階的詳細說明會在之後的 3.1.3 節說明。 使用背景影像就可以得到前景的資訊，把背景影像和目前的影像做相減，大 於設定的門檻值就屬於前景，低於門檻值就屬於背景。可用公式(2-4)表示，符合 設定的門檻值的時候，該像素就屬於前景物件；反之，該像素就屬於背景的部分。 _, 1 , , , 0 , otherwise (2-4) _, 是背景影像的灰階值，x 和 y 代表影像座標的水平和垂直位置， 是擷 取前景的門檻值， 設定值是 15。 只針對 ROI 範圍做前景擷取，圖 2-12 中白色部分是前景的部分，黑色是背 景的部分，利用前景做出的行人形體比用移動物件的方法完整，也不會受到行人 位移量的影響，只要有正確的背景影像，前景影像是比移動物件的方法好。但是 要隨時有正確的背景影像有相當的困難，隨時間變化，陽光造成的影像亮度差異 就容易產生錯誤，如果只是使用一開始擷取的背景影像並不能夠長時間使用，所 以必須配合背景更新的機制，隨時更新背景的最新資訊，可以解決因為時間不同 下光線變化的影響。

  圖 2-12 前景圖結果 利用背景和目前影像的灰階值差，每 30 張影像做一次判斷，只要灰階值差 大於門檻值就判定要做背景更新，目前影像的灰階值大於背景灰階值，把背景該 點的灰階值加一；目前影像的灰階值小於背景灰階值，把背景該點的灰階值減一。 是一秒的時間更新一次灰階值，更新灰階值一個灰階，所以要從灰階值 0 到 255 的話，物件停留時間必須要超過四分鐘的時間才能更新完成，短時間停留的物件 雖然也會影響到背景更新，但是因為影響的灰階值可能約 1~5 個灰階值，對於前 景擷取並不會產生大問題。根據公式(2-5)， 的門檻值設定值是 10，目前影像 比背景圖大且超過門檻值的時候，執行背景更新灰階值加一的動作；目前影像比 背景圖小且低於門檻值的時候，執行背景更新灰階值減一的動作；其他在門檻值 設定之內時，不需要背景更新，所以背景的灰階值不做任何改變。 每 30 張影像做 次 景更一 背 新判斷： _, 1 , 1 , , , , 1 , , , , , otherwise (2-5) 前景擷取和移動物件兩種方法各有優缺點，因為實驗場景是路口關係，經常 會有人、汽車和機車停止在 ROI 中，雖然有背景更新的方法在，當等紅綠燈的 時間超過三十秒以上，背景更新後的灰階值就可能產生三十個灰階值的差異，當 停止的前景物件離開之後，必須要有相同時間才能夠恢復正確的背景灰階值，在 此時間影像中就會產生錯誤的前景，這錯誤的前景就是因為停留時間過久造成的 影響。因此本論文以移動物件的方法當作主軸，再以前景擷取的方法當輔助，專 門處理移動物件停止時的情況。

2.3.4 雜訊濾除

影像中不可避免的，或多或少都會存在雜訊，如何把雜訊濾除掉，且不會影 響到目標影像的完整性，就是本節要考慮的重點。要去雜訊的影像就是移動物件 擷取後的影像，保留人、汽車和機車的移動物件形體，去除零星的雜訊。圖 2-13 的九宮格代表雜訊濾除所用的九個像素關係，主要判斷是否為雜訊的像素是正中 央的位置。             圖 2-13 濾波器九宮格示意圖 , 代表濾波器九宮格的位置，x 和 y 代表影像座標的水平和垂直位置， 是 濾波器的門檻值。 如公式(2-6)所示，用 3x3 九宮格的濾波器對所得到的二值化影像做整體的掃 描，只要 , 屬於移動物件就做出累計的動作，累計次數由 0 到 9 次，而濾波器 的門檻值設定在 2 次，如果存在少於門檻值的移動物件累計數目就認定此點為雜 訊。反之，如果九宮格中存在高於門檻值的移動物件累計數目就認定此點不是雜 訊。屬於雜訊的點必須要刪除，屬於非雜訊的點就進行保留，就可以達到去雜訊 的動作。 , 1 , ∑ ∑ , 0 , otherwise (2-6) 可以從圖 2-14(a)中明顯看到在沒有移動物件的地方會有一點一點的雜訊存 在，只要這些雜訊過多就可能影響到往後的影像處理，做去雜訊的動作之後，由 圖 2-14(b)中可以看見在沒移動物件的地方雜訊都被去除，雖然移動物件的外觀 也有些許的變化，但是這些變化並不會影響到往後所要做的影像處理，所以雜訊 的濾除是相當成功且有效果的。 , ,   , ,   ,   ,   , ,   ,

  (a)去除雜訊前 (b)去除雜訊後 圖 2-14 是否去雜訊圖的比較

2.3.5 影像強化

利用移動物件的方法做出的影像的物件型態大多會產生破碎的情況，破碎的 外觀有可能造成移動物件的某個部分不清楚，為了要保留移動物件的完整性就必 須做加強的動作。如圖 2-15 所示，整體影像分成 2x2 四個像素為一組的區塊去 處理，320x240 的影像像素就可以拆分成 160x120 個區塊。 圖 2-15 影像強化四宮格示意圖 , 代表影像強化四宮格的位置，x 和 y 代表影像座標的水平和垂直位置，影 像強化的門檻值設定值是 0。 影像原本是用一個像素去做處理，加強方法就是對 2x2 的四個像素的方格去 做處理，因為一次使用四個像素去處理，和原本對每個像素的處理不相同，只需 要四分之ㄧ的計算次數就可以完成。在 2x2 的四個像素中，只要四個像素中其中 一個像素屬於移動物件，就要做影像加強的動作，加強方法就是把四個像素都當 成是移動物件；反之，四個像素中沒有一個像素屬於移動物件的話，就不對這四 個像素做處理。在公式(2-7)中，通過判斷式時候，就是要做影像加強的動作；反 之，就不必做影像加強的動作。經過加強後可得到圖 2-16。 ,   ,   ,   ,

, 1 , ∑ ∑ , 0 0 , otherwise (2-7) 圖 2-16 移動物件強化的結果 圖 2-16 中可以看到行人的移動輪廓破碎的情況減少，並可以把行人的移動 輪廓外觀保留，對之後的影像處理使用行人的整體外觀輪廓有幫助。    

第三章 行人偵測與汽機車偵測

偵測分成兩個部份處理，一種是行人偵測的部份，把行人偵測分成三種方法 來討論，使用外型輪廓、行人群的關係與頭髮灰階值的特徵來偵測。另一種是汽 機車偵測，主要是用汽機車底部陰影資訊當作偵測的特徵，汽機車底部陰影連續 性可用來區分行人和汽機車。

3.1 行人偵測

如圖 3-1 所示，先做連通物件的動作，把移動物件之間做連通標記，把可能 是同一移動物件的像素相連，再把移動物件群組化，之後只針對連通物件後的區 域做偵測，且連通物件是採用矩形的形狀標記物件的影像座標位置。行人偵測共 分成三個方法：第一個方法是使用行人頭部偵測，利用行人頭部的輪廓特性，配 合邊緣的資訊來處理；第二個方法是大型的移動物件群的分割，當多位行人走的 非常靠近，連通物件亦將這群人框在一起，配合行人的高度和寬度來分割，把可 能屬於行人大小的區域分割出來，再進一步做分析；第三個方法是利用頭髮灰階 值資訊，配合行人的高度做出的行人偵測。針對連通物件後的區域做行人偵測， 把三種行人偵測結果放一起，檢查偵測區域的移動物件像素數目是否足夠，當作 行人的錯誤判斷，再把錯誤的行人偵測刪除，剩下的行人偵測結果做正規化，有 利於追蹤時行人比對的動作。 圖 3-1 行人偵測流程圖

如圖 3-2 所示，分別記住矩形四角的影像座標，左下角是 , 、右下角是 , 、左上角是 , 、右上角是 , ， 和 代表影像的水平位置， 和 代表影像的垂直位置 , ，代表長方形物件的中心座標。圖 3-3 是連通物件 的結果圖，行人週遭的紅色方框是連通結果，有連通物件的座標，可以把連通物 件的結果給框選出來，因為四個人位置相鄰，連通物件結果將四個人的框選在一 起。 圖 3-2 框選範圍示意圖 圖 3-3 連通物件的結果

3.1.1 行人頭部偵測

使用頭部特徵，不管是橫向行人或縱向行人的頭部輪廓特徵都不會有太大的 差異性。根據圖 3-4 的流程圖，第一步驟就是要先知道移動物件的輪廓，對移動 物件做角偵測，利用角偵測的結果去判斷移動物件的輪廓大概的情況，再配合頭 部區域有足夠的移動物件數量，就可以做出行人頭部偵測。   圖 3-4 頭部偵測流程圖 頭部偵測的重點，主要是移動物件的輪廓，因為行人的頭部在移動物件的輪 廓會呈現一個凸字形的外觀，所以偵測移動物件的輪廓是否有凸出的特性成為頭

部偵測的重點。利用移動物件的角偵測，可以抓取到移動物件的四種邊角，分別 是左上角、右上角、左下角、右下角的四種角落。 利用圖 3-5 四種 3x3 的九宮格去對移動物件的影像做掃描，九宮格中的物件 代表該像素屬於移動物件，九宮格中的非物件代表該像素屬於非移動物件，完全 符合九宮格分布的移動物件區域，才把這些像素當成是角偵測的結果。圖 3-6 是 角偵測的結果，黑色像素代表非移動物件，白色像素代表移動物件，紅色像素代 表角偵測結果。 非物件 非物件 非物件 物件 物件 非物件 物件 物件 非物件 非物件 非物件 非物件 非物件 物件 物件 非物件 物件 物件 (a)角偵測左上角九宮格 (b)角偵測右上角九宮格 物件 物件 非物件 物件 物件 非物件 非物件 非物件 非物件 非物件 物件 物件 非物件 物件 物件 非物件 非物件 非物件 (c)角偵測左下角九宮格 (d)角偵測右下角九宮格 圖 3-5 角偵測九宮格示意圖 圖 3-6 四種角偵測示意圖 在圖 3-7 行人的移動物件最外圍的輪廓呈現有稜有角的特性，還有存在不少 直線的邊緣，所以角偵測結果可以看到移動物件的周圍存在很多角點，紅色像素 代表角點，可以用不同的角點來對移動物件做分析。以行人的移動物件來說，存 在最多角點的地方在頭部、手部和腳部區塊，手部和腳部產生角點的變化程度大，

不利判斷。比較縱向和橫向的行人的角點位置，可以發現頭部區的角點不管是縱 向行人還是橫向行人都是呈現凸字型的輪廓。利用頭部偵測就可以同時偵測橫向 行人和縱向行人。 (a)縱向行人結果 (b)橫向行人結果 圖 3-7 角偵測結果圖 有角偵測結果，利用左上角和右上角的兩個角點當作特徵點，因為行人頭部 在影像中是朝向上方，使用左上角和右上角的兩個點就可得知是否為凸字型輪廓， 且左上角點跟右上角點之間的水平距離必須合乎行人頭部寬度的距離。把符合行 人頭部輪廓的區域做邊緣和移動物件數目的統計，如果抓到的區域中邊緣和移動 物件的數目多於門檻值就認定是頭部區域，並記錄這個區域的影像位置。 圖 3-8 中，頭部位置的紅色方框代表偵測結果，相鄰的四人中有三人利用行 人頭部偵測的方法偵測出正確位置，沒有偵測成功的主要原因在行人群有發生重 疊和互相遮蔽的情況，發生頭部輪廓被上方行人遮蔽的情況，被擋住時行人頭部 偵測無法成功的偵測。 圖 3-8 頭部偵測結果

3.1.2 行人群分割偵測

沒有相連重疊的人群和有重疊的人群偵測方法不同，沒有相連的行人用行人 頭部偵測就可以成功偵測出，把行人群做分割可以把剩下的相連重疊行人偵測出 來。如圖 3-9 所示，使用方法是把行人群中非移動物件的區塊當作分割邊界，把 非移動物件的區塊和整個行人群的四個邊界(上邊界、下邊界、左邊界、右邊界) 之間的距離做比對，把產生的間距高度和行人高度比對，寬度也是相同比對，把 符合門檻值的高度和寬度當作可以分割的單一行人，最後再做一次分割上的確認， 判斷分割區域中存在的移動物件數目是否足夠，把移動物件數目不夠的錯誤分割 的區域刪除。 圖 3-9 行人群分割偵測流程圖 抓到的行人區域中會存在著不少非移動物件區塊的地方，第一步就是要把這 些非移動物件區域抓取出來，只針對行人群的四個邊角做抓取非移動物件區塊的 動作，分別是左上角、右上角、左下角、右下角四個角落，把四個角落屬於非移 動物件區塊用矩形的方式抓取出來。在圖 3-10 中，可以看見黑色方框是非移動 物件區域，總共有八個黑色方框。 圖 3-10 四個角落非移動物件區域結果

為了快速知道不同影像水平位置和行人高度與寬度的關係，統計行人在每個 水平位置會產生的高度和寬度，再做平均值的動作，就有不同水平位置下行人高 度和寬度的關係表，之後利用查表的方法就可以快速轉換。 圖 3-11 所示，圖左邊的紅色方框 C 代表移動物件區域的框選範圍，四個黑 色方框TL、TR、BL 與 BR 代表非移動物件區域。每個矩形有四種邊界，以左上 方框(TL)為例，上邊界為 ，下邊界為 ，左邊界為 ，右邊界為 。 圖 3-11 移動物件和非移動物件區域示意圖 紀錄各種座標位置後，利用移動物件和非移動物件區域座標產生的水平間距 和垂直間距做行人分割的判斷，以下介紹可能出現的行人群重疊狀況和行人群分 割的情況，本論文提出分割 10 種行人群的分割方法： 是行人高度，使用前一段的查表法得到的動態行人高度。ε是誤差範圍的 門檻值， 設定為 5。 第一種和第二種行人分割如圖 3-12 示意，可以分割的情況做說明，圖中的 人由左到右，配合公式(3-1)到(3-4)，把符合行人高度門檻值之內的區域，認定是 可以分割的行人；反之，就不進行分割動作。 1,_0,otherwise (3-1) 1, (3-2) 0, otherwise 1,_{0, otherwise} (3-3) 1,_{0, otherwise} (3-4)

圖 3-12 行人群分割方法 1 和 2 示意圖 是行人寬度，使用前一段的查表法得到的動態行人寬度。 是誤差範圍的 門檻值， 設定為 3。 第三種和第四種行人群分割如圖 3-13 示意，圖中的人由左到右，配合公式 (3-5)到(3-8)，將符合行人寬度門檻值之內的區域，認定是可以分割的行人；反之， 就不進行分割動作。 1,_{0, otherwise} (3-5) 1,_{0, otherwise} (3-6) 1,_{0, otherwise} (3-7) 1,_{0, otherwise} (3-8) 圖 3-13 行人群分割方法 3 和 4 示意圖 1,_{0, otherwise} (3-9) 第五和六種行人群分割方法如圖 3-14 示意，把最左邊的行人分割，配合公 式(3-9)；最右邊的行人分割，配合公式(3-10)，將符合行人高度門檻值之內的區 域，認定是可以分割的行人；反之，就不進行分割動作。

1,_{0, otherwise} (3-10) 圖 3-14 行人群分割方法 5 和 6 示意圖 第七和八種行人群分割方法如圖 3-15 示意，左邊行人群中的上方行人，配 合公式(3-11)；右邊行人群中的上方行人，配合公式(3-12)，將符合行人寬度門檻 值之內的區域，認定是可以分割的行人；反之，就不進行分割動作。 1,_{0, otherwise} (3-11) 1,_{0, otherwise} (3-12) 圖 3-15 行人群分割方法 7 和 8 示意圖 第九和十種行人群分割方法如圖 3-16 示意，在公式(3-13)中，左邊行人群中 的TL 高度大於行人高度一半，可以把 TL 右邊的行人做分割；在公式(3-14)中， 左邊行人群中的BR 高度大於行人高度一半，可以把 BR 左邊行人做分割；同理， 右邊行人群也是相同情況，配合公式(3-15)與(3-16)。 1, ⁄2 (3-13) 0, otherwise 1, ⁄2 0, otherwise (3-14)

1,_{0, otherwise} ⁄2 (3-15) 1,_{0, otherwise} ⁄2 (3-16) 圖 3-16 行人群分割方法 9 和 10 示意圖 圖 3-17 中四個行人的行人群中，利用行人群分割的方法可以分割出兩個行 人，綠色方框為分割結果，最左邊的行人因為縱向移動和位置在 ROI 上方，導 致行人的移動物件數目不明顯，左上角的非移動物件區塊TL 抓取範圍延伸到右 上角行人的旁邊，右上角的行人可以利用行人群分割條件(3-6)來做分割處理。左 邊數來第二個行人成功是依靠左下角的非移動物件區塊 BL，行人群分割條件 (3-15)來做分割處理。 圖 3-18 中行人群分割結果有三個行人成功分割，左下角的行人用 TL，使用 行人群分割條件(3-1)成功分割。左上角的行人和 TL 相鄰，利用行人群分割條件 (3-13)成功分割。右下角的行人則是和 BR 相連接，用行人群分割條件(3-14)成功 分割。 圖 3-17 行人群分割結果一 圖 3-18 行人群分割結果二

3.1.3 行人頭髮灰階值偵測

第三種行人偵測方法是利用行人頭髮灰階值的資訊做偵測，如流程圖 3-19 所示，降階之後統計行人頭髮灰階值最常出現的數值，針對這些灰階值範圍做物 件連通物件的動作，搜尋頭髮灰階值的區域，再把這些區塊符合頭部的寬度和高 度資訊加入，寬度和高度在門檻值之外的錯誤資訊刪除，接著利用行人的高度去 做比對，適合行人高度的頭髮區塊就認定是偵測結果，用頭髮區域把正確的行人 位置框選出來。 圖 3-19 頭髮灰階偵測流程圖 影像原始的灰階值有 256 個，為灰階值 0 到 255，把 256 個灰階值降階成所 需要的 16 階。圖 3-20(a)中為灰階值 0 到灰階值 255 的情況，圖 3-20(b)可以發現 由左至右有漸層的變化，總共分成 16 個灰階值，由左至右的灰階值為 0、16、 32、48、64、80、96、112、128、144、160、176、192、208、224 與 240。降階 後的灰階值 0 包含原本的未降階的灰階值範圍 0 到 15；降階後的灰階值 16 包含 原本未降階的灰階值範圍 16 到 31；之後以此類推。 (a)由左至右的灰階值為 0 到 255 (b)256 個灰階值降階成 16 個灰階值 圖 3-20 灰階值降階前後示意圖 首先要知道的行人頭髮灰階值落在降階成 16 階的哪幾種灰階值，經過長時 間統計，得到頭髮灰階值落在灰階值 16、32、48、64、80 五種灰階值。圖 3-21

中分成兩種灰階值狀態說明，上半部為灰階值 0 到 255，下半部為灰階值降階為 16 階，箭頭所指的範圍代表頭髮灰階值設定的範圍。 圖 3-21 頭髮灰階值範圍 圖 3-22 中有四個人的頭髮區域在 ROI 範圍中，使用頭髮擷取的結果有兩個 成功抓取，頭髮位置的小紅色方框為擷取結果，最左邊的行人因為頭的方向和攝 影機拍攝方向相反，影像中頭髮區域範圍比較小，造成不能成功的做出頭髮區域 擷取。最下面的行人，因為行人的穿著影響到頭髮擷取，衣服的灰階值和頭髮灰 階值相似，會認定頭髮和衣服是屬於同一種灰階物件，框選出的範圍就會過大， 錯誤的範圍就會被刪除。圖 3-23 中有三個行人頭髮被框選，最右邊的行人是女 性，頭髮擷取的結果並不是包含住整個頭髮區域，主要是整個頭髮灰階值並不相 同，不同區域的頭髮在光線影響下有不同的灰階值。因為擷取的範圍合乎設定高 度和寬度，還是成功的擷取頭髮區域。 圖 3-22 頭髮偵測結果一 圖 3-23 頭髮偵測結果二 有行人的頭髮資訊，配合行人高度做行人偵測，利用 3.1.2 節的行人群的移 動物件區域和非移動物件區域的資訊，分成四種符合行人高度的條件：

δ 是動態行人高度，ε是高度誤差範圍的門檻值，ε設定為 5。HT 是抓取到 行人頭髮區域的上邊界。圖 3-24 是單一行人的情況，配合公式(3-17)，符合行人 高度範圍就認定是正確的行人頭髮區域。圖 3-25 是多人的情況，配合公式(3-17)， 下方行人頭髮區域的上邊界，和底部高度有符合行人高度範圍就認定是正確的行 人頭髮區域。圖 3-26 配合公式(3-18)，因為有 BL 的存在，利用 BL 上邊界到頭 髮上邊界的高度，符合行人高度範圍就認定是正確行人頭髮區域。同理，圖 3-27 配合公式(3-19)也有相同結果。 1,_{0, otherwise} (3-17) 1,_{0, otherwise} (3-18) 1,_{0, otherwise} (3-19) 圖 3-24 行人頭髮和行人高度示意圖(1) 圖 3-25 行人頭髮和行人高度示意圖(2) 圖 3-26 行人頭髮和行人高度示意圖(3) 圖 3-27 行人頭髮和行人高度示意圖(4) 圖 3-28 中，綠色方框是行人擷取的位置。上面兩個人沒有抓取到頭髮區域， 所以沒有成功把行人擷取。下面兩個人都是利用行人高度判斷公式(3-17)，行人 擷取的位置會隨著頭髮位置改變，如果頭髮有偏移的狀況，擷取位置也會偏移。 因為頭髮灰階值不穩定，抓取行人效果情況有限制，所以頭髮偵測使用上屬於輔

助性質，並不會當成主要的偵測方法。 圖 3-28 頭髮偵測結果

3.1.4 行人偵測結果

圖 3-29 中，四人有發生重疊的現象，左下角、左上角、右上角的三個行人 用行人頭部偵測成功抓取，右下角的行人因為頭部輪廓被左上角的行人部分遮蔽， 所以使用行人頭部偵測無法抓取右下角行人。而行人群分割偵測把右下角的行人 分割出來，用行人群分割方法(3-14)把行人正確位置框選出。圖 3-30 中，左上角 的行人可以利用行人頭部偵測的方法成功抓取。左下角和右下角的行人因為頭部 的移動物件輪廓和上方兩個行人重疊，無法利用行人頭部偵測擷取。下方兩人行 走是向上的情況，頭髮的形狀比較完整，利用頭髮灰階值偵測也比較容易成功。 右上角的行人沒有成功偵測出，原因在行人縱向行走的垂直位移量少，導致移動 物件不明顯，行人偵測無法成功擷取，但是由於前面有偵測到，所以此時還是可 用下面章節介紹的追蹤來預測其位置。 圖 3-29 行人偵測結果一 圖 3-30 行人偵測結果二

3.2 汽機車偵測

汽機車在路口會有轉彎的情況，影像中可以看到不同角度下的汽機車外觀。 圖 3-31(a)為機車縱向行走的外觀，上半部的外觀和行人外觀相同，下半部的外 觀是機車的部分，整體的寬度和高度和單一行人的寬度和高度相似。圖 3-31(b) 為機車側面的外觀，上半部的外觀和行人相同，下半部的外觀是機車的側面，整 體的寬度和高度都大於單一行人的寬度和高度。 (a)機車為正向的情況 (b)機車往右下方向行駛的情況 圖 3-31 機車行駛圖 圖 3-32(a)的汽車是正向的情況，可以看見車頭的外型，車身部分只能隱約 看到一部分。圖 3-32(b)是汽車往右上行駛的情況，車體側面會呈現在影像中， 斜向汽車寬度比正向汽車的寬度大，斜向汽車高度也會比正像汽車高度大。同一 輛車轉彎時外觀會不斷改變，寬度和高度都會逐漸變大或變小。 (a)汽車正向的情況 (b)汽車往右上行駛的情況 圖 3-32 汽車行駛圖 如流程圖 3-33 所示，汽機車存在底部陰影的特性，底部陰影寬度能夠知道 移動物件是否為汽機車，汽機車底部陰影有連續分布的特性，把同一輛汽機車的 陰影相連起來，再把陰影分類，不同種類的汽機車會有不同的陰影分布。汽機車

的陰影和行人不同，行人陰影是比較破碎的情況，把錯誤的陰影刪除之後，使用 陰影的範圍配合移動物件資訊將汽機車範圍框選出來。 汽機車偵 測開始 擷取底部 陰影 連接相鄰 陰影 分類不同 陰影 是否為 汽機車? 擷取汽 機車 刪除錯誤 陰影 汽機車偵 測結束 否 是 圖 3-33 汽機車偵測流程圖

3.2.1 汽機車底部陰影擷取

主要利用影像灰階值當作判斷，對各種汽機車的底部陰影做統計，取出適當 的灰階值範圍當作底部陰影的灰階值範圍。影像中可以知道陰影具有垂直方向的 連續性，如圖 3-34 所示，由下方往上方累計車底陰影，陰影垂直數目累計大於 門檻值，就擷取底部陰影水平位置最低的座標。 圖 3-34 陰影累積示意圖 圖 3-35 為汽機車底部陰影的結果，圖的上半部是陰影擷取結果，陰影的形 狀接近水平的直線，陰影在水平方向上有連續相鄰的關係，正向汽車的底部陰影 會和車頭底部平行。右邊行人也有陰影，因為人的陰影不明顯，容易呈現不規則 形狀，陰影的連續性不易產生，行人擷取到的陰影範圍會很小，可以清楚分辨是 否為汽機車的情況。

圖 3-35 汽車底部陰影結果

3.2.2 連接相鄰汽機車底部陰影

陰影具有相鄰的特性，把同一汽機車陰影的像素連接起來。如圖 3-36 所示， 以左邊像素為基準點，往右三個像素和上下方各三個像素範圍，當作相鄰陰影的 條件，圖中點(2,5)位置為陰影像素，往右、上與下延伸三個像素的範圍就是相鄰 條件，紅色範圍有陰影出現就認定是相鄰的陰影。 圖 3-36 相鄰像素示意圖   圖 3-37 中，黑色的像素代表陰影區域，白色像素代表非陰影區域，每個陰 影像素的相鄰位置都符合門檻值之內，高度和寬度差距都在一個像素高，所以陰 影的範圍就是圖中 8 個陰影的範圍，陰影的整個範圍是水平位置 1~8，垂直位置 在 2~3 之間的範圍，總共包含了 16 像素的範圍。 圖 3-37 陰影分布示意圖一

圖 3-38 為另一種汽機車的水平陰影，中央有斷開，但是分布範圍接近，水 平位置 1 到 3 的三個陰影屬於連續陰影，水平位置 5 到 8 的四個陰影屬於連續陰 影。比較(3,2)的陰影和(5,4)的陰影相鄰關係，兩個陰影水平和垂直差距為 2 個像 素寬，所以圖中為 7 個連續陰影，垂直範圍在 2 到 5 之間，水平範圍是 1 到 8 之 間。 圖 3-38 陰影分布示意圖二 圖 3-39 中，水平位置 1 到 3 的三個陰影為連續陰影，水平位置 4 到 8 的五 個陰影為連續陰影。比較(3,2)和(4,6)的陰影連續性關係，兩個陰影的垂直間距是 四個像素高，所以兩個像素不屬於連續陰影。圖有兩個連續陰影區域，左邊的陰 影範圍是水平位置 1 到 3 之間，垂直位置是 1 到 2 之間；右邊的陰影的範圍是水 平位置 4 到 8 之間，垂直位置是 5 到 6 之間。 圖 3-39 陰影分布示意圖三 圖 3-40 則是陰影連續的示意圖，影像上半部是陰影的結果，使用陰影連續 性的判斷之後，下半部綠色小方框就是陰影的範圍，陰影範圍存在於車頭底部。 右邊的行人也存在著陰影，行人陰影的分布情況有高有低，連續陰影的判斷結果 是由數個連續陰影組成，可以判斷此行人造成的陰影不屬於汽機車的陰影。

圖 3-41 中，車頭部分造成的陰影，加上車身底部的陰影，陰影連續性的判 斷結果是紅色小方框的範圍。因為汽車後輪胎的地方陰影不明顯，陰影框選的寬 度大小比原始汽車的寬度小。有汽機車底部陰影資訊之後，配合移動物件的資訊， 可以把真實汽機車的範圍框選出來。 圖 3-40 汽車底部陰影結果一 圖 3-41 汽車底部陰影結果二

3.2.3 汽機車偵測結果

圖 3-42 中，上半部是連續陰影的框選，下半部是偵測結果，偵測結果的範 圍是用移動物件的範圍框選，框選的範圍包含整輛汽車的大小。陰影和移動物件 的寬度差在設定的門檻值之內，移動物件的高度也再合理的範圍中，就認定移動 物件的範圍剛好是一輛汽車。 圖 3-43 是側向汽車的汽機車偵測結果，偵測結果的寬度比實際寬度大，高 度比實際高度小。汽機車的速度快，造成汽機車的移動物件寬度和高度都比實際 汽機車的寬度和高度還大。如果寬度差距在門檻值之內，把移動物件的寬度當作 偵測結果的寬度；反之，陰影的寬度當作偵測結果的寬度。汽機車的高度就依據 移動物件的高度來判斷。 圖 3-42 汽機車偵測結果一 圖 3-43 汽機車偵測結果二

第四章 行人追蹤與汽機車追蹤

本章節要利用追蹤的步驟把連續畫面中行人和汽機車偵測結果做連結，在第 一節中將同一個行人資訊做追蹤串連，可以得到追蹤的起始位置、目前的位置、 追蹤的行人的速度和追蹤的移動方向等追蹤資訊，利用這些追蹤資訊可以知道行 人群的互動情況，使用這些互相關係可以更有效率的達到正確的追蹤結果。第二 節介紹汽機車追蹤的方法，汽機車因為形體與特徵不同於行人，因此所用的追蹤 方法與參數和行人追蹤不同，此部分將於第二節詳述。

4.1 行人追蹤

圖 4-1 是行人追蹤的整個流程圖，把行人偵測結果相鄰的行人做初步追蹤， 之後將已有的追蹤行人做行人交錯的判定。行人追蹤比對是行人追蹤上重要的步 驟，因為行人重疊和交錯程度比汽機車重疊嚴重，必須依靠行人追蹤比對判斷是 否追蹤同一人，比對失敗時只能使用追蹤預測來判斷下一時刻的位置。如果發生 行人交錯或者重疊的情況，因為容易發生追蹤誤差，要做補償的動作避免錯誤。 行人停止不動的情況，移動物件數目減少且該區域的前景數目足夠時，做行人追 蹤比對，如果比對結果符合同一人，就是停止行人的情況；反之，就繼續追蹤流 程。最後判斷追蹤是否終結，由追蹤正確性和是否在 ROI 內做判斷。 圖 4-1 行人追蹤流程圖

4.1.1 行人偵測結果做追蹤更新

圖 4-2 所示，行人 A 是目前的行人偵測結果資訊， 是偵測結果中心點水 平位置， 是垂直位置；同理，行人 B 是前一時刻行人偵測結果。用公式(4-1) 與(4-2)得中心點水平距離 和垂直距離 的資訊做追蹤判斷。 圖 4 4-1) -2 連續兩張影像行人偵測結果關係圖 | | ( | | (4-2) 公式(4-1)和(4-2)， 和 設定門檻值判斷是否為同一個人，如果符合 門檻值就認定追蹤成功；反之，表示行人 A 的偵測結果和行人 B 不是同一人的 情況。如果是停止行人的情況，理論上 和 應該都是 0 的情況，但是停 止行人不會造成移動物件，導致停止行人沒有行人偵測結果可以使用，會進入追 蹤預測的階段。

4.1.2 點對點比對法

在新的追蹤位置做更新前，必須要有一個確認追蹤正確性的機制存在，使用 追蹤比對來判斷是否追蹤同一個行人，如果追蹤比對符合，就認定是追蹤位置是 正確的，可以做追蹤位置更新；反之，不符合追蹤比對就要進入追蹤預測。追蹤 的行人範圍內所有像素的紅、綠和藍(RGB)三種色彩值，比對兩個區域中 RGB 三種色彩差值的總和值，差異越小就越相似。行人的上衣花樣性多，只使用灰階

值 0 到 255 去做行人比對，不同顏色的衣服可能會有相同的灰階值，辨識程度就 會小。用 RGB 三種色彩資訊做判斷，增加衣服色彩的辨識能力，尤其是衣服色 彩是偏向紅色、綠色或藍色其中一種時，色彩資訊的辨識度就更能發揮功能。 , 、 , 和 , 是將要比對的行人座標位置(x,y)，各代表紅色、綠色與 藍色三種顏色的色彩值。同理， _, 、 _, 和 _, 是原本追蹤成功行人的顏 色資訊。 、 和 是在影像座標位置(x,y)，點對點顏色比對差值。 是點對點 顏色比對差值總和。m 是行人寬度 10 個像素，n 是行人高度 25 像素。 根據式子(4-3)~(4-5)，各代表紅、綠與藍三種顏色的差異值，利用之前追蹤 成功的行人資訊當作比對標準，累計框選的行人範圍內三種顏色差異值。如圖 4-3 所示，把追蹤成功的人和要比對的行人，由左到右 m 從 1 到 10 的順序，由 上到下 n 從 1 到 25 的順序，做顏色差值的比對，總共有 250 個像素做比對。公 式(4-6)的 大小關係到行人比對的相似程度， 的結果越小代表行人相似度越大； 反之，行人相似度就越大。對 的結果設定門檻值，小於門檻值就認定行人點對 點比對成功，新位置的行人和原本追蹤的行人屬於同一個行人；反之，新位置的 行人和原本追蹤的行人是不同的行人。 ∑ ∑ _{, ,} (4-3) ∑ ∑ _{, ,} (4-4) ∑ ∑ _{, ,} (4-5) (4-6) 圖 4-3 點對點比對示意圖

4.1.3 統計比對法

如果追蹤位置不夠準確時，點對點比對法的結果容易不符合門檻值，所以必 須有另一種追蹤比對來配合，直方圖統計比對會考慮範圍內所有像素的影響，追 蹤位置偏差不多，還是可以比對成功。原本的直方圖統計是用 256 個灰階值做比 較，因為 256 個灰階值太多，把 256 個灰階值降階成 64 個灰階值再做比對，可 以增加效率。行人比對是範圍內所有像素都做直方圖的統計，統計總數是固定的。 兩個直方圖的統計數目差越多就越不相似。 DImg 是降階後的影像，k 和 l 代表降階成 64 個灰階值，x,y 是行人座標位置。 和 是直方圖累計結果。行人框選範圍，寬度 10 個像素，高度 25 個像 素，總共有 250 個像素。 是直方圖比較結果。 利用公式(4-7)把 DImg 降階影像的灰階值，套入式子(4-8)和(4-9)中，如果符 合設定值，做直方圖累計加一；反之，不做直方圖的累計。在式子(4-10)，可以 看出 的結果範圍在 1 到 0 之間，影響結果最大的因素，在降階後的灰階值累 計數目的比較。灰階值累計數目差距越小， 的分母和分子兩個數值就越接近， 表示行人比對越相似， 的結果就越接近 1；反之，形成分母遠大於分子的情 況， 的結果就會接近 0。 在設定的門檻值 0.7 以上時，追蹤比對成功，表 示判斷為同一行人；反之，追蹤比對失敗。 , , 1 64 (4-7) _,1 , if _otherwise (4-8) _ot1 , if _{, herwise} (4-9) _∑∑ , , (4-10) 圖 4-4 所示，行人 A 和行人 B 是同一個行人在不同時間的直方圖統計，因 為行人移動造成行人後面背景改變、行人動作也不相同或陽光強度不一，就會造 成直方圖統計不相同。行人 A 和行人 B 的統計圖形有很大的相似度，在水平座 標是 20 到 25 之間的變化趨勢都是產生巨大的波，波峰和波谷的數值都差不多。 兩者的值方圖統計值差距小，比對結果在門檻值內。

0 5 10 15 20 25 30 1 4 7 10131619222528313437404346495255586164 累計數目 灰階值 A B 圖 4-4 直方圖比較結果(a) 如圖 4-5 所示，行人 A 和行人 C 是不同人的直方圖統計比較。行人的身高 不同、行走時身體動作不同、身體皮膚顏色不同或穿著打扮不同，兩個人的直方 圖統計不易相似。圖中水平灰階在 20 到 25 之間，行人 A 的統計量高達 27 個， 但是行人 C 的統計量遠低於 27 個，只有在 14 個以下，而且波峰和波谷的位置 沒有在同一個水平位置上，使兩者的差異度變大。 0 5 10 15 20 25 30 1 4 7 10131619222528313437404346495255586164 累計數目 灰階值 A C 圖 4-5 直方圖比較結果(b) 通過式子(4-10)計算，計算圖 4-4 和圖 4-5 的結果，行人 A 與行人 B 經過計 算，分子數目是 210，分母是 290， 的結果是 0.724；行人 A 與行人 C 經過計 算， 分子是 151，分母是 349， 的結果是 0.432，行人 A 與 B 高於門檻值， 是相似的行人；行人 A 和 C 低於門檻值，所以不是相似行人。