第一章 緒論
1.3 論文架構
本論文分成六個章節討論。第一章節是緒論，說明研究動機、相關研究和論 文架構。第二章節主要是實驗場景的說明，整個系統的架構說明和影像前處理。
第三章節是做物件偵測，分成行人偵測和汽機車偵測兩種。而第四章節是做物件 追蹤，把之前兩種偵測結果進行行人追蹤和汽機車追蹤，追蹤結果可以做行人計 數。第五章節是實驗結果，分析和討論行人計數結果。第六章節是說明本系統的 結論和未來可以發展的情況。本系統主要是對行人做偵測和追蹤，但是如果遇到 相同位置下的汽機車也有偵測和追蹤到，先以汽機車偵測的結果為主要判斷，再 來才判斷行人偵測和追蹤。
第二章 場景介紹和影像前處理
第一節說明拍攝場景，在影像中行人和汽機車會出現的各種情況。第二節為 本論文的整體架構，說明會利用的影像處理程序。第三節是說明影像前處理，把 本論文中所有的影像前處理方法做詳細說明。
2.1 拍攝場景說明
攝影機架設在路口紅綠燈號誌的旁邊位置，架設高度大約在離地面 5 公尺高 的地方，往下拍攝路口有斑馬線的地方。如圖 2-1 所示，拍攝的場景是 T 字形路 口的區域，粉紅色虛線代表可見寬度，紅色虛線區域是偵測區，右邊影像是真實 場景當作對照，主要拍攝場景為斑馬線的區域，在影像左右邊緣有拍攝到路兩旁 的房子。行人和汽機車會出現的情況如下說明：
(1) 行人橫向走斑馬線過馬路。
(2) 行人縱向在路旁走過馬路。
(3) 行人等紅綠燈停在偵測範圍中。
(4) 汽機車由上方往下方行駛要往左或往右轉彎。
(5) 汽機車由橫向的馬路轉彎進上方的馬路。
(6) 汽機車等紅綠燈停在偵測範圍中。
圖 2-1 路口場景和攝影機拍攝示意圖
拍攝區域的路面並不是完全水平，如圖 2-2 所示，在路口中間的路面是水平
2.3 影像前處理
如圖 2-4 所示主要使用的兩種影像資訊，利用連續影像做出的移動物件，和 背景影像做出的前景擷取法。本論文兩種方法都有使用，主要使用移動物件的資 訊當作主要偵測資訊，所以針對移動物件的影像結果必須要做其他處理，去除影 像中屬於非移動物件的雜訊，最後再對影像做形體完整性的加強。移動物件的方 法最大的缺點在於停止的物件無法偵測，所以針對這個缺點使用前景資訊來做輔 助資訊，但是背景影像會隨時間變化而改變，必須加入背景更新的機制，而屬於 背景的物件中還必須考慮長時間停留在影像中的物件，背景在路口的情況就會變 的相當複雜，所以把前景擷取的方法當作輔助的影像資訊使用。
圖 2-4 影像前處理流程圖
2.3.1 邊緣萃取
在影像處理中，經常會使用邊緣偵測的方法，邊緣偵測的方法有很多種，
Sobel 邊緣偵測為常見的偵測方法，因為此方法不僅速度快，偵測效果也好。通 常物件都有許多邊緣的特徵，不同物件有不同的邊緣特徵，人、汽車和機車的邊 緣特徵也都不相同，如何利用這些不同邊緣的特性就是影像處理的重點。圖 2-5 所示，九宮格代表影像處理中的像素位置，正中間的位置就是代表正在處理的影 像像素，其他八格像素分別和正中間位置有相對應的關係。
圖 2-5 邊緣九宮格示意圖
Sobel 邊緣偵測在本文中只用兩種形式，一種是水平邊緣偵測，另一種是垂
直邊緣偵測，如果要取得完整的邊緣偵測就把兩種邊緣偵測結果合併。
利用公式(2-1)就可以得到水平邊緣偵測的方法，把得到的 , 的結果數值，
再做進一步的處理，把水平邊緣結果大於門檻值像素當作是水平邊緣，水平邊緣 結果小於門檻值的像素當作非水平邊緣，就可以得到水平邊緣的二值化影像。用 3x3 九宮格表示就如圖 2-6 所示，把九個像素的灰階值大小各別帶入九個位置的 權重就可以得到水平邊緣的結果。
, 2 2 (2-1)
圖 2-6 水平邊緣九宮格示意圖
和水平邊緣相同，垂直邊緣照著公式(2-2)代入，可以得到 , 的數值結果，
垂直邊緣結果大於門檻值當作是垂直邊緣，垂直邊緣結果小於門檻值當作非垂直 邊緣，利用兩種結果可以得到垂直邊緣的二值化影像。用 3x3 九宮格表示就如圖 2-7 所示，把九個像素的灰階值大小各別帶入九個位置的權重就可以得到垂直邊 緣的結果。
, 2 2 (2-2)
圖 2-7 垂直邊緣九宮格示意圖
圖 2-8(b)展示垂直加水平邊緣偵測的結果，所以抓取的邊緣是整體的邊緣，
路面柏油路雖然在不同區域有不同的灰階值，因為像素和像素間沒有劇烈的灰階
1 2 1
0 0 0 1 2 1
1 0 1 2 0 2 1 0 1
值差異，所以在路面不存在邊緣特性；路面上畫的圖案就有邊緣的特性存在，尤 其白線邊緣更是明顯；人、汽車和機車的移動物件邊緣特性就很多，在移動物件 和路面之間也存在邊緣，人的穿著和汽機車的外觀也存在著不少邊緣特性；其他 部分，路旁的房子、電線杆、欄杆等等也都有不少的邊緣特徵。
(a)原始圖形 (b)邊緣結果圖形 圖 2-8 垂直加水平邊緣結果
2.3.2 移動物件擷取
利用影片是連續影像組成的特性，把連續影像的圖片資訊保留，只要是移動 的物件，在連續畫面中就會有些微的差異，利用這些差異性就能夠擷取出移動物 件的輪廓。如圖 2-9 所示，每一張代表一個影像，在連續影像就可以組成一段完 整的影片，影片時間由左至右，左邊是過去的影像，右邊是未來的影像，Img(t) 的影像代表正在處理的影像。
圖 2-9 連續影像串列示意圖
Img(t)代表現在正在處理的影像，Img(t-1)代表前一時刻處理的影像，Img(t-2) 代表往前兩時刻處理的影像，其他以此類推。
傳統方法是連續影像的灰階值相減可以得到移動物件，把相減的灰階值差值
設定門檻值，如果高於門檻值就認定是移動物件，低於門檻值則是非移動物件。
(a)縱向移動的行人 (b)橫向移動的行人 圖 2-10 本文的移動物件結果
圖 2-11 是利用傳統的方法做出的情況，因為使用連續的影像，在行人移動 量小的時候，容易產生移動物件破碎的情況，過於破碎的移動物件無法判定是行 人，造成往後影像處理的困難度大幅上升。尤其是縱向行人在影像中位移量比較 小，容易產生破碎的移動物件。
(a)縱向移動的行人 (b)橫向移動的行人 圖 2-11 傳統移動物件結果
傳統方法和改良過的影像相比，橫向行人在傳統方法可以順利產生移動物件，
改良過的移動物件會比真實的行人還要寬，縱向移動的行人在傳統方式下只剩下 些許的移動物件，改良過的移動物件在縱向行人還可以看出是行人的輪廓。主要 是改善了縱向行人的移動物件破碎的情況，在橫向行人也加強了移動物件的完整 性。
2.3.3 背景收斂與更新
圖 2-12 前景圖結果
利用背景和目前影像的灰階值差，每 30 張影像做一次判斷，只要灰階值差 大於門檻值就判定要做背景更新，目前影像的灰階值大於背景灰階值，把背景該 點的灰階值加一；目前影像的灰階值小於背景灰階值，把背景該點的灰階值減一。
是一秒的時間更新一次灰階值，更新灰階值一個灰階，所以要從灰階值 0 到 255 的話，物件停留時間必須要超過四分鐘的時間才能更新完成，短時間停留的物件 雖然也會影響到背景更新，但是因為影響的灰階值可能約 1~5 個灰階值，對於前 景擷取並不會產生大問題。根據公式(2-5)， 的門檻值設定值是 10，目前影像 比背景圖大且超過門檻值的時候，執行背景更新灰階值加一的動作；目前影像比 背景圖小且低於門檻值的時候，執行背景更新灰階值減一的動作；其他在門檻值 設定之內時，不需要背景更新，所以背景的灰階值不做任何改變。
每 30 張影像做 次 景更一 背 新判斷：
, 1
, 1 , , ,
, 1 , , ,
, , otherwise
(2-5)
前景擷取和移動物件兩種方法各有優缺點，因為實驗場景是路口關係，經常 會有人、汽車和機車停止在 ROI 中，雖然有背景更新的方法在，當等紅綠燈的 時間超過三十秒以上，背景更新後的灰階值就可能產生三十個灰階值的差異，當 停止的前景物件離開之後，必須要有相同時間才能夠恢復正確的背景灰階值，在 此時間影像中就會產生錯誤的前景，這錯誤的前景就是因為停留時間過久造成的 影響。因此本論文以移動物件的方法當作主軸，再以前景擷取的方法當輔助，專 門處理移動物件停止時的情況。
2.3.4 雜訊濾除
(a)去除雜訊前 (b)去除雜訊後
圖 2-14 是否去雜訊圖的比較
2.3.5 影像強化
利用移動物件的方法做出的影像的物件型態大多會產生破碎的情況，破碎的 外觀有可能造成移動物件的某個部分不清楚，為了要保留移動物件的完整性就必 須做加強的動作。如圖 2-15 所示，整體影像分成 2x2 四個像素為一組的區塊去 處理，320x240 的影像像素就可以拆分成 160x120 個區塊。
圖 2-15 影像強化四宮格示意圖
, 代表影像強化四宮格的位置，x 和 y 代表影像座標的水平和垂直位置，影 像強化的門檻值設定值是 0。
影像原本是用一個像素去做處理，加強方法就是對 2x2 的四個像素的方格去 做處理，因為一次使用四個像素去處理，和原本對每個像素的處理不相同，只需 要四分之ㄧ的計算次數就可以完成。在 2x2 的四個像素中，只要四個像素中其中 一個像素屬於移動物件，就要做影像加強的動作，加強方法就是把四個像素都當 成是移動物件；反之，四個像素中沒有一個像素屬於移動物件的話，就不對這四 個像素做處理。在公式(2-7)中，通過判斷式時候，就是要做影像加強的動作；反
影像原本是用一個像素去做處理，加強方法就是對 2x2 的四個像素的方格去 做處理，因為一次使用四個像素去處理，和原本對每個像素的處理不相同，只需 要四分之ㄧ的計算次數就可以完成。在 2x2 的四個像素中，只要四個像素中其中 一個像素屬於移動物件，就要做影像加強的動作，加強方法就是把四個像素都當 成是移動物件；反之，四個像素中沒有一個像素屬於移動物件的話，就不對這四 個像素做處理。在公式(2-7)中，通過判斷式時候，就是要做影像加強的動作；反