夜間近紅外線影像之人物偵測

國

立

交

通

大

學

 

資訊科學與工程研究所

 

碩

士

論

文

夜間近紅外線影像之人物偵測

Human Detection in Nighttime Near-InfraRed Video

研 究 生： 洪邦展

指導教授： 莊仁輝 教授

Human Detection in nighttime Near-InfraRed Video

研 究 生： 洪邦展 Student： Pang-Chan Hung

指導教授： 莊仁輝 Advisor： Jen-Hui Chuang

國 立 交 通 大 學

資 訊 科 學 與 工 程 研 究 所

碩 士 論 文

A Thesis

Submitted to Institute of Computer Science and Engineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science June 2009

Hsinchu, Taiwan, Republic of China

夜間近紅外線影像之人物偵測

研究生：洪邦展

指導教授：莊仁輝 教授

國立交通大學

資訊科學與工程研究所

摘要

在本篇論文中，我們針對夜間近紅外線影像作處理，期望能夠強化近紅外線 影像之視訊品質，並對前景人物作偵測。我們使用時空域雙向濾波器為基礎，依 據時間、空間鄰近像素點之關係進行各個像素點之雜訊濾除，此關係包括距離及 相似度。接著，我們使用高斯混合模型進行人物偵測，並對夜間感應式照明設施 環境及其導致的光影現象進行額外的處理。在此我們提出雙模式高斯混合模型， 即分開建構開、關燈環境之背景高斯模式，並藉由感應式照明設施的開、關燈切 換之事件偵測進行背景高斯模式的切換。由於開燈環境下通常會強化影子效應， 我們藉由掃描線搜尋法搜尋人物的立足點並利用此資訊濾除人物之影子。因此本 論文所提出的方法，能夠提供偵測前景人物所得之外接矩形資訊，將有助於應用 近紅外線影像之夜間監控系統。

II

Human Detection in Nighttime

Near-InfraRed Video

Student：Pang-Chan Hung

Advisor：Dr. Jen-Hui Chuang

Institute of Computer Science and Engineering

National Chiao Tung University

ABSTRACT

In this thesis, image processing techniques are applied to the analysis of near-infrared videos. The goal is to detect human activities in the videos. We implement a method to enhance the video quality, a spatial-temporal bilateral filter which filters out each pixel’s noise based on the spatial and temporal relationship, including distance and similarity, with its neighbors. Subsequently, the Gaussian mixture model （GMM） is used to construct background model and to perform foreground detection. Additionally, we pay attention to sensing lighting equipments used in nighttime environment because of its illumination and shadowing phenomena. Accordingly, a two-mode GMM is proposed which separately constructs background GMM for different lighting conditions and switches GMM modes by event detection. In order to cope with excessive shadowing phenomenon, an efficient way of searching footholds by using scan-lines is proposed to remove human shadows. The proposed approach will provide bounding boxes information of human regions as detection results which will be very helpful for a nighttime surveillance system based on near-infrared videos.

致謝

首先我必須誠摯的感謝指導教授莊仁輝博士，老師在電腦視覺領域淵博的學 問並悉心指導，在我研究的路上不斷給予我建議，讓我得以完成這篇論文，老師 嚴謹的研究態度也是我效法的典範。感謝三位口試委員王才沛教授、徐繼聖教授 以及賴飛羆教授對本論文寶貴的建議，能夠讓本論文更加充實完整。 感謝實驗室博士班泓宏學長及國華學長，在研究所兩年來提供我許多建議及 指導，讓我在實驗的過程能夠更加順遂。感謝同儕們宣良、世旻、永昌、尚一、 聖中及維辰，雖然你們都不喜歡陪我去我最喜歡的燒烤跟 KTV，不過在我研究 所生涯中，與你們共同修課、討論、拍片、互嗆以及打電動玩樂等一點一滴都是 我永遠無法忘記的回憶。感謝實驗室諾白、寧玄、中尉、俊宏及證中學長們，還 有育瑋、芝穎、東諺、星陸、涵恩學弟妹們，我的研究所生涯也因為有你們而更 加多采多姿。感謝我學生生涯的室友們，振達、新祐、薈明、律友、鴻祥，多虧 你們能忍受我在寢室引吭高歌、與一般人異常的生活作息，跟你們生活真的相當 快樂！也要感謝這六年來，陪我踢球的所有夥伴，我們共同獲得的獎盃都使我的 交大生活錦上添花，大家一起在球場上奔馳真是太熱血了！ 我必須感謝我親愛的父母親，25 年來供應我衣食無缺的生活，並提供我一 個溫暖的避風港。在長達六年的新竹生活中，每當我一回到台北，見到你們都可 以讓我卸下心中所有的煩惱，現在是輪到我將責任扛起來的時候了。感謝我的哥 哥，讓我回家裡休息時，總是有新的海賊王、浪人劍客……等可以看，還可以陪 我無雙廝殺到半夜。雖然咱們兄弟倆走的是完全不同的道路，但我以有一個法律 專家的哥哥為榮，以後要告人就靠你了。還要感謝爺爺、奶奶、家中所有長輩們 及所有堂表兄弟姐妹們，每週的家族聚會大家喝茶聊天吃點心是我最放鬆的時光， 我愛你們所有人。最後，我要由衷的感謝交大創校以來最正的司儀珮婷，在我長 達六年的離鄉求學時間裡，妳讓我感受到有如家人般的溫暖，溫柔的笑容總能融 化我內心的孤單與寂寞。每當我心煩意亂時，妳總成為我傾訴的對象，在我旁邊 默默的支持我，謝謝妳。 感謝所有一路走來陪伴我的人，沒有你們，就沒有今天的我，更不會有這篇 論文的完成，謝謝！

IV

目錄

  摘要... I ABSTRACT ... II 致謝... III 目錄... IV 圖表目錄... VI 第一章 緒論 ... 1 1.1 動機與背景 ... 1 1.2 近紅外線攝影機之影像品質問題 ... 2 1.3 相關研究 ... 4 1.3.1 雜訊濾除之相關研究 ... 4 1.3.2 人物偵測之相關研究 ... 6 1.4 論文流程及架構 ... 7 第二章 利用雙向濾波器之雜訊濾除 ... 11 2.1 雙向濾波器之特性 ... 11 2.1.1 雙向濾波器之基本架構 ... 11 2.1.2 雙向濾波器之距離特性 ... 13 2.1.3 雙向濾波器之灰階值差異特性 ... 15 2.1.4 綜合距離特性與灰階值差異特性之探討 ... 16 2.2 利用空間及時間域雙向濾波器之雜訊濾除 ... 17 2.2.1 空間域雙向濾波器 ... 17 2.2.2 時間域雙向濾波器 ... 19 2.3 利用時空域雙向濾波器濾除近紅外線影像之雜訊 ... 21 2.3.1 時空域雙向濾波器之架構 ... 22 2.3.2 利用時空域雙向濾波器之前、背景判斷 ... 23 2.3.3 應用時空域雙向濾波器之效果 ... 23 第三章 基於高斯混合模型之人物偵測 ... 25 3.1 高斯混合模型之基本型態 ... 25 3.1.1 高斯混合模型之初始化 ... 25 3.1.2 高斯混合模型之背景偵測機制 ... 26 3.1.3 高斯混合模型之新高斯建立方式 ... 27 3.1.4 高斯混合模型之參數更新及權重值正規化 ... 27 3.2 利用高斯混合模型進行夜間近紅外線影像之前景偵測 ... 28 3.2.1 前景偵測結果 ... 29 3.2.2 微小雜訊點之濾除 ... 30 3.3 運用雙模式高斯混合模型於夜間感應式照明環境之人物偵測 ... 32

3.3.1 調整高斯混合模型之參數以用於感應式照明設施環境 ... 33 3.3.2 雙模式高斯混合模型與開關照明設施之事件偵測 ... 36 3.3.3 開燈模式之人影濾除 ... 41 第四章 實驗結果與討論 ... 50 4.1 以雙向濾波器進行雜訊濾除之實驗結果 ... 50 4.2 以高斯混合模型進行人物偵測之實驗結果 ... 52 第五章 結論與未來工作 ... 56 附錄一 雙向濾波器之參數探討 ... 58 參考文獻 ... 63

VI

圖表目錄

圖 1.1 近紅外線影像光源分布不均勻 ... 4  圖 1.2 夜間近紅外線影像之影像強化及人物偵測流程圖 ... 8  圖 1.3 近紅外線影像之亮度分佈調整結果 ... 9  圖 2.1 高斯分佈：藍線（a=−6、σ =1）；綠線（a=0、σ =0.5）；紅線（a=2、 4 = σ ） ... 12  圖 2.2 影像中之 5×5 空間鄰近點之權重關係 ... 14  圖 2.3 連續影像中同一像素點之時間距離關係圖 ... 15  圖 2.4 時間距離與權重關係圖 ... 15  圖 2.5 空間鄰近區域之灰階值差異特性 ... 16  圖 2.6 平均濾波器與空間域雙向濾波器（σD=0.8、σI =1）處理結果 ... 18  圖 2.7 空間域雙向濾波器之邊緣均化效應 ... 19  圖 2.8 時間域雙向濾波器（N_x =21、σD =2.0、σI =5）處理結果與原始影像之 比較 ... 20  圖 2.9 時空域雙向濾波器之結果 ... 24  圖 3.1 高斯混合模型進行前景物體偵測之結果 ... 29  圖 3.2 利用雙向濾波器以及影像型態學濾除微小雜訊點之結果 ... 31  圖 3.3 感應式照明設施環境 ... 33  圖 3.4 使用高斯混合模型進行感應式照明環境之物體偵測 ... 34  圖 3.5 調整學習速度參數之高斯混合模型進行感應式照明環境之物體偵測 . 35  圖 3.6 調變式學習速度進行初始化開燈模式之高斯混合模型 ... 39  圖 3.7 忽略光源漸進變化過程進行初始化開燈模式之高斯混合模型 ... 41  圖 3.8 人影造成高斯混合模型偵測之困難 ... 42  圖 3.9 利用掃描線偵測立足點位置（紅色虛線為 45°之掃描線，綠色實線為掃 描線執行掃瞄的順序，藍色圓點表示利用此掃描線獲得之立足點） . 44  圖 3.10 利用掃描線偵測前腳腳背位置（紅色虛線為 45°之掃描線，綠色實線為 掃描線執行掃瞄的順序，藍色圓點表示利用此掃描線獲得之前腳腳背） ... 45  圖 3.11 利用掃描線尋找前、後腳位置，此時前腳為右腳（綠點：後腳腳跟、 藍點：前腳腳背、紅線：人類外接矩形之底邊界） ... 46  圖 3.12 利用掃描線尋找前、後腳位置，此時前腳為左腳（綠點：後腳腳跟、 藍點：前腳腳背、紅線：人類外接矩形之底邊界） ... 46  圖 3.13 利用掃描線搜尋前、後腳偵測失敗的例子 ... 47  圖 3.14 利用掃描線方式重新定義前景區域之結果 ... 48  圖 4.1 藉由控制近紅外線攝影機之發光二極體數量取得高對比之臉部特徵影

像 ... 51  圖 4.2 高斯混合模型用於夜間室內環境亮度穩定之場景之前景偵測 ... 52  圖 4.3 高斯混合模型用於夜間室內環境亮度穩定之場景之複數前景偵測 ... 53  圖 4.4 高斯混合模型用於夜間室內、外交接口環境之場景之複數前景偵測 . 53  圖 4.5 高斯混合模型用於夜間室外場景之前景偵測 ... 54  圖 4.6 雙模式高斯混合模型用於感應式照明環境之前景偵測 ... 55 圖A 蕾娜測試影像 ... 58  圖B 空間域雙向濾波器之|Nx|參數測試（σD =10、σI =10） ... 59  圖C 空間域雙向濾波器之σ_D參數測試（|Nx|=25、σI =10） ... 60  圖D 空間域雙向濾波器之σ_I參數測試（|Nx|=25、σD =10） ... 61  圖E 時間域雙向濾波器之殘影現象 ... 62 表 1 不同近紅外光強度的近紅外線影像之對比度比較表 ... 51 

1

第一章 緒論

1.1 動機與背景

近年來安全監控的議題愈來愈受社會重視，學界及業界也積極投入此領域之 研究。安全監控中許多議題在生活中均有相當實際的應用，這些議題包括：物件 偵測、行人偵測、撿放物件行為偵測、入侵偵測、煙霧（火災）偵測、軌跡追蹤、 人臉辨識、特異行為辨識、車牌辨識等。 上述各議題皆有各種演算法能實現，但多數演算法皆以分析日間一般可見光 影像為主，極少針對夜間影像設計演算法進行處理。而夜間環境由於光源不足， 使用一般攝影機拍攝的監控影像常有畫面昏暗、特徵不清晰等現象，導致大部分 演算法的實行效能大幅降低。考量安全監控之現實狀況，深夜之犯罪率明顯較白 天高，犯罪者常挑選夜深人靜時犯罪，因此相較於日間監控，夜間監控的重要性 有過之而無不及。 由於使用一般日間功能攝影機無法清楚地拍攝夜間監控畫面，在實際夜間監 控的價值大為下降。為了拍攝清晰的夜間影像，近紅外線（Near-InfraRed，NIR） 電荷耦合元件（charge coupled device，CCD）攝影機常被用以取代一般攝影機。 近紅外線攝影機與一般攝影機不同，一為攝影機的鏡頭周圍額外附有多個發光二 極體（light-emitting diode，LED），當環境光源不足時即會自動開啟照射近紅外 光；二是攝影機能透過紅外線濾光片感應反射回來的紅外光。由於近紅外光波長 約為750nm 至 2000nm，並不在人類視覺可視察的可見光範圍內，因此近紅外線 攝影機的照明不會干擾環境的明亮度。基於此特性，紅外線攝影機已被廣泛的應 用於夜間安全監控。 一般來說，使用近紅外線攝影機進行夜間監控並不需要額外照射可見光以提 升環境亮度，但多數公共場所之重要監控位置皆額外設置感應式照明設施。當移 動物體接近該重要位置（如建築物大門口）時，攝影機附近會有照明設施打光以

提升環境整體之亮度；反之，當移動物離開偵測範圍，該照明設施將會自動關閉 以節省能源。此種依據感應移動物體接近、離開而自動開啟、關閉的照明設施於 本文內皆稱為感應式照明設施，該設施除了可以提供較明亮安全的通行環境外， 亦能對入侵者有警示的作用。因此，近紅外線攝影機除了其本身主動式照射之近 紅外光外，監控環境中若有感應式照明設施亦會影響其拍攝的畫面。本論文依據 感應式照明設施存在與否考慮了兩種夜間監控之情形，並對此兩種情形進行人物 偵測之分析。 由於各種影像處理的演算法常常會因影像品質不佳而影響其偵測結果，而我 們需要進行的人物偵測演算法亦是如此，為了達到較理想的偵測結果，我們需要 輸入品質良好的近紅外線影像。我們將於下一小節介紹近紅外線影像有影像光線 分布不均、高雜訊、對比度不佳、色彩資訊不足等因素，造成該影像品質不佳， 進而降低後續前背景分離、物體偵測、事件偵測等智慧化分析的結果。因此，本 論文除了人物偵測之目的外，亦設法改善近紅外線影像的品質。

1.2 近紅外線攝影機之影像品質問題

由於監控系統必須日以繼夜不間斷地錄製監控影像，且系統通常會有多路攝 影機同步錄製，造成資訊量大幅增加。因此，監控系統最常見的問題為硬體儲存 容量以及傳輸頻寬的不足。為了改善此問題，多數監控系統皆會選擇降低視訊畫 面品質以符合儲存容量及傳輸頻寬之需求。不論一般可見光攝影機還是近紅外線 攝影機，其系統錄製的視訊品質皆會受此影響。 影像錄製的每單位時間資訊量與硬體容量、傳輸頻寬此兩問題息息相關。若 錄製的影像其每單位時間資訊量較少，則在錄製同樣時間的情況下，不但能夠節 省儲存空間，也能在有限傳輸頻寬下傳輸更多筆同步錄製的資訊，該系統之傳輸 頻寬可承受同步錄製的攝影機亦越多台。因此，多數監控系統會採用下列方式降 低影像錄製的每單位時間資訊量：

3

(i) 低解析度（resolution）畫質影像：相較於高解析度影像，降低解析度即 直接減少每張影像的資訊量。若高解析度影像為 M×N，低解析度影像

為m×n，又 M>m 且 N>n，則選擇低解析度影像其資訊量為高析度影像

的mn/MN 倍。

(ii) 提高壓縮率（compression rate）：壓縮率定義為壓縮前之資訊量與壓縮 後之資訊量的比率。影像錄製每單位時間原始影像的資訊量固定，若經 過壓縮處理後剩餘的資訊量越少，則其壓縮率越高。因此提高壓縮率雖 然會使錄製影像失真幅度增加，卻能有效減少每單位時間的資訊量。 (iii) 降低錄製頻率：醫學已經證明人類具有視覺暫留之特性，即人眼看到一 個物體後，在 1/24 秒內不會消失。因此，一般視訊影像或動畫只需在 每秒鐘播放 24 張畫面，人類將視此變化過程流暢且連續。攝影機依此 特性多採用兩種不同制度擷取影像：一為PAL（phase alternate line）制， 每秒擷取25 張畫面；二為 NTSC 制（national television system committee）， 每秒擷取約 30 張畫面。然而，多數監控系統考量成本問題，通常會犧 牲影片流暢度而將攝影機拍攝得的畫面作進一步的減少取樣。 近紅外線攝影機錄製之品質除了受前述因素影響，其本身亦存在一般可見光 攝影機所沒有的問題。由於近紅外線攝影機拍攝場景多以夜間環境為主，在先天 環境光源不足之限制下，只能靠接收紅外光錄製影像。又因紅外光的波長與可見 光波長不同，使用彩色攝影機對此環境的靈敏度低，因此多使用灰階成像攝影機 搭配濾光片，造成影像色彩資訊不足。此外，CCD 元件可感應的光源波長範圍 與人類視覺系統不同，利用此原理即能將其感測到的光轉換成電荷訊號加以處理 成影像。CCD 於夜間環境下必須耗費更大之電能才能提升感光之敏感度，此較 高的電壓所產生的熱能會讓電子器材穩定性降低，進而造成影像之雜訊提高。因 此，使用CCD 元件近紅外線影像的雜訊通常較可見光彩色影像為高。 近紅外線攝影機之主動式近紅外光照明會明顯地集中於其拍攝畫面的中央

區域，並以輻射方式向外圍遞減造成，如此將造成影像中光源分布不均勻。如圖 1.1 (a)中之背景物體樹幹，其紅色矩形部分位於畫面中央，而藍色矩形部分位於 畫面邊緣，其亮度分布不均勻。因此，若有物體從畫面一端經過中央區域至另一 端，成像時物體的亮度會因為在畫面不同區域而有所不同。圖 1.1 (a)中的綠色 矩形部分為一前景物體，同前景物體於圖 1.1 (b)由於位於畫面中心，其接收及 反射的紅外光皆較多，因此其亮度亦較亮。近紅外線影像此特性將會降低以灰階 值為分析基礎的智慧型系統之效能，並對安全監控造成不利之影響。綜合上述各 項因素，近紅外線攝影機之夜間影像有許多仍待改善之處。 (a) 綠色矩形前景物體位於畫面邊緣 (b) 綠色矩形前景物體位於畫面中央 圖 1.1 近紅外線影像光源分布不均勻

1.3 相關研究

本文的重點為雜訊濾除及人物偵測，目前學界已有不少此兩類的研究，但多 數研究皆針對一般可見光彩色影像設計，只有少數的文獻探討近紅外線影像，本 節將介紹一些空間域之雜訊濾除之研究及幾種目前最常被使用的人物偵測法。

1.3.1 雜訊濾除之相關研究

濾除雜訊之方法可分為空間域及頻率域兩大類，文獻[1]介紹幾種基本的濾 除雜訊之濾波器，如空間域濾波器有平均濾波器（mean filter）、中間值濾波器

5

（median filter）及高斯平滑濾波器（Gaussain smoothing filter）等，此類分別以 每個像素點為中心之空間區域作加權平均計算的濾波器泛稱鄰近點濾波器 （neighborhood filter）；而頻率域濾波器有理想低通濾波器（idea lowpass filter）、 巴特沃斯低通濾波器（Butterworth lowpass filter）及高斯低通濾波器（Gaussian lowpass filter）等方式。其中，高斯平滑濾波器是取空間中各個像素點的灰階值， 並依其個別與中心點的距離作加權平均運算，此方式雖能平滑化空間中特異的雜 訊點，但是在灰階值有變化之邊緣部分或物體表面的材質皆會產生模糊效應。本 小節將介紹另外一些空間域濾波器，並探討其特性。 文獻[2]提出的非等向濾波器（anisotropic filter，AF）為另一種空間域濾波器， 此濾波器主要針對此模糊效應作改善。該濾波器處理每一個像素點時先計算其梯 度（gradient），梯度為影像灰階值變化的趨勢，若該點位於邊緣，則其梯度可代 表此邊之法向量，接著以該點為中心依其梯度值垂直的兩個方向使用高斯濾波器 作加權平均。因此，經過非等向濾波器濾除雜訊後，影像中邊緣為直線的部分其 模糊效應會略微降低，但是邊緣曲率越大的部分其模糊效應不會獲得改善。

文獻[3]提出的變異數總和最小化（total variation minimization）是一種數值 分析方法，此方法藉由最佳化有限制的目標式達成雜訊濾除之目的。此方法的目 標為最小化影像中每一個像素點其梯度值之總和，並存在兩個限制條件：一為雜 訊濾除前、後影像的灰階值總和相同，此假設隱含著雜訊是以零為平均之白雜訊 （white noise）分佈；二為白雜訊的變異數固定。最後再利用拉格朗日乘數法 （Lagrange multiplier method）求解目標式。此方式能夠保留小曲率的弧線使其 不受模糊效應的影響，但若拉格朗日乘數設定不適合，會造成影像過度地平滑 化。 文獻[4]之雙向濾波器（bilateral filter）為一種鄰近點濾波器，由高斯平滑濾 波器變化而成。此濾波器濾除每一個像素點之雜訊時，依據區域中各點的兩種特 性作加權平均計算：一為該點與中心點之距離，距離越大會導致權重越小；二為 該點與中心點的灰階值差異，差異越大會導致權重越小。由於需考慮兩種特性作

為加權計算的依據，因此稱此濾波器為『雙向』濾波器。以區域間各個像素點與 中心點之灰階值差異作為權重分配依據有一個缺點，即當中心點為雜訊時，會使 其餘像素點的權重分配失真。本研究即以此濾波器做為雜訊濾除之基礎，並針對 中心點為雜訊點的問題加以改善。

文獻[5]提出非局部平均濾波器（non-local means filter）亦為一種鄰近點濾波 器。前段描述之雙向濾波器濾除一個像素點之雜訊時，使用該點鄰近區域內每一 個像素點與該點的距離及灰階值差異作加權平均的計算。非局部平均濾波器與雙 向濾波器相似，亦是以距離及灰階值差異兩種特性作為加權平均的依據，但非局 部濾波器濾除一個像素點之雜訊時，必須以該像素點之鄰近區域與影像中所有像 素點之鄰近區域為考量，並對兩鄰近區域間之距離及區域總灰階值差異作加權平 均的計算。此方式由於以區域為單位作比較，而雙向濾波器以像素點為單位作比 較，因此能改善單一雜訊點所造成權重分配失真的問題，但是需耗費更大的運算 量。

1.3.2 人物偵測之相關研究

既有的人物偵測方法主要分為兩種：第一種是以建立背景模型為基礎，並藉 由前、背景分割將前景物體偵測出來；第二種則是以特徵或是偵測器為基礎，此 類方法皆是以人物較明顯的特徵為偵測依據，例如膚色、人臉、人形等特徵。本 小節將介紹一些人物偵測之方法，並分析其特性。

文獻[6]提出的高斯混合模型（Gaussian mixture model，GMM）是目前最常 被使用的背景建模模型之一。高斯混合模型適用於背景相同之連續影像，該模型 以空間中每一個像素點之色彩值為單位建立多個高斯分佈，並賦予每一個高斯分 佈權重值，表示該高斯分佈為此連續影像背景的可能性。每當輸入新影像時，此 模型會比對新影像的每一個像素點，判斷其色彩值是否屬於背景模型中任何一個 高斯分佈。若該色彩值已存在於某一個背景高斯分佈，則判斷該像素點為背景；

7 反之，則判斷該像素點為前景。最後依照文獻中法則來更新背景模型之資訊，以 達成即時偵測並學習之目的。高斯混合模型所適用的環境必須為穩定或漸進式變 化之背景，如此該模型才能穩定實行。當環境為非固定式攝影機或瞬間變化之背 景，高斯混合模型之學習速度將不足以應付此環境導致偵測結果不理想。 文獻[7]提出一個以偵測器為基礎之人物偵測方式，主要利用 Adaboost 演算 法訓練人類頭肩部、軀幹、下肢之分類器，再以此訓練出的偵測器進行辨識。由 於此論文之偵測器以小段邊緣為基礎，輸入影像皆須先以Sobel 濾波器找尋影像 之邊緣部分。訓練及辨識的過程中，以小段邊緣之灰階值以及方向性為依據判斷 偵測器與樣本是否相似。此方式可容忍背景的變化，但必須先耗費大量功夫定義 分類器及訓練偵測器。此外，若因前景人物的身體姿態或穿著型式等原因造成其 輪廓與偵測器所定義的特徵不同，此方式之結果會不理想。 文獻[8]提出另一個以偵測器為基礎之夜間近紅外線影像之人物偵測方式。 此文獻針對駕駛人輔助系統設計一個車輛專用之夜間行人偵測系統，利用支持向 量機器（support vector machine，SVM）訓練正面及側面之人形偵測器，並搭配 小波（wavelet）係數轉換對不同解析度的可能前景物作偵測。此種以偵測器為 基礎的人物偵測方式，需靠大量蒐集樣本並訓練合適的偵測器，其偵測期間常常 會因訓練樣本其多元性不足而造成實際案例偵測結果不理想。

1.4 論文流程及架構

本論文的目的在於改善近紅外線影像雜訊過多以及亮度分布不均勻之問題， 並期望透過強化影像來增進人物偵測之效能。圖 1.2 為本論文之應用流程圖，本 節將介紹此流程圖中每個處理過程。我們預期從此流程中獲得兩種輸出結果：一 為雜訊濾除後之強化影像；二為前景偵測後擁有前景物外接矩形之結果影像。

圖 1.2 夜間近紅外線影像之影像強化及人物偵測流程圖 多解析度分析 由於本論文使用之雜訊濾除方式需要整合連續多張影像資訊，造成龐大的運 算量，因此降低影像解析度為一改善效率的方式。且多數監控系統由於需考量成 本因素，系統會降低拍攝影像之解析度以減少硬體儲存空間以及傳輸時間（如 1.2 節所述）。基於上述原因，多解析度分析步驟主要為降低解析度，除了能提升 系統效率，亦能契合實際監控系統所拍攝影像的解析度。 亮度分佈調整（optional） 在夜間環境下，近紅外線攝影機照射之近紅外光無法均勻地分佈於拍攝環境， 如此將導致近紅外線影像會呈現由中心至外圍亮度的輻射狀遞減分佈（如1.2 節 所述）。若近紅外線攝影機於日間場景下，其夜視功能將不啟動，因此其所拍攝 得影像為一般日間影像。令x 及 y 為影像之二維座標，我們利用已經存在的一張 純背景日間灰階影像g(x,y)及一張純背景夜間近紅外線影像 f(x,y)，對每一個位置 之像素點取得其放大倍率λ(x,y)=f(x,y)/g(x,y)，之後即以此放大率對新進近紅外線 影像進行影像補償。如圖 1.3(a)為一場景之純背景近紅外線影像 f(x,y)，圖 1.3(b) 為同場景之純背景一般灰階影像g(x,y)，藉由此亮度補償調整法，我們可以將圖 1.3(c)(e)之有前景之近紅外線影像調整為圖 1.3(d)(f)之結果。

9

(a) 純背景之近紅外線影像f(x,y) (b) 純背景之一般灰階影像g(x,y)

(c) 有前景之近紅外線影像f1(x,y) (d) (c) 之調整結果g1(x,y)= f1(x,y)/ λ(x,y)

(e) 有前景之近紅外線影像f2(x,y) (f) (e) 之調整結果g2(x,y)= f2(x,y)/ λ(x,y)

圖 1.3 近紅外線影像之亮度分佈調整結果 雜訊濾除 本步驟將於第二章作詳細地介紹，其目的為藉由雙向濾波器濾除影像雜訊， 以期望能獲得雜訊較少、畫面較穩定之連續影像。以一般室內監控影像而言，由 於行人所能經過的路徑有限，且行人出現於畫面的面積比例及頻率變化亦有限， 因此畫面中某些像素點為前景之機率很低。在此情況下，由於該像素點之背景穩 定且不受前景干擾，因此可以使用時間域雙向濾波器以減少受雜訊破壞之影響。

反之，若該像素點為前景，則單純使用時間域雙向濾波器將造成殘影現象，因此 必須額外藉由空間域雙向濾波器之概念濾除雜訊。 高斯混合模型 由於本論文的目的有兩個：一為希望透過影像強化及雜訊濾除以獲得品質較 佳之近紅外線影像，以增加後續智慧型分析處理的正確性；二為近紅外線影像之 人物偵測。因此，高斯混合模型除了可評斷雜訊濾除方法之優劣，還可以直接應 用於人物之偵測。 本步驟之高斯混合模型將於第三章中作詳細地描述，此模型是目前最常被用 到的前背景分割模型之一，其特色為在經過一段時間的學習下，該模型能將一個 像素點所有出現的可能背景建立出來。假設場景中有搖晃之樹，在某像素為原先 背景（地板或牆壁）之顏色的機率為0.4，為樹葉之顏色的機率為 0.3，為樹枝之 顏色的機率為0.2，高斯混合模型能將這三種可能顏色皆視為背景。 前景偵測 前一步驟之高斯混合模型在連續影像中每個像素點建立多個（一般為三至五 個）高斯機率分佈，而這些分佈各有其權重，代表該像素在影片中可能的背景顏 色。本步驟之前景偵測係以前述高斯混合模型所建構出的背景模型為基礎，判斷 新進影像是否符合該背景模型，以找出非背景之區域。

11

第二章 利用雙向濾波器之雜訊濾除

文獻[4]所提出的雙向濾波器為一濾除雜訊的方法，可用於時間及空間兩種 座標系統。當要濾除一個像素點之雜訊時，主要考慮該點與所有鄰近點之距離及 灰階值差異兩項特性作加權平均的計算。本章將先介紹雙向濾波器之距離與灰階 值差異兩項特性，接著探討空間及時間域雙向濾波器及其執行結果，最後討論此 濾波器之缺點並設法改進並套用於本系統。

2.1 雙向濾波器之特性

雙向濾波器濾除像素點之雜訊係參考該像素點與其鄰近區域內所有像素點 之兩項特性分配權重並作加權平均的計算，此兩項特性分別為距離特性及灰階值 差異特性，此濾波器即因考慮該兩項特性而被稱之為『雙向』濾波器。本節先提 出雙向濾波器的基本架構，之後再針對此兩項特性分別做詳細地介紹。

2.1.1 雙向濾波器之基本架構

本小節首先介紹雙向濾波器之基本架構，雙向濾波器由距離與灰階值差異兩 項特性組成，我們將於下面兩小節分別介紹此兩項特性。以空間域雙向濾波器為 例，此濾波器對影像中任意像素點 x 之處理為計算

(

)

(

₍

)

₎

(

₍

( ) ( )

_{( ) ( )}

)

( )

₎

∑

∑

∈ ∈ − − − − = x x N y N y x y x y y x y x y x I D I D I D I I g g I I I g g B σ σ σ σ σ σ , , , , , , 2 1 2 1 (2.1) 其中，σ_D為距離特性之高斯分佈函式的標準差，σ_I為灰階值差異之高斯分佈函

式的標準差。N 是以_x x 為中心之鄰近區域像素點集合，y為N 內任一像素點。_x 將每一個像素點其各自的距離特性權重值g₁

(

y−x,σ_D

)

與灰階值差異特性權重 值g₂

(

I

( ) ( )

y −I x ,σ_I

)

相乘即可獲得一個新的權重值，而分母的部分則是對雙向濾 波器的權重作正規化，使其總和為 1。兩種特性皆以高斯分佈函式（Gaussian distribution function）計算像素點的權重值

(

)

2 2 2 2 1 , σ π σ σ a b e a b g − − − = − (2.2) 其中，a 為高斯分佈之平均數， b 為高斯分配之平移量，此數影響高斯分佈中機 率最大值之位置。σ 為高斯分配之變異數，此數影響高斯分佈中機率變化的速度， σ 越大則變化速度越慢。圖 2.1 為三個高斯分佈曲線，藍線為a=−6、σ =1的 高斯分佈；紅線為a=2、σ =4的高斯分佈；綠線為a=0、σ =0.5的高斯分佈。 a b− 為a與b 之距離，此距離特性可用於時間域及空間域兩種系統。 圖 2.1 高斯分佈：藍線（a=−6、σ =1）；綠線（a=0、σ =0.5）；紅線（a=2、σ =4）

(

b a,σ

)

g −

13

2.1.2 雙向濾波器之距離特性

雙向濾波器之距離特性的概念來自於高斯平滑濾波器，高斯平滑濾波器係使 用高斯分佈函式依鄰近區域內各個像素點與中心點的距離計算各點之權重，最後 再作各鄰近點灰階值的加權平均。雙向濾波器的距離特性即以此觀念為基礎，以 各像素點距離中心點的距離決定鄰近區域內各點之權重，另一方面，2.1.3 節將 介紹以各像素點其灰階值差異決定鄰近區域內各點之權重，最終將各個像素點之 兩個權重相乘即可得到雙向濾波器各個像素點的新權重值。 以空間域高斯平滑濾波器為例，該濾波器對任意像素點 x 之處理為計算

( )

(

₍

)

( )

₎

∑

∑

∈ ∈ − − = x x N y N y x y y x y x σ σ σ , , , g I g G (2.2) 其中，使用高斯分佈函式計算以 x 為中心點之鄰近區域N 內每一個像素點之權_x 重，最後依N 內各個像素點之權重作灰階值的加權平均，_x y為N 內之某一像素_x 點，高斯平滑濾波器G

( )

x,σ 處理像素點 x 時，以各個鄰近點y之灰階值I

( )

y 以加 權平均的方式計算，並正規化使其權重值總合為1。 由於本小節針對雙向濾波器之距離特性作探討，我們將使用空間域及時間域 兩種雙向濾波器，且此兩種濾波器其距離特性亦不太相同。其中，空間域雙向濾 波器之距離顧名思義就是以空間距離為主，因此我們使用尤拉距離計算兩個像素 點之空間距離；時間域雙向濾波器之距離則是以時間距離為主，因此我們使用兩 個像素點所在之時間點差異計算該兩點之時間距離。 空間域雙向濾波器之距離特性 以空間域之距離為例，圖 2.2(a)是影像中一個以 x 為中心點之 5×5 空間鄰近 點，圖 2.2(b)則為此空間鄰近點之正規化（normalization）後的權重值，其中其

高斯分佈函式之變異數為1。當像素點離中心點越近，其權重越大，即表越具有 參考價值。空間高斯平滑濾波器即依此權重分配作灰階值的加權平均計算。 (a) 影像之空間關係圖 (b) 正規化後之距離權重（

(

)

(

)

∑

∈ − − x N y x y x y 1 , 1 , 1 1 g g _） 圖 2.2 影像中之 5×5 空間鄰近點之權重關係 時間域雙向濾波器之距離特性 以時間域之距離為例，圖 2.3 是連續影像中同一像素點之時間距離關係，以 時間點t 為中心，計算其所有時間鄰近時間t+ 中相同空間座標之像素點t₀ 0 t t+ y 的 權重值，其中−τ ≤t₀ ≤τ，τ 為一自訂之鄰近區域大小。圖 2.4 是以σ =1為例之 權重g

( )

t₀,1 與t 之關係圖，當時間₀ t 離中心點越遠，其權重越小。如此代表距離₀ 中心越近的像素點，越具有參考價值，因此其權重越大。 0.0030 0.0133 0.0219 0.0133 0.0030 0.0133 0.0596 0.0983 0.0596 0.0133 0.0219 0.0983 0.1621 0.0983 0.0219 0.0133 0.0596 0.0983 0.0596 0.0133 0.0030 0.0133 0.0219 0.0133 0.0030 x

15 圖 2.3 連續影像中同一像素點之時間距離關係圖 圖 2.4 時間距離與權重關係圖

2.1.3 雙向濾波器之灰階值差異特性

本論文研究之近紅外線影像以灰階影像為主，若本部分灰階值差異特性用於 彩色影像即為紅、綠、藍各色彩值差異特性。灰階值差異特性相似於距離特性， 此特性係利用以 x 為中心點之鄰近區域N 內各個像素點與_x x 之灰階值相似度給 予權重值。y為N 內之某一像素點，其與_x x 之相似度為此兩個像素點之灰階值 差距。如果此差距值越小，表示兩個像素點相似度越大，因此加權計算之權重較   Ft-2 Ft+τ t0=0 t0=-1 t0=‐2  t0=1  t0=2  t0=τ  Ft Ft-1 Ft+1 Ft+2 t+t0 Ft-τ t0=-τ Frame

( )

t₀,1 g

大；反之，若差距值越大，則相似度越小，因此加權計算之權重較小。灰階值差 異特性使用以零為平均數之高斯分配函式計算其灰階值相似度之權重值。圖 2.5(a)為影像中空間鄰近區域之灰階值，為一約 135°之斜線，圖 2.5(b)為此區域 各點之灰階值差異權重，因原影像中心點（圖 2.5(a)之紅底像素點）之灰階值為 255，且區域內像素點之灰階值只有 255 及 0 兩種，又因 0 與 255 的灰階值差異 過大造成灰階值為0 之像素點的權重極小趨近於 0，所以最終權重將平均分配給 灰階值為255 的 16 個像素點。 (a) 空間鄰近區域之灰階值 (b) 正規畫後之權重（

(

( ) ( )

)

( ) ( )

(

)

∑

∈ − − x N y x y x y 1 , 1 , 2 2 I I g I I g _） 圖 2.5 空間鄰近區域之灰階值差異特性

2.1.4 綜合距離特性與灰階值差異特性之探討

雙向濾波器由距離（2.1.2）與灰階值差異（2.1.3）兩項特性組成。第一部分 即為高斯平滑濾波器，在加權平均其鄰近區域內所有像素點時，越靠近中心點之 像素點的權重越高；第二部分為相似度比較，即加權平均鄰近區域內所有像素點 時，該像素點與中心點之灰階值差異越小，則其權重越高。因此，我們可以將雙 向濾波器視為一個隨像素點位置作調適性加權的高斯平滑濾波器，此調適性的加 權即依據像素點的灰階值作改變。 0.0625 0.0625 0 0 0 0.0625 0.0625 0.0625 0 0 0.0625 0.0625 0.0625 0 0 0.0625 0.0625 0.0625 0.0625 0 0 0.0625 0.0625 0.0625 0.0625 255 255 0 0 0 255 255 255 0 0 255 255 255 0 0 255 255 255 255 0 0 255 255 255 255

17

2.2 利用空間及時間域雙向濾波器之雜訊濾除

雙向濾波器為一鄰近點濾波器，此濾波器以目前欲處理之像素點為中心點， 並藉由其鄰近像素點之距離及灰階值差異特性作加權平均的計算。因此，使用雙 向濾波器時，中心點的鄰近像素點將影響濾波器處理之結果。如2.1.1 所述，此 鄰近點可為時間鄰近點，亦可為空間鄰近點，本節將介紹此兩種系統之雙向濾波 器之差異及適用範圍。

2.2.1 空間域雙向濾波器

空間域雙向濾波器以2.1.1 所描述之空間距離域的鄰近像素點為依據，並搭 配灰階值差異特性以加權平均的方式計算每一個像素點之結果。空間域雙向濾波 器處理影像中每一個像素點時，可藉由該點之所有空間鄰近點調整自己本身的色 彩值，並達成平滑化之目的。 我們將空間域雙向濾波器應用於一般彩色影像，並與平均濾波器作比較。圖 2.6(a)為一彩色原始影像，圖 2.6(b)(d)(f)分別為大小不同之平均濾波器處理原始 影像之結果，由此三圖可觀察出平均濾波器將影像過度均化造成模糊效應的情形 隨著濾波器越大越嚴重。圖 2.6(c)(e)(g)分別為大小不同之空間域雙向濾波器處 理原始影像之結果，相較於大小相同之平均濾波器，空間域雙向濾波器對於細節 及邊緣的之處理皆有較理想之效果。 監控影像畫面之雜訊通常需在連續影像的情況下才會有畫面色彩值跳動等 較為顯著的特徵，固無法藉由單一影像（圖 2.6）觀察此類畫面跳動雜訊。然而， 我們可由圖 2.6(a)中理論上色彩應該平滑之區域（如紅色矩形內之馬路）觀測處 理後之結果是否有平滑化，如此亦是一種雜訊消除的情況。由於雙向濾波器考慮 了色彩值相似度，相較於圖 2.6(f)，圖 2.6(e)雙黃線的部分並未被過度平滑化而 產生模糊的現象。

(a) 原始影像 (b) 平均濾波器處理之結果（3×3） (c) 空間域雙向濾波器處理之結果（3×3） (d) 平均濾波器處理之結果（5×5） (e) 空間域雙向濾波器處理之結果（5×5） (f) 平均濾波器處理之結果（7×7） (g) 空間域雙向濾波器處理之結果（7×7） 圖 2.6 平均濾波器與空間域雙向濾波器（σ_D=0.8、σ_I =1）處理結果

19 我們將空間域雙向濾波器應用於夜間近紅外線灰階影像，圖 2.7(a)(b)分別為 原始影像、使用空間域雙向濾波器處理之結果影像，為了突顯兩張影像之差異， 圖 2.7(c)(d)分別為將兩張影像對應位置的像素點，將其差值之絕對值乘以 10 及 50 的結果。雖然空間域雙向濾波器在邊緣部分有較平均濾波器更好之結果，但 由圖 2.7(c)可知仍然會有被平滑化之情況發生。而圖 2.7(d)則可看出非邊緣的部 分受平滑化之影響，此區域可能為雜訊亦或是背景的紋理。 (a) 夜間近紅外線影像 Ia (b) (a)經由空間域雙向濾波器處理之結果 Ib (c) |Ia-Ib|放大 10 倍 (d) |Ia-Ib|放大 50 倍 圖 2.7 空間域雙向濾波器之邊緣均化效應

2.2.2 時間域雙向濾波器

假設我們有一段未含有前景且背景穩定的連續影像，若想取得濾除雜訊之背 景影像，較快速的方式為以每一個位置像素點為單位，計算此連續影像相同位置 像素點的平均數。在背景穩定的情況下，同位置像素點出現雜訊次數相較於連續 影像數量較小，因此我們尚可以用眾數、中數及去頭去尾之平均數等多種簡單統

計方法來取得背景色彩值。 我們藉由此連續影像之各個像素點平均數的概念，只取自訂大小之鄰近時間 內像素點的平均數，如此將可獲得一個連續的平均影像，此亦可為背景影像。此 外，時間域雙向濾波器亦符合此概念，其該濾波器之灰階值差異特性類似於平均 數的概念，而距離特性則是將鄰近影像再各加入一個權重值。此考量是相當合理 的，因為我們利用此影像之時間鄰近影像做為參考，且時間離原始影像越近的鄰 近影像，其參考價值比時間較遠的影像來的大，當影像畫面中有漸進式變化時， 才能突顯出漸進變化中各個影像的重要意義不同。 如圖 2.8(a)(c)分別為一個不連續的彩色原始影像，而圖 2.8(b)(d)分別為圖 2.8(a)(c)經時間域雙向濾波器處理之結果。由圖 2.8(a)(b)之紅色矩形的範圍可看 出時間域雙向濾波器能夠平滑化穩定的背景，處理後的結果其空間變異較小，符 合此區域背景原有之性質。圖 2.8(c)(d)之藍色矩形的範圍可看出，搖曳樹葉之背 影經由該濾波器處理後有輕微的模糊效應。圖 2.8(e)(f)分別為一個近紅外線的灰 階影像及其經時間域雙向濾波器處理之結果，其中紅色及藍色矩形皆包括了平滑 化穩定背景之結果。 (a) 原始彩色影像1 (b) (a)經時間域雙向濾波器處理之結果 圖 2.8 時間域雙向濾波器（N_x =21、σD =2.0、σI =5）處理結果與原始影像之比較

21 (c) 原始彩色影像2 (d) (c)經時間域雙向濾波器處理之結果 (e) 原始灰階影像 (f) (e)經時間域雙向濾波器處理之結果 圖2.8 （續）

2.3 利用時空域雙向濾波器濾除近紅外線影像之雜訊

當連續影像沒有前景且背景穩定時，取得濾除雜訊之背景影像最快速的方式 為每次挑選數張連續影像並計算此連續影像中每一個像素點之平均值，2.2.2 所 描述之時間域雙向濾波器亦相當符合此概念。然而，使用時間域雙向濾波器濾除 雜訊有個缺點，即當中心點本身為雜訊時會使正確性大幅降低。造成此錯誤的主 要原因為此濾波器考慮中心點與所有時間鄰近點的灰階值差異以分配權重，但因 中心點本身為雜訊，其他鄰近點與中心點之灰階值差異無法反映真實無雜訊影像 之情形，因此造成權重分配錯誤。本節將以時空域雙向濾波器改善此中心點為雜 訊所造成的問題，並在此濾波器計算的過程中額外提供一個類似前景偵測之結 果。

2.3.1 時空域雙向濾波器之架構

針對中心點為雜訊的狀況，文獻[9]提出一種時空域雙向濾波器改善此問題。 此濾波器係利用時間域雙向濾波器為基礎，再將空間域雙向濾波器之概念整合進 時間域雙向濾波器的灰階值差異特性。假設有一時間域雙向濾波器如式(2.1)，其 中時間鄰近點與中心點的灰階值差異為 I

( ) ( )

y −I x ，但因中心點 x 為一雜訊，

( ) ( )

y I x I − 的參考價值就大幅降低。 文獻[9]提出一個空間相異度的方法解決此問題，令 S y N 與N 分別為中心點S_x x 及時間相鄰像素點y其個別的空間鄰近點集合，此兩空間之相異度如下

(

)

(

₍

)

( ) ( )

₎

∑

∑

∈ ∈ ∈ ∈ − − − = s S s S , , S S , , , x y x y N q N p N q N p x y y p q p y p N N S S g I I g D σ σ (2.4) 其中p與q為其所屬空間鄰近點集合之對應位置的像素點，σ_S為此空間相異度高 斯分佈之變異數，若兩空間之像素點灰階值分佈越相似，D

(

NS_y,NS_x

)

之值會越小； 反之，若兩空間之像素點灰階值分佈越不相似，此值則會越大。經過此部分修正 後，時空域雙向濾波器成為

(

)

(

₍

)

₎

(

₍

(

₍

)

₎

)

( )

₎

∑

∑

∈ ∈ − − = T T , , , , , , , , _{S S} S S x x N y x y N y x y N N x y y N N x y x I D I D I D D g g I D g g B σ σ σ σ σ σ (2.5) 其中N 即代表像素點T_x x 之時間鄰近點集合。由於時空域雙向濾波器已經不再以 單一像素點做為灰階值差異特性的依據，而是以整個空間鄰近點的相異度作為依 據，因此當中心像素點為雜訊時，此濾波器結果受中心點的影響將被其他空間鄰

23 近點稀釋。本濾波器之分母部分有兩項用途：一為正規化因子（normalization factor），使其加權平均之權重值總和為 1；二為該像素點是否為前景物的判斷標 準，此部分將於下一部分詳加介紹。

2.3.2 利用時空域雙向濾波器之前、背景判斷

由於每次處理一個像素點時，我們需計算鄰近時間的同一位置像素點其空間 相異的程度，並依其時間距離及空間相似程度分配權重值。因此，當時間域中該 像素點正經歷前背景交替時，會因為鄰近時間之空間相異程度高使得此正規化因 子較小；反之，若該像素點一直呈現穩定的狀態，此正規化因子就會較大。 因此，我們制定一個理想背景值，當正規化因子大於此理想背景值時，我們 即可視此像素點為背景像素點；反之，我們則視此像素點為前景像素點。我們利 用正規化部分的距離特性以及灰階值差異特性之高斯分佈函式變異數來計算理 想背景值

(

D

) (

g I

)

g σ σ γ ω= × 0, × 0, _(2.6) 其中，當高斯分佈函式之平均數為零時，代表不論是距離或是灰階值差異特性皆 與實際背景吻合，為一個最穩定的理想值。因此，我們將此兩個平均數為零之高 斯機率值與數值γ 相乘，即可獲得理想背景值ω 。往後，我們在計算每一個像素 點時，即可依時空域雙向濾波器的概念累加其時間鄰近像素點高斯機率值，並期 望此正規化因子大於理想背景值，即視此像素點為背景。

2.3.3 應用時空域雙向濾波器之效果

由前部份之前、背景判斷法則，除了雜訊濾除外，我們尚可將連續影像中前 景及背景的部分切割出來。其中被認定為前景的像素點，主要是因為該像素點在

連續時間下，其灰階值有明顯地變化，導致時空域雙向濾波器之正規化因子過小 不符合理想背景值之門檻，此情況會發生於前景物剛進入或離開此像素點以及此 像素點有灰階值跳動（即雜訊）的時候。 圖 2.9(a)是一近紅外線原始影像，圖 2.9(b)是時空域雙向濾波器判斷前、背 景之結果影像，由於行人之衣服面積較大，在行進的過程中重疊次數多。當此區 域於時間鄰近點的範圍內出現頻率過高，會將此區域視為背景如紅色矩形所示。 圖 2.9(c)是時空域雙向濾波器之雜訊濾除結果，由於此顯示為單張影像畫面，其 降低灰階值跳動的現象較無法呈現。 (a) 原始影像 (b) 時空域雙向濾波器之前景偵測結果 (c) 時空域雙向濾波器之雜訊濾除結果 圖 2.9 時空域雙向濾波器之結果

25

第三章 基於高斯混合模型之人物偵測

文獻[6]提出之高斯混合模型是目前最常被使用的背景建模模型，其概念自 統計學出發，並對連續影像建立背景機率模型。本章我們將介紹高斯混合模型之 原始模型概念及其建立背景及參數更新機制，之後將模型導入我們的系統並針對 夜間環境特別的照明設施進行模型之改良。

3.1 高斯混合模型之基本型態

高斯混合模型為目前最常用之背景建模模型之一，此模型對於穩定背景或漸 進式變化背景有理想的處理能力，因此已經被廣泛的應用於固定式攝影機之背景 建模方法。本節將介紹高斯混合模型之基本型態及其執行過程、參數更新機制。 假設有一影像串列

{

X ,...,₁ X_t

}

且時間點t 之影像X 為本次新進之影像，則在_t t X 以前之影像皆已經依時間順序建立過背景高斯混合模型。本模型以空間中每 一個位置像素點為單位建立K組高斯分佈，此高斯分佈即代表此像素點可能之背 景灰階值範圍。除此之外，本模型會逐步更新第k 組（1≤k ≤K）高斯分佈的高 斯平均數μ 、標準差_{k ,t} σ 及權重值_{k ,t} ω 。平均數及標準差將作為新進影像之像素_{k ,t} 點是否符合背景高斯的評斷標準，而權重值大小則與其所屬之高斯分佈於此像素 點之出現機率多寡呈正相關。

3.1.1 高斯混合模型之初始化

當本模型開始執行時，由於第一張影像X 沒有先前已建立之高斯資訊，因₁ 此必須對高斯混合模型進行初始化。初始化即依X 中每一個像素點₁ x 之灰階值₁

( )

x1 I 建立第一組（k =1）高斯分佈，並將此高斯分佈之平均值μ 設定為_1,1 I

( )

x₁ ，

標準差σ 及權重值_1,1 ω 設定為系統預設值。 _1,1

3.1.2 高斯混合模型之背景偵測機制

每當有新進影像時，高斯混合模型會對每一個像素點挑選B組已建立之高斯 分佈作為背景高斯，只要像素點x 符合此_t B組背景高斯，則將此像素點判斷為背 景，反之即為前景。B的數量取決於該像素點其目前所有高斯分佈的權重值與標 準差，本模型以權重值除以變異數之結果值為依據，認為此值最大的高斯分佈有 背景可能性高（權重值大）、背景之灰階值穩定性高（變異數小）兩種符合穩定 背景的特性。因此本模型會將像素點所有高斯分佈的權重值除以變異數之結果值 作由大至小的排序，並依序挑選B組高斯分佈使其權重值總合小於一個自訂臨界 值T ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _> =

∑

= b k kt b T B 1 , min arg ω (3.1) 判斷像素點x 是否符合（match）第 k （_t 1≤k ≤B）組背景高斯時，需滿足

( )

(

)

2 1 , 2 1 ,− ≤2.5× − − _{kt kt} t x I μ σ (3.2) 其中， μk,t−1及 2 1 ,t− k σ 分別代表先前建立的高斯分佈之平均數及變異數，I

( )

x_t 為 t x 的灰階值。只要該灰階值與平均數的差距夠小，則判斷此像素點符合此背景高 斯分佈；反之，則判斷此像素點不符合此背景高斯分佈。如果一個像素點符合任 何一個背景高斯，則可視此像素點為背景；反之，則視此像素點為前景。

27

3.1.3 高斯混合模型之新高斯建立方式

若經由3.1.2 判斷影像中像素點為前景，則必須對此點建立一個新的高斯分 佈。若目前已存在的高斯分佈數目尚為達到最大值K，則會依3.1.1 所述高斯初 始化的方式建立一個全新的高斯分佈；若目前已存在K個高斯分佈，我們則會刪 除權重值除以變異數之結果為最小的高斯分佈並利用初始化的方式建立一個全 新的高斯分佈。刪除此高斯分佈的理由已經於3.1.2 描述，我們挑選一個背景出 現率低（權重小）且不穩定（變異數大）之背景高斯刪除，希望刪除最不穩定的 背景會對此背景模型產生最小的負面影響。

3.1.4 高斯混合模型之參數更新及權重值正規化

若經由3.1.2 判斷新進影像X 中像素點_t x 符合第 k 組背景高斯，則更新該像_t 素點所屬背景高斯的權重值ω 、平均數k ,t μ 及標準差k ,t σ 。像素點符合第 k 組背k ,t 景時，其權重值需要更新

(

α

)

ω α ω = − ∗ + −1 , ,t 1 kt k _(3.3) 其中，α決定該像素點符合背景時，背景高斯的權重值提升的速度，ω_k,t−1∗則表 示歷史資訊之權重值經正規化後之結果。除了權重值以外，平均數與標準差亦需 要更新

(

)

kt

( )

t t k ρ μ ρI x μ , = 1− ,₋₁ + (3.4)

(

)

kt

(

( )

t kt

)

(

( )

t kt

)

t k I x , I x , 2 1 , 2 , 1 ρ σ ρ μ μ σ = − ₋ + − − (3.5)

其中，ρ 決定此高斯分佈之平均數與標準差更新的速度。如果像素點不符合第 k 組背景高斯，則只更新其所屬背景高斯的權重值ω ，其更新的方式為降低該背k ,t 景高斯之權重值

(

)

∗ − − = _{, 1} ,t 1 kt k α ω ω _(3.6) 不論像素點為背景或前景，由於其權重值皆已被更新過，因此在處理每一個 像素點之後必須對此點之所有高斯分佈的權重值進行正規化。正規化步驟即希望 經由同步等比例調整後所有高斯分佈的權重值總合為1，正規化權重值ω_{k ,t}∗即代 表ω 經由正規化後之結果 _{k ,t}

∑

= ∗ k t k t k t k , , , _ω ω ω (3.7) 高斯混合模型可藉由此三種參數之更新來適應漸進式變化背景，因此此模型 之特性即藉由此機制達到即時偵測並學習之目的，下節將介紹以本模型套用至一 些影像範例並觀測其偵測的結果是否理想。

3.2 利用高斯混合模型進行夜間近紅外線影像之前景偵測

前一節所介紹的高斯混合模型是目前常用的背景建模模型，本節即利用此模 型進行前景偵測，並將前景影像結果以二質影像的方式呈現，此二質影像中白色 部分代表前景、黑色部分代表背景，後面章節出現的所有『前景影像』皆為此呈 現方式。最後再將利用連通元件（connected component）標示法將此二質影像之 前景部分的外接矩形找出，並標記於原始輸入的影像。

29

3.2.1 前景偵測結果

本節所呈現之前景偵測結果係利用高斯混合模型之背景高斯為基準判斷新 進影像的每一個像素點是否符合此背景高斯。圖 3.1 為高斯混合模型作前景偵測 之結果。圖 3.1(a)(c)(e)分別為原始之不連續影像畫面，而圖 3.1(b)(d)(f)分別為 經過高斯混合模型處理後之前景影像結果。由圖 3.1(b)可看出當影像中無前景物 時，使用高斯混合模型作前景偵測只會有少數的單一像素點前景，我們可將此前 景視為影像中的雜訊。由於現在的攝影機多半會有自動對焦（auto focus）、自動 曝光（auto exposure）及自動白平衡（auto white balance）之 3A 機制，因此每當 前景一出現於畫面時，攝影機錄製影像時會作微調。而這些調整會使雜訊提高而 導致前景偵測的結果出現更多雜訊點如圖 3.1(d)及圖 3.1(f)所示。 (a) 原始影像1 (b) (a)經高斯混合模型處理後之前景影像 (c) 原始影像2 (d) (c)經高斯混合模型處理後之前景影像 圖 3.1 高斯混合模型進行前景物體偵測之結果

(e) 原始影像3 (f) (e)經高斯混合模型處理後之前景影像 圖3.1 （續）

3.2.2 微小雜訊點之濾除

由於3.2.1 所獲得之前景影像有雜訊點，將對後續處理造成困難，因此本部 份針對此微小之像素雜訊點進行濾除。而考慮的方式有兩種：一為第二章所描述 之雙向濾波器，在進行高斯混合模型之背景建構以及前背景分割之前，先以時空 域雙向濾波器處理影像；二是利用影像之型態學進行雜訊濾除，此部分主要是在 高斯混合模型之背景建構以及前背景分割以後，對前背景結果影像作處理。本小 節將對此兩種方法作說明並比較其結果差異。 利用高斯混合模型對雙向濾波器濾除雜訊之結果作前景偵測 如圖 1.2 之流程圖所示，我們使用第二章所介紹之雙向濾波器濾除影片雜訊 後，再將其結果影片以高斯混合模型處理並偵測前景物體。圖3.2(a)(b)分別為圖 3.1(c)(e)使用雙向濾波器濾除雜訊之結果，而圖 3.2(c)(d)則分別為圖 3.2(a)(b)經由 高斯混合模型處理後之前景影像結果，可觀察出使用雙向濾波器處理後之影片， 其背景部分被高斯混合模型判斷為前景之像素點大量的減少，也就是說像素點之 灰階值跳動（即雜訊）情形大幅降低。使用雙向濾波器處理影片可以有效的降低 畫面跳動的情形，以提供較理想的影片品質，但需要大量的運算時間。因此，若 要在即時系統下運行，目前微小雜訊點的濾除多採用接下來將介紹的影像型態學 方法處理。

31 利用影像型態學方法將前背景分割結果之微小雜訊濾除 文獻[1]之第九章中提到型態學中的侵蝕（erosion）與擴散（dilation）搭配 運用可以濾除小面積的雜訊點，因此型態學常常被用以搭配高斯混合模型的雜訊 濾除方式。圖 3.2(e)(f)分別為圖 3.1(d)(f)經由型態學之灰階斷開（opening）濾除 微小雜訊點之結果，相較於以雙向濾波器為雜訊濾除之方法如圖 3.2(c)(d)，使用 型態學濾除前背景分割結果之微小雜訊點，其優勢在於運算量大幅減少，且經過 此方式處理後亦能獲得理想的前景背景分割結果。 (a) 以雙向濾波器處理圖 3.1 (c)之結果 (b) 以雙向濾波器處理圖 3.1 (e)之結果 (c) (a)經高斯混合模型處理後之前景影像 (d) (b)經高斯混合模型處理後之前景影像 (e) 以型態學處理圖 3.1 (d)之結果 (f) 以型態學處理圖 3.1 (f)之結果 圖 3.2 利用雙向濾波器以及影像型態學濾除微小雜訊點之結果

3.3 運用雙模式高斯混合模型於夜間感應式照明環境之人物

偵測

如1.1 節所述，由於夜間監控環境缺乏光源，欲拍攝此監控影像需使用近紅 外線攝影機，目前此類攝影機已普遍設置於監控環境中各個重要的位置。如大樓 進出入口、電梯及樓梯口等重要位置多數會額外增加感應式照明設施，此照明設 施多數配合行人經過的頻率及安全重要性安裝於夜間監控環境中，當其感應到行 人經過即啟動照明功能，當行人離去數秒後才會再關閉照明功能。此設施除了能 增加影像亮度之外，還可增加環境能見度以利行人安全通行，除此之外，亦可對 入侵者產生嚇阻作用。圖 3.3(a)為行人經過門口之影像，當感應式照明設施感應 到行人即啟動照明功能如圖 3.3(b)。 高斯混合模型（如3.1 節所述）除了能夠有效地對穩定背景環境進行前背景 分割處理，即使是漸進式變化之背景，高斯混合模型亦能以其即時偵測並學習的 特性有效地處理，如黃昏時分日光強度逐漸變弱等環境。由於感應式照明設施啟 動時，環境中的亮度瞬間且大幅變化，該環境並非呈現出穩定或漸進式變化之背 景，所以高斯混合模型無法適用於此劇烈變化之背景。 除此之外，在假設高斯混合模型已經能夠處理照明設施啟動後之環境並已經 成功地建構背景模型的前提下，由於照明設施啟動時會使前景物體的影子變得特 別明顯，如圖 3.3(b)之人影面積（紅色矩形）比人類的面積（綠色矩形）還大。 如此將造成前景外接矩形會將非人之前景（影子部分）也包含在內，不符合一般 安全監控所預期的結果。本節針對此感應式照明環境之種種問題做額外處理，期 望能獲得更理想的前景外接矩形。

33 (a) 感應式照明功能啟動前 (b) 感應行人後啟動照明功能 圖 3.3 感應式照明設施環境

3.3.1 調整高斯混合模型之參數以用於感應式照明設施環境

以高斯混合模型進行夜間感應式照明環境之物體偵測，因照明設施啟動與關 閉時會造成背景劇烈改變，而此情況多發生於前景出現於畫面中重要位置，因此 使用高斯混合模型經常會使監控影片中關鍵影像畫面皆呈現錯誤的偵測結果。 為行人經過時照明設備開啟之影像及其使用高斯混合模型判斷之結果，其中 圖 3.4 (a)(c)(e)(g)(i)為不連續之原始影像，其高斯混合模型進行的前背景偵測結 果影像分別為圖 3.4(b)(d)(f)(h)(j)。圖 3.4(a)為照明設施開啟前之影像，此時畫面 中沒有前景物體，其偵測結果如圖 3.4(b)。由於照明設施完全開啟需約四個影像 畫面，而圖 3.4(c)為照明設施開啟後第一張影像，仍非燈光穩定之畫面，因此將 偵測出亮度有變化的像素點為前景如圖 3.4(d)。由於我們的高斯混模型學習開燈 後環境之背景需要約略3 秒之時間，如圖 3.4(i)為照明設施開啟後第九十張影像， 我們的模型已更新背景並只偵測前景部分如圖 3.4(j)。雖然 3 秒的時間很短暫， 但在許多監控場景下已足夠讓目標前景物體由監控畫面中之重要位置離開甚至 離開整個監控畫面，而此過程中的偵測結果皆錯誤，如圖 3.4(e)(g)為燈光已經穩 定且行人位於重要監控位置（出入口正下方）之畫面，然而其偵測結果皆不理想 如圖 3.4(f)(h)，因此使用一般高斯混合模型的更新速度是不足以應付此感應式照 明環境的。

(a) 照明設施開啟前影像 (b) (a)經高斯混合模型處理後之前景影像 (c) 照明設施開啟後第一張影像 (d) (c)經高斯混合模型處理後之前景影像 (e) 照明設施開啟後第三十張影像 (f) (e)經高斯混合模型處理後之前景影像 (g) 照明設施開啟後第四十張影像 (h) (g)經高斯混合模型處理後之前景影像 圖 3.4 使用高斯混合模型進行感應式照明環境之物體偵測

35 (i) 照明設施開啟後第九十張影像 (j) (i)經高斯混合模型處理後之前景影像 圖3.4 （續） 基於高斯混合模型更新速度太慢造成監控影片中之關鍵影像畫面的偵測結 果不正確，我們試著調整高斯混合模型的學習速度參數，期望此方式足以應付感 應式照明環境之背景劇烈改變問題。本實驗之高斯混合模型之學習速度參數預設 值為 0.01，如果為了增加背景更新速度，將此參數調整為 0.03 來進行實驗。高 斯混合模型在調整此參數以後，其學習開燈後環境之背景需要約三十個影像畫面， 約略為1 秒，圖 3.5(a)為此時之偵測結果，相較於圖 3.4(f)之結果，可看出提高 新速度之參數能使高斯混合模型更快速的學習開啟照明設施後之背景，因此能將 監控畫面中之部分重要監控位置（出入口正下方）影像保留。加快學習速度雖然 將監控畫面中之部分重要影像保留，卻可能因畫面更新速度過快導致移動較慢的 部分前景區域被判斷為背景，如圖 3.5(b)為開燈後第四十個影像畫面，其中人之 影子部分區域由於行徑過程中重疊存在時間過長，造人影的中間區域被更新為背 景。 (a) 圖 3.4(e)經處理後之前景影像 (b) 圖 3.4(g)經處理後之前景影像 圖 3.5 調整學習速度參數之高斯混合模型進行感應式照明環境之物體偵測

3.3.2 雙模式高斯混合模型與開關照明設施之事件偵測

如3.3.1 所描述，即使調高高斯混合模型之學習速度，每次照明設施開啟或 關閉時都會有一段時間無法正確地偵測前景，而且學習速度過快亦容易導致前景 物體因短暫佇留被更新成背景而造成誤判。由此可見，單純調整高斯混合模型之 學習速度參數並無法有效解決感應式照明環境之背景迅速且劇烈變化的問題。 文獻[10]針對此類問題提出一個背景補償之解決方法，由於該論文是以台灣 雪山隧道發展監控系統，因此可以清楚定義影像畫面中背景不穩定區域（車道） 及背景穩定區域（非車道）。背景補償方法藉由偵測背景穩定區域之色彩值迅速 且劇烈變化，並利用該變化量補償回背景不穩定區域再執行後續前景及事件等偵 測。雪山隧道之環境可以明確地定義其背景穩定區域及不穩定區域，並藉由穩定 區域之色彩資訊偵測開燈及關燈狀態，然而本系統之應用環境無法如此定義，因 此我們參考其概念提出雙模式之高斯混合模型希望能改善此環境之偵測結果。 雙模式之高斯混合模型可分為平常的關閉照明設施模式（後稱為關燈模式） 及前景經過導致照明設施啟動的開啟照明設施模式（後稱為開燈模式），此兩組 模式各別為一高斯混合模型。我們依據開關照明設施之事件偵測進行模式交替的 切換，並期望在開、關燈模式下此模型皆能達成理想之偵測結果。 開、關照明設施之事件偵測 若要達成理想的偵測結果，我們要確實掌握開、關燈模式切換的時機，因此 開、關照明設施之事件偵測是相當重要的。我們利用高斯混合模型之前景結果影 像為基礎，並使用簡單的像素點數目統計資訊迅速地進行此事件偵測。 監控過程中不論是開燈還是關燈，其環境亮度皆改變劇烈，使用高斯混合模 型進行偵測之前景結果影像其畫面中會有大量像素點為前景，如 (d)其前景區域佔畫面約三分之一之面積。至於前景像素點佔畫面多寡則與 場景及照明設施開關速度有關係。因此可以使用現在時間點t之影像前景像素點