利用時空域分析與背景相減法作視訊移動物偵測

全文

(1)國立臺灣師範大學機電科技學系碩士論文. 指導教授：葉榮木博士蔡俊明博士. 利用時空域分析與背景相減法作視訊移動物偵測 Using Temporal-spatial Analysis and Background Subtraction Method to Detect Moving Objects in the Video Sequence. 研究生：邱建中. 撰. 中華民國九十八年八月.

(2) 誌謝在碩士生涯兩年當中，承蒙指導教授葉榮木博士和蔡俊明博士，在研究領域上能給予督促與指導以及對論文內容細心校稿、逐字斧正，使得本論文內容更趨完善。另外也特別感謝口試委員陳弘斌博士與李炯三博士百忙之中仍撥出時間檢視本論文，以及在口試時的寶貴建議，使得本論文能更加完善，在此獻上心中對各位師長萬分的謝意與敬意。在研究所兩年之間，感謝人工智慧實驗室中學長育才、超然在我初到實驗室時熱心的指導與帶領，讓我很快的融入了實驗室的環境；而且很慶幸的讓我遇見曜嘉以及宇璁兩位很好的同學，讓我在研究領域與日常生活上得到許許多多的幫助；感謝學弟昀松、勉光、育聖，與你們的討論，也讓我受益良多。此外，也十分感謝訊號處理實驗室裡所有同學與學弟在課業與生活上的陪伴，讓我在師大留下許多美好的回憶。另外，特別感謝 Code Project 這開放源碼的程式討論區，讓我在學習程式寫作上有著很好的平台。在此我要感謝我的家人，父親邱隨庸先生與母親何瑞霞女士，感恩您們從小辛苦地把我扶養長大，無條件的支持我；感謝哥哥昱中、妹妹暄雅與表姊雅明的鼓勵與陪伴，讓我度過在台北生活時許多惶恐不安的日子。最後，謹以此篇論文獻給所有曾經陪伴過我的每一個人，非常感謝你們。. I.

(3) 摘要利用電腦視覺方式做移動物偵測時，所遭遇到最大的問題就是動態背景雜訊以及前景本身因移動而產生的雜訊，尤其在使用背景相減法作前景擷取時，這兩種雜訊更為明顯。因此，本論文提出結合前景物時域、空間域以及色彩資訊等方式來改善偵測的正確性。本方法可分為主要三個部分：(1) 利用時序統計長方圖的方式建立可隨時間更新的背景。(2) 再以 angle-module 方法將三維色彩資訊轉換為二維的色相變化與色彩強度資訊，利用自適應的背景相減法擷取動態前景物，運用前景與背景色彩資訊的差異性來將前景物雜訊去除（陰影、小變化雜訊）。(3) 最後結合影像時間與空間資訊的概念，來去除動態背景雜訊(例如搖曳的樹枝、雨天..等)。實驗結果顯示，本研究的系統在室內或室外環境下都有九成以上的偵測正確率。對陰影、動態背景雜訊、以及攝影機輕微搖晃等容易造成誤判的條件下，系統也能夠有著不錯的偵測準確率。. 關鍵詞：時空域分析、陰影偵測、移動物偵測、背景重建、背景相減、 angle-module 色彩座標轉換。. II.

(4) Abstract The critical issues of motion detection based on computer vision are the noises in the dynamic background and the noises from objects’ moving in the foreground. These two noises are more obvious, especially at using background subtraction method. In this study, A method that combined with temporal-spatial and color information is used to improve the detection accuracy. The method can be divided into three sections: (1) The time-varying updated background is built by temporal statistic histogram; (2) Three dimension color information is transferred into two dimension color phase and color intensity by angle-module rule. Next, moving objects in the foreground are extracted by adaptive background subtraction, and the noises (shadows and small change) are removed according to variations of color information in the background and foreground; (3) Dynamic background noises (ex: branches movements and rain interferences) are removed by the concept combined with temporal and spatial information of video sequences. As the results present, our accuracy of the detection is upper than ninety percentage in the outside and inside environments. The system also has good performance when the false detection is caused by shadows, dynamic background noises, and camera shakings.. Keyword：Temporal-spatial analysis, shadow detection, dynamic object detect, background rebuilding, background subtraction, angle-module rule.. III.

(5) 目錄誌謝......................................................................................................................I 摘要.....................................................................................................................II Abstract..............................................................................................................III 目錄...................................................................................................................IV 圖目錄...............................................................................................................VI 表目錄...............................................................................................................IX 第一章緒論.......................................................................................................1 1-1 前言......................................................................................................1 1-2 研究動機與目的..................................................................................2 1-3 本文所提到的方法..............................................................................4 1-4 論文架構..............................................................................................5 第二章文獻探討與回顧...................................................................................6 2-1 相關基本理論介紹..............................................................................6 2-1-1 色彩空間.....................................................................................6 2-1-2 中值濾波器...............................................................................10 2-1-3 形態學運算...............................................................................12 2-2 相關研究............................................................................................17 2-2-1 文獻探討...................................................................................20 2-2-2 綜合討論...................................................................................26 第三章前景移動物偵測系統.......................................................................28 3-1 系統功能與架構................................................................................28 3-2 影像縮減............................................................................................30 3-3 背景重建與更新................................................................................32 3-3-1 背景重建...................................................................................32. IV.

(6) 3-3-2 背景更新...................................................................................36 3-4 自適應性閥值的移動前景物擷取..................................................37 3-5. 前景雜訊去......................................................................................41 3-5-1 陰影去除...................................................................................41 3-5-2 微小雜訊去除...........................................................................43. 3-6 動態背景雜訊去除............................................................................45 3-7 擷取影像的修補與復原....................................................................50 第四章實驗與分析.........................................................................................52 4-1 室內移動物偵測實驗........................................................................53 4-1-1 實驗結果...................................................................................53 4-1-2 實驗討論...................................................................................58 4-2 室外移動物偵測實驗........................................................................63 4-2-1 實驗結果...................................................................................63 4-2-2 實驗討論...................................................................................67 4-3 攝影機晃動下的移動物偵測實驗....................................................70 4-3-1 實驗結果...................................................................................70 4-3-2 實驗討論...................................................................................72 4-4 綜合分析............................................................................................74 第五章結論.....................................................................................................79 參考文獻...........................................................................................................81. V.

(7) 圖目錄圖 1.1 不同環境下，常見雜訊示意圖..............................................................2 圖 1.2 論文大致架構流程圖............................................................................4 圖 2.1 光三原色................................................................................................6 圖 2.2 RGB 的色彩空間...................................................................................7 圖 2.3 HSV 的色彩空間.................................................................................. 8 圖 2.4 YCbCr 的色彩空....................................................................................9 圖 2.5 中值濾波器示意圖..............................................................................10 圖 2.6 中值濾波器之處理結果......................................................................11 圖 2.7 侵蝕之示意圖......................................................................................13 圖 2.8 侵蝕之處理結果..................................................................................13 圖 2.9 擴張之示意圖......................................................................................14 圖 2.10 擴張之處理結果..................................................................................14 圖 2.11 斷開之示意圖......................................................................................15 圖 2.12 閉合之示意圖......................................................................................16 圖 2.13 時間差異法..........................................................................................18 圖 2.14 背景相減法..........................................................................................19 圖 2.15 區域對比圖[7].....................................................................................21 圖 2.16 背景建構流程圖[13]...........................................................................24 圖 2.17 Angel-module 法擷取結果[15]..........................................................25 圖 3.1 系統流程圖..........................................................................................29 圖 3.2 影像縮減之示意圖..............................................................................31 圖 3.3 影像縮減之處理結果..........................................................................31 圖 3.4 時序統計示意圖..................................................................................32 圖 3.5 紅色通道統計直方圖..........................................................................32. VI.

(8) 圖 3.6 綠色通道統計直方圖..........................................................................33 圖 3.7 藍色通道統計直方圖..........................................................................33 圖 3.8 錯誤之統計直方圖..............................................................................33 圖 3.9 修正過後之統計直方圖......................................................................33 圖 3.10 背景重建時，擷取 25 張影像存入記憶體...........................................34 圖 3.11 重新建構之背景圖..............................................................................35 圖 3.12 背景圖更新流程圖..............................................................................36 圖 3.13 Angel module 示意圖.........................................................................37 圖 3.14 各種環境下初步擷取前景之成果......................................................40 圖 3.15 各種環境下去除陰影之成果..............................................................42 圖 3.16 各種環境下去除微小雜訊之成果......................................................44 圖 3.17 各種環境下去除動態背景之成果......................................................47 圖 3.18 鬼影去除結果.......................................................................................48 圖 3.19 前景影像之標記圈選結果...................................................................50 圖 4.1 慢走實驗..............................................................................................54 圖 4.2 跑步實驗..............................................................................................55 圗 4.3 多人實驗..............................................................................................56 圖 4.4 關燈實驗..............................................................................................57 圖 4.5 各種不同演算法對跑步影像之擷取結果..........................................59 圖 4.6 各種不同演算法對關燈影像之擷取結果..........................................61 圖 4.7 室外前景偵測結果..............................................................................64 圖 4.8 陰雨天的前景物偵測結果..................................................................65 圖 4.9 高背景雜訊下偵測結果......................................................................66 圖 4.10 各種不同演算法對高背景雜訊影像之擷取結果..............................68 圖 4.11 相機輕微晃動下之偵測結果..............................................................70 圖 4.12 背景建構後之背景圖..........................................................................71 VII.

(9) 圖 4.13 各種不同演算法之擷取結果..............................................................73 圖 4.14 室內環境下，Wren[8]與 Stauffer[11]加上本文雜訊濾除法後之結果.......................................................................................................................77 圖 4.15 高背景雜訊下，Wren[8]與 Stauffer[11]加上本文雜訊濾除法後之結果.......................................................................................................................78. VIII.

(10) 表目錄表 1.1 動態背景雜訊與前景雜訊特性表..........................................................2 表 2.1 相關文獻綜合分析表............................................................................26 表 4.1 實驗中所使用的硬體規格....................................................................52 表 4.2 室內移動物偵測實驗結果....................................................................53 表 4.3 室外不同環境下偵測結果....................................................................63 表 4.4 相關文獻偵測效果與系統效能之比較................................................74 表 4-5 Wren[8]與 Stauffer[11]加上本文雜訊濾除法後之實驗結果...............76. IX.

(11) 第一章緒論 1-1 前言隨著科技日益發達，安全監控系統也越來越普及，尤其在美國 911 恐怖事件發生後，世界各國更將安全監控納為主要的-研究議題。其中視覺型監控設備在監控系統中扮演著重要的角色，不像警鈴等裝置僅能提供片面的有限的資訊，視訊監控設備能透過擷取現場畫面的方式將資料傳遞給遠端人員來掌握現場狀況，亦可錄影提供事後追蹤之證物。因此，視訊監控設備已成為最常被裝設的監控設備。然而，視訊監控設備雖然能將現場畫面傳送給遠端人員，不過長久以人力監看之下難免會有精神渙散，注意力降低等情形發生，亦或有緊急事件而暫時離開，而讓監控功能產生漏洞情形。因此可自主發現異常的智慧型監控系統便越來越受到重視，尤其現今數位攝影的日益發達，數位化的視訊資料不僅方便用於傳輸與儲存，更可以利用電腦數位影像分析，來達到智慧型監控視訊系統的目的。如此一來，不但安全監控人員可以第一時間了解有何異常狀況發生，且更大幅提升整體視訊安全監控的效益。而偵測不明的動態物體更是智慧型視訊安全監控上的第一道關卡。比如說，交通車輛管制、夜間銀行的保全、軍事重地等等需要高安全監控的區域，高感度以及高正確性的移動物偵測就有其必要性。. -1-.

(12) 1-2 研究動機與目的近年來，隨著社會經濟快速的發展，在累積財富同時，人們對於安全監控的需求也日益增加，因此視訊型智慧型監控系統也應運而生。而為達到分析影像的目的，前景動態物件的正確偵測便成了最初始也是最重要的課題。研究者在利用電腦視覺方式做移動物偵測時，所遭遇到最大的問題就是各種不同環境下，動態背景以及前景本身因移動而產生的雜訊，如表1.1。這些雜訊會干擾偵測系統，造成誤判。. 表1.1. 動態背景雜訊與前景雜訊特性表. .. 雜訊生成原因. 實際例子. 動態背景雜訊. 複雜環境下，背景物因. 因風搖曳的樹枝. 環境影響而產生變動。. 雨天攝影機輕微搖晃. 前景雜訊.. 移動物體並非全都是正確的前景移動物。. 陰影攝影機本身之微小雜訊. 圖1.1代表兩種不同的環境，分別包含前景陰影雜訊以及動態背景雜訊。. (a). (b). 圖1.1 不同環境下，常見雜訊示意圖，(a) 陰影雜訊；(b) 背景雜訊 -2-.

(13) 因此，為解決這些問題，以達到更準確且更具環境適應性的移動物偵測結果，本研究將探討，真實前景移動物與各種雜訊的相對關係，藉由這些特性，以影像時空域與色彩資訊的分析，作前景移動物偵測時，使其不易受這些環境雜訊的影響。. -3-.

(14) 1-3 本文所提到的方法本研究的主要目的是為了建構具環境適應性且準確的前景移動物偵測器；為達到此目的，研究中利用背景相減法的概念作為主要基礎。背景相減法簡單的來說，就是將待偵測影像對一已知背景影像作相減，若差異大於一定閥值，則可定義為前景移動物；但由於視訊影像內的景物，通常會隨著時間做改變，背景亦會有所變化，因此，背景與閥值就得隨之更新。然而背景相減法卻易受到雜訊影響，故為了準確擷取的目的，擷取影像時所遇到的雜訊問題必須得更進一步的去除；本研究將利用前景以及背景的色彩關係，建立雜訊濾除遮罩。然而除了前景雜訊外，複雜環境下亦有動態背景雜訊的干擾，本研究也將利用時空域的關係建立動態背景雜訊遮罩。上述的詳細過程將於後續章節進一步介紹，圖 1.2 為本論文大致流程架構；首先將連續影像以背景相減法的概念，擷取移動物以及更新背景與閥值來適應環境的變化；初步擷取出前景後，利用雜訊濾除機制，來將前景與背景雜訊做進一步濾除，得到正確的前景移動物。. 圖 1.2 論文大致架構流程圖 -4-.

(15) 1-4 論文架構本論文大致可分為五章，架構如下：第一章為緒論，主要為介紹本文的研究動機以及目的。第二章為基本理論介紹，主要說明一些影像處理的相關知識，以及相關研究文獻的回顧。第三章為前景移動物偵測方法，包括即時的背景重建機制、動態前景的擷取、背景以及前景等不同雜訊的濾除、與型態學修補等。第四章為實驗結果以及討論；最後為第五章為結論。. -5-.

(16) 第二章文獻探討與回顧 2-1 相關基本理論介紹 2-1-1 色彩空間數位影像分析中，像素色彩空間的定義為首要的工作。在過去的許多研究中，曾經用過的色彩空間有RGB、HSV、與YCbCr等，分別介紹如下：. (1) RGB色彩空間人眼感測器只能檢測到波長介於400nm至700nm之間的可見光，這些感測器稱為圓錐細胞，具有三種不同的類型：紅光圓錐細胞、綠光圓錐細胞和藍光圓錐細胞。如果單波長的光可見，這三種感測器的相對反應能使我們鑒別出光的顏色。該現象極具實用價值，因為這意味著我們只需簡單地按不同比例將上述三種光混合，就能產生各種顏色的光。這就是著名的三色原理，它在彩電系統中獲得了廣泛的應用。 RGB為最普遍使用的色彩空間之一。其中R代表紅色，G及B則各為綠色與藍色。此系統和我們熟知的(色)光三原色相似，愈混合後會得到愈明亮的色光。如圖2.1。. 圖2.1 光三原色[1]. -6-.

(17) 而電腦數位影像上，用每像素 24 位元（bpp）編碼的 RGB 值是使用表示紅色、綠色和藍色（通常按這個次序）強度的三個 8-位元無符號整數（0 到 255）來指定。例如，圖2.2展示 RGB 立方體的三個「完全飽和」面，它們被展開到了平面上：. (a). (b). 圖2.2 RGB的色彩空間，(a) RGB立方體；(b) 數位影像中不同顏色所對應的 RGB像素值(0, 0, 0)為黑色(255,255,255)是白色[1]. 使用每原色 8-位元的全值域 RGB 可以有 256 級別的白-灰-黑深淺變化，共16,777,216種顏色數目。. (2)HSV色彩空間 HSV 色彩空間對人類來說較容易理解，它將亮度 value(V) 與彩度 chrominance 從色彩中分離開來，彩度又分為色相 hue(H) 與飽和度 saturation(S) ，如圖2.3，由於元素之間關聯性小，不會互相影響，所以很適合影像處理使用。HSV[2]色彩空間與RGB色彩空間的轉換關係式如公式 (2-1)： -7-.

(18) 1 ⎧ [(R − G ) + (R − B )] ⎫⎪⎪ ⎪⎪ 2 H = arccos⎨ 1 ⎬ ⎪ (R − G )2 + (R − B )(G − B ) 2 ⎪ ⎪⎩ ⎪⎭ 3 [min(R, G, B,)] S = 1− R+G+ B MAX (R, G, B ) V = 255. [. ]. (2-1). 由於此種色彩空間，有著亮彩分離的特性，因此再做移動物偵測上，較不易受到環境光影變化的影響，也可以利用其彩度特性來設計陰影遮罩去除陰影雜訊。. 圖2.3 HSV的色彩空間[2]. (3)YCbCr色彩空間利用RGB格式處理圖像時，每像素由3個分別對應於三原色的8位元像素值來決定，因而這不是一種最高效的處理方法。這種格式下，必須在所有的紅色、綠色和藍色通道上對圖素進行作業，所需的儲存空間和數據頻寬毫無疑問將比其它可供選擇的色彩格式更大。為了解決這個問題，許多廣播標準 (如歐洲的PAL和北美的NTSC電視系統)均採用亮度和色度視頻信號。因此，不同的色彩格式之間需要一種能互相轉換的機制。最通用的一種轉換是由 RGB格式轉換至YCbCr格式(反之則從YCbCr格式轉換至RGB 格式)。其中Y -8-.

(19) 表示亮度(而Cb 與Cr 代表另外二個色度(chrominance)。研究顯示，人眼察覺到的光亮度資訊(Y)的60％至70％來自綠色光。紅色和藍色通道實際上只是亮度資訊的複制，因此這些重覆資訊完全可以去除掉。最終的結果是圖像可用表徵色度和亮度的信號來表示。在這種格式下，8位元系統規定亮度的取值範圍介於16至235之間，而Cb和Cr信號的取值範圍介於16至240之間，並規定128表示亮度為0或255。 YCbCr[2] 色彩空間是修改 YUV 色彩空間所得到的，分為亮度元素 luminance(Y)與blueness(Cb)、redness(Cr)兩個彩度元素，對亮度的分離性高，方便與彩度分開操作，適合影像處理使用，如圖2.4；它也是REC601-1(CCIR 601-1)所制訂MPEG視訊與JPEG影像的標準色彩空間。YCbCr色彩空間與 RGB色彩空間的轉換關係式為公式(2-2)： 0.58700 0.11400 ⎤ ⎡R ⎤ ⎡16 ⎤ ⎡Y ⎤ ⎡ 0.29900 ⎢Cb ⎥ = ⎢− 0.16874 − 0.33126 0.50000 ⎥ ⎢G ⎥ + ⎢128⎥ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎢⎣Cr ⎥⎦ ⎢⎣ 0.50000 − 0.41869 − 0.08131⎥⎦ ⎢⎣B ⎥⎦ ⎢⎣128⎥⎦. 圖2.4 YCbCr的色彩空間[2]. -9-. (2-2).

(20) 2-1-2 中值濾波器當作前景物偵測時，有可能會因為攝影機本身雜訊或光線的問題而產生微小的孤立雜訊點，這種現象可以利用訊號濾波器的方式來改善。其中最常見的便是均值以及中值濾波器[3]，這裡主要介紹本研究會用到的中值濾波器，它主要是來對付胡椒鹽式的孤點雜訊。中值濾波器的理論很簡單，首先使用者得先決定遮罩大小，再將遮罩內之元素做排序，並取出這群資料的中值，來取代雜訊點的位置。如圖 2.5 所示，可以更清楚中值濾波器之處理流程。圖 2.5(a)為 3× 3 大小的子影像；可輕易發見，中間點的像素值為 200，這與周圍的像素值比起來，顯得突兀以及不協調，因此被視為雜訊點。為去除這雜訊的影響，將此子影像內所有像素，經過排序取出中值，再填入原先像素值為 200 的雜訊點上，如圖 2.5(b)。如此一來，原先的雜訊點數值變為 30，與周圍像素差異將變小，達到去除雜訊的效果。圖 2.6 為中值濾波器之處理結果，圖 2.6(a)為原始影像，可以發現存在著許多孤點的雜訊；圖 2.6(b)為經中值濾波處理後之影像，其中孤點雜訊已經被有效地濾除。. (a). (b). 圖 2.5 中值濾波器示意圖，(a) 包含雜訊之子影像；(b) 取中值後之子影像. - 10 -.

(21) (a). (b). 圖 2.6 中值濾波器之處理結果，(a) 原始影像；(b) 中值濾波處理後之影像. - 11 -.

(22) 2-1-3 形態學運算形態學常用來抽取影像中的特徵，例如，骨架或是邊緣。在此，它利用簡單的二元邏輯運算，就可以達到不錯的結果。有很多研究，會在整套系統中加入形態學運算來達到濾波(Filtering)以及細化(Thinning)…等等的功用。在影像處理中，常常把處理的結果以二元圖來表示，它的好處，當然就是分析簡單、計算容易以及易於表達等等優點。舉個例子，如果要做前景偵測，只要把偵測到的前景，先暫時以白色表示(255)，而非前景的區域，就可以用黑色來表示(0)。如此一來，我們便可利用簡單的邏輯的 AND 以及 OR 運算即可達成影像型態學的處理效果，且計算量更可以大大降低。以下介紹幾種最常見的型態學處理方法。. (1) 侵蝕所謂的侵蝕[3]，可以利用一結構元素來完成；亦即，利用結構元素對原來的物體做消滅的動作。如圖 2.7 所示，以灰色以及空白方塊分別代表二元圖中兩種不同的像素值，將影像 A 以結構元素 B 做侵蝕之後，產生 C 之影像。這裡的作法採用四方向的方式；將結構元素 B 依序貼上影像 A，若其鄰近上下左右四個方向均為灰色的方塊，則留下此灰色方塊，即為影像 C 灰色格數部份。若結構元素四方向並非全為灰色方塊，則為被侵蝕掉的像素，即為影像 C 紅色部分。如此一來，對於小的雜訊點，或是經過外在因素使得兩物件連在一起之影像，即可被消滅或是分開。侵蝕的公式定義如(2-5)所示，其中 + 號代表平移四個方向的運算子。圖 2.8 為經侵蝕之處理結果，圖 2.8(a) 為原始影像；圖 2.8(b)為經侵蝕處理後之影像，可以發現原影像經侵蝕後，其白點區域變小。. - 12 -.

(23) 圖 2.7 侵蝕之示意圖. AΘB = ∩ A + b. (2-5). b∈− B. (a). (b). 圖 2.8 侵蝕處理；(a)原始圖片，(b)侵蝕後之結果. (2) 擴張再來談到擴張[3]的部分，它的意思正好與侵蝕相反，它是利用結構元素對原來的物體做放大的動作。如圖 2.9 所示，以灰色以及空白方塊分別代表二元圖中兩種不同的像素值，將影像 A 以結構元素 B 做擴張後，產生 C 之影像。採用四方向的方式；將結構元素 B 依序貼上影像 A，若其鄰近上下左右四個方向只要有一個以上為灰色的方塊，則留下此灰色方塊，即為影像 C 紅色格數部份。若結構元素四方向皆無灰色方塊，則不做任何改變。如此一. - 13 -.

(24) 來，對受外在干擾而使原始影像而呈現破碎的區域，經過擴張後，可以將兩物體連結在一起。擴張的公式定義如(2-6)所示，其中 + 號代表平移四個方向的運算子。圖 2.10 為經擴張之處理結果，圖 2.10(a)為原始影像；圖 2.10(b) 為經擴張處理後之影像，可以發現原影像經擴張後，其白點區域變大。. 圖 2.9 擴張之示意圖. A⊕ B = ∪ A+b. (2-6). b∈B. (a). (b). 圖 2.10 擴張處理；(a)原始圖片，(b) 擴張後之結果. (3) 斷開與閉合[] 利用侵蝕與擴張兩個形態學運算做組合，可以產生出兩個新的形態學運算，那就是斷開(Opening)[3]與閉合(Closing)[3]。斷開運算常用於雜訊的去除，還有細線的截斷。其過程就是先經過侵蝕，去除微小雜訊影響，再利用 - 14 -.

(25) 膨脹回復原始大小，圖 2.11 為斷開運算之示意圖，圖 2.11 (a)為一張原始圖片，圖 2.11 (b)為經過侵蝕運算的結果，可看出中間有一細線被消滅，圖 2.11 (c)是把圖 2.11 (b)做擴張運算的結果，可看出圖形的大小已經恢復到原來的比例，且中間細線部分截斷。斷開的公式定義如(2-7)所示。. A o B = ( AΘB ) ⊕ B. (2-7). (a). (b). (c). 圖 2.11 斷開之示意圖，(a) 原始圖片；(b) 經侵蝕運算；(c) 再經擴張運算. 閉合運算適用於填補缺口。其過程先經過膨脹，之後再做侵蝕。如圖 2.12 所示，圖 2.12(a)之真正訊息也許是一條線，但是可能由於外在因素被破壞了。因此，將圖 2.12(a)經過閉合運算後可以得到圖 2.12(c)之影像，可以看出，它已經將原始圖片的資訊還原了，可以清楚地看到圖 2.12(c)之結果圖類似一條直線。閉合的公式定義如(2-8)所示。. A • B = ( A ⊕ B)ΘB. - 15 -. (2-8).

(26) (a). (b). (c). 圖 2.12 閉合之示意圖，(a) 原始圖片；(b) 經擴張運算；(c) 再經侵蝕運算. - 16 -.

(27) 2-2 相關研究移動物偵測是電腦視覺系統中一門重要的課題，主要可應用在視覺安全監控系統以及交通監控等領域上。尤其偵測不明的動態物體對於安全監控上更有相當重要的關係，比如說，夜間銀行的保全、軍事重地的管制等等需要高安全監控的區域，高感度以及高正確性的移動物偵測就有其必要性。因此，許多不同的移動物偵測法陸續被提出以及改良，其主要方式主要可分為兩種，分別為時間差異法(Temporal Difference)與背景相減法(Background Subtraction)。. (1)時間差異法時間差異法不需要事先建立背景影像，而是以時域的概念直接將連續影像中兩相鄰影像作相減，公式定義如(2-9)所示，得到影像中梯度變化較大的邊緣移動影像。圖 2.13 為時間差異法的處理結果，圖 2.13(a)為當前之影像，圖 2.13(b)為經公式(2-9)處理後之結果。此法雖簡單，但由圖 2.13(b)可以發現；. 其結果不易受到光線變化以及雜訊影響，但所得到的前景資訊卻十分不足。 if abs ( I t ( x, y ) − I t −1 ( x, y )) > T ⎧1 ⎪ FT ( x, y ) = ⎨ ⎪0 otherwise ⎩. I t ( x, y ) ：當前影像上座標為 ( x, y ) 的亮度值。. I t −1 ( x, y ) ：前一影像上座標為 ( x, y ) 的亮度值。 FT ( x, y ) ：經初步判斷後屬於前景移動物的像素點。. T：判定影像差異度的閥值。. - 17 -. (2-9).

(28) (a) 前一張影像#112. (b) 當前影像#113. (c) 結果影像圖 2.13 時間差異法，(a) 前一張影像， I t −1 ( x, y ) ；(b) 當前影像， I t ( x, y ) ； (c) 結果影像， F ( x, y ) ，T=10 之處理結果；#代表影像之格數. (2)背景相減法背景相減法則是利用事先建立好的參考影像當作背景影像，與輸入的影像做相減的動作，公式定義如(2-10)所示，若相減後的影像點其差值高於閥值時，表示此點可能為移動物體的一部份。以這種方式能擷取出完整的前景物資訊，但卻容易受到光線變化以及雜訊等影響。 if abs ( I t ( x, y ) − Bt ( x, y )) > T ⎧1 ⎪ FB ( x, y ) = ⎨ ⎪0 otherwise ⎩ - 18 -. (2-10).

(29) I t ( x, y ) ：當前影像上座標為 ( x, y ) 的亮度值。 Bt ( x, y ) ：背景影像上座標為 ( x, y ) 的亮度值。 FB ( x, y ) ：經初步判斷後屬於前景移動物的像素點。. T：判定影像差異度的閥值。. (a) 背景影像#25. (b) 當前影像#113. (c) 背景相減法處理結果圖 2.14 背景相減法，(a) 背景影像， Bt ( x, y ) ；(b) 當前影像， I t ( x, y ) ； (c) 結果影像， F ( x, y ) ，T=10 之處理結果；#代表影像之格數. 經由以上的比較，為擷取完整的移動物體，本研究將以背景相減法為主要概念。. - 19 -.

(30) 2-2-1 文獻探討不論是時間差異法亦或是背景影像相減法，其主要方式都是依據連續影像的時域、空間域，以及色彩光譜不同的特徵來做前景物的擷取。接下來本文將依其各種主要特徵的擷取法來做相關研究的回顧。. (1)時域特徵 Lipton[4]提出以時域的概念，直接將連續影像中兩相鄰影像作相減，若差異值大於一給定閥值，則可得到影像中梯度變化較大的邊緣移動影像。此法運算快速簡單，且不易受外在的雜訊影響，但其所得到的前景資訊卻嚴重不足，無法擷取出完整前景物。除此之外，由於閥值不會隨著環境有所變更，因此對環境的變動無自適應性。此外，光流法也是以時域的觀點來擷取前景影像[5]。光流法簡單來說便是計算相鄰連續影像中每一像素點之移動量，並設計量測移動量流動變化之特徵指標來標示前景在影像中之區域，但此方法計算量大且十分耗時，無法應用在即時系統。因此，Tian[6]提出以光流法為基礎，但僅計算水平方向的移動量，來降低運算速度，如此一來便可應用在即時系統，但卻只能偵測水平移動的物體。. (2)時空域特徵如果僅以時域分析，擷取的前景影像並不完整，而光流法卻又十分耗時，因此 Huang[7]提出結合時域以及空間域特徵的擷取法。利用兩相鄰影像區域面積內的區域對比值差異來擷取區域前景，再將區域前景合併。其中區域對比值的求法為，區域面積內所有像素點的標準差除以平均值。由圖 2.15 我們可以看出當空間區域內有移動物體時，與無移動物體時有著明顯的差 - 20 -.

(31) 距。. 圖 2.15 區域對比圖[7]，可以觀察出區域影像內若有前景物體時對比值約為 0.6 而與無前景物體時分別為 0.4 以及 0.1. 此法結合了時域以及空間域的特性，因此能較完整的擷取出前景物體，且以區域對比的特性為主要特徵的方式，可在夜晚等光源較弱的環境下做動態物件的偵測，且對背景雜訊有著不錯的抵抗效果；但這方法的缺點在於選取區域大小以及對比閥值的選定，由於論文中僅考慮夜晚以及廣區域的影響，因此在其他環境下，其閥值得做變更。. (3)色彩光譜特徵為求得更完整前景物體，背景相減法便是很重要的方法；其中背景的重建以及判斷閥值的選取，也直接決定擷取前景物正確性。近年來，以色彩光譜特徵進行背景重建的方式更是主要研究方向。在電腦影像處理中，研究者可以根據色彩空間定義，依各種通道的像素值組合，來代表不同的顏色。而. - 21 -.

(32) 在連續影像中，背景通常都是較為靜止不動的物體，因此其色彩特性變動不大，於是便可統計背景以及前景的色彩差異，來分類出前景以及背景物體。 Wren[8]提出以單一高斯模型來統計每一像素的背景值，以背景相減的方式擷取出前景資料；由於背景的像素值並不隨著時間有明顯的變動，因此假設每點 I t 色彩像素值分佈會呈現常態分佈狀態，以此常態分佈的平均值 μt 與標準差 σ t 進行前景以及背景的判斷，如公式(2-11)，k 值為常數。另外利用公式(2-12)，將平均值隨著時間更新，其中 α 為學習率，數值越大更新速度越快。另外，Koller[9]則提出新的均值更新方式，將以判斷為前景的資訊加入均值更新條件；而 Haritaoglu [10]除了以平均值的方式外，另外也有加入取連續三張影像，同個位置中的像素最小值、最大值及差異值，來當作判斷條件。單一高斯動態前景的擷取法為早期用於背景相減時的背景重建法，其好處是處理速度快速，且若是穩定的室內環境其偵測效果也很好；但缺點就在於，此偵測法對複雜環境下、微小的光影變化、相似的顏色，以及動量小的前景物很容易產生偵測雜訊。 abs( I t − μ t ) > k ∗ σ t. (2-11). μ t = αI t + (1 − α ) μ t −1. (2-12). 由於上述方法，無法對複雜環境下進行動態前景擷取。因此，Stauffer[11] 提出以混合高斯模組來做多背景值的背景重建；藉由建立高斯混合模型，累積一段時間的影像資訊後，以像素為單位建立背景模型，此背景模型將隨著時間更新。當背景模型建立完之後，若像素值與背景高斯模型吻合，此像素將被歸類為背景點；否則即歸類為前景點。所謂吻合即是在背景高斯模型的 B 個高斯分佈中，取出與此像素值最接近的高斯分佈其所屬的平均值，若此平均值與像素值的差值在所設定的標準差之內，即此點吻合背景高斯模型。大致原理如下：在連續影像中，畫面中每一個像素隨著時間變化的數值 - 22 -.

(33) 可以表示為一機率程序，公式(2-13)，其中 I ( x, y, i ) 表示在時間為 i 時 ( x, y ) 位置上的像素值。 { X 1 ..... X t } = {I ( x, y, i ) : 1 ≤ i ≤ t}. (2-13). 而在即時應用上，所觀察到的像素集合 { X 1..... X t } 之機率分佈，可以利用混和 K 個高斯分佈模型來表示，如公式(2-14)所示，其中η 為高斯機率密度函數， ωit 為第 i 個高斯分佈η 的權值。 K. P ( X t ) = ∑ ω it ∗η ( X t , μ it , σ it2 I ). (2-14). i =1. 因此，像素背景模型可以表示為 B 個高斯分佈，如公式(2-15)所示，其中 β 為背景值，B 是以 ω / σ 的比值，依照由大至小排序後的前 B 個高斯函數，若像素值與背景模型吻合，此像素將被分類為背景點；反之為前景點。這方法在複雜的環境下有著較好的偵測適應性，但卻計算繁複。 B. P ( X t , β ) = ∑ ω it ∗η ( X t , μ it , σ it2 I ). (2-15). i =1. 除了以高斯模型的統計法外；也有利用非參數式的貝式分類器，來統計估測前景與背景的像素值[12]，但卻也有計算繁複的問題。然而不論是參數式或是非参數式的統計學習方式，多由色彩分布的概念來重建更新背景，故易受到相似顏色以及光影變化的影響，且計算繁雜；因此，Ekinci [13]提出以類似統計像素直方圖的方式來建立隨時間更新的背景。. - 23 -.

(34) 圖 2.16 背景建構流程圖[13]. 圖 2.16 說明在訓練背景圖的計算過程，左方的影像表示一段區間所使用影像，在訓練背影圖的歷史記錄裡，計算影像中同個位置裡，不同時間的不同變化量。另外兩個欄位 1a 與 1b 分別記錄著目前 Pixel (n, m) 位置的像素值，以及 Pixel ( n, m) 位置像素值的重覆量。依此類推，我們比較過一段時間的訓練影像，找出它相對的重覆量以及變化量，建立一個歷史記錄，如此可以分析出它時間變化最少的影像，找出記載在 1b 欄位裡重覆值最大的便代表影像上出現最固定的畫面，所對應的 1a 即為背景之像素值。此方式可更準確的適應當前環境的變化，建構更正確的背景且計算方式較為簡易。上述前景擷取方式，僅考慮背景以及前景色彩像素值的差異性；因此，例如陰影等包含色彩資訊特性的雜訊亦會被擷取出來。針對這問題， Kumar[14]利用各種不同的色彩空間，以前景以及背景的色彩比例關係找出對其物體陰影範圍的像素值特性，來達到去除陰影的效果。Enrique[15]更進一步利用 Angle-module 法，將三維的 RGB 色彩資訊轉換成更富前景與背景相關性的二維色相變化以及色彩強度資料。以各種前景雜訊的特性來設計雜訊偵測的遮罩。. - 24 -.

(35) 原始影像前景擷取 (包含雜訊) 前景擷取 (雜訊去除) 完整前景物. 圖 2.17 Angel-module 法擷取結果[15]. 圖 2.17 中，第一列為原始影像，第二列為無雜訊遮罩去除之結果，第三列為經過雜訊遮罩之處理結果，第四列為擷取之結果。可以發現 Angel-module 法能有效的去除陰影及微小變動等雜訊，在靜態背景的條件下，有著很好的擷取成果。但此方法無法處理非靜態背景所造成之雜訊。. (4)混合色彩光譜以及空間特徵由於以色彩光譜特徵做動態前景物擷取時，易受前景以及背景雜訊所影響；因此 Jabri[16]提出先以色彩空間 RGB 作單一高斯法的背景更新以及前景擷取；另外以 Sobel 法將當前影像的空間邊緣資訊給擷取出來，並利用單一高斯的方式判斷是否為前景點；將 RGB 以及空間邊緣點資訊所得的兩結果做混合，擷取出前景。Javed[17]除了加入空間邊緣的資訊外，還以混合高斯模型建構更具環境適應性的背景。由於前景雜訊通常邊界都較不明顯，因此這類方式對某些特定的前景雜訊有著不錯的濾除效果，但若陰影輪廓較深以及動態背景雜訊則較無抵抗力。 - 25 -.

(36) 2-2-2 綜合討論這裡我們將上章節所提到的移動偵測研究文獻，依不同的主要擷取特徵來探討特色以及缺點，如表2.1。表2.1 相關文獻綜合分析表主要特徵. 擷取方法. 特色以及缺點此法快速簡單，且不易受外在雜. 以時間差異法作為主要特色訊影響。若使用光流法則更能完概念；僅利用連續影像. 整的擷取出動態前景物。. 時域特徵中，相鄰兩影像隨著時. 擷取前景資訊不足，且閥值無環. 間每點像素改變的特性. 境自適應性。而若使用光流法，缺點. 來做前景擷取。. 雖能得到完整的動態資訊，但計算繁雜，不適合即時系統。. 能擷取出較完整之前景物體且對特色背景雜訊有著一定的抵抗效果。除利用時域特徵外，加時空域特入影像空間特徵(區域徵. 對比的概念)，來擷取完. 前景以及背景分類閥值選取法得. 整正確的前景移動物。. 依環境設定，且雜訊以及偵測移缺點動物體的完整程度，取決於空間特徵區域選取大小，故偵測強健性不足。. - 26 -.

(37) 近年來，最主要的動態偵測法；背景相減法作為主要概. 能擷取出較完整之前景物體，且. 念；以高斯模型、貝式. 依色彩資訊的特性，能有效的去. 分類器、或是直方圖統特色除前景雜訊。有著較好的環境適色彩光譜計的方法，統計每點像. 應性；另外，能統計出多個背景. 素隨時間變動的色彩資. 值，因此對背景雜訊有著一定的. 訊，分別估測背景及前. 去除效果。. 景的像素值。. 計算較為繁複；需事前提供背景. 特徵. 缺點圖形以供訓練才能達到較好的背景以及前景雜訊去除。除了以像素值估測外，. 加入空間特徵資訊能更為有效的. 另外加入空間特徵資訊特色. 去除前景以及背景雜訊。. 混合色彩的估測；利用高斯模型光譜以及先行估測出前景區域，空間特徵另外計算當前影像前景. 若雜訊邊緣資訊較為明顯，則偵缺點測率不佳；且當環境瞬時變化. 邊緣像素點的資訊，將. 時，即無法偵測。. 兩種結果做結合。. 然而上述這些方法大都只取連續影像中其中一、兩種主要特徵來擷取移動物，因此多少都會受到背景或前景雜訊以及環境變動的影響，而產生一定的誤判空間。尤其在使用背景相減法的概念下，雜訊影響會更為明顯，故本研究為改善這些問題，將結合三種主要特徵資訊的方法，作更具環境適應性的視訊移動物。. - 27 -.

(38) 第三章視訊移動物偵測系統 3-1 系統功能與架構本研究主要是探討如何利用監視攝影機所拍攝之畫面，將影像中的背景進行濾除，以偵測出正確的移動物體。最常見的背景濾除方式便是背景相減法，但由於此法在畫面擷取時易受到前景雜訊以及背景雜訊等的影響而產生誤判，造成監視適用環境的限定與效益降低，因此本研究將針對前景與背景影像的時域、空間域、與色彩資訊的關係，來設計不易受到雜訊影響的移動物擷取法，以達到更佳的環境適應性。. 圖 3-1 為本研究之系統流程圖，其主要可分為四個主要部份的，分別為背景的建構以及更新(Background update with temporal static histogram)、前景物自適應閥值的初步擷取 (Angle module and adaptive background subtraction)、前景雜訊去除(Foreground object excluding shadow and small change noise) ，以及建立動態背景雜訊遮罩 I M ( x, y ) ，來濾除雜訊 (Temporal-Spatial analysis)；其中， Δ t 與 Θt 為本研究中擷取前景物體之主要特徵，分別代表為影像的色彩強度與色相之變化，將於後續章節做詳細介紹。. - 28 -.

(39) 圖 3.1 系統流程圖. - 29 -.

(40) 3-2 影像縮減由於本研究主要是採用統計式的方式來重建背景，因此需要較大的記憶體空間來支援本研究的系統，為提高系統的效能，在這裡利用影像縮減的概念來降低我們的記憶體需求量。影像縮減原本是為了由靜態圖片資料庫中來獲取特徵以及降低資料流量[18]，本研究則將此概念延伸應用於動態影像上。如(3-1)式所示，原彩色影像 I R ,G , B ( x, y ) 大小為 M × N ，其中 I R ( x, y ) 、 I G ( x, y ) 、 I B ( x, y ) 分別代表原始影像 RGB 三種色彩空間內每點的像素值。設. 計 m 、 n 數值為 0 到 1，以此 2 × 2 遮罩取得影像區域的像素平均值，建構縮減的 RGB 影像 mean R ( x, y )′ 、 meanG ( x, y )′ ，與 mean B ( x, y )′ ，在將三種色彩空間結合，建構縮減的彩色影像 meanR ,G , B ( x, y )′ ，其縮減示意圖如圖 3.2 所示。這樣一來，不但畫面中雜訊的影響得以降低，且所需處理的資料量也減少相當大的比例，如圖 3.3，將原始影像大小縮減成四分之一。. I R ,G,B ( x, y ) = [ I R ( x, y ), I G ( x, y ), I B ( x, y )] mean R ( x, y )′ =. 1 m =1 n =1 ∑ ∑ I R ( x + m, y + n) 4 m =0 n =0. meanG ( x, y )′ =. 1 m =1 n =1 ∑ ∑ I G ( x + m, y + n) 4 m =0 n =0. mean B ( x, y )′ =. 1 m =1 n =1 ∑ ∑ I B ( x + m, y + n) 4 m =0 n =0. x ∈ [0,2,4,...., M ] ； y ∈ [0,2,4....., N]. mean R ,G , B ( x, y )′ = [mean R ( x, y )′, meanG ( x, y )′, mean B ( x, y )′]. - 30 -. (3-1).

(41) mean R ,G , B ( x, y )′. I R ,G,B ( x, y ). 圖 3.2 影像縮減之示意圖. 圖 3.3 影像縮減之處理結果 (影像來源[19]). - 31 -.

(42) 3-3 背景重建與更新經由影片的觀察我們可以發現，大部分屬於背景圖屬於比較固定的影像，即使受到光影的反射影響，影像上出現的光點也只是短暫，所以背景圖建立就是在連續影像中找出長時間比較穩定且比較沒有變動的像素值。因此本研究以時間標示較久的像素值做為背景圖。. 3-3-1 背景重建利用統計直方圖的概念來計算一段時間內每點像素值的改變，會發現各個像素值的計數量與背景影像的像素值會成比例關係。換句話說，統計直方圖的計數量愈大，此計數值所對應的像素就愈有可能成為背景的像素值，因此，在建立統計直方圖之後，利用尋找最大值的方式決定背景的像素值。首先，本研究以時序的概念取連續影像中約 25 格數作背景重建的動作，圖 3.4。每點像素 I t ( x, y ) 可分為紅綠藍三種色彩通道，分別統計三種色彩通道中，隨著時間的變化每點像素所出現的數值，統計出三色彩通道的直方圖，圖 3.5 為一位置點 ( x, y ) 在經過 25 張格數後，統計紅色通道像素值之直方圖，圖 3.6 為統計綠色通道像素值之直方圖，圖 3.7 為統計藍色通道像素值之直方圖。依背景像素時間變化的特性，取直方圖中出現最頻繁的像素來重建背景，這方式快速簡單，且可隨著時間隨時跟新背景影像，若訓練的影像格數越多，則結果會更為精確，且不易受光線以及殘影的影響。 R 10 8 6 4 2 0 [0]. 圖 3.4 時序統計示意圖. [50]. [100]. [150]. [200]. [250]. 圖 3.5 紅色通道統計直方圖 - 32 -.

(43) G. B. 10 8 6 4 2 0. 10 8 6 4 2 0 [0]. [50]. [100]. [150]. [200]. [0]. [250]. 圖 3.6 綠色通道統計直方圖. [50]. [100]. [150]. [200]. [250]. 圖 3.7 藍色通道統計直方圖. 但是，若僅以統計最頻繁出現的像素來建構背景的話，在雜訊較大的背景下有可能出現如圖 3.8 之誤判，圖 3.8 由於背景雜訊的影響，背景像素會分佈較為均勻，此時前景像素出現次數就有可能會大於或等於背景像素的出現次數(前景像素與背景像素出現次數相同，但像素分佈卻有明顯不同)，因此利用修正直方圖 H t 來避免這類的問題，以文獻[20][21]的概念來設計遮罩，公式為(3-2)。 H t = ∑t − n hn t +n. (3-2). 其中 hn 為原本直方圖內所統計之次數值， n 為設計遮罩之大小，本研究設計為 2。圖 3.9 為修正後之直方圖，經由設計的遮罩修正運算，將原先圖 3.8 中每一像素值的統計次數，與其相鄰像素值所對應的統計次數做累加，結果顯示，可將背景與前景像素出現次數作出區隔，正確地定義出背景像素值。. 10. 12 10 8 6 4 2 0. 8 6 4 2 0. 圖 3.8 錯誤之統計直方圖，. 圖 3.9 修正過後之統計直方圖. - 33 -.

(44) 圖 3.10 為背景重建時，擷取 25 張影像存入記憶體。#為連續影像當前影像格數。. #0. #3. #6. #9. #12. #15. #18. #21. #24. #27. #30. #33. #36. #39. #42. #45. #48. #51. #54. #57. #60. #63. #66. #69. #72. 圖 3.10 背景重建時，擷取 25 張影像存入記憶體。#為連續影像當前格數. - 34 -.

(45) 圖 3.11 重新建構之背景圖. - 35 -.

(46) 3-3-2 背景更新為了使背景影像能根據環境的變化而得到較佳的結果，因此需要不斷地更新背景。而背景更新的方法，如圖 3.12 所示；利用跳躍式的方式作每一定時間的樣本抽取，將資料存入記憶體中，當抽取樣本總數達到 25 張後，利用統計長條圖的方法建構新的背景，以達到背景能隨著環境變化而達到自適應的目的。(本研究中動態影像皆為每秒 25 格數；每過 3 影像格數則抽取建構背景的樣本影像，因此約為每 3 秒建構更新一次背景). 圖 3.12 背景圖更新流程圖. - 36 -.

(47) 3-4 自適應性閥值的移動前景物擷取背景建構完成後，便需要利用背景相減的方法來將前景移動物給擷取出來，本研究將三維的色彩資訊轉換成更富前景與背景相關性的二維色相變化以及色彩強度資料(angle-module)[15]。圖 3.13 本文將 I t ( x, y )[ R, G, B] 與背景 Bt ( x, y )[ R, G, B] 表示在三維座標上，利用向量運算的概念，以公式(3-3)求出. 範數| I t |與| Bt |之差異值 Δ t (色彩強度資訊)，公式(3-4)與(3-5)為向量的點積公式的兩種形式，本研究依兩者的關係以公式(3-6)定義兩向量的夾角值 Θt (色相變化資訊)。. 圖 3.13 Angle module 示意圖[14]. Δ t = abs ( I t − Bt ). (3-3). I t ⋅ Bt = I t ⋅ Bt ⋅ cos(Θt ). (3-4). I t ⋅ Bt = I tR ∗ BtR + I tG ∗ BtG + I tB ∗ BtB Θ t = arccos(. I t ⋅ Bt ) I t ⋅ Bt + ε. 其中 ε 為一極小值來避免角度求取錯誤。. - 37 -. (3-5) (3-6).

(48) 轉換成為二維資訊後，必須設計一個可隨時間更新的閥值來擷取前景。本研究採用高斯常態分佈以及先進先出的概念來擷取前景以及學習閥值。首先，求得每點隨時間變化所產生的範數差異值 Δ t 以及角度值 Θt ，計算其均值 ( μ Δ , μ Θ ) 以及標準差 (σ Δ , σ Θ ) ，建構其高斯函數；以下列公式(3-7)進行前景擷取，其中 Δ t ( x, y ) 與 Θt ( x, y ) 為每點當下的範數差異值與角度值， k 值為一常數值，由常態分佈的經驗法則來定義 k 值；常態分佈的經驗法則可解釋為約 68% 數值分佈在距離平均值一倍標準差內的範圍，約 95% 數值分佈在距離平均值兩倍標準差內的範圍，以及約 99.7% 數值分佈在距離平均值三倍標準差內的範圍。由於背景點的 Δ t 與 Θt 數值不易隨著時間變化而改變，因此我們將 Δ t ( x, y ) 、 Θt ( x, y ) 與均值 μt ( Δ ) ( x, y ) 、 μt ( Θ ) ( x, y ) 作相減，若其數值大於 k 倍的標準差，則代表此時的影像點變異較大，為前景 foreground ( x, y ) 。本研究中 k 值設定為 2，可依環境需要做更改，但不能大於 3。. ⎧ ⎪1 if ⎪ ⎪ foreground ( x, y ) = ⎨ ⎪ ⎪ ⎪0 ⎩. Δ t ( x, y ) − μ t ( Δ ) ( x, y ) > k ⋅ σ t ( Δ ) ( x, y ). or. Θ t ( x, y ) − μ t ( Θ ) ( x , y ) > k ⋅ σ t ( Θ ) ( x , y ). (3-7) otherwise. 而閥值更新的部份，則利用先進先出的概念來重新估計閥值；若均值訓練影像總數為 n ，隨著時間 t > n ，將新的 Δ t +1 以及 Θ t +1 取代舊的 Δ t − n 與 Θ t − n ，再重新估測均值以及標準差。公式(3-8)為均值更新的方式，其中 μt +1( Δ ,Θ ) 為重新估測的均值， μ t ( Δ ,Θ ) 為原來的均值，Δ t − n ( x, y ) 與 Θt −n ( x, y ) 為舊的範數差異值. - 38 -.

(49) 與角度值， Δ t +1 ( x, y ) 與 Θ t +1 ( x, y ) 為新的範數差異值與角度值。為估測新的準差，將舊的範數差異值與角度值與原來均值作相減，得到 St ，如公式(3-9) 所示，以及將新的範數差異值與角度值與新得到均值作相減，得到 St +1 ，如公式(3-10)所示，利用公式(3-9)與(3-10)，求得新的標準差 σ t +1( Δ ,Θ ) ，公式 (3-11)。 n 為訓練影像之總張數，本研究設定為 25。. μ t +1( Δ ,Θ ) = {μ t ( Δ ,Θ) × n − [Δ t − n ( x, y ), Θ t − n ( x, y )] + [Δ t +1 ( x, y ), Θ t +1 ( x, y )]} / n S t = [(Δ t − n ( x, y ) − μ t ( Δ ) ), (Θ t −n ( x, y ) − μ t ( Θ ) ))] S t +1 = [(Δ t +1 ( x, y ) − μ t +1( Δ ) ), (Θ t +1 ( x, y ) − μ t +1( Θ ) ))]. σ t +1( Δ ,Θ ) = {[(σ t ( Δ ,Θ ) ) 2 × n − S t + S t +1 ] / n}. 1. 2. (3-8) (3-9) (3-10) (3-11). 圖 3.14 為各種環境下，初步擷取後所得的結果，前景點的部份本研究以白點來表示，由結果可以看出我們所擷取到的前景點受雜訊的影響而擷取失真。因此，接下來將針對雜訊所造成的問題提出解決的方法。. - 39 -.

(50) #389. #389. #137. #137. #823. #823. 圖 3.14 各種環境下初步擷取前景之成果，已轉為二元圖，白點為前景點，# 為影像格數. - 40 -.

(51) 3-5 前景雜訊去除所謂的前景雜訊，便是由前景移動物所造成，最常見的就是陰影問題。當物體移動時，其本身所產生的陰影也會隨之移動，這會造成擷取前景影像時會因陰影的干擾而取得不正確的物體影像。因此，若在需要高前景物件正確性的監視環境下，這便是個必須解決的問題。另外，環境光影的些微變化以及攝影機本身的雜訊也可視為前景雜訊的一種。. 3-5-1 陰影去除在找出場景中的前景點後，可能會有部份的區域為非前景點，像是陰影，因此必須再對前景物偵測後的影像做陰影去除，以得到較完整正確的前景物區域。根據前景物以及陰影的亮彩特性，以及上章節所提到的 Angle-module 概念來做為陰影[22,23]去除的準則。陰影雜訊與前景相比，通常色彩強度會變小，以及色相變化很小。其特性可定義為 | I t ( x, y ) | − | Bt ( x, y ) |< 0 與 Θ t < τ ，τ 為微小值；其中 | I t ( x, y ) | 、 | Bt ( x, y ) | 分別代. 表前景與背景之範數值，Θt 為色相變化角度；依此關係，設計陰影雜訊遮罩，如公式(3-12)。 φ sh1 ≤ Θ t ( x, y ) ≤ φ sh 2 and ⎧ if ⎪1 hs1 ⋅ Bt ( x, y ) ≥ I t ( x, y ) ≥ hs 2 ⋅ Bt ( x, y ) ⎪⎪ shadow( x, y ) = ⎨ ⎪0 otherwise ⎪ ⎪⎩. (3-12). shadow( x, y ) 代表前景性質為陰影的影像點，利用 hs1 、 hs 2 、 φsh1 、 φ sh 2 以. 比例的關係來彈性定義 | I t ( x, y ) | − | Bt ( x, y ) |< 0 與 Θ t < τ 的特性；其中 hs1 > hs 2 ， [hs1 , hs 2 ] ∈ [0.0 ~ 1.0]，φsh1 < φsh 2 ，[φsh1 , φsh 2 ] ∈ [0 ~ 6] 度。本研究取 hs1 = 1，hs 2 = 0.5 ，. - 41 -.

(52) φsh1 = 0 ， φsh 2 = 3 ；可依環境而有所改變，但不可超過定義之範圍。. 圖 3.15 為經過陰影去除後的處理結果；左行為原始擷取影像，右行為經陰影去除後之影像，可以發現前景物體周圍的陰影雜訊已有效地去除。. #389. #389. #137. #137. #823. #823. 圖 3.15 各種環境下去除陰影之成果，已轉為二元圖，白點為前景點 - 42 -.

(53) 3-5-2 微小雜訊去除利用前景物以及微小雜訊的亮彩特性，以及 angle-module 概念來做為微小雜訊去除的準則，由於微小雜訊的色彩強度以及色相變化都非常小，因此其特性可定義為 Δ t < δ I Θ t < τ ， τ 、 δ 為微小值。依此關係，設計微小雜訊遮罩，如公式(3-13)。. Θ t ( x, y ) ≤ φ f 1 ⎧ if ⎪1 Δ t ( x, y ) ≤ h f 1 ⎪⎪ fluctuations ( x, y ) = ⎨ ⎪0 otherwise ⎪ ⎩⎪. and. (3-13). 若色彩強度差異 Δ t ( x, y ) 以及色相變化 Θt ( x, y ) 皆小於微小常數 φ f 1 與 h f 1 的話，則定義為微小雜訊點 fluctuations( x, y ) 。本研究取 h f 1 = 2 ， φ f 1 = 5 ，此數值可由環境的不同而有所改變。圖 3.16 為經過微小雜訊去除後的處理結果；左行為經陰影去除後之影像，右行為經微小雜訊去除後所得之影像，可以發現能去除影像中一些變動較小的微小雜訊。. - 43 -.

(54) #389. #389. #137. #137. #823. #823. 圖 3.16 各種環境下去除微小雜訊之成果，已轉為二元圖，白點為前景點，# 為影像格數. - 44 -.

(55) 3-6 動態背景雜訊去除在某些環境下，研究者擷取出前景以及濾除前景雜訊後，可能亦會存在著無法去除的雜訊，例如搖曳的樹枝、雨天等固定移動的動態背景雜訊以及攝影機本身對光的敏感度而產生的雜訊點。然而移動物與這些動態背景雜訊最大的差異就在於，背景雜訊在區域空間上會有著固定變化的特性，因此這些區域不會隨著時間改變而產生很大的差異，故本研究利用文獻[24][25]區域空間相關性的概念，來設計包含時域與空間域的遮罩，來決定是否為正確的移動物。將兩鄰近影像 I t ( x, y ) 以及 I t − n ( x, y ) ，以區域中每點灰階強度值作兩影像的區域相關係數 r ( I t ( x, y ), I t − n ( x, y ) 運算，如公式(3-14)所示，其中 m 值代表影像區域的大小， n 代表兩相鄰影像的間距；研究中以 5× 5 區域大小，來計算每點的相關係數 r ( I t ( x, y ), I t − n ( x, y ) ，即 m = 2 ；另外為避免前景物體移速過慢的錯誤，研究中將 n 值設計為 3。. ∑ (I ( x + m, y + m) − I )⋅ ∑ (I ∑ (I ( x + m, y + m) − I ) ⋅ ∑ (I m. r ( I t ( x, y ), I t −n ( x, y )) =. m. −m. t. t. 2. m. −m. t. t. −m. t −n. ( x + m, y + m) − I t −n. ). 2. m. −m. ). t −n. ( x + m, y + m) − I t −n ⋅. (3-14). 以公式 (3-14) 求得相關係數 r ( I t ( x, y ), I t − n ( x, y )) 值後，其數值範圍為 − 1 ≤ r ( I t ( x, y ), I t − n ( x, y )) ≤ 1 ，若 r ( I t ( x, y ), I t − n ( x, y )) 之絕對值越接近 1，則代表. 兩區域有很高的相關性。因此本研究可以設定閥值來決定區域中是否包含前景，若相關性越高則代表為背景，反之為前景。依此關係便可設計包含時空域資訊的遮罩 I m ( x, y ) 來濾除動態背景雜訊。公式(3-15)為時空域遮罩 I m ( x, y ) - 45 -.

(56) 的設計法，由於在相關係數的概念中，若相關係數絕對值介於 0.7~0.99，則可代表兩者有著高度的相關性，這剛好符合背景點的特性；因此，若 r ( I t ( x, y ), I t − n ( x, y )) 之絕對值小於 0.7，則可代表此點為變動較大的前景點。. ⎧1 if I m ( x, y ) = ⎨ ⎩0. abs (r ( I t ( x, y ), I t −1 ( x, y )) ) < 0.7 otherwise. (3-15). 圖 3.17 為經過時空域遮罩 I m ( x, y ) 濾除雜訊後之處理結果；左行為經前景雜訊去除後之影像，右行為經動態背景雜訊去除後所得之影像，可以發現前景物幾乎已經很清楚被擷取出來了。. - 46 -.

(57) #389. #389. #137. #137. #823. #823. 圖 3.17 各種環境下去除動態背景之成果，已轉為二元圖，白點為前景點，# 為影像格數. - 47 -.

(58) 除此之外，考慮時空域的特性還有另外的好處，就是能夠對影像中鬼影以及攝影機輕晃所產生的雜訊作濾除。所謂影像中的鬼影，是當研究者在建構背景時常會碰到的現象，當前景移動物於連續影像中有較長時間的停頓時，這時會將停頓的前景物演化成為背景，但是若前景移動物又開始移動時，背景圖卻得等待一段時間才能再次演化完成，此時前景與背景判別便會產生誤差。此外前景移動物緩慢以及顏色相近也易於鬼影[26]的產生。由於本文在做時空域分析時，考慮的是兩相鄰影像的動態特性，因此未產生動態資訊的鬼影雜訊會被消除，如圖 3.18。. (a) 此圖為已建構之背景，可以發現中間人影部份正為殘留的鬼影. (c) 因為背景鬼影的部份，無動態. (b)當前影像格數(#177). 資訊，擷取前景時不受影響圖 3.18 鬼影去除結果，影像來源[27]. - 48 -.

(59) 圖 3.18(a)為建構背景時，由於前景物體停留一段時間，導致建構的背景產生鬼影現象。圖 3.18(b)為當前影像格數，其中間背景部份並不會存在鬼影的資訊，因此，以背景相減法的概念擷取前景時，背景影像中的鬼影的部份會被誤判為前景。圖 3.18(c)為加入時空域特性的分析後擷取前景的結果；由於鬼影的部份無動態資訊，故能將鬼影的誤判給去除。. 另外，當監視系統架設於戶外時，有可能受到外在環境的影響，而導致攝影機些微的晃動；雖說背景的演化可以解決這個問題，但在晃動時卻無法擷取出正確的前景影像，而時空域的特性正好可以解決這項問題。在攝影機搖晃情況不大的前提下，背景影像的區域相關性不會隨著時間改變而產生很大的差異，利用此特性可濾除這類的雜訊。(晃動雜訊濾除效果的測試將於第四章實驗中介紹). - 49 -.

(60) 3-7 擷取影像的修補與復原利用以上步驟擷取完前景資訊後，或許還會存在著孤立雜訊點，本研究便可以利用之前所提到的中值濾波器來去除這類雜訊，另外若背景與前景物件顏色十分相似時，會產生破碎的前景資訊，因此本文利用形態學以及區域遮罩的方式來修補前景影像。最後，由於本研究事先已先將影像做縮減運算，故必須將影像還原成原來大小，其作法與影像縮減相反，利用二元圖作 2 × 2 遮罩的等比例的放大。為了方便標記，採用連通分析的觀點來將前景物. 給圈選出來，過程如圖 3.19。. (a)去除前景與背景雜訊後之影像. (b) 經中值濾波與型態學運算. (c) 區域遮罩修補後之影像. (d) 經連通分析後之圈選結果. 圖 3.19 前景影像之標記圈選結果. - 50 -.

(61) 圖 3.19(a)為經過去除前景與背景雜訊之影像；圖 3.19(b)表示經中值濾波與型態學運算後之影像；圖 3.19(c)為以區域遮罩修補後之影像，此法可將殘破的前景區塊給結合起來；圖 3.19(d) 為經連通分析後之圈選結果。. - 51 -.

(62) 第四章實驗與分析本研究中利用拍攝得到的各種影片檔(avi格式)，來進行系統效能的估測。系統實作的部分我們採用Microsoft Visual Studio C#來撰寫我們的系統，每秒約可處理9張影像，表4.1為實驗用的硬體規格表。. 表4.1 實驗中所使用的硬體規格 CPU規格. Pentium 4 2.4GHz. 記憶體. 1GMB. 攝影器材. Canon IXSU 860IS. 影像解析度. 320×240. 為了驗證本系統在不同的狀況下的偵測效果，本研究設定了以下幾個實驗： 1. 室內的移動物偵測實驗(包含陰影)。 2. 室外的移動物偵測實驗(包含背景雜訊，樹葉搖晃，雨天)。 3. 室外的移動物偵測實驗(包含背景雜訊以及相機輕微晃動)。. - 52 -.

(63) 4-1 室內移動物偵測實驗 4-1-1 實驗結果本實驗中，選擇實驗室外的樓梯走廊來做實驗，雖說是室內環境，但這個地點屬開放空間，容易受到光線變化以及陰影的影響而產生誤判。因此利用本研究的方法，來測試室內的陰影去除以及環境適應性，研究中設計四種狀況來評估本系統。第一種狀況是實驗者於鏡頭前四處緩慢的走動，第二種為橫向跑過攝影設備，第三種為多人偵測，第四種則是走到電燈開關處關閉電燈。利用這四種不同的室內環境來驗證本系統的效能。. 表 4.2 室內移動物偵測實驗結果實驗項目. 慢走. 跑步. 多人. 關燈. 影像張數. 854. 263. 519. 263. 實際擁有前景之. 467. 63. 500. 163. 正確偵測. 436. 60. 452. 151. 擷取出前景資訊. 16. 3. 11. 10. 雜訊誤判張數. 9. 0. 37. 2. 前景誤判張數. 6. 0. 0. 0. 正確率. 93.36％. 95.24％. 90.4％. 92.64％. 總張數. 較不完整張數. 總正確率. 92.91％. 表 4-2 為實驗結果，當連續影像中有動態前景物體時，演算法會將其標 - 53 -.

(64) 記出來；若影像中紅色方框內為擷取正確的前景物，即為正確偵測張數；而擷取前景資訊不完整則代表標記方框內僅有部分的前景物體的張數。另外，本文將誤判分類為兩種，一種為雜訊誤判，即標記方框內無前景物存在；另一種為前景誤判，為影像中有前景物存在，卻無標記；或是當標記前景時，因受到雜訊的影響而無法擷取前景。雜訊誤判主要為前景或背景的雜訊所影響，而經過本研究的演算法去除雜訊後，這類的誤判標記通常其擷取區域會很小，且依舊能擷取出的完整的前景移動物。前景誤判則真正代表演算法的缺點；若此數值越高，代表無法偵測出正確的前景物體。圖 4.1 為慢走實驗時，動態前景物擷取結果，紅色框線代表前景物圈選結果；其中陰影的部分能有效的被濾除，擷取正確的前景移動物。. #133. #136. #139. #142. #145. #148. #405. #408. #415. #435. #467. #526. 圗 4.1 慢走實驗 - 54 -.

(65) 圖 4.2 為跑步實驗時，動態前景物擷取結果，紅色框線代表前景物圈選結果；其中陰影的部分能有效的被濾除，擷取正確的前景移動物。. #119. #122. #125. #128. #131. #134. #137. #140. #143. #146. #149. #152. 圖 4.2 跑步實驗. 圖 4.3 為多人實驗時，動態前景物擷取結果，紅色框線代表前景物圈選結果；結果顯示能有效擷取出正確的前景移動物。. - 55 -.

(66) #140. #154. #168. #182. #196. #210. #224. #238. #252. #266. #280. #296. 圖 4.3 多人實驗. 圖 4.4 為關燈實驗時，動態前景物擷取結果；實驗過程中約第#175~191 影像格數時光照環境突然改變，雖說#179~#189 影像格數之擷取結果會受變化影響，但仍可有效的偵測出大致前景移動物，且#189 影像格數後就能開始正確的擷取前景移動物。. - 56 -.

(67) #175. #177. #179. #181. #183. #185. #187. #189. #191. 圖 4.4 關燈實驗. - 57 -.

(68) 4-1-2 實驗討論第一、第二，以及第三個實驗結果顯示，本研究的方法對前景雜訊有著很好的抵抗性。而誤判的狀況幾乎都是雜訊誤判所造成，此類誤判對前景物的擷取影響不大。另外，由於受測者衣服顏色與門的顏色十分相近，故當受測者與門重疊時亦會有前景資訊較不完整的狀況產生。而在考慮背景與前景顏色十分相近的因素下，其整體正確率仍有九成以上。第四種實驗環境，則是為了驗證系統的適應性；依實驗結果確實本系統在光源突然變化時亦有很好的適應性。為驗證本文的方法確實有效，將先前相關的研究方法與本研究做比較。圖 4.5 表示將慢跑的連續影像，以不同的前景估測算法所得到的結果。. (a)原始影像，影像格數為#136. (b)相鄰影像直接相減 Lipton[4]. (c)單一高斯模型 Wren [8]. (d)混合高斯模型 Stauffer [11]. - 58 -.

(69) (e)Angle-module 法 Enrique[15]. (f)Angle-module 法並以時序統計直方圖來更新背景。. (g)加入時空域分析，本研究所使用之. (h)擷取結果。. 方法圖 4.5 各種不同演算法對跑步影像之擷取結果. 圖 4.5(b)以相鄰影像差異來擷取前景，可以發現其前景資訊較為不足；圖 4.5(c)以及圖 4.5(d)為統計式高斯模型來估測前景以及背景，可以發現此法對陰影無抵抗性；圖 4.5(e)，Angle-module 法可以看出能有效去除前景雜訊，得到正確的前景物；圖 4.5(f)，本研究中，除以 Angle-module 法外，另外使用時序統計的方式來更新背景，在背景改變時，能隨之更新，以增加環境適應性；由於攝影機本身雜訊影響(在顏色偏暗處更為明顯)，建構背景時易產生誤差，因此其結果會較多出些許雜訊點。研究中考量室內環境較無太 - 59 -.

(70) 大的變動，可以將更新背景的時間拉長，來避免這類問題。圖 4.5(g)另加入時空域分析來去除動態背景雜訊，為本文所提的方法，可以看出 Angle-module 法以及本文的方法，在室內靜態背景環境下對前景雜訊的濾除有著很好的效果，圖 4.5(h)，為擷取標記結果。為驗證環境適應性，我們利用瞬間光源的變化的連續影像來做比較。. (a)原始影像，影像格數為#196. (b)相鄰影像直接相減 Lipton[4]. (c)單一高斯模型 Wren [8]. (d)混合高斯模型 Stauffer [11]. - 60 -.

(71) (e)Angle-module 法 Enrique[15]. (f)Angle-module 法並以時序統計直方圖來更新背景。. (g)加入時空域分析，本研究所使用之. (h)擷取結果。. 方法圖 4.6 各種不同演算法對關燈影像之擷取結果. 圖 4.6(b)我們可以發現其前景資訊依舊較為不足，但不易受雜訊所影響；圖 4.6(c)以及圖 4.6(d)，由於光源劇烈改變，而高斯模型需要一段時間來更新模型參數，故這段時間內，無法偵測動態前景物；圖 4-6(e) ， Angle-module 法無法隨環境做有效且快速的更新，但其亮彩分離的主要特徵擷取以及雜訊去除法，較不易受環境影響；圖 4-6(f)，使用時序統計的方式來更新背景，可以發現較 Angle-module 法更具環境適應性，能更快的將參數更新以符合現在的環境狀況。圖 4-6(g)另加入時空域分析來去除動態背景 - 61 -.

(72) 雜訊，可以看出本文的方法，在光源突然變化時亦有很好的偵測效能，圖 4.6(h)，為擷取標記結果。. - 62 -.

(73) 4-2 室外移動物偵測實驗 4-2-1 實驗結果在這實驗中，將實驗條件設定在室外條件下，此環境包含了前景雜訊以及背景雜訊如樹葉搖晃搖晃等因素。因此，本研究將自行拍攝的各種各戶外環境影像來做系統效能的驗證。除此之外，本研究利用一段有著高背景雜訊的影片來擷取前景(背景裡有大片樹林隨風搖曳)。表 4.3 為室外不同環境下實驗結果，圖 4.7～4.9 為擷取結果。. 表 4.3 室外不同環境下偵測結果實驗項目. 室外前景. 陰雨天的前. 偵測. 景物偵測. 影像張數. 602. 1180. 517. 實際擁有前景物總張數. 291. 140. 250. 擷取出前景資訊較不完整張數. 8. 2. 7. 雜訊誤判張數. 2. 5. 24. 前景誤判張數. 3. 1. 5. 正確率. 95.53％. 94.29％. 85.6％. - 63 -. 高背景雜訊.