2-1 相關基本理論介紹
2-1-1 色彩空間
數位影像分析中，像素色彩空間的定義為首要的工作。在過去的許多研 究中，曾經用過的色彩空間有RGB、HSV、與YCbCr等，分別介紹如下：
(1) RGB色彩空間
人眼感測器只能檢測到波長介於400nm至700nm之間的可見光，這些感 測器稱為圓錐細胞，具有三種不同的類型：紅光圓錐細胞、綠光圓錐細胞和 藍光圓錐細胞。如果單波長的光可見，這三種感測器的相對反應能使我們鑒 別出光的顏色。該現象極具實用價值，因為這意味著我們只需簡單地按不同 比例將上述三種光混合，就能產生各種顏色的光。這就是著名的三色原理，
它在彩電系統中獲得了廣泛的應用。
RGB為最普遍使用的色彩空間之一。其中R代表紅色，G及B則各為綠色 與藍色。此系統和我們熟知的(色)光三原色相似，愈混合後會得到愈明亮的 色光。如圖2.1。
圖2.1 光三原色[1]
而電腦數位影像上，用每像素 24 位元（bpp）編碼的 RGB 值是使用 表示紅色、綠色和藍色（通常按這個次序）強度的三個 8-位元無符號整數
（0 到 255）來指定。例如，圖2.2展示 RGB 立方體的三個「完全飽和」
面，它們被展開到了平面上：
(a) (b)
圖2.2 RGB的色彩空間，(a) RGB立方體；(b) 數位影像中不同顏色所對應的 RGB像素值(0, 0, 0)為黑色(255,255,255)是白色[1]
使用每原色 8-位元的全值域 RGB 可以有 256 級別的白-灰-黑深淺變化，
共16,777,216種顏色數目。
(2)HSV色彩空間
HSV 色 彩 空 間 對 人 類 來 說 較 容 易 理 解 ， 它 將 亮 度 value(V) 與 彩 度 chrominance 從 色 彩 中 分 離 開 來 ， 彩 度 又 分 為 色 相 hue(H) 與 飽 和 度 saturation(S) ，如圖2.3，由於元素之間關聯性小，不會互相影響，所以很適 合影像處理使用。HSV[2]色彩空間與RGB色彩空間的轉換關係式如公式 (2-1)：
( ) ( )
RGB格式轉換至YCbCr格式(反之則從YCbCr格式轉換至RGB 格式)。其中Y表示亮度(而Cb 與Cr 代表另外二個色度(chrominance)。研究顯示，人眼察
2-1-2 中值濾波器
當作前景物偵測時，有可能會因為攝影機本身雜訊或光線的問題而產生 微小的孤立雜訊點，這種現象可以利用訊號濾波器的方式來改善。其中最常 見的便是均值以及中值濾波器[3]，這裡主要介紹本研究會用到的中值濾波 器，它主要是來對付胡椒鹽式的孤點雜訊。中值濾波器的理論很簡單，首先 使用者得先決定遮罩大小，再將遮罩內之元素做排序，並取出這群資料的中 值，來取代雜訊點的位置。如圖 2.5 所示，可以更清楚中值濾波器之處理流 程。圖 2.5(a)為3×3大小的子影像；可輕易發見，中間點的像素值為 200，這 與周圍的像素值比起來，顯得突兀以及不協調，因此被視為雜訊點。為去除 這雜訊的影響，將此子影像內所有像素，經過排序取出中值，再填入原先像 素值為 200 的雜訊點上，如圖 2.5(b)。如此一來，原先的雜訊點數值變為 30，
與周圍像素差異將變小，達到去除雜訊的效果。圖 2.6 為中值濾波器之處理 結果，圖 2.6(a)為原始影像，可以發現存在著許多孤點的雜訊；圖 2.6(b)為 經中值濾波處理後之影像，其中孤點雜訊已經被有效地濾除。
(a) (b)
圖 2.5 中值濾波器示意圖，(a) 包含雜訊之子影像；(b) 取中值後之子影像
(a) (b)
圖 2.6 中值濾波器之處理結果，(a) 原始影像；(b) 中值濾波處理後之影像
2-1-3 形態學運算
形態學常用來抽取影像中的特徵，例如，骨架或是邊緣。在此，它利用 簡單的二元邏輯運算，就可以達到不錯的結果。有很多研究，會在整套系統 中加入形態學運算來達到濾波(Filtering)以及細化(Thinning)…等等的功用。
在影像處理中，常常把處理的結果以二元圖來表示，它的好處，當然就 是分析簡單、計算容易以及易於表達等等優點。舉個例子，如果要做前景偵 測，只要把偵測到的前景，先暫時以白色表示(255)，而非前景的區域，就可 以用黑色來表示(0)。如此一來，我們便可利用簡單的邏輯的 AND 以及 OR 運算即可達成影像型態學的處理效果，且計算量更可以大大降低。以下介紹 幾種最常見的型態學處理方法。
(1) 侵蝕
所謂的侵蝕[3]，可以利用一結構元素來完成；亦即，利用結構元素對原 來的物體做消滅的動作。如圖 2.7 所示，以灰色以及空白方塊分別代表二元 圖中兩種不同的像素值，將影像 A 以結構元素 B 做侵蝕之後，產生 C 之影 像。這裡的作法採用四方向的方式；將結構元素 B 依序貼上影像 A，若其鄰 近上下左右四個方向均為灰色的方塊，則留下此灰色方塊，即為影像 C 灰色 格數部份。若結構元素四方向並非全為灰色方塊，則為被侵蝕掉的像素，即 為影像 C 紅色部分。如此一來，對於小的雜訊點，或是經過外在因素使得兩 物件連在一起之影像，即可被消滅或是分開。侵蝕的公式定義如(2-5)所示，
其中+號代表平移四個方向的運算子。圖 2.8 為經侵蝕之處理結果，圖 2.8(a) 為原始影像；圖 2.8(b)為經侵蝕處理後之影像，可以發現原影像經侵蝕後，
其白點區域變小。
圖 2.7 侵蝕之示意圖
A B A b
B
b∩ +
=
Θ ∈− (2-5)
(a) (b) 圖 2.8 侵蝕處理；(a)原始圖片，(b)侵蝕後之結果
(2) 擴張
再來談到擴張[3]的部分，它的意思正好與侵蝕相反，它是利用結構元素 對原來的物體做放大的動作。如圖 2.9 所示，以灰色以及空白方塊分別代表 二元圖中兩種不同的像素值，將影像 A 以結構元素 B 做擴張後，產生 C 之 影像。採用四方向的方式；將結構元素 B 依序貼上影像 A，若其鄰近上下左 右四個方向只要有一個以上為灰色的方塊，則留下此灰色方塊，即為影像 C 紅色格數部份。若結構元素四方向皆無灰色方塊，則不做任何改變。如此一
來，對受外在干擾而使原始影像而呈現破碎的區域，經過擴張後，可以將兩 物體連結在一起。擴張的公式定義如(2-6)所示，其中+號代表平移四個方向 的運算子。圖 2.10 為經擴張之處理結果，圖 2.10(a)為原始影像；圖 2.10(b) 為經擴張處理後之影像，可以發現原影像經擴張後，其白點區域變大。
圖 2.9 擴張之示意圖
b A B
A⊕ = b∪B +
∈ (2-6)
(a) (b) 圖 2.10 擴張處理；(a)原始圖片，(b) 擴張後之結果
(3) 斷開與閉合[]
利用侵蝕與擴張兩個形態學運算做組合，可以產生出兩個新的形態學運 算，那就是斷開(Opening)[3]與閉合(Closing)[3]。斷開運算常用於雜訊的去 除，還有細線的截斷。其過程就是先經過侵蝕，去除微小雜訊影響，再利用
膨脹回復原始大小，圖 2.11 為斷開運算之示意圖，圖 2.11 (a)為一張原始圖 片，圖 2.11 (b)為經過侵蝕運算的結果，可看出中間有一細線被消滅，圖 2.11 (c)是把圖 2.11 (b)做擴張運算的結果，可看出圖形的大小已經恢復到原來的 比例，且中間細線部分截斷。斷開的公式定義如(2-7)所示。
B B A B
Ao =( Θ )⊕ (2-7)
(a)
(b) (c)
圖 2.11 斷開之示意圖，(a) 原始圖片；(b) 經侵蝕運算；(c) 再經擴張運算
閉合運算適用於填補缺口。其過程先經過膨脹，之後再做侵蝕。如圖 2.12
所示，圖 2.12(a)之真正訊息也許是一條線，但是可能由於外在因素被破壞
了。因此，將圖2.12(a)經過閉合運算後可以得到圖 2.12(c)之影像，可以看出，
它已經將原始圖片的資訊還原了，可以清楚地看到圖 2.12(c)之結果圖類似一 條直線。閉合的公式定義如(2-8)所示。
B B A B
A• =( ⊕ )Θ (2-8)
(a)
(b) (c)
圖 2.12 閉合之示意圖，(a) 原始圖片；(b) 經擴張運算；(c) 再經侵蝕運算
2-2 相關研究 兩種，分別為時間差異法(Temporal Difference)與背景相減法(Background Subtraction)。
) , (x y
It ：當前影像上座標為(x,y)的亮度值。
) , (x y
Bt ：背景影像上座標為(x,y)的亮度值。
) , (x y
FB ：經初步判斷後屬於前景移動物的像素點。
T：判定影像差異度的閥值。
(a) 背景影像#25 (b) 當前影像#113
(c) 背景相減法處理結果
圖 2.14 背景相減法，(a) 背景影像，Bt(x,y)；(b) 當前影像，It(x,y)； (c) 結果影像，F(x,y)，T=10 之處理結果；#代表影像之格數
經由以上的比較，為擷取完整的移動物體，本研究將以背景相減法為主 要概念。
2-2-1 文獻探討
不論是時間差異法亦或是背景影像相減法，其主要方式都是依據連續影 像的時域、空間域，以及色彩光譜不同的特徵來做前景物的擷取。接下來本 文將依其各種主要特徵的擷取法來做相關研究的回顧。
(1)時域特徵
Lipton[4]提出以時域的概念，直接將連續影像中兩相鄰影像作相減，若 差異值大於一給定閥值，則可得到影像中梯度變化較大的邊緣移動影像。此 法運算快速簡單，且不易受外在的雜訊影響，但其所得到的前景資訊卻嚴重 不足，無法擷取出完整前景物。除此之外，由於閥值不會隨著環境有所變更，
因此對環境的變動無自適應性。
此外，光流法也是以時域的觀點來擷取前景影像[5]。光流法簡單來說便 是計算相鄰連續影像中每一像素點之移動量，並設計量測移動量流動變化之 特徵指標來標示前景在影像中之區域，但此方法計算量大且十分耗時，無法 應用在即時系統。因此，Tian[6]提出以光流法為基礎，但僅計算水平方向的 移動量，來降低運算速度，如此一來便可應用在即時系統，但卻只能偵測水 平移動的物體。
(2)時空域特徵
如果僅以時域分析，擷取的前景影像並不完整，而光流法卻又十分耗 時，因此 Huang[7]提出結合時域以及空間域特徵的擷取法。利用兩相鄰影像 區域面積內的區域對比值差異來擷取區域前景，再將區域前景合併。其中區 域對比值的求法為，區域面積內所有像素點的標準差除以平均值。由圖 2.15 我們可以看出當空間區域內有移動物體時，與無移動物體時有著明顯的差
距。
圖 2.15 區域對比圖[7]，可以觀察出區域影像內若有前景物體時對比值約為 0.6 而與無前景物體時分別為 0.4 以及 0.1
此法結合了時域以及空間域的特性，因此能較完整的擷取出前景物體，
且以區域對比的特性為主要特徵的方式，可在夜晚等光源較弱的環境下做動 態物件的偵測，且對背景雜訊有著不錯的抵抗效果；但這方法的缺點在於選 取區域大小以及對比閥值的選定，由於論文中僅考慮夜晚以及廣區域的影 響，因此在其他環境下，其閥值得做變更。
(3)色彩光譜特徵
為求得更完整前景物體，背景相減法便是很重要的方法；其中背景的重 建以及判斷閥值的選取，也直接決定擷取前景物正確性。近年來，以色彩光 譜特徵進行背景重建的方式更是主要研究方向。在電腦影像處理中，研究者
為求得更完整前景物體，背景相減法便是很重要的方法；其中背景的重 建以及判斷閥值的選取，也直接決定擷取前景物正確性。近年來，以色彩光 譜特徵進行背景重建的方式更是主要研究方向。在電腦影像處理中，研究者