熱影像前處理

本節將詳細說明熱影像前處理的技巧與方法，流程如圖 3-6 所示，主 要使用人臉分割技術，共有六項步驟，分別為中值濾波、灰階分割、二值 化、膨脹、侵蝕、連通運算、摺積運算、鼻孔定位及脖子割除，以去除不 需要的臉部區域與雜訊，提升特徵萃取的穩定性，以下幾節將針對熱影像 前處理流程內部個別運作的原理進行說明。

人臉分割 開始

二質化

侵蝕、膨脹

二次連通取遮罩

結束 鼻孔定位切割

脖子割除 中值濾波

與原影像摺積運算 輸入五張人臉影像

圖 3-6 熱影像前處理流程

30

3.4.1 人臉分割技術

於臉部熱影像前處理，本研究提出使用物件聯通分群，行雜訊去除並 填補破洞的方法。本研究的分割原理為利用熱影像，溫度越高顏色越白，

像素值越大的特性，如圖 3-7(a)；溫度越低顏色越黑，係屬於溫度較低之 背景區域，如圖 3-7(b)。

(a)人臉溫度範圍 (b)背景溫度範圍

圖 3-7 熱影像灰階對應溫度的呈現

一般人體溫度範圍介於 31 度到 36 度之間，背景溫度範圍將依照室內 的溫度而改變，室溫通常為 25 度。由範例中研究者可藉由溫度剖面觀察 到人體體溫與背景的溫度相差約 8 度，如圖 3-8(a)和(b)所示[35]。

(a)原始影像

31

(b)溫度剖面圖 圖 3-8 溫度剖面圖

以上述人體與背景溫度差異之特性，每個像素所對應到的溫度資訊都 不相同，本研究經由實驗設計出人臉的分割演算流程步驟如下：

1. 輸入熱影像並灰階化，進行中值濾波去除雜訊。

2. 將影像二值化，取得人臉遮罩。

3. 將遮罩進行聯通運算，消除雜訊區塊。

4. 影像黑白轉換，再次聯通運算彌補破洞，取得完整的人臉遮罩。

5. 將二值化的人臉遮罩再次黑白轉換，與原始人臉熱影像進行迴旋積分 (Convolution)運算，取得到完整的人臉影像。

6. 將完整人臉影像經鼻孔定位與去除脖子後留下下半圓臉部影像。

本研究提出之人臉分割運算結果如圖 3-9，(a)經灰階化與濾波後的原 始影像、(b)影像二值化、(c)侵蝕膨脹與二次連通取得人臉遮罩、(d) 與原 始影像遮罩摺積、(e)鼻孔定位，切割影像、(f)去除脖子區域影像。

32

(a)經過灰階和濾波處理的原始影像 (b)影像二值化

(c)侵蝕膨脹與二次連通取遮罩 (d) 與原始影像遮罩摺積

(e)鼻孔定位，切割影像 (f)去除脖子區域影像

圖 3-9 人臉分割流程

3.4.2 中值濾波

本研究使用中值濾波，來去除熱影像內部的雜訊，本方法效果比低通 濾波器來的好，處理後影像所產生的模糊效應較不明顯，本方法為一種非 線性濾波器。

33

中值濾波為一種影像遮罩運算，其範圍可更改，一般為 ，遮罩 的大小會影響到影像處理的速度。將遮罩掃過整張影像後，取其中間值取 代原始影像之像素，去除影像中像素值較極端的雜訊，演算原理如圖 3-10。

圖 3-10 中值濾波的原理

經由濾波後的影像，品質及穩定性皆明顯提升，此舉有助於後續特徵 的萃取，以下圖 3-11 為中值濾波的程式流程，其中的 i 與 j 皆為程式迴圈 的計數變數，height 為原始影像的高度，width 為原始影像的寬度，為了 使程式撰寫容易，並增進系統執行效能，在不影響程式輸出影像的前提下，

本文使用的形態學運算將不考慮邊界的處理問題。

34 開始

輸入影像

i=0,j=0

i < (height – 1?)

j <( width – 1)?

將遮罩範圍內 像素進行排序

輸出影像

結束

取出中間值

將中間值取代 原始影像中所 對應的像素值

Yes

Yes

Yes

No

No

No

No

j++

i++

設定影像遮形 狀罩大小

圖 3-11 中值濾波程式流程

3.4.3 二值化

二值化又稱為臨界值化，也就是將影像經由固定門檻值將其轉為只有 純黑白影像的方法。本研究運用於灰階分割，首先定義一個二維灰階影像 B 的函數為𝑓( 𝑦)，其經過二值化以後的影像為𝑔( 𝑦)，原理如式 3-1。

35

𝑔( 𝑦) { 𝑓( 𝑦)

𝑓( 𝑦) (3-1)

其中影像Ｂ的灰階值𝑓( 𝑦)為 0 到 255，x 與 y 為影像座標，T 為臨 界值，經二值化處理後的影像𝑔( 𝑦)灰階值只有 0 與 255。

二值化的目的主要是將影像去除背景，留下要分析的區域。本研究以 溫度對應像素門檻值 T，將熱影像中人臉的部分從背景中分離出來，以便 臉溫特徵的萃取。

如圖 3-12(a)為原始影像，經二值化處理後的影像則如圖 3-12(b)。

(a)原始影像 (b)經二值化處理後

圖 3-12 二值化比較

3.4.4 膨脹運算

形態學之膨脹(Morphological Dilation)運算，主要是用來處理影像破 碎的情形，其膨脹運算式如式 3-2 或式 3-3。

𝑔( 𝑦) [𝑓( 𝑦) ] (3-2)

𝑔( 𝑦) 𝑓( 𝑦) (3-3)

36

其中𝑔( 𝑦)為膨脹後影像，𝑓( 𝑦)為原始影像，S 為結構元素， 為 膨脹運算子(使用 OR 邏輯)；本研究使用之結構元素為 之矩形，元素 大小將影響到處理的速度，如圖 3-13(a)為原始影像，3-13(b)為經過膨脹 處理後的影像。

(a)一般影像 (b)經膨脹運算後

圖 3-13 形態學膨脹運算

圖 3-14 為膨脹運算的程式流程圖。

37

value_OR = 1?

將遮罩中心位

38

value_AND = 1?

將遮罩中心位

39 為判斷中心元素，P1、P2、P3、P4、P5、P6、P7 及 P8 為八個鄰近的區 域像素。八鄰點物件連通的程式流程圖如圖 3-18 所示。

依照圖 3-18 之程式流程圖處理影像後，即可將影像中的各個物件進

40

41

42

孔的位置並定位後，再對鼻孔位置下移一個固定的範圍，確保能正確去除 鼻孔區域的位置，最後進行人臉切割，留下鼻孔位置以下的影像，去除上 半部會受到眼鏡、頭髮遮蔽與鼻孔呼吸溫度時變的區域。實際處理結果如 圖 3-20 所示。

圖 3-20 經鼻孔定位切割後的結果

3.4.8 去除脖子影像

本研究主要以人臉為主，故將脖子的熱影像資訊去除，以減少臉部範 圍外溫度變化的干擾。本研究原理為利用三角函數產生一個影像遮罩，並 罩去脖子的部分，如式 3-6。

(3-6)

其中 為得到的切割長度， 為一邊臉頰到臉部中心的距離，而 為角 度，其角度變化量由長度 決定。脖子區域影像去除程式流程如圖 3-21 所 示，執行的結果如圖 3-22 所示。

43

i < (height-1)?

j < (width-1)?

套公式計算出

i < (height-1)?

j < (width-1)?

進行AND運算

YesYes YesYes

NoNo NoNo

44