三、 現今紅外線攝影機常用的對比強化方法
3.1 Min-Max Contrast Stretch
此方法在一般的 8 位元灰階影像處理時常常被提起與使用,其有快速
運算的優點與不需太多額外硬體支援的特性。在早期的紅外線攝影機裡,
此演算法經常被拿來應用,工作原理相當簡單,只要將畫面裡最低與最高 的強度找出來,然後線性的將所有的像素調適至 0~255 即可。
0 4095
0 255
Original IR Image Histogram
Final Display Histogram
圖 3.1 Min-Max contrast stretch
此方法目前已經很少在使用,主要是因為無法解決強度分佈間斷的問題,
如下圖 3.2 所示,若影像的強度分佈分成兩群,則中間的部分也會被考慮 去,變成浪費的區域。
圖 3.2 浪費的區域
在強調溫度的應用上,Min-Max contrast stretch 的對比增強方法會是個 不錯的選擇,比如說在工業的製程分析上,可以強調溫度的差異性。
3.2 Histogram Equalization
HE 可以說是影像處理中最常用到的強化影像方法,它強化對比的方式 是將長條圖裡每個強度分佈的數量,依照整個畫面的比例,分配一個對照 的新值,強調的是所謂的均勻分佈概念,如圖 3.4 所示。
圖 3.3 HE 的動作示意圖
其與一般的 Histogram Equalization 不同的是,一般的影像處理都是強化 8 位元的影像對比,在此卻是將 12 位元轉換成 8 位元,其演算法如下:
A. 先將畫面的紅外線 12 位元影像像素建立長條圖,以紀錄各種強度像素 之數量,最多會有 4096 個強度分佈。
B. 計算出每個強度分佈的像素數量相對於整個畫面的比例,並且加以累計 計算,最後的比例值會是 1。
C. 從強度分佈欄位 0 開始掃描至欄位 4095,遇到強度分佈欄位有像素存 在時,將該強度分佈欄位佔有的比例乘以 255,最後一個強度分佈欄位 的值會等於 255。
D. 該新建立完成的強度分佈表,即為 12 位元轉 8 位元的轉換對照表。
E. 最後將原本 12 位元的紅外線影像重新對照出一個新的 8 位元影像出 來,此即為我們要看的視訊訊號。
依上述的步驟,我們將其轉成 C 語言,其程式部分如下:
// clear histogram for(i=0; i<4096; i++) histo[i] = 0;
// build histogram
for(i=0; i<320*240; i++) histo[img[i]]++;
// build histogram equalization lookup table gray = 0;
3.3 Binary Occupied Histogram Projection
BOHP 是一種利用直方圖追蹤寬廣範圍的紅外線影像強度變化,並且可 有效抑制紅外線的雜訊,是目前業界廣泛使用的演算法,該演算法目前已 經申請美國專利。該演算法的優點除計算快速外,另外也可以解決 Min-max contrast stretch 無法解決的強度分佈間斷問題。圖 3.4 為 BOHP 的動作示 意圖,其主要計算方式為統計強度分佈的數量,然後平均分配至 256 個灰 階,BOHP 的演算法如下:
圖 3.6 BOHP 的動作示意圖
Original IR Signal Histogram
Occupied (Binary) Level Histogram
Compress Empty Levels and Scale to Video Display Range
Final Display Histogram
A. 先將畫面的紅外線 12 位元影像像素建立長條圖,以紀錄各種強度的像 素數量,最多會有 4096 個強度分佈。
B. 檢查每個強度分佈的欄位 (entry),遇到欄位有像素存在,則強度分佈
總數加一,並且將該強度分佈總數回填於該欄位。
// clear histogram for(i=0; i<4096; i++)
同時,我們做個 BOHP 的效果實驗,在下圖 3.6 為將原始紅外線影像經過 BOHP 處理後的圖例,發現 BOHP 的確可以有不錯的對比增強效果。
圖 3.8 左邊為原始的紅外線影像,圖中為一輛汽車,右邊為經過 BOHP 處理後的結果
四、紅外線影像的特性與現象
溫度為 32℃,因此,該紅外線影線的強度分佈,就會很清楚的發現有 6℃
的間隔。如圖 4.2 所示,人與背景的強度分佈明顯的有斷層,因此 Min-Max 的對比強化方法在此現象裡就不適用了。
圖 4.2 強度分佈間斷的圖示 臉部 衣服
背景
紅外線影像會有溫度擴散的現象
溫度擴散的問題,我們從圖 4.3 中可以清楚的看出來,手的周圍有一 圈類似沒有聚焦的光暈,這是手的溫度與環境溫度的融合後的結果,這樣 的結果會讓人體的影像模糊不清。由於溫度擴散是在物體的周圍,相對的 也佔了畫面不小的比例,因此,若用 HE 演算法來強化對比反而會強化這樣 的缺點。
圖 4.3 溫度擴算的局部放大圖
紅外線影像的轉換會降低解析度
由於紅外線影像都是超過 8 位元的,為了顯示在螢幕上,必須轉換成 8 位元的視訊格式,在轉換的過程中,無可避免的會降低解析度,如圖 4.4 所示,原本 605 個強度分佈經過轉換後變成 256 個,因此喪失了 349 細節。
圖 4.4 紅外線超過 256 階強度分佈的圖,該圖的強度分佈共 605 個
五、基於 BOHP/HE 的對比強化改良方法
本研究的動機在於,紅外線的動態範圍相當廣,有 12 位元與 14 位元 兩種,在產業界通常是 12 位元,我們實驗用的紅外線攝影機也是 12 位元 的,因此本篇論文皆以 12 位元來處理。我們人類肉眼可分辨的灰階強度通 常只有 6 位元到 7 位元之間,但標準上還是以 8 位元來顯示,因此,我們 會需要將動態範圍格式作轉換,將 12 位元轉成 8 位元,這樣的轉換也可以 具有對比強化的效果。
在業界紅外線的對比強化轉換皆是以 BOHP 為轉換方式,它會依影像中 強度分佈的比例來進行壓縮,但紅外線的觀測通常是以人或高溫的物體為 觀測對象,人或高溫物體所散發的熱輻射是相當多的,並不容易被其他物 體或景物擠壓破壞,因此,觀測起來效果相當好。現今紅外線的運用越來 越廣,觀測的目標也越來越多元,就以保全的運用來講,我們常常需要將 整體環境列入考量,若背景被前景擠壓至看不見或看不清楚,則會發生誤 判的情形。比如說原本有座門,但有人走進來後,門卻看不見了,這種情 況可能導致保全人員的誤判。
在本論文中主要是以 HE 的演算法為基礎,並針對 BOHP 與 HE 的優缺點 進行分析,提出一個改良的方法,以下我們將先針對 BOHP 與 HE 演算法做 優缺點之分析。
5.1 BOHP 與 HE 的優缺點
BOHP 是一個相當好用的對比強化方式,但其仍有需要改進的地方,同 時它也受到專利的保護,而 HE 是沒有專利保護的演算法,在此我們先針對 BOHP/HE 的優點與缺點做個簡述。
BOHP 的優點:
A. 計算方法快速,最多僅需要 4096 次的乘法運算。
B. 可消除影像強度分佈不連續的問題。
C. 可有效降低座落於影像中的雜訊。
BOHP 的缺點:
BOHP 是以強度的多寡,來決定調整的參數,也就是說,強度佔得多的物 體分配到的灰階 (gray level) 也比較多,但若有一物體其紅外線強度 少,但畫面上其他物體佔的多,則該物體會被擠壓看不清楚甚至於看不 見,在本論文後面會有擠壓破壞的相關問題討論。
HE 的優點:
A. 計算方法快速,僅需要 4096 次的乘法與除法運算。
B. 可忠實的表達影像在空間分佈的比例。
HE 的缺點:
A. 畫面單調時,會將分佈於影像空間的雜訊強化出來。
B. 不好強調溫度的細微變化情況。
5.1.1 HE 產生的雜訊與無法顯現細微溫度變化的缺點
HE 比較少應用在紅外線攝影機上,主要是紅外線感測器的平整度 (Uniformity) 不是很好,每個點對溫度的反應曲線皆不相同,且標準差亦 很大,大約會有 2~4 個位元的雜訊。因此,紅外線影像在景物很單調時,
就很容易突顯雜訊出來,這個雜訊問題在 BOHP 上能有效的改善。另外對於 較大物體的細微溫度變化容易產生擴散現象,看起來會有類似沒有聚焦的 現象。如下圖所示,經過 HE 與 BOHP 的後處理比較,在圖 5.1 部分,BOHP 處理後的溫度分佈較為清楚,而圖 5.2 部分,經過 HE 處理後的溫度分佈則 較為模糊不清。
圖 5.1 經過 BOHP 處理後的圖,圖中的 手溫度分佈清楚可見,且無雜訊。
圖 5.2 經過 HE 處理後的圖,圖中的手 溫度分佈較為模糊,且雜訊被強化出 來。
5.1.2 BOHP 的擠壓破壞現象
BOHP 的擠壓破壞現象,只有在強度分佈超過 256 階時才有可能會發生,
主要是因為 BOHP 是以強度分佈數量為調整的依據,當兩個物體的強度分佈 數量差異很大時,強度分佈多的物體即會擠壓強度分佈少的物體,我們先 以下面這三張圖來看看 BOHP 的擠壓破壞現象,圖 5.3a 為原始圖片且經過 BOHP 處理後的結果,圖 5.3b 為該圖片的直方圖,共 65 個強度分佈,圖片 中的儀器為訊號產生器。
圖 5.3a 圖 5.3b
接下來的這一張圖為一個人在旁邊時的畫面,用以證明擠壓現象,圖 5.4a 是訊號產生器被擠壓的圖,圖 5.4b 為直方圖,強度分佈共 369 個,我們發 現原本清楚可見的訊號產生器已經被擠壓得看不清楚了。
圖 5.4a 圖 5.4b
我們再將人改成一杯高溫的茶杯,圖 5.5(a)為高溫茶杯的圖片,5.5(b)為直 方圖,其強度分佈共 391 個,同樣我們發現訊號產生器被擠壓的現象。
圖 5.5a 圖 5.5b
現象說明:
從圖 5.3 我們可以發現,訊號產生器的強度分佈範圍從 149~196 數量約 為 47 強度分佈,在整張畫面 65 個強度分佈的比例中,約佔 72%,因此清 楚可見。在圖 5.4 與圖 5.5 中,為何訊號產生器會幾乎看不見呢?是因為新 近來的物體強度分佈的個數量都很大,圖 5.4 的人約佔 304 個強度分佈,圖 5.5 的茶杯約佔 326 個強度分佈,就以人的那張圖來講,訊號產生器在整個 畫面的強度分佈所佔的比例只有 13%,因此分配到的灰階值只有 33 個,因 此產生了看不清楚的狀況。
然則在 HE 的處理下,訊號產生器依然清楚可見,這是因為訊號產生器 的大小約佔整個畫面的 25%,不管進來的是人頭或是茶杯,皆不會影響訊
號產生器所佔的灰階比例,因此不會被擠壓破壞,但也大大的強化了雜訊,
HE 對於紅外線的對比強化應用並不是很好,主要在於雜訊問題與溫度擴散 效應問題。由圖 5.6 與圖 5.7 來看,可以清楚的看到坐落於整張影像的雜訊 被強化出來了,同時人與茶杯清楚可見的溫度漸層也被破壞,溫度漸層被 破壞可以清楚的由茶杯的紋路看出來。
圖 5.6 經 HE 處理後的,訊號產生器並沒有 被進來的人頭擠壓破壞
圖 5.7 經 HE 處理後的,訊號產生器並沒 有被進來的熱茶杯擠壓破壞
問題關鍵:
由於 BOHP 的特性是以紅外線強度分佈範圍所佔的比例為壓縮依據,而
由於 BOHP 的特性是以紅外線強度分佈範圍所佔的比例為壓縮依據,而