國
立
交
通
大
學
資訊學院 資訊學程
碩
士
論
文
應用於夜間監控用途的新式紅外線打光器
A New Design of IR Illuminator for Nighttime Surveillance
研 究 生：鄧文治
指導教授：莊仁輝 教授
應用於夜間監控用途的新式紅外線打光器
A New Design of IR Illuminator for Nighttime Surveillance
研 究 生：鄧文治 Student：Wen Chih Teng
指導教授：莊仁輝 Advisor：Jen-Hui Chuang
國 立 交 通 大 學
資訊學院 資訊學程
碩 士 論 文
A Thesis
Submitted to College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master of Science
in
Computer Science June 2010
Hsinchu, Taiwan, Republic of China
應用於夜間監控用途的新式紅外線打光器
學生：鄧文治 指導教授：莊仁輝 教授
國立交通大學 資訊學院 資訊學程碩士班
摘 要
一般夜間監控影像的曝光常有過暗或過亮之問題，使得影像品質遠低於人類 感官可以滿意的範圍。而造成此問題的主因是要取得適當的曝光並不容易，有多 項因素皆會影響曝光如:光源強度、影像感測器的感度、曝光時間長短等等。本論 文由光源強度著手，設計一個能自動改變光源強度的紅外線打光器來改善影像品 質。實作上我們週期性地改變各種紅外線光源強度，以得到多種曝光值的影像， 再從眾多不同曝光值的影像中，挑選出曝光較佳的影像；也可以將各種曝光程度 的影像合成一張更高動態範圍的影像。實驗結果顯示，本論文研製之掃描式紅外 線打光器，利用掃描式週期性變化強度的紅外線光源，加上後續的影像處理，確 實可以有效改善夜間監控的影像品質。A New Design of IR Illuminator for Nighttime Surveillance
Student：Wen Chih Teng Advisor：Dr. Jen-Hui Chuang
Degree Program of Computer Science
National Chiao Tung University
ABSTRACT
The images captured by surveillance cameras in the nighttime are often too dark or bright so that the image quality can not be satisfactory for human perception. This is because suitable exposure is not easy to be decided. The exposure depends on many factors such as intensity of illumination, sensitivity of image sensors, and exposure time, etc. This thesis is focused on the improvement of the image quality through a new design of IR illuminator. By changing the intensity of IR light periodically, images with different degrees of exposure can be obtained, so that we may choose one well-exposed image or compose an image with increased dynamic range by selecting some well-exposed regions from different exposed images. Experimental results show that by adopting periodically scanning intensity for the proposed IR illuminator, and through proper post-processing of video frames of multiple exposure levels, much improved image quality for night vision can be achieved.
目錄
中文摘要... I 英文摘要... II 目錄... III 圖目錄... V 表目錄... VII 第一章 緒論... 1 1.1 研究動機與目的... 1 1.2 相關研究... 2 1.3 系統流程... 4 1.4 本論文各章節介紹... 8 第二章 曝光原理介紹... 9 2.1 曝光 ( EXPOSURE ) ... 9 2.2 曝光值 (EXPOSURE VALUE ) ... 11 2.3 光值 (LIGHT VALUE ) ... 13 2.4 SRGB 色彩空間... 14 2.5 曝光的評估方法... 17 2.5.1 人眼直覺觀察法... 17 2.5.2 曝光區域 (EXPOSURE ZONE ) ... 18 2.5.3 灰卡 ( 反射率18%) ... 19 2.5.4 統計直方圖 (HISTOGRAM )... 20 2.5.5 曝光方程式 (EXPOSURE EQUATION )... 222.6 自動曝光演算法 (AUTO EXPOSURE ALGORITHM ) ... 23
2.6.1 第一種自動曝光演算法：( 曝光時間 ) ... 23 2.6.2 第二種自動曝光演算法：( 光源強度 )... 24 2.6.3 第三種自動曝光演算法 :... 24 第三章 掃描式紅外線打光器製作... 26 3.1 紅外線發光二極體 (IRLED) 簡介... 26 3.2 掃描式紅外線打光器製作... 28 3.2.1 紅外線發光二極體驅動方式... 28 3.2.2 掃描式紅外線打光器驅動電路... 29 3.2.3 掃描式紅外線打光器之順向電壓、順向電流與發光亮度... 31 3.3 掃描式紅外線打光器的內部演算法... 34 3.3.1 等差級數變化之光源亮度會造成資訊重覆... 34 3.3.2 紅外線光源亮度以等比級數變化較有效率... 36 3.3.3『等差級數』與『等比級數』驅動光源的平均耗電功率比較... 37 3.3.4 紅外線光源應以漸暗設計為佳... 38
3.3.5 紅外線光源的週期越短越好(時間水平軸方向) ... 39 3.3.6 紅外線光源強度應盡可能跳躍變化 ( 光源強度垂直軸方向 )... 40 3.3.7 紅外線光源在背景光強的狀況... 41 第四章 影像處理... 44 4.1 挑選影像的演算法... 45 4.1.1 平均值法... 45 4.1.2 標準差法... 47 4.1.3SOBEL法... 48 4.1.4 統計直方圖法 ( HISTOGRAM ) ... 49 4.1.5 總結... 49 4.2 合成法... 50 4.2.1 分割再合成法... 50
4.22 高動態範圍合成影像法 (HDR,HIGH DYNAMIC RANGE )... 53
第五章 結論與未來工作... 61 5.1 結論... 61 5.2 未來工作... 61 5.2.1 改善硬體設計... 61 5.2.2 改善演算法... 62 參考文獻... 63 附錄... 66
圖目錄
圖1-1 掃描式紅外線打光器，週期性的不斷變化各種光強度。 ... 4 圖1-2 週期性的變化紅外線光源強度，在攝影機端得到多種曝光影像。 ... 5 圖1-3 掃描式紅外線打光器 ( a ) 與攝影機 ( b ) 的流程圖。 ... 6 圖1-4 從各種曝光的影像中，挑選曝光佳的影像。 ... 7 圖1-5 從各種曝光的影像中，合成新的影像。 ... 7 圖2-1 影像曝光過曝、低曝與理想目標。 ... 9 圖2-2 影響曝光因素，光源強度、攝影機感度、曝光時間、光圈大小。 ... 10 圖2-3 sRGB 與 Gamma 1/2.2 曲線的關係。... 15 圖2-4 圖檔中 RGB 值的分佈。 ... 15 圖2-5 以 sRGB 記錄的圖檔，如何進行光強度重建。 ... 16 圖2-6 曝光區域。 ... 18 圖2-7 曝光區域與相片內容的關係。 ... 18 圖2-8 Lab 色彩空間是一個人眼視覺均勻的色彩空間。... 19 圖2-9 18%灰卡的曝光目標值 RGB=117、L=50。 ... 20 圖2-10 用統計直方圖快速判斷是否過曝、低曝。 ... 21 圖2-11 控制曝光時間來改變曝光量。 ... 23 圖2-12 控制曝光時間與光源強度來改變曝光量。 ... 24 圖2-13 利用掃描式紅外線光源來製造出各種曝光值的影像。 ... 25 圖3-1 紅外線發光二極體的基本驅動電路。 ... 27 圖3-2 典型的紅外線發光二極體技術資料。 ... 27 圖3-3 PWM 控制紅外線發光二極體的方法。 ... 28 圖3-4 本論文之掃描式紅外線打光器架構圖。 ... 29 圖3-5 掃描驅動產生器的各種驅動樣式。 ... 29 圖3-6 本論文之掃描式紅外線打光器電路架構圖。 ... 30 圖3-7 紅外線打光器模組的順向電壓與順向電流的實驗結果。 ... 32 圖3-8 紅外線打光器順向電壓與發光亮度效果。 ... 33 圖3-9 本文不建議以『等差級數』週期性改變光源強度。 ... 34 圖3-10 人眼視覺對光線強度的感知。 ... 34 圖3-11 光源先亮後暗的漸暗設計，攝影機較易處於對焦狀態。 ... 38 圖3-12 圖( a )先亮後暗，比圖 ( b ) 先暗後亮方式為佳。 ... 39 圖3-13 光源週期越短越好，以便在被攝物消失前，增加正確曝光機率。 ... 39 圖3-14 光源強度跳躍變化。以便在被攝物消失前，增加正確曝光機率。 ... 40 圖3-15 光源強度跳躍變化比圖 3-14 更大，更能增加正確曝光的機率。... 40 圖3-16 背景光相對紅外線光源強，紅外線光源作用不明顯。 ... 42 圖3-17 無背景光下，紅外線光源以等比級數提供照明，效果很好。 ... 43 圖4-1 固定強度的紅外線打光器，常有影像過曝，或低曝的狀況。 ... 44圖4-2 掃描式紅外線打光器，每個週期都能產生各種曝光條件的影像。 ... 44 圖4-3 從曝光影像中挑選曝光較佳的影像。 ... 45 圖4-4 從圖 4-2 的 8 張曝光影像中，挑選平均值最接近 117 的圖。... 46 圖4-5 從圖 4-2 的 8 張曝光影像中，挑選標準差最大的圖，第五張圖。... 47 圖4-6 從圖 4-2 的 8 張曝光影像中，挑選 SOBEL 值最大的圖。 ... 48 圖4-7 從圖 4-2 的 8 張曝光影像中，挑選統計直方圖分佈最佳的圖。... 49 圖4-8 分割子畫面。 ... 50 圖4-9 相同幾何位置的 8 張子畫面。 ... 51 圖4-10 RG B 平均值為 132 的子畫面被選出(最接近 117 中等灰 )。 ... 51 圖4-11 分割再合成子畫面的合成圖。 ... 52 圖4-12 合成圖圖 4-8 的統計直方圖，全圖的 RGB 平均值為 115。... 52 圖4-13 Histogram Equalization 處理。 ... 54 圖4-14 Histogram Equalization 後，再進行拆圖、選圖、合圖的影像。 ... 53 圖4-15 高動態範圍合成影像法。 ... 54 圖4-16 高動態範圍合成影像法，實驗結果 1。 ... 56 圖4-17 高動態範圍合成影像法，實驗結果 2。 ... 57 圖4-18 高動態範圍合成影像法，實驗結果 3。 ... 58 圖4-19 高動態範圍合成影像法，實驗結果 4。 ... 59 圖4-20 高動態範圍合成影像法，實驗結果 5。 ... 60 圖5-1 用同步訊號，將 4 台 30 FPS 的攝影機變為一台 120 FPS 的攝影機。... 62
表目錄
表2-1 EV Table ... 11 表2-2 EV、luminance 與 illuminance... 12 表2-3 LV Table ... 13 表3-1 紅外線打光器模組其順向電壓、順向電流關係之實驗結果 ... 31 表3-2 以等比級數之電流驅動紅外線發光二極體 ... 35 表3-3 以等比級數之電流驅動紅外線發光二極體較省電 ... 37第一章 緒論
1.1 研究動機與目的
攝影機的相關技術在近十年有著長足的進步。陸地、海洋、北極、沙漠、白 天、夜晚、外太空、天文觀測等，已有適應各種場合的可見光、紅外光、紫外光、 甚至全波段光源的專業攝影機被開發出來，這些攝影機能滿足在各種不同場合、 特殊需求的應用環境。 近年來台灣家庭所得快速增加，社會日益重視安全監控問題，許多家庭都裝 設有安全監控的攝影機日夜進行全天候監控。由於治安問題多半發生在夜間，特 別是陰暗的巷弄角落門口，這些場合往往因照明不足，成為治安死角，因此具有 夜間攝影功能的紅外線攝影機，便成為目前台灣許多家庭最熱門的必備器材。 但是以紅外光的攝影機進行夜間安全監控的影像，常常不是『太暗』就是『太亮』， 錄下的歹徒影像無法有良好的曝光品質，因此夜間影像曝光品質仍有很大改善空 間。 提昇夜間影像曝光品質，必需將重點放在曝光的研究上。影響曝光的主要因 素有光源強度、攝影機的感度、曝光時間長度(快門大小)與光圈的大小等 4 個主要 因素。本研究希望透過週期性的控制各種『光源強度』這個因素，來改善過去一 直使用固定強度的紅外線的夜間安全監控的攝影機的影像品質。實驗結果顯示， 本研究研製的掃描式紅外線光源，藉由週期性的快速改變各種紅外線光源強度， 獲得各種曝光條件的影像後，對這些影像資料庫的後續影像處理程序，不管是選 擇較佳影像或者是合成新影像，都可以有效改善夜間安全監控的影像品質。1.2 相關研究
夜間CCTV監控攝影機品質是一個已被研究多年的題目。目前大多數的夜間 CCTV監控攝影機品質皆屬於不合格狀態，人臉不清、過度曝光、對焦不良、每秒 圖場數低、影像動態範圍低，與日間的CCTV監控攝影機品質差了一大截。問題大 概可以分做兩大類，一類是「光源問題」，另一類是「曝光問題」。這些問題最重 要的來源就是「光線問題」，例如光線不足，照明不均，光線過強、照明距離太短、 車燈干擾…等等。 針對光線不足，照明不均，光線過強、照明距離太短、車燈干擾…所造成的 夜間CCTV監控影像「動態範圍不足」這類問題，過去十年有許多學者進行相關研 究工作。1997年Debevec等人 [ 1 ] 將組合各種曝光影像成為一張高動態範圍影 像，提供了完善的理論基礎。1993年Tumblin等人 [ 2 ] 解決高動態範圍影像對應 到低動態對比顯示器的問題，建立了理論基礎，也引導出後續許多的Tone Mapping 方法。2002年Devlin [ 21 ] 整理了一份“A Review of Tone Reproduction Techniques ”。2003年Battiato等人 [ 3 ] 整理了一份簡介的文獻，這份文獻描述如何以數位照 相機拍攝高動態範圍影像。2003年Nayar等人 [ 4 ] 提出以光學衰減器的控制方 法，來達成控制每個像素入光量的高動態範圍影像。2007年由作者Várkonyi-Kóczy 等學者 [ 5 ] 提出以梯度為基礎合併多張不同曝光值影像的方法，這是藉由將影像 分成若干個相同大小的區塊，從多張不同曝光值影像同位置之區塊中挑選適當的 曝光值區塊合併成一張高動態範圍影像。2007年Kao [6] - [8] 提出” Real-Time Image Fusion and Adaptive Exposure Control for Smart SurveillanceSystems”以適應性控制Exposure來進行即時的高動態範圍影像融合。2008年Hsieh
等人 [ 9 ] 提出以GPI (Grey Polynomial Interpolation) 的方法來進行高動態範圍影 像融合。2008年張仲豪 [ 10 ] 提出色調再生 ( Tone reproduction ) 演算法能將高動 態範圍影像對應至低動態範圍顯示器中，以利於低動態範圍顯示器使用。2009年 葉金龍 [ 11 ] 提出”延伸曝光曲線線性特性之調適性高動態範圍影像融合演算法”
藉由控制Exposure變數來延伸曝光曲線線性特性，以得到高動態範圍影像。2009 年丁榮豐 [ 12 ] 提出”基於區塊的亮度特性及熵值合併多張不同曝光值影像之高 動態範圍影像生成法”來進行高動態範圍影像融合。2005年Bennett [ 22 ] 提出 Visual Exposure的方法，將暗區影像的Histogram展開後，再與原圖進行影像融合。 2002年Holzer [ 23 ] 介紹了各種儲存高動態範圍影像的格式“High Dynamic Range Image Formats,”，包含Radiance RGBE ( .hdr格式 )，sRGB的高動態範圍影像版本 ScRGB等等。1997年Street [ 24 ] 提出CCD pixel上實作2個元件，每個元件都有不 同的感度，以便同時獲得多張不同曝光的影像。2001年Aggarwal等人 [ 25 ] 提出 以三個鏡片將光束導到三個光圈三個感測器的方法” Split Aperture Imaging for High Dynamic Range”，這三個光圈通過的光線分別為1:2:4，因此可以同時擷取三 種曝光的成像，以增加影像動態範圍。 高動態範圍影像 ( HDR ) 方法是近年來流行於改善數位影像達到更高動態 範圍的一種方法。例如一台照相機內部內建2組CCD，一組設定在高速曝光，另一 CCD設在低速曝光，結合兩種曝光值的影像就可以擴大影像的動態範圍。本研究 提出的方法是利用週期性的改變紅外線打光器的『光源強度』，CCD在低亮度光 源下曝光，在高亮度光源下亦可曝光，結合兩種或兩種以上曝光值的影像，以擴 大影像的動態範圍，或增加曝光正確之機率。
1.3 系統流程
傳統的夜間安全監控，攝影機使用的光源為固定光源強度的紅外線打光器。 由於光源強度固定不變，常見的缺點就是人臉過曝，或是人臉過暗，看不清楚人 臉。為了改進固定強度光源的缺點，本研究提出一種新式的紅外線打光器，此紅 外線光源能週期性的變化的各種光強度，因此紅外線攝影機在夜間安全監控有更 多的機會得到適當曝光的影像品質。此週期性的不斷變化光源的各種強度的掃描 式紅外線光源的基本概念如下圖1-1 所示，水平軸方向代表時間，垂直軸方向代 表光源強度。 圖1-1 掃描式紅外線打光器，週期性的不斷變化各種光強度。 週期性的變化紅外線光源強度，可以在攝影機端得到多種曝光結果的影像。 圖1-2 ( a ) 是待攝物灰階圖。圖 1-2 ( b ) 是在光源強度最強時所攝得影像，此時 過曝3 個曝光值 ( EV, exposure value)。圖 1-2 ( c ) 是在光源強度開始下降 1 階後 所攝得影像，過曝2 個曝光值。圖 1-2 ( d ) 是在光源強度下降 2 階後所攝得影像， 過曝1 個曝光值。圖 1-2 ( e ) 是在光源強度下降 3 階後所攝得影像，曝光值正確。 圖1-2 ( f ) 是在光源強度下降 4 階後所攝得影像，曝光值低曝 1 個曝光值。圖 1-2 ( g ) 是在光源強度下降 5 階後所攝得影像，曝光值低曝 2 個曝光值。圖 1-2 ( h ) 是 在光源強度下降6 階後所攝得影像，曝光值低曝 3 個曝光值。 time Light Intensity原灰階圖 ( a ) 第1 張影像 過曝 3 EV ( b ) 第2 張影像 過曝 2 EV ( c ) 第3 張影像 過曝 1 EV ( d ) 第4 張影像 曝光 正確 ( e ) 第5 張影像 低曝 1 EV ( f ) 第6 張影像 低曝 2 EV ( g ) 第7 張影像 低曝 3 EV ( h ) 圖1-2 週期性的變化紅外線光源強度，在攝影機端得到多種曝光影像。
掃描式紅外線打光器，改善夜視影像成像品質的系統架構圖如圖 1-3。圖 1-3 左側紅外線打光器能週期性的發出各種不同光強度的光源，接著圖 1-3右側攝影 機收到這些不同強度的光線後，得到一系列曝光值的影像。有了這些充滿亮區、 暗區資訊的影像後，我們接著對這些一系列曝光的影像進行影像處理。第一種影 像處理方法，是從一系列連續視訊影像中，以演算法挑選曝光較佳的影像，如圖 1-4。第二種影像處理方法是融合各種曝光影像資訊為一張新的影像，如圖1-5。觀 察這些使用掃描式紅外線打光器所獲得的影像品質後發現，掃描式紅外線打光器 比起傳統固定光源強度的紅外線打光器，攝影機端的影像曝光品質有著明顯的改 善。這是因為掃描式紅外線光源可以增加減少暗區或亮區曝光資訊，如圖1-6所示。 正常曝光資訊在中間色調；暗區資訊因照明曝光不足，資訊遺失，必需靠增加曝 光照明，來增加暗區資訊；亮區資訊因照明曝光過度，資訊遺失，必需靠減少曝 光照明，來增加亮區資訊。 ( a ) ( b ) 圖1-3 掃描式紅外線打光器 ( a ) 與攝影機 ( b ) 的流程圖。
圖1-4 從各種曝光的影像中，挑選曝光佳的影像。
圖 1-6 掃描式變動光強度的紅外線可以增加暗區或亮區曝光資訊。
1.4 本論文各章節介紹
本篇論文全文共分為五章，除了本章為緒論外，第二章介紹曝光原理架構。 第三章則是介紹掃描式紅外線光源製作，討論各種掃描式設計的紅外線光源的優 缺點。第四章是討論影像處理，影像處理的重點在於掃描式紅外線光源照射下獲 得的影像資料庫如何挑出好的曝光照片或者如何從影像資料庫的一堆影像中合成 出一張包含更多資訊的影像。第五章為結論並說明本研究未來的一些研究方向。 HighlightsShadow tones Mid tones
增加曝光可得到更多暗區資訊
減少曝光可得到更多亮區資訊 正常曝光資訊
第二章 曝光原理介紹
在本章中我們將介紹曝光原理。從過去人類發明記錄影像的方法開始，一 直到現在的一百多年歷史裡，一代一代的人們不斷的努力想讓影像更逼真、更清 析、更完美，無奈大自然的影像對比遠超過人類發明的紙張、相片、螢幕、電視、 電影的媒體所能記錄呈現的能力。往往一張照片或是一張影像呈現出來的不是亮 區部分飽和、過度曝光，就是暗階部分曝光不足、一片漆黑，導致人眼無法分辨。 曝光品質的好壞往往是攸關一張影像的最重要的因素之一，不管是DSC或DVC、 高階機種或低階機種，曝光品質的重要性都是排在第一。接下來的2.1節將介紹曝 光原理，2.2節介紹曝光值的定義，2.3節介紹光值的定義，2.4節介紹sRGB色彩空 間的定義，2.5節介紹曝光評估方法，2.6節介紹各種自動曝光演算法。2.1 曝光 ( exposure )
所謂的曝光是指底片或影像感測器等接收到的曝光總量，曝光量的多寡以 Lux*秒來表示，可以從景物亮度 ( luminance ) 與曝光時間計算出來。曝光量等於 H = E * T ( 2-1 ) 其中 E 為照度 ( illuminance )，T 為曝光時間，H 的單位為 Lux*秒。由 ( 2-1 ) 式 可得，若在相同照明照度條件下，曝光時間越長，曝光量越大，影像越亮；若在 相同曝光時間條件下，照度越強，曝光量越大，影像越亮。拍攝影像時，我們既 不希望曝光過度，也不希望曝光不足，我們希望曝光量能夠恰到好處。例如圖2-1 ( a )的影像為低曝，圖 2-1 ( c )的影像為過曝，位於圖 2-1 ( b )的影像曝光較適中。 ( a ) ( b ) ( c ) 圖2-1 影像曝光過曝、低曝與理想目標。基本上影響曝光的因素包含了 ( 1 ) 光源強度、 ( 2 ) 攝影機感度、( 3 ) 曝光 時間、 ( 4 ) 光圈大小等四個主要因素，如圖 2-2。夜間安全監控的影像，可利用 控制上述的四個因素來增加或減少曝光總量。現在針對這四種處理方式的優缺點 分別敘述如下。 圖2-2 影響曝光因素，光源強度、攝影機感度、曝光時間、光圈大小。 ( 1 ) 增加或減少光源亮度 ( light intensity )，以增加、減少曝光總量。此種主 動式光源照明方法適合於夜間拍攝影像，為本研究所選用。( 2 ) 增加或減少攝影 機的感度 ( sensitivity )，以增加或減少曝光總量。一般而言，在夜間低照明亮度 下若使用此方法(增加攝影機感度) 拍攝影像，會造成雜訊明顯升高的缺點，因此 調整攝影機感度的方法不為本研究選用。( 3 ) 控制攝影機的曝光時間 ( exposure time )，以增加或減少曝光總量。但此法在低光源亮度下，影像曝光時間往往會過 長，甚至長達數個圖幅的時間，因此實務上亦不可行。( 4 ) 改變攝影機的光圈大 小 ( aperture )，以增加或減少曝光總量。但因夜間光圈通常已放至最大，無法再 增加曝光量，因此本方法亦不具可行性。 綜合考量以上四種方法後，本研究決定使用第一種方法：增加或減少光源亮 度 ( light Intensity )，以增加或減少曝光總量，改善影像品質，因此有了後續的掃 描式紅外線打光器的研製。 Aperture Image Sensor Sensitivity Exposure Time Light Intensity Object
2.2 曝光值 ( Exposure Value )
曝光值 ( exposure value, EV ) 代表影像的曝光程度，EV 曝光值是一個以 2 為底的對數刻度系統。其數學式如下
EV = log2 ( A2/T ) = log2 ( BSx/K ) ( 2-2 )
其中 A 是光圈值，T 是曝光時間（又稱快門），單位為秒；B 是亮度，Sx是感測器 對光線的靈敏度，K 是反射光修正係數，ISO 2720:1974 建議 K值從10.6 到 13.4， K 一般使用 12.5 ( Canon, Nikon, and Sekonic )。式子 ( 2-2 ) 左邊代表相機的內部 設定，式子 ( 2-2 ) 右邊代表亮度與感度的組合。當 ( 2-2 ) 式右側改為入射光時 EV = log2 ( ES/C ) ( 2-3 ) 其中 E 代表照度，S 是感測器對光線的靈敏度，C 代表入射光修正係數，一般值 為250。曝光值 0（ EV 0 ）為曝光時間 1 秒且光圈大小為 f /1.0 的組合或其等效 組合，如果曝光值已經確定了下來，那麼就可以依據它來選擇曝光時間和光圈的 組合，如表2-1 之 EV Table 所示。曝光值每增加一，將改變一級的曝光，也就是 將曝光量減半，如同將曝光時間或光圈面積減半。曝光值的增加對應於更快的快 門速度和更小的光圈。 表2-1 EV Table F/1.0 F/1.4 F/2.0 F/2.8 F/4.0 F/5.6 F/8.0 F/11 F/16 F/22 1s 0 1 2 3 4 5 6 7 8 9 1/2s 1 2 3 4 5 6 7 8 9 10 1/4s 2 3 4 5 6 7 8 9 10 11 1/8s 3 4 5 6 7 8 9 10 11 12 1/15 4 5 6 7 8 9 10 11 12 13 1/30s 5 6 7 8 9 10 11 12 13 14 1/60s 6 7 8 9 10 11 12 13 14 15 1/125s 7 8 9 10 11 12 13 14 15 16
1/250s 8 9 10 11 12 13 14 15 16 17 1/500s 9 10 11 12 13 14 15 16 17 18 由 ( 2-2 )式 K = 12.5，在 ISO 100 時 EV 與 L 的數學關係式為 L = 2EV-3 (2-4) 由(2-3)式 C = 250，在 ISO 100 時 EV 與 E 的數學關係式為 E = 2.5 x 2EV (2-5) 綜合(2-4)式與(2-5)式 EV、L 與 E 的對照表如下
表2-2 EV、luminance ( ISO 100, K = 12.5 )與illuminance ( ISO 100, C = 250 ) 的對照表。
Luminance L Illuminance E EV cd/m2 lx −1 0.063 1.25 0 0.125 2.5 1 0.25 5 2 0.5 10 3 1 20 4 2 40 5 4 80 6 8 160 7 16 320 8 32 640 9 64 1280 10 128 2560 11 256 5120 12 512 10,240 13 1024 20,480 14 2048 40,960 15 4096 81,920 16 8192 163,840
2.3 光值 ( Light Value )
光值 ( light value )是一個以 2 為底的對數 ( logarithmic )尺度，定義為入射光 或反射光的光強度。LV 值(亮度或照度)搭配 ISO 感度值，即可決定 EV 值。表 2-3 之 LV Table 描述了各種照明條件下的光值，例如晴天的光值 LV = 11、室內照明 的光值 LV = 6。只要我們能知道被攝物環境的光值，就可知到相機該用多少的 EV 值進行曝光。由 ( 2-2 ) 式 ( 亮度 )，或 ( 2-3 ) 式 ( 照度 ) 的公式，將 ISO 分別以100、400 代入，計算可得 ISO 100 時，EV = LV ISO 400 時，EV = LV + 2 表2-3 LV Table LV Light Condition -17 Dim Star Light
-7 Quarter Moon
-3.5 Avearge Full Moon -1.9 Brightest Moon Light
0 Limited Light Source
1 Dark Street Scene
2 Typical Night Street Scene 3-4 Brightly Lit Night Street;Candle Light 5-6 Indoor Lighting;Amusement Park At Night 7-8 Bright Indoor Light;Sport Events At Night
9 Outdoor Lighting; Before Sun Rise; After Sun Set, 10 Very Dark Overcast Day
11-12 Bright Overcast
13 Typical Daylight Open Shadow 14 Side Light(After Sun Rise; Before Sun Set) 15 Typical Middle Gray Subject in Bright Sunlight 16 Light Skin in Full Sunlight
17 Most Near-White Objects in Sunlight 18 Bright Ice Cloud Reflecting Full Sunlight 19 Sun Glint Off of Chrome or Deep Water
2.4 sRGB色彩空間
sRGB ( standard RGB ) 是一種以 8 位元編碼亮度(luminance) 的標準。這個 標準是由 Hewlett-Packard and MicroSoft 建立，並且由 W3C, EXIF, Intel, Pantone, Corel 等公司共同參與制定。sRGB 標準定義了一個亮度值如何被儲存在一個影像 檔案中，這個亮度是一個相對值，例如1.0 代表"顯示器可以表現的最亮值"。sRGB 將一張影像正規化到0 - 1 的範圍後，再以下列式( 2-6 )、( 2-7 )、( 2-8 )、( 2-9 )、 ( 2-10 )、( 2-11 ) 定義亮度值。 (i) R,G,B<=0.00034 Rsrgb = 12.92 R ( 2-6 ) Gsrgb = 12.92 G ( 2-7 ) Bsrgb = 12.92 B ( 2-8 ) (ii) R,G,B >0.00304 Rsrgb = 1.055 R(1.0/2.4) - 0.55 ( 2-9 ) Gsrgb = 1.055 G(1.0/2.4) - 0.55 ( 2-10 ) Bsrgb = 1.055 B(1.0/2.4) - 0.55 ( 2-11 ) 其中 R、G、B 代表由 A/D 轉換器轉換 CCD 或 CMOS 感測器曝光值所得來的「線 性」亮度值，而 Rsrgb, Gsrgb, Bsrgb代表儲存於圖檔內部的「非線性」值。sRGB 曲線 實際上逼近於 ( 2-12 ) 式、( 2-13 ) 式、( 2-14 ) 式所代表的 Gamma =1/2.2 曲線。 所以我們常以 Gamma= 1/2.2 當成 sRGB 的曲率，就是這個原因。sRGB 與 Gamma =1/2.2 曲線的關係如圖 2-3。 Rsrgb = R(1.0/2.2) ( 2-12 ) Gsrgb = G(1.0/2.2) ( 2-13 ) Bsrgb = B(1.0/2.2) ( 2-14 )
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 sRGB Gamma 1/2.2 圖2-3 sRGB與Gamma 1/2.2曲線的關係。 當圖檔以非線性 Gamma = 1/2.2 編碼時，在每個 Zone 中所分配的位元數可以 做到比線性 RGB 原始值更合理的分配，如圖 2-4。以 8 位元 0-255 為例，sRGB 分 配了69 個 levels 來紀錄 Zone 1，分配了 50 個 levels 紀錄 Zone 2，分配了 37 個 levels 紀錄Zone 3。若以線性 RGB 記錄圖檔，則會以 128 個 levels 來紀錄 Zone 1，顯得 過於浪費位元；這種非線性紀錄的模式，可把省下來的位元留給Zone 2、Zone 3， 使得影像編碼，可利用這種不對稱性的位元分配更有效率。
圖2-4 圖檔中RGB值的分佈。
數位影像圖檔以sRGB 格式記錄， 但 sRGB 格式並非以線性紀錄影像灰階強 度，若要還原到原始光線信號強度，數位影像檔的RGB 值正規化後，還需乘上 2.2 冪次方。圖 2-5 說明了以 sRGB 記錄的圖檔，如何進行光強度重建。sRGB 內 定螢幕顯示端的 Gamma 值為 2.5，系統重建的 Gamma 值為 1.14。系統重建的 Gamma 值設計為 1.14 是因為環境的光線會降低對比，必需先以 Gamma 值 1.14 升 高對比。 ( 5 ) = ( 1 ) x ( 2 ) x ( 3 ) x ( 4 ) 圖2-5 以sRGB記錄的圖檔，如何進行光強度重建。 Light Intensity ADC Level Monitor Light Intensity ADC Level sRGB sRGB Voltage Voltage Monitor Light Intensity
( 1 ) ADC Level is a linear RGB ( 2 ) sRGB in image file is a non-linear RGB
( 3 ) display device behavior ( 4 ) display device behavior
( 5 ) Light Intensity Reproduction
Y=X1/2.2
Light Intensity
Y=X2.5
2.5 曝光的評估方法
常見影像曝光的評估方法有以下五種，分別是人眼直覺觀察、曝光區 h( exposure zone )、灰卡( gray card )、統計直方圖 ( histogram ) 以及曝光方程式。 曝光區域法是傳統去衡量影像曝光好壞的古老方法，當肉眼觀察到曝光區域分佈 情形，便可了解曝光品質。第三種方法是灰卡，我們假設待拍攝的影像是類似灰 卡18%反射率的物體，如果拍攝出的灰階平均值在 117 附近，就可初步認定影像 曝光品質是正常的；在此我們先將誤差門檻值假定為 20，若灰階總平均值高於 137 ( 117 + 20 )，代表過曝的可能性高；若灰階總平均值低於 97 ( 117 – 20 )代表 低曝可能性高。第四種方法是統計直方圖，曝光好壞一般都是灰階統計直方圖的 分佈結果來評斷，統計直方圖分佈越分散於兩端的越好，統計直方圖分佈過度集 中於左端或右端都不好。當過多比例的影像統計直方圖落在亮區 ( highlight ) 時，曝光過曝的機會就變高；反之，當過多比例的影像統計直方圖落在暗區 ( shadow ) 時，曝光低曝的機會就變高。第五種方法是曝光方程式，當我們有測 光錶可以得知目前照明亮度時，就可以利用曝光方程式找出合適曝光的相機光圈 與快門組合。因相機可以測光後，利用曝光方程式找出合適曝光的相機光圈與快 門組合，再進行拍照；但攝影機使用的場合，待攝物與環境亮度不斷隨場景變化， 並非單一場景，因此曝光方程式的方法無法直接適合用在攝影機的場合上。以上 五種方法的詳細內容，將在以下章節，加以詳細說明、討論。
2.5.1 人眼直覺觀察法
衡量影像曝光的好壞，最簡單的方法就是用人眼去觀察，人眼非常敏銳，若 是影像中有發生過曝或低曝的問題，人眼很容易觀察出來，但是用人眼觀察的方 法無法自動化，這是一項致命的缺點。我們希望能發展出一套自動曝光評估系統， 如同人一般能夠自動分辨過曝或低曝的問題，並快速完成自我校正達到最佳曝光。2.5.2 曝光區域 ( Exposure Zone )
衡量影像曝光的好壞，可用曝光區域的方法，這個方法是Ansel Adams 等 人於1934 年所建立的，當初這個方法是發展給黑白照片所使用，但今天數位影像 依然可以適用相同的方法去衡量影像曝光的好壞。圖2-6 我們把曝光區域 ( zone ) 分成11 階，分別是第 0 階到第 10 階，代表從暗部到亮部，第 5 階，依照定義是 中灰 ( middle gray )，中灰的 RGB 值為 117，並非直覺的 128。良好的曝光影像應 涵蓋第3 階到第 7 階以上的灰階。下圖 2-7 顯示曝光區域的關係圖。 圖2-6 曝光區域。 圖2-7 曝光區域與相片內容的關係。 (資料來源:http://www.luminous-landscape.com/tutorials/zone_system.shtml )2.5.3 灰卡 ( 反射率18% )
RGB 色彩空間的 R、G、B 變化量與人眼感知變化量不太一致。相較之下 CIELAB 色彩空間是一種以人眼感知為基礎所設計的色彩空間，L*、a*、b*的變化 量與人眼感知變化量較一致。因此我們說Lab 色彩空間是一個均勻的色彩空間， 這裡所謂的『均勻』是指對人眼的感受而言。如圖2-8 所示，CIELAB 色彩空間的 L*代表人眼視覺的亮度指標；a*、 b*則代表人眼視覺的色度座標。L*的亮度公式 L* = 116 * ( y/yn )1/3 – 16 ( 2-15 )其中 y 為 CIE 亮度值，yn為參考白的亮度值，y/yn相當於物體反射率。當 L* = 100 時，人眼視覺為最亮；當 L* = 0 時，人眼視覺為最暗；當 L* = 50 時，人眼視覺為 中等灰度，此時物體的光線反射率 y/yn = ( (L* + 16 ) / 116 )3= ( ( 50 + 16 ) / 166 )3 = 0.1841 = 18.4%。因此當大自然的景物反射率等於 18%時，人眼感覺為中等灰度 ( L* =50 )。 圖2-8 Lab 色彩空間是一個人眼視覺均勻的色彩空間。 2.4 節 sRGB 定義了一個亮度值如何被儲存在一個影像檔案中，這個亮度值是 一個相對值，例如1.0 代表"顯示器可以表現的最亮值"。sRGB 將一張影像正規化 到0-1 的範圍後，便相當於物體反射率 0-1。因此 18%反射率的灰卡，在正常曝光 後，sRGB 將以 Gamma = 1/2.2 進行壓縮，最後得到 RGB = 0.18(1/2.2) * 255 = 117，
所以 R = G = B = 117 為 18%反射率的灰卡的曝光目標值。圖 2-9 說明了 18%灰卡 的曝光目標值 RGB = 117，此時 Lab 色彩空間的 L* = 50。 圖2-9 18%灰卡的曝光目標值 RGB=117、L=50。 18%反射率的灰卡經常被用在影像曝光評估的場合。若以 18%灰卡進行曝光 實驗時，曝光目標( exposure target )為 RGB = 117。以這個標準，若是曝光結果 RGB 平均值 > 117 就是過曝，若是曝光結果 RGB 平均值 < 117 就是低曝。但是實際 上真實世界的物體不可能為均一反射率的灰卡，因此曝光的好壞不能單以 RGB 平 均值等於117 來判定。雖然理論上最佳曝光的目標值定在『反射率 18%的灰卡能 夠曝出 RGB 等於 117 的影像』，但是曝光的好壞，還包含許多人為主觀因素以及 審美觀在內，所以18%反射率的灰卡只能做為曝光的參考工具，不能嚴格要求曝 光條件必須在 RGB = 117。如果拍攝出的灰階平均值在 117 附近，就可初步認定 影像曝光品質是正常的；在此門檻值假定設為20，若灰階總平均值高於 137 ( 117 + 20 )，就代表過曝的可能性增高，若灰階總平均值低於 97 ( 117 – 20 ) 就代表低 曝可能性增高。綜合上述內容，基本原則就是『拍攝一張18%反射率的灰卡，若 曝光合理正確，將能使得影像的 RGB 平均值約等於 117。』
2.5.4 統計直方圖 ( Histogram )
上節所敘述的灰卡曝光目標 ( exposure target ) 為 RGB 等於 117 附近，由於影 像內容有亮區、暗區，亮區、暗區分布的大小又各有不同，應此較佳的影像曝光 評估應該是使用統計直方圖的方法。一般而言，一張影像的統計直方圖分佈愈平 均愈好，最好是暗區也曝光清楚，亮區也曝光清楚，統計直方圖分佈左右亮暗區 兼具。若整張影像的統計直方圖若偏左邊區域，代表曝光不足，如圖2-10 ( a ) ( b )； 117 0 255若整張影像的統計直方圖都偏右邊區域，則代表曝光過度飽和，如圖2-10 ( c )( d ) ；圖 2-10 ( e )( f ) 曝光適度，影像統計直方圖分佈平均，是較佳曝光。 ( a ) ( b ) ( c ) ( d ) ( e ) ( f ) 圖2-10 用統計直方圖快速判斷是否過曝、低曝。
2.5.5 曝光方程式 ( Exposure Equation )
相機曝光方程式敘述的是對於一個景物的平均亮度 ( luminance ) 的曝光數 學關係式，表示如下
A2/T = BSx/K (2-16)
其中 A 代表光圈大小，T 代表曝光時間長度，B 代表一個景物的平均亮度，Sx 代表 ASA arithmetic film speed，K 代表反射光曝光表的修正係數 12.5 cd/m2。對 ( 2-16 ) 式取 log2得 ( 2-17 )、( 2-18 )、( 2-18 ) 式：
log2 ( A2/T ) = log2 ( BSx/K ) ( 2-17 ) log2 (A2) + log2 (1/T ) = log2 ( Bx/K ) + log2 ( Sx ) ( 2-18 ) AV + TV = BV + SV ( 2-19 )
其中 AV 是光圈值 log2 ( A2 )，TV 是快門值 log2 ( 1/T )，BV 是亮度值 log2 ( Bx/K )， SV 是感度值 log2 ( Sx )。( 2-2 ) 式已經定義 EV = log2 ( A2/T ) = log2 ( BSx/K ) ，上式 ( 2-17 ) 給定 Sx後，EV 曝光值就僅由亮度決定。一旦 EV 確定了，就可從光圈與 曝光時間組成的 EV table 中 (表 2-1 ) 去找出適合的快門與光圈設定。如果我們有 測光表讓我們能夠得知環境照明的亮度，接下來便可以用曝光方程式計算可能的 曝光條件排列組合。例如測光表測得反射光為 B = 128 cd/m2時，Sx = 100，K = 12.5， 則可得 EV = log2 ( 128 * 100 / 12.5 ) = 10。EV 等於 10 可以使用的曝光組合，詳見 表 2-1 EV Table 。如果快門是1/60 秒，光圈就用 f #4；如果快門是 1/30 秒，光圈 就用 f #5.6，以下類推。有了參考相機曝光方程式，往往可以得到正確不錯的曝光。
2.6自動曝光演算法 ( Auto Exposure Algorithm )
自動曝光演算法最基本的有兩種，一種是控制曝光時間，一種是控制光源強度 (入光量)。本論文提出的演算法是由控制光源強度的方法變形而來，
也就是利用 掃描式紅外線打光器，週期性的發射出各種強度的紅外光，固定攝影機的曝光時 間、感度、與光圈條件後，接收紅外線打光器週期性變化的各種強度紅外光，經 物體反射後，得到各種不同曝光強度的影像。2.6.1 第一種自動曝光演算法：( 曝光時間 )
如 ( 2-1 ) 式，利用曝光時間改變曝光量，曝光時間越長曝光量越多。如圖 2-11 說明了以控制曝光時間改變曝光量的自動曝光演算法。基本的想法就是曝光太多 時要減少曝光量，曝光不足時要增加曝光量。 圖2-11 控制曝光時間來改變曝光量。2.6.2第二種自動曝光演算法：( 光源強度 )
如 ( 2-1 )式，利用光源強度改變曝光量，在曝光時間不變下，光源強度越強， 曝光量越多。控制光源強度來改變影像曝光量的自動曝光演算法流程如圖 2-12。 此法的優點是導入主動光源因素，可以增加正確曝光的機率。 圖2-12 控制曝光時間與光源強度來改變曝光量。2.6.3第三種自動曝光演算法 :
第三種自動曝光演算法是本論文提出的演算法。首先利用掃描式紅外線打光 器，週期性的發射出各種強度的紅外光（如圖2-13 ( a )流程圖），接下來，固定 攝影機的曝光時間、感度、與光圈條件後，接收紅外線打光器週期性變化的各種 強度紅外光來得到各種不同曝光強度的影像（如圖2-13 ( b )流程圖）。最後再從 各種曝光效果的影像中，利用演算法挑選曝光較佳的影像或者將帶有各種曝光資 訊的影像再合成一張新的影像。合成影像的方法可以是高動態範圍合成法或是分 割再合成畫面法，第四章將有詳細描述合成影像或挑選影像的影像處理方法。( a ) ( b )
第三章 掃描式紅外線打光器製作
傳統的夜間安全監控攝影機使用的光源是固定光源強度的紅外線打光器，而 本論文研究的紅外線打光器是不斷變更光源強度的掃描式紅外線打光器。本章將 詳細描述掃描式紅外線打光器的原理、製作方法與細節。依序本章3.1 節先介紹紅 外線發光二極體基本原理，接著3.2 節描述掃描式紅外線打光器製作方法，最後在 3.3 節進一步討論紅外線光源的各種驅動型式與其優缺點。3.1 紅外線發光二極體 ( IR LED ) 簡介
可見光的波長範圍大約是 400 nm – 760 nm，大於 760 nm 低於 1200 nm 大約 正是 CCD 可感應的近紅外光 ( near infrared ) 區。紅外線發光二極體 ( infrared light emitting diode, IR LED ) 可以提供夜間光源照明不足時所需的照明，常見的規 格有850 nm、940 nm 二種。850 nm 的發光波段對人眼而言，隱約可見一些紅光， 940 nm 紅外線發光二極體的發光波段則人眼無法察覺。一般而言 940 nm 的紅外 線發光二極體安全防盜效果比較好，但是 850 nm 的紅外線發光二極體使用較普 遍、也較便宜。紅外線發光二極體的半導體材料主要有兩種，一種是砷化鎵GaAs， 另一種是鋁砷化鎵 AlGaAs。這兩種半導體材質能發射的紅外線波段不同，例如 GaAs 紅外線發光二極體發光波長在 940nm，AIGaAs 紅外線發光二極體發光波長 在880nm。 紅外線發光二極體與沒有極性的白熾燈不同，只能在正向電流流過時才能發 光。當加電壓為正向時，會有較大的電流流過紅外線發光二極體，於是我們稱其 電壓為順向偏壓 VF ( forward voltage )，其電流為順向電流 IF ( forward current )。如 果電壓極性接反了，則被稱為逆向偏壓，這時只有很小電流流過並且不發光，可 視為斷路。圖3-1 為最基本的紅外線發光二極體驅動電路。圖3-1 紅外線發光二極體的基本驅動電路。 常見的紅外線發光二極體的順向偏壓 VF小於 1.9 V，順向電流 IF 小於 200 mA。圖 3-2 顯示出典型的紅外線發光二極體技術資料，其中紅外線發光二極體的 發光功率與電流有較直接關係，在紅外線發光二極體的整個工作區 VF相對 IF變化 較小，因此紅外線發光二極體的發光功率大致與電流成正比。我們可以利用控制 紅外線發光二極體的順向電流 IF 來間接控制紅外線發光二極體的發光功率 ( optical power )。
圖3-1 16LED850 - 16 x 850nm IR LED's - 720mW Total Output
(a) (b)
圖3-2 典型的紅外線發光二極體技術資料。
3.2掃描式紅外線打光器製作
3.2.1 紅外線發光二極體驅動方式
驅動紅外線發光二極體最簡單的方法是以控制紅外線發光二極體的順向電流 IF 來控制紅外線發光二極體的發光功率。為了穩定地控制紅外線發光二極體光度 及功耗，本應該以電流源推動紅外線發光二極體，使流經紅外線發光二極體的電 流保持穩定不變。但是為了簡化電流源電路設計，在不需要高效率的場合，我們 可以用一個電壓源串連一個限流電阻，來做為電流源為紅外線發光二極體供電。 多個紅外線發光二極體與單個限流電阻串連起來，串聯下所有的紅外線發光二極 體都有相同電流，所以多個紅外線發光二極體彼此的光度會非常相近。 另外一種常見控制紅外線發光二極體發光功率的方法是使用脈衝寬度調變 (Pulse Width Modulation – PWM ) 推動紅外線發光二極體。藉由控制導通時段的長 度與關閉時段的長度比例(duty cycle)我們可以改變流經紅外線發光二極體的平均 電流，從而控制紅外線發光二極體的光度。由於控制元件沒有半導通的狀態，電 壓降較少，因而效率較高，只要紅外線發光二極體閃爍頻率能高於人眼的視覺暫 留，看起來就像連續發光一樣。以脈衝寬度調變 ( PWM ) 控制紅外線發光二極體 發光度的方法，圖示如圖3-3。 圖3-3 PWM控制紅外線發光二極體的方法。 功率 TL TH 時間 Duty Cycle= TH /(TH+TL) 平均功率3.2.2 掃描式紅外線打光器驅動電路
本論文設計之『掃描式紅外線打光器』，使用『傳統紅外線打光器』加『掃 描驅動產生器』所組成，如圖3-4。『掃描驅動產生器』由微控制器 ( MCU ) 加 類比數位轉換器 ( DAC ) 所組成，裡面有各種電壓樣式 ( pattern ) 負責週期性的 驅動紅外線發光二極體，使得紅外線打光器能週期性地發出各種不同的亮度，以 改善夜間安全監控的曝光影像。圖3-5 顯示了掃描驅動產生器所產生的某些樣式。 圖3-4 本論文之掃描式紅外線打光器架構圖。 圖3-5 掃描驅動產生器的各種驅動樣式。 紅外線打光器 0V-12V 掃描驅動產生器 12V time Current time Current Current time圖3-6 則更細緻的描述了整個紅外線打光器的驅動電路。我們使用一個電壓 源串連一個限流電阻做為電流源，為紅外線發光二極體供電。紅外線打光器模組 是以6 顆紅外線發光二極體串聯後，再串聯一顆電阻所構成一個小模組，再由這 些小模組組成6 的倍數數量的紅外線打光器模組。此次論文實驗使用的紅外線發 光二極體的順向偏壓 ( VF ) 為 1.4 V，當 6 顆紅外線發光二極體串聯後，等效順向 偏壓 ( VF ) 變為 8.4 V。因此當外加的順向電壓超過 8.4 V 後，才會開始發光，約 到12 V 時，紅外線發光二極體達到最亮的亮度，此時順向導通電流 IF約200 mA。 圖3-6 本論文之掃描式紅外線打光器電路架構圖。
3.2.3 掃描式紅外線打光器之順向電壓、順向電流與發光亮度
本論文製作之掃描式紅外線打光器，其順向電壓、順向電流之實測數值結果 如表3-1 與圖 3-7 所示。
圖3-7 紅外線打光器模組的順向電壓與順向電流的實驗結果。 圖3-7 實驗結果與圖 3-2 ( b ) 紅外線發光二極體的規格書基本相符，差別在 於圖3-7 是 6 顆紅外線發光二極體串連的結果，所以 VF順向電壓是規格書的6 倍。 當我們從8.5 V 到 12 V 逐步線性增加順向電壓時，紅外線發光二極體的順向電流 逐漸變大，紅外線打光器模組也逐步發光變亮。紅外線打光器模組驅動電壓與亮 度的實驗結果，我們放在圖3-8 供參考。圖 3-8 實驗結果顯示有許多影像曝光結果 是重覆的、多餘的、類似的。例如8.5 V 與 8.6 V，9.7 V 與 9.8 V，10.6 V 與 10.7 V， 11.4 V 與 11.5 V 的驅動電壓發光效果，我們看不出明顯差異。這些實驗結果告訴 我們亮度以線性遞增會造成有許多重覆的、多餘的影像曝光資訊。
3.3 掃描式紅外線打光器的內部演算法
3.3.1 等差級數變化之光源亮度會造成資訊重覆
若紅外線光源的光線強度以等差級數週期性改變，如圖 3-9，則攝影機攝得 的曝光影像容易產生許多重覆的、多餘的亮度效果。具體的例子可由上一節的圖 3-8 觀察而得，圖 3-8 攝影機攝得的影像亮度效果有許多是重覆多餘的。 圖3-9 紅外線光源的光線強度以等差級數週期性改變，攝影機攝得的亮度效果。 人眼視覺對光線強度的感受，如圖3-10。1 單元的光線強度增強為 2 單元、 4 單元、8 單元的光線強度時，對人眼而言的感覺事實上是等差變化的。當我們以 線性增加順向電壓來驅動紅外線發光二極體時，順向電流同時線性增加，所以紅 外線光源的光強度也是以線性增加的，這種線性紅外線發光二極體驅動方式所得 到的照明效果是有許多是重覆的、多餘的。為了改善曝光效率，我們應以等比級 數的電流強度驅動紅外線發光二極體)來獲得光源強度等比級數增加。 圖3-10 人眼視覺對光線強度的感知。 time Light Intensity 光線強度 人眼感受為了以等比級數的驅動方式來改善紅外線發光二極體驅動方式，我們從表3-1
的掃描式紅外線打光器電壓與電流關係的原始實驗結果中，找出6 組順向電流成
等比級數的組別。由於8.4 V 是導通臨界電壓，幾乎沒有任何電流導通，因此我們 挑選的第一組順向電流4.7 mA，第二組順向電流 9.4 mA，第三組順向電流 20 mA， 第四組順向電流42.6 mA，第五組順向電流 84mA，第六組順向電流 167.7 mA。這 六組紅外線發光二極體驅動方式大約是以順向電流等比級數增加的方式驅動的， 所以其發光強度也是等比級數增加，依序可定為LV1、LV2、LV3、LV4、LV5、 LV6。這六組紅外線發光二極體驅動的順向電流決定後，我們可以從圖 3-5 的紅外 線發光二極體電壓與電流關係的原始實驗結果中找到順向電流4.7 mA、9.4 mA、 20 mA、42.6 mA、 84 mA、167.7 mA，其對應的驅動電壓分別為 8.5 V、9.0 V、 9.4 V、9.8 V、10.5 V、11.8 V。以等比級數方式驅動紅外線發光二極體時，其驅 動電壓 VF、驅動電流 IF與發光值 LV，匯整如表 3-2 所示。
3.3.2 紅外線光源亮度以等比級數變化較有效率
圖 3-8 本文建議以『等比級數』週期性改變光源強度驅動紅外線光源 我們在實作紅外線光源時發現，如果以等差級數的進行光源強度變化，將浪 費太多階類似光強度的光源進行曝光。因為若要將亮度從1 倍變化到 32 倍，以等 比級數方法只要1、2、4、8、16、32 共 6 階即可完成；若以等差級數方法則要 1、 2、3、…32 共 32 階才可完成。且等差級數方法控制光源的強度由 31 倍變為 32 倍，變化量只有3%左右；但由 1 倍變為 2 倍時變化量達 200%，可見等差級數方 法相當不適合用於控制光源的強度。由於人眼對光線強度的視覺感知是對數刻度 系統，因此我們在實作紅外線光源時，光源亮度應以等比級數週期性變化，如此 人眼對這些光線強度的視覺感知才會線性變化。 由於數位攝影機的影像動態範圍 ( dynamic range ) 約等於 45:1。在低亮度的 環境光源狀況下，例如夜晚室內無燈環境，只要紅外線打光器能夠有 LV 5 階的 變化量，就可以合成一個HDR ( High Dynamic Range ) 達 10 階的影像。相同的 照明需求，LV 變化達 5 階，若改用等差級數的變化量，需要用 32 次的變化才 能達成，非常沒有效率。本研究設計的紅外線打光器動態範圍約32:1，即 5 個 LV，最大電流約 200 mA，最小電流約 5 mA。若未來使用高功率的紅外線 LED 光源。以最大順向電流1.2 A，最小順向電流 5 mA 設計而言，我們就可以設計 出動態範圍達240:1 的紅外線打光器，約 8 個 LV 的動態範圍能力。time Light
3.3.3『等差級數』與『等比級數』驅動光源的平均耗電功率比較
『等差級數』驅動紅外線光源的平均耗電功率：一個周期有 N 階個驅動，最 大驅動為一個電流單位，週期內『等差級數』驅動的耗電量分別為1/N、2/N、 3/N…N/N 個單位，總耗電量為 ( 1 + 1 / N ) * N / 2 = ( N + 1) / 2 個單位，平均耗電 功率為 ( N + 1 ) / 2N 個單位。『等比級數』驅動紅外線光源的平均耗電功率：一 個周期有 N 階個驅動，最大驅動為一個電流單位，週期內『等比級數』驅動的耗 電量分別為1、1/2、1/22…1/2N-1個單位，總耗電量為 ( 2N-1 ) / 2N-1個單位，平均 耗電功率為 ( 2N-1 ) / ((2N-1 ) * N ) 個單位。下列表 3-3 是『等差級數』與『等比級 數』驅動光源的平均耗電功率比較表，由表3-3『等比級數』驅動光源較省電，在 能源日益短缺的今日，以『等比級數』驅動光源似乎將成為未來必然的趨勢。 表3-3 以等比級數之電流驅動紅外線發光二極體較省電 等差驅動，平均耗電功率 等比驅動，平均耗電功率 何者省電? N=1 1.000 單位 1.000 單位 相同 N=2 0.750 單位(3/4) 0.750 單位 相同 N=3 0.666 單位(4/6) 0.583 單位(7/12) 等比 N=4 0.625 單位(5/8) 0.469 單位(15/32) 等比 N=5 0.600 單位(6/10) 0.388 單位(31/80) 等比 N=6 0.583 單位(7/12) 0.328 單位(63/192) 等比 N=7 0.571 單位(8/14) 0.283 單位(127/448) 等比 N=8 0.563 單位(9/16) 0.249 單位(255/1024) 等比 N=9 0.556 單位(10/18) 0.222 單位(511/2304) 等比 N=10 0.550 單位(11/20) 0.200 單位(1023/5120) 等比 N=∞ 0.500 單位(1/2) 0 單位 等比3.3.4 紅外線光源應以漸暗設計為佳
如圖 3-10 所示，當紅外線光源為漸亮的設計時，因光源初期太暗，以致攝 影機無法對焦，一段時間內一直處於失焦狀態，造成影像品質不佳。當紅外線光 源為漸暗的設計時，如圖3-11 所示，因光源初期最亮，攝影機可快速對焦，之後 雖光源慢慢變暗，攝影機仍能擁有良好對焦狀態，因此有較佳影像品質。由這些 實驗結果顯示，紅外線光源應以漸暗設計為佳，如圖3-12 ( a ) 表示。圖3-10 光源先暗後亮的漸亮設計，攝影機容易處於失焦狀態。 圖3-11 光源先亮後暗的漸暗設計，攝影機較易處於對焦狀態。 Light Light
( a ) ( b ) 圖3-12 圖 ( a ) 先亮後暗的光源驅動的方式，比圖 ( b ) 先暗後亮方式為佳。
3.3.5 紅外線光源的週期越短越好(時間水平軸方向)
紅外線光源的變化週期快慢所造成的優缺點是顯而易見的，在大多數的場合 都是以盡可能的快速變化光源強度為佳。掃描式紅外線打光器1/30 秒變化一階 LV，比起 1 秒才變化一階 LV，可以在相同時間內提供更多種強度的照明。快速地 投射出不同亮度的光源，以盡快讓攝影機補捉到更多的資訊，比慢慢的變化光源 亮度為佳。理想的光源強度變化的速度能夠使得每張攝得影像都有不同 EV 值。若 紅外線光源強度週期變化次數，可以快到每階的光源亮度都對應到每一張影像的 曝光時間內( 約 1/30 秒 )，最為理想。以每秒拍攝 30 張影像的 DV，搭配變化 6 個 LV 值變化能力的掃描式紅外線打光器，則一秒內掃描式紅外線打光器應該要能 夠週期性變化5 次的 6 個 LV 值。綜上所述，圖 3-13 ( b ) 圖週期比較短，所以在 被攝物消失前，正確曝光的機率比較高，設計比 ( a ) 圖好。 ( a ) ( b ) 圖3-13光源週期越短越好，以便在被攝物消失前，增加正確曝光機率。 Light Intensity Light Intensity time time3.3.6 紅外線光源強度應盡可能跳躍變化 ( 光源強度垂直軸方向 )
有時候監控影像的畫面人物出現時間長度不長。若循亮度遞減 ( 增 ) 方 向，將紅外線發光二極體光源樣式(pattern)逐一掃瞄完一次，可能發生人物出現在 LV1 曝光為佳的場合，卻因拘泥於 LV8、LV7、LV6、LV5、LV4、LV3、LV2、 LV1 的順序，必須等到第 8 張曝光時間點才能有較佳曝光。喪失了取得良好曝光 內容的機會，等到第8 張曝光時間點到了之後，往往被監控的歹徒已經不知去向。 如果我們可以修正LV8、LV6、LV4、LV2、LV7、LV5、LV3、LV1 的光源驅動 順序，則有機會在第4 張照片 ( LV2 ) 時，就可以拍攝到還不錯的曝光結果 ( 雖 然不是最佳 )。為了加強夜間安全監控的偵測能力，建議如圖 3-14 或圖 3-15 紅外 線光源強度應盡可能以跳躍變化，以便增加在被測物消失前拍攝到較佳的曝光影 像的機會。 圖3-14 光源強度應跳躍變化。以便在被攝物消失前，增加正確曝光機率。 圖3-15 光源強度跳躍變化比圖3-14更大，更能增加正確曝光的機率。 Light Intensity Log2 time LV8 LV4 LV7 LV1 LV5 LV2 LV3 LV8 LV4 LV1 LV5 LV6 LV3 Light Intensity Log2 time LV8 LV7 LV5 LV2 LV6 LV3 LV4 LV13.3.7 紅外線光源在背景光強的狀況
本節要討論在背景環境光相對紅外線光源為強的狀況下，紅外線光源的打 光效果。一般而言，在暗房黑暗的實驗室環境下，當光源強度增加1 個 LV，就 可使得影像曝光多一個 EV，但是在戶外環境背景光相對強的場合，我們發現即 使紅外線光源有動態範圍 LV 7 階的變化能力，並無法保證攝影機的曝光 EV 可 以有7 階的變化。例如紅外線光源的 LV 變化可以自 10 cd/m2到1000 cd/m2 ， 動態範圍能力 100:1。但是在攝影機的整體影像曝光量卻可能只有從 50 lux 到 58 lux 的變化 ( 只有 16%變化的差異 )，也就是當環境光與紅外線光源所佔的 比例中，若環境光相對為主要光源，紅外光的強度相對太弱時，紅外線光源的 照明效果就不彰，必需加強紅外光的強度，使得環境背景光的相對比例降低後， 才能有較好的結果。背景環境光相對紅外線光源為強，常見的例子出現在夜晚 的路燈照明街道，此時街道因環境光強過紅外線光源，因此攝影機附加的紅外 線光源即使亮度由1 倍變為 100 倍，現場的照度卻無法如紅外線光源般由 1 倍 變為100 倍。 以下以實例說明紅外線光源以等比級數提供照明光源，卻因環境光的強度 相對過亮，紅外線光源效果不彰的例子。圖3-16 ( a ) 的 6 張影像是由表 3-1 的 等比亮度來驅動紅外線光源的，我們分別以 6 種光源強度 LV1、LV2、LV3、 LV4、LV5、LV6 打光後，所拍得的 6 張影像效果，第一張圖是由 0.47 單位的 背景光曝光得來的影像，第二張圖是由0.027 單位的 IR 光加上 0.47 單位的背景 光所照明的影像，第三張圖是由0.068 單位的 IR 光加上 0.47 單位的背景光所照 明的影像，第四張圖是由0.19 單位的 IR 光加上 0.47 單位的背景光所照明的影 像，第五張圖是由0.45 單位的 IR 光加上 0.47 單位的背景光所照明的影像，第 六張圖是由1.0 單位的 IR 光加上 0.47 單位的背景光所照明的影像。圖 3-16 ( b ) 則是圖3-16 ( a ) 6 張影像的統計直方圖，( a )
( b )
圖3-16 背景光相對紅外線光源較強時，紅外線光源的作用效果不明顯。
LV1 LV2 LV3
圖3-17 ( a ) 與圖 3-17 ( b ) 是在室內黑暗的環境下 ( 此時背景光弱 )，由 表 3-1 的等比亮度來驅動紅外線光源的例子。實驗結果顯示，在室內黑暗的環境 下，等比亮度來驅動紅外線光源的效果非常的好，幾乎沒有重覆的、多餘的圖片， 且由暗至亮的各種影像細節都有。 ( a ) ( b ) 圖3-17 無背景光下，紅外線光源以等比級數提供照明，效果很好。
LV1
LV2
LV3
LV4
LV5
LV6
第四章 影像處理
在夜間使用固定光強度的紅外線打光器，其曝光影像可能過曝如圖4-1( a ) ，或低曝如圖4-1 ( b )。為了改善這種不良曝光品質的夜間紅外線影像，我們使用 第三章所製作的掃描式紅外線光源來改善這種狀況。本研究製作的掃描式紅外線 光源能週期性的產生各種亮度的紅外光，因此我們可以周期性的得到各種曝光結 果的影像，如圖 4-2，從而增加獲得較佳曝光結果的照片的可能性。從各種曝光 結果的影像資料庫中，還有二種影像處理方法可以提升影像品質。第一種影像處 理方法：挑選影像。從周期性得到各種明暗曝光結果的眾多影像中去挑選曝光較 佳的影像。挑選影像的詳細內容將在4.1 節中描述。第二種影像處理方法：合成影 像。從周期性得到各種曝光結果的眾多影像中去合成新的影像。這個合成影像的 方法又可分為分割再合成法與高動態範圍法 ( HDR, High Dynamic Range )，合成 影像的作法將在本章4.2 章節中討論。( a ) ( b )
圖4-1 固定強度的紅外線打光器，常有影像( a )過曝，或( b )低曝的狀況。
4.1挑選影像的演算法
從每個掃描式紅外線光源掃描週期所產生的多種明暗曝光的序列影像中，挑 選一張或多張曝光較佳的影像，留存下來到影像資料庫。每個紅外線光源掃描週 期都能至少有一張以上曝光較佳 ( 與固定強度紅外線光源比較 ) 的影像被保存 下來到資料庫。挑選影像的演算法共有四種，一是平均法、二是標準差法、三是 SOBEL 法、四是統計直方圖法，依次解說如下。4.1.1平均值法
挑選影像的演算算法是將整張影像的RGB 值平均，平均值介於 97 至 137 的 影像或最接近117 的影像，代表曝光最近理想值，。 圖4-3 從曝光影像中挑選曝光較佳的影像。底下就是將圖4-2 的 8 張影像，分別計算整張影像的 RGB 平均值的實驗結果。 如圖4-4 依序是第一張影像平均值 17.1、第二張影像平均值 34.1、第三張影像平 均值61.9、第四張影像平均值 106.1、第五張影像平均值 136.5、第六張影像平均 值156.6、第七張影像平均值 173.2、第八張影像平均值 183.4。依此演算法選中曝 光最佳的影像為第四張。第四張影像Mean = 106.1 最接近 117，所以被我們選為 曝光最佳的影像。 圖4-4 從圖4-2的8張曝光影像中，挑選1張曝光較佳的影像 ( 平均值最接近117的圖，第四張圖 ) 。
Mean=17.1 Mean=34.1 Mean=61.9 Mean=106.1
Mean=136.5 Mean=156.6 Mean=173.2 Mean=183.4
4.1.2標準差法
挑選影像的演算算法是計算整張圖的 RGB 標準差值，標準差值值越高，代表 影像的Global 變化越大，影像細節可能越多，曝光越正確。 底下就是將圖4-2 的 8 張影像，分別計算影像像素 RGB 標準差的實驗結果。 如圖4-5 依序是第一張影像標準差 20.39、第二張影像標準差 54.56、第三張影像 標準差68.72、第四張影像標準差 73.28、第五張影像標準差 75.11、第六張影像標 準差74.94、第七張影像標準差 72.55、第八張影像標準差 70.12。依此演算法選中 的影像為第五張影像。 圖4-5 從圖4-2的8張曝光影像中，挑選1張曝光較佳的影像 ( 標準差最大的圖，第五張圖 ) 。 StD=20.39 StD=54.56 StD=68.72 StD=73.28 StD=75.11 StD=74.94 StD=72.55 StD=70.12 StD=75.114.1.3 Sobel法
挑選影像的演算算法是將整張圖的Sobel 值計算，因為 Sobel 值通常是用於邊 緣檢查偵側用途，Sobel 值越高，代表影像的 Local 變化越大，影像邊緣特徵越多， 曝光越正確。
底下就是將圖4-2 的 8 張影像，加上 Sobel Operator 計算後的，每一像素點 Sobel 值加總的結果。影像大小320 x 240 個點。Sobel 加總的數值越大，越可能是正確 曝光的影像。如圖4-6 實驗結果依序是第一張影像 Sobel 值 3679427、第二張影像 Sobel 值 4476867、第三張影像 Sobel 值 5673848、第四張影像 Sobel 值 6738800、 第五張影像Sobel 值 7070057、第六張影像 Sobel 值 7032138、第七張影像 Sobel 值6776819、第八張影像 Sobel 值 3679427。依此演算法選中的影像為第五張影像。
圖4-6 從圖4-2的8張曝光影像中，挑選1張曝光較佳的影像 ( Sobel值最大的圖，第五張圖 ) 。
SOBEL=7070057
3679427 4476867 5673848 6738800
4.1.4統計直方圖法 ( Histogram )
底下就是將圖4-2 的 8 張影像的統計直方圖逐一計算後，加以比較。 如圖4-7 由於由於第一張到第三張影像的統計直方圖左端未展開，第五到第八張 影像的統計直方圖右端已飽和，因此選第四張影像為最佳曝光。 圖4-7 從圖4-2的8張曝光影像中，挑選1張曝光較佳的影像 ( 統計直方圖分佈最佳，第四張圖 ) 。4.1.5總結
以上四種實驗結果多選中第四、或第五張影像，與人眼直覺選擇結果類似。 將來電腦自動化選圖可以採用上列方法進行初步篩選，以降低人工選圖的負擔。4.2合成法
4.2.1分割再合成法
分割子畫面，挑選子畫面，再合成子畫面成原尺寸畫面。將圖4-2 的 8 種曝光 影像各自分割成若干個子畫面，再挑選相同幾何位置的8 塊曝光子畫面做比較， 只保留曝光最佳的那塊子畫面，接著依序變換幾何位置，每個幾何位置都只留下 一塊曝光最佳的子畫面，再將這些子畫面合成一張新的影像。至於判斷那個子畫 面的曝光是最佳的，可用前一節選圖法所用的演算法，以平均值 ( Mean )、標準 差( Standard Deviation) 與索貝爾 ( Sobel ) 等參數來估計最佳曝光區塊。以下章節 依分割子畫面、挑選子畫面、合成子畫面等三個部份進行說明。 一、分割子畫面 原始影像是320 x 240 的大小，我們分割畫面為 4 x 3 個子畫面，每個子畫面 大小是80 x 80 個點。因為一張圖形曝光清楚的區塊通常都不會太大，而且每張圖 形過曝、低曝的區塊都不相同，如果我們可以將每個曝光清楚的子畫面接起來， 就可以形成一張曝光清楚的大畫面。下列圖4-8 就是分割子畫面的示意圖。 圖4-8 分割子畫面。 二、挑選子畫面 將圖 4-2 的 8 張圖形都分割 12 張子畫面後，某相同幾何位置有 8 張子畫面， 摘錄如圖4-9。在相同位置的 8 張曝光程度的子畫面中，挑 1 張曝光最佳的演算法是計算子畫面內80 x 80 點的 RGB 平均值，RGB 平均值最接近 117 ( 中等灰 ) 的 子畫面留下。依序重覆步驟，直到圖形的12 張子畫面都比較完畢，挑選出 12 張 曝光最佳子畫面。圖4-10 是從 8 張子畫面選 1 張曝光最佳子畫面的過程。
圖4-9 相同幾何位置的8張子畫面。
三、合成子畫面 一次比較相同幾和位置的8 張曝光程度不同的子畫面，這 8 張子畫面只留下 1 張曝光最佳的子畫面，依序變換幾何位置後，每個幾何位置都有留下 1 張曝光最 佳的子畫面，一共留下12 張子畫面。這 12 張都是曝光最佳的子畫面，經過接圖 之後，結果就如圖4-11 所示。我們發現雖然圖 4-7 每張子畫面區塊都是曝光最清 楚的，這12 張子畫面接合之後，統計直方圖如圖 4-12 分佈平均，但圖 4-11 的接 合處視覺非常突兀。因此後續改進的方案就是研究『子畫面區塊』的大小與形狀 的影響，與消除接合的斷點斷線。目前的子畫面區塊大小是80 x 80，形狀是正方 形，未來可以改大小、形狀為80 x 80、80 x 40、40 x 80、80 x 20、20 x 80、40 x 20、 20 x 40、40 x 40、20 x 20 以便互相比較，觀察『子畫面區塊』大小與形狀的影響。 圖4-11 分割再合成子畫面的合成圖。 圖4-12 合成圖圖4-8的統計直方圖，全圖的RGB平均值為115、相當接近117中等灰。
四、使用histogram equalization後，再合成之效果比較 如同上節描述之方法，將圖 4-2 的 8 張影像，每一張都進行 histogram equalization 後(如圖 4-13)，再進行拆圖、選圖、合圖的結果(如圖 4-14)，與圖 4-11 差異不大，接圖的邊界依然明顯，並未因histogram equalization 而有明顯改善。 圖 4-13 從圖 4-2 的 8 張曝光影像，以 histogram equalization 處理後的影像。 圖4-14 從圖4-13的8張影像，進行拆圖、選圖後，再進行histogram equalization處理、然後合圖。
