同步式多重亮度紅外線打光器之校正方法

國

立

交

通

大

學

電機學院 電信學程

碩

士

論

文

同步式多重亮度紅外線打光器之自動校正

Automatic Calibration for Synchronous Multiple Intensity IR-illuminator

研 究 生：許順淵

指導教授：莊仁輝 教授

張文鐘 教授

同步式多重亮度紅外線打光器之自動校正

Automatic Calibration for Synchronous Multiple Intensity IR-illuminator

研 究 生：許順淵 Student：Shun-Yuan Hsu

指導教授：莊仁輝 Advisor：Jen-Hui Chuang

張文鐘 Wen-Thong Chang

國 立 交 通 大 學

電機學院 電信學程

碩 士 論 文

A Thesis

Submitted to College of Electrical and Computer Engineering National Chiao Tung University

in partial Fulfillment of the Requirements for the Degree of

Master of Science in

Communication Engineering July 2013

Hsinchu, Taiwan, Republic of China

i

同

步

式

多

重

亮

度

紅

外

線

打

光

器

之

校

正

方

法

學生：許順淵

指導教授

：

莊仁輝

張文鐘

國 立 交 通 大 學 電 機 學 院 電 信 學 程 碩 士 班

摘

要

夜間監控攝影因為無足夠的環境自然光源，所以需使用打光器來增加環境光源，但由於打 光器的光源強度及放置位置的不同，常會造成影像的曝光結果有過暗或過亮的問題，使得影 像品質無法達到人類感官滿意的範圍。使用多重亮度紅外線打光器能產生多個不同光源強度 來得到多種不同曝光值的影像，而後可以再從這些影像挑選出曝光較佳的影像，使影像品質 獲得改善。本論文提出自動校正的方法，其主要目的在於校正同步改變亮度之紅外線打光 器，使校正過後的打光器所產生之亮度差異，對於在不同的環境下所拍攝到的不同景物影像， 均能有效涵蓋具有最佳的辨識度之影像。如此，可以減少因設定不當的打光強度所產生過暗 或過亮的影像數量，進而增加各亮度所提供的有效資訊，而更有機會對於所挑選各亮度影像能 獲得有用的影像分析結果。實驗結果顯示，本論文所提出之自動校正的方法，確實在人臉偵測 方面能達到上述之效能提升效果，而其可能應用還包括車牌偵測、高動態範圍影像合成…等。

ii

Automatic Calibration for Synchronized Multiple-Intensity IR-illuminator

student：Shun-Yuan Hsu

Advisors：Dr. Jen-Hui Chuang

Dr. Wen-Chong Chang

Degree Program of Electrical and Computer Engineering

National Chiao Tung University

ABSTRACT

In nighttime surveillance, there is usually not enough natural ambient light for image capturing, and an IR illuminator is often used to partially resolve the problem. However, improper intensity/location of an illuminator may result in object images which are too dark or bright so that image quality is not satisfactory even for human perception. Using multiple-intensity IR-illuminator can produce a number of different light intensities to help the generation of images with different degrees of exposure, from which well-exposed images can be chosen, and increase the number of good quality images. The goal of this thesis is to develop an automatic calibration method for a synchronous multiple-intensity IR-illuminator, which may be used in different environments for capturing images of objects at various locations, so that quality images, e.g., those with good contrast, will be included in the images captured with selected illumination intensities. In other words, by reducing the number of improperly illuminated images, more informative images (and more useful image analysis results) can be obtained. Experimental results shows that the proposed automatic calibration method can indeed achieve the above improvement for the performance of automatic face detection. Potential applications which may also benefit from such calibration include license plate identification, image integration for a high dynamic range (HDR) representation …etc.

iii

目

錄

中文摘要 ……… i 英文摘要 ……… ii 目錄 ……… iii 表目錄 ……… iv 圖目錄 ……… iv 一、 緒論……… 1 1.1 1.2 1.3 1.4 研究動機……… 相關研究……… 研究特點……… 各章節介紹……… 1 1 3 3 二、 同步式多重亮度紅外線打光器設計……… 4 2.1 2.2 打光器功能說明……… LED 亮度驅動方式……… 4 6 2.2.1 定電流驅動 IC……… 6 2.2.2 PWM 工作方式……… 6 2.3 NTSC 垂直同步訊號偵測……… 7 2.4 打光器亮度設定及保存方式……… 7 2.4.1 2.4.2 UART 傳輸協定……… I2C 傳輸協定……… 8 9 三、 多重亮度校正方法……… 11 3.1 3.2 3.3 3.4 3.5 校正條件與實驗環境……… 校正方式及流程……… 找出 64 階亮度背景影像……… 影像過亮或過暗的條件……… 決定打光亮度之計算方式……… 11 11 13 13 14 四、 4.1 4.1.1 4.1.2 4.1.3 4.2 4.2.1 4.2.2 4.2.3 打光器校正實驗……… 整張影像分析……… 背景亮度正常的場景……… 背景有固定過度曝光區域的場景……… 整張影像分析之校正結果……… 前景移動區域影像分析……… 室外低亮度背景光源的場景……… 背景有固定過度曝光區域的場景……… 前景移動區域影像分析之校正結果……… 15 15 15 17 21 22 22 25 28 五、 打光器校正結果比較……… 29 5.1 5.2 5.3 5.3.1 5.3.2 場景說明……… 進行打光器校正……… 使用人臉偵測方法比較校正結果……… 打光器未校正前人臉偵測結果……… 打光器校正後人臉偵測結果……… 29 29 29 30 30

iv 5.4 校正結果比較……… 34 六、 結論……… 35 參考文獻 ……… 36

表

目

錄

表 1 表 2 表 3 表 4 打光器支援之打光模式……… 整張影像亮度分析結果……… 前景移動區域影像分析結果……… 人臉偵測分析結果(人臉偵測數量)……… 5 21 28 34

圖

目

錄

圖 1 圖 2 圖 3 圖 4 圖 5 圖 6 圖 7 圖 8 圖 9 圖 10 圖 11 圖 12 圖 13 圖 14 圖 15 圖 16 圖 17 圖 18 圖 19 圖 20 圖 21 圖 22 圖 23 圖 24 圖 25 圖 26 圖 27 圖 28 圖 29 圖 30 圖 31 使用不同打光亮度擷取不同距離的人臉影像……… 無過度曝光場景之 64 階亮度與 6 階亮度的 Mean 表現結果……… 打光器功能區塊圖……… LED 定電流驅動 IC 應用電路……… PWM 工作波形……… 垂直同步訊號偵測 IC 輸出波形……… UART 訊息框 ……… UART State Machine 工作圖……… I2C 訊息框 ……… I2C State Machine 工作圖……… 實驗環境示意圖……… 校正流程圖……… 64 階亮度之 Mean 值變化特性……… 前景與背景之 Mean 值比較圖……… 背景與前景 A 及 B 標記處之影像差異……… 不同亮度階過暗與正常之影像……… 原圖 16(d)經過 Histogram Equalization 及 Sobel Filtering 後結果……… 前景與背景之 Mean 值比較圖……… 背景與前景 A 及 B 標記處之影像差異……… 過亮之背景影像……… 過亮背景影像與 Histogram 分析結果……… 有人物之第 41 階以上打光亮度影像……… 前景與背景之 Mean 值比較圖……… 背景與前景 A 及 B 標記處之影像差異……… 過暗背景影像與 Histogram 分析結果……… 找出前景有移動的區域……… 影像與前景移動區域及各階過度曝光區域遮罩後結果……… 找出前景有移動的區域……… 找出各階亮度影像中固定過度曝光的區域……… 影像與前景移動區域及各階過度曝光區域遮罩後結果……… 場景一之前景與背景之 Mean 值比較圖……… 3 5 5 6 7 7 8 8 10 10 11 12 13 16 16 17 17 18 19 20 20 21 23 23 23 24 25 26 27 28 30

v 圖 32 圖 33 圖 34 圖 35 圖 36 圖 37 場景一之背景亮度的差異……… 場景一之前景移動區域與影像遮罩之結果……… 場景一之未校正前擷取影像進行人臉偵測……… 場景二之未校正前擷取影像進行人臉偵測……… 場景一之校正後擷取影像進行人臉偵測……… 場景二之校正後擷取影像進行人臉偵測……… 31 32 32 33 33 34

1

一、 緒論

夜間攝影的使用在近年來不斷的成長，有效的夜間監控攝影結果可以嚇阻犯罪的發生， 更能在犯罪發生後提供資訊供偵查使用，不論是在影像感測器技術的提升，或者是提出有利 於改善影像品質的方法，都是近年來頗受重視的研究主題。新進提出的利用多重亮度紅外線 打光在夜間攝影的方法，目的在期望得到不同亮度的曝光結果，以便從中找出品質最佳的影 像，而如何自動選用適合的打光亮度，以擷取到更多可用的影像，則是本論文的目的。本論 文主要研究方向為發展多重亮度打光器打光強度的校正方法，作法是利用影像分析，找出最 佳的打光強度設定，並比較校正前與校正後的影像品質差異。

1.1 研究動機

多重亮度紅外線打光器在夜間監控攝影時可以藉由不同的亮度影像，找出最有利於辨識 的最佳影像。但是打光器被使用在不同的監控攝影環境時，由於背景的距離、環境的深度及 前景移動區域都可能大不相同，倘若多重亮度紅外線打光器使用固定的多階打光強度於各種 不同的場景，很可能會發生不適合的打光強度，造成擷取的影像固定過暗或固定過亮，使無 法使用的影像數增加，結果等同於浪費時間去擷取無法使用的影像。另一方面，如果可以找出 適合的打光強度用於多重亮度紅外線打光器，即可提高可用的影像數，因此以影像分析方法 自動校正出適當的多重亮度設定值是十分有意義的研究。

1.2 相關研究

夜間監控攝影常存在影像品質問題，如人臉不清、過度曝光、對焦不良、每秒影像數 低、影像動態範圍不足…等，這些問題的主因都是因為「光源不良」影響曝光結果，而光源不 良包含光線不足、照明不均、光線過強、照明距離太短、車燈干擾…等等。然而增加了光 源，又會因為照明不均，光線過強、照明距離太短、造成攝影機無法同時滿足同一張影像中 每一個區域的影像品質要求，這些問題都是攝影機「動態範圍不足」所產生的問題。 高動態範圍影像 ( HDR ) 方法是近年來為改善數位影像以獲取更高動態範圍的一種影像 合成方法。例如，攝影機在每次擷取影像時都使用二種不同的曝光設定，結合兩種曝光值的影 像就可以擴大影像的動態範圍。2007 年由作者 Várkonyi-Kóczy 等學者［1］提出以梯度為基礎 合併多張不同曝光值影像的方法，這是藉由將影像分成若干個相同大小的區塊，從多張不同 曝光值影像同位置之區塊中挑選適當的曝光值區塊合併成一張高動態範圍影像。2007 年 Kao ［2］-［4］提出以適應性控制曝光來進行即時的高動態範圍影像融合。 2008 年Hsieh等人［5］

2

提出以 GPI (Grey Polynomial Interpolation) 的方法來進行高動態範圍影像融合。2008 年張仲 豪［6］提出色調再生 ( Tone reproduction ) 演算法能將高動態範圍影像對應至低動態範圍顯 示器中，以利於低動態範圍顯示器使用。2009 年葉金龍［7］提出”延伸曝光曲線線性特性之 調適性高動態範圍影像融合演算法”，以藉由控制曝光變數來延伸曝光曲線線性特性，而得到 高動態範圍影像。2009 年丁榮豐［8］提出”基於區塊的亮度特性及熵值合併多張不同曝光值 影像之高動態範圍影像生成法”來進行高動態範圍影像融合。 在使用多重亮度打光方式之夜間攝影研究中，是利用多重亮度打光的方式，在相同的環 境下，由不同亮度的影像拍攝結果中，得到更多不同景深處的有效影像資訊。多重亮度打光 方式是在擷取連續的影像時週期性的改變打光器的亮度，使攝影機所擷取到包含了不同的打 光強度的影像，而後再利用影像分析方式，自其中找出最佳的影像，以解決夜間監控常有部 份區域無法取得可用影像的問題。相關的研究論文如 2012 年姚柏安［9］利用多重亮度紅外線 打光器之夜間人臉偵測方法，其研究結果說明多重亮度打光器可以有效提高夜間攝影的人臉 偵測率。圖 1為使用不同打光亮度擷取不同距離與位置的人臉影像，其中 4 張人臉與攝影機有 不同距離與位置。使用 6 種不同的打光亮度去擷取影像，在人臉偵測後，沒有一張影像能同 時滿足 4 張人臉皆可以被偵測出來，但這 4 張人臉卻可以在不同的打光亮度所擷取到的影像中 分別被偵測出來，此一結果符合前述多重亮度打光方式的效用。 在多重亮度打光方式上又可再分為非同步式與同步式兩種方式。攝影裝置與打光器之間 使用控制訊號進行同步，使打光器亮度改變頻率與影像擷取頻率相同，即為同步式打光方式， 反之即為非同步。二者雖同步方式不同，但所得到的影像亮度改變效果相同。以人臉偵測為 例，不論使用同步或非同步多重亮度打光器於夜間攝影，皆能改善人臉偵測率，只是非同步在 影像的亮度改變會有二種亮度混合打光的現象，使影像分析比較時需先解決此問題。非同步打 光研究如 2010 鄧文治［10］之論文，研究中使用的非同步打光器，採用 MCU 控制 D/A 轉換 器，改變驅動電壓，產生不同的 LED 亮度。非同步改變打光亮度時，由於改變的時間點可能 為任何一張影像中的任何曝光時間，因此每次擷取到的同一張影像所對應到的打光亮度可能 有二種以上。同步式打光研究有 2012 翁仲立［11］之論文，其同步的控制方式是由打光器輸 出亮度改變之同步信號，改變影像擷取時間，不同與本研究中所使用的同步多重亮度打光器是 由攝影裝置輸出之影像類比訊號中取出同步控制訊號，改變打光器亮度變化的時間。同步改變 打光亮度時，影像曝光時間被控制在同一個打光亮度內，每次擷取到的同一張影像所對應到的 打光亮度只有一種，因此單張影像中不同的區域皆為相同的打光亮度。

3

圖1 使用不同打光亮度擷取不同距離的人臉影像 資料來源：［9］

1.3 研究特點

本研究實際使用同步多重亮度紅外線打光器來進行校正實驗，因此研究中包含設計及製作 一可設定 64 階亮度之同步紅外線打光器，在不同的場景下擷取影像，再使用影像分析方式去 比對結果，找出最佳的打光器多重亮度校正方法。本研究使用實際人物移動進行攝影，再使 用整張影像分析及前景移動區域影像分析二種方法來分別計算影像在各階打光亮度時是否過 暗或過亮後，據以找出最佳的多重打光器設定值。本研究使用校正後的最佳多重亮度打光器 設定值進行影像擷取及人臉偵測，並與使用打光器未校正前之設定值所擷取的影像及人臉偵 測結果進行比較，以實際人臉偵測結果來驗證多重亮度打光器的校正效果。

本研究實驗中所使用的影像分析皆以 Matlab 計算，包含使用 Image Processing Toolbox 進行 影像處理及 Computer Vision System Toolbox 進行人臉偵測。Matlab 軟體所提供的 Toolbox 提 供許多標準的計算函數及演算法，可以減少研究時的錯誤分析並提高實驗數據的可信度。

1.4 各章節介紹

本研究在第二章將說明同步式多重亮度打光器的設計原理及打光器所使用的主要零件， 同時會說明打光器的功能及設定方式。第三章會提到多重打光亮度校正方法，詳細說明校正 方法及流程。第四章進行校正實驗，實驗中採用不同特性的場景，並使用整張影像及前影景移 動區域二種影像分析方法來判斷影像是否過暗或過亮，最後再針對分析結果說明何種影像分 析方法較適合使用於打光器校正。第五章則是對校正結果進行比較，以實際人臉偵測的方式 比較校正前與校正後的人臉偵測數量與正確率。最後於第六章說明研究結論，並討論未來的 研究方向。

4

二、 同步式多重亮度紅外線打光器設計

紅外線打光器主要功能是點亮多顆紅外線 LED，而要達到打光器有多重亮度變化且能與 攝影裝置同步，並可隨時設定亮度，就必須增加一些控制電路；大部份電路選用積體電路(IC) 來達成，可降低控制器硬件的大小，如使用(1)LED 驅動用的定電流驅動 IC、(2)NTSC 垂直同 步訊號偵測 IC 及(3)控制功能的可程式邏輯陣列(Filed-Programmable-Gate-Array，FPGA) IC。

2.1 打光器功能說明

多重亮度紅外線打光器提供二種打光模式，分別為校正模式及工作模式，表 1列出打光 器支援之工作模式及控制功能。校正模式是使用於校正打光器時，打光器的亮度改變方式是 由第 1 階打光亮度順序改變至第 64 階打光亮度，共 64 階亮度變化，並於每張影像之垂直同步 信號輸出時改變打光亮度。圖 2(a)為校正模式下所得到的影像亮度 Mean 值改變結果。工作模 式是打光器一般使用下的打光模式，本論文假設打光亮度有 6 種變化，這 6 個打光亮度可任意 設定為 1 至 64 之間的值。表示要使用那一個打光亮度，並於每張影像之垂直同步信號輸出時 改變打光亮度。圖 2(b)為工作模式下所得到的影像亮度 Mean 值改變結果。在校正模式下，進 行任何的打光器亮度設定或儲存設定功能之後，打光模式會直接回到工作模式；在工作模式 下，則可以使用設定模式命令切換打光器至校正模式。 圖 3為打光器的功能區塊圖。打光器主要控制功能都由 FPGA 提供，以 Verilog 語言設計 後合成於 FPGA 裡，主要的功能區塊分為，PWM Controller、UART Transceiver、Level Switching 及 I2C Controller。

PWM Controller 可以產生 PWM 控制信號去控制 LED Driver 開關紅外線 LED 的時間，以 產生不同的亮度結果。UART Transceiver 為打光器與電腦連接之介面，使用標準的 UART 傳 輸協定，接收來自電腦的命令，以設定打光器模式或改變打光器 6 階的亮度設定值及儲存設 定值。I2C Controller 為 I2C 標準介面傳輸控制器，提供亮度設定值寫入 EEPROM 以及打光器 重新接上電源啟動時，從 EEPROM 讀取上一次儲存的亮度設定值。Level Switching 為自動依 6 階亮度設定值順序切換之控制區塊，切換的觸發訊號為來自 NTSC 垂直同步偵測 IC 所輸出 的同步訊號及 ODD/EVEN 訊號。當打光器模式為校正模式時，Level Switching 所切換的亮度 設定為 1 至 64，每次自動加 1，大於 64 時回到 1。

5 表1 打光器支援之打光模式 模式 亮度階數 亮度改變方式 其它控制功能 校正模式 64 最暗到最亮 設定亮度即回到正常模式 工作模式 6 6 階可各別設定 可儲存設定值 (a)測試模式 (b)工作模式 圖2 無過度曝光場景之 64 階亮度與 6 階亮度的 Mean 表現結果 PWM Controller Level Para. Level Switching Video Sync Separator LED Driver UART Transceiver I2C Controller EEPROM IR LED module Camera PC To Video Recorder 圖3 打光器功能區塊圖

6

2.2 LED 亮度驅動方式

LED 點亮的亮度是由流過的電流決定，使用過大的電流容易造成 LED 的損壞，因此在 LED 的驅動控制方式，以定電流與控制輸出時間來改變 LED 亮度為最佳方式；定電流驅動輸 出時間的控制方式採用 Pulse-Width-Modulated(PWM)，設計時以定電流驅動 IC 的最小導通時 間作為 PWM 每一階(step)增加的寛度，定電流驅動 IC 的最小導通時間決定亮度控制的最小解 析度。

2.2.1 定電流驅動 IC

使用定電流驅動 LED 驅動 IC，其應用電路如圖 4所示，共 4 根定電流輸出腳，使用 R-ext 電阻設定輸出電流，並聯使用後總輸出電流最大 960mA，VLED 電壓最大 17V，最大紅外線 LED 驅動功率可達 16W。控制方式為使用 OE 接腳輸入 PWM 信號來控制 IR LED 的點亮時 間。 圖4 LED 定電流驅動 IC 應用電路

2.2.2 PWM 工作方式

PWM 工作原理為調整單位時間內的信號工作週期，來達到不同比例的能量輸出。使用 PWM 信號來控制 LED 驅動 IC，產生不同時間比例的定電流輸出，而使紅外線 LED 產生不同 的亮度。舉例說明，若定義最小 LED 導通時間為 1T，一個單位週期時間內有 100T，當欲控 制亮度為 75%時，在單位時間內導通時間為 75T，即可達到此亮度。圖 5為 PWM 控制信號， 顯示 25%、50%及 75%亮度的 PWM 控制信號波形。

7 圖5 PWM 工作波形

2.3 NTSC 垂直同步訊號偵測

NTSC 垂直同步訊號偵測 IC 可以輸出 ODD/EVEN 影像垂直同步訊號，用於控制打光器在 影像切換時才改變 LED 亮度。圖 6說明 NTSC 類比影像訊號與其垂直同步訊號輸出關係，由 於 NTSC 影像是由奇數行掃描線與偶數行掃描線二張影像所合組成一張完整的影像，達到每 秒 29.97 張影像，但卻可以有 59.94Hz 的換幀頻率，讓早期的電視系統在電子技術尚無法達到 高刷新頻率的環境下，仍能讓影片看起來不閃爍。因為影像擷取時是以完整一張影像為一次 擷取，打光器在同一張影像擷取時間內必需為相同的打光亮度，所以使用垂直同步訊號時需同 時取用 ODD/EVEN 訊號來判斷是否為完整影像。 圖6 垂直同步訊號偵測 IC 輸出波形

2.4 打光器亮度設定及保存方式

打光器可設定的亮度值為 1 至 64，相鄰二階的亮度關係為等差關係，差距為最大亮度之 1/64。控制電路採用標準的 UART 傳輸協定，並定義特定控制字元來表示設定那一階的亮 度，在校正時可於設定後即時驗證亮度，減少實驗過程中的變因。打光器使用 EEPROM 元件 提供亮度設定值的保存功能，EEPROM 的資料讀出及寫入的傳輸方式使用 I2C 傳輸協定，只 使用二線式控制方就可以達到正確的資料傳送及儲存。

8

2.4.1 UART 傳輸協定

Universal Asynchronous Receiver/Transmitter (UART)為一非同步傳輸方式，單線傳送，單 線接收，使用傳收兩端約定好的 Baud rate 及固定位置的控制位元、資料位元、同位位元來溝 通，設計時需使用 16 倍於 Baud rate 的取樣 clock 訊號來進行資料接收及同步，完整一個訊息 框如圖 7所示。圖 8為 FPGA UART Controller 中所使用的 State Machine 工作圖，設計只使用 3 個 state，IDLE，START 及 DATA，當 IDLE state 時，檢查序列接收資料 RXD 是否為 START 位元 0，如是則到 START state；在 START state 時再次檢查 RXD 被 16 倍於 Baud rate 的 clock 取樣後得到的 MAJORITY 結果，同樣為 0 時表示正確的收到 START 位元 0，state 變為 DATA，如否表示是雜訊觸動，state 回到 IDLE；在 DATA state 時，RX_SHIFTER 會依 Baud rate 的時間移入序列接收資料，位元數量為 8 位 DATA 加 1 位同位位元及 1 位 STOP 位元，共 10 個位元，資料接收完成後即回到 IDLE state。

1

0 0 0 1 0 0 1 1 0 1

START DATA [0xCA] P STOP

16x Clock Signal 圖7 UART 訊息框

DATA

IDLE

START

RXD=0

RX_SHIFTER[0]=0

MAJORITY=0

MAJORITY=1

9

2.4.2 I2C 傳輸協定

Inter-Integrated Circuit (I2C) 為一常用 2 線式同步序列傳輸介面，傳輸速率為 100KHz 或 400KHz，控制訊號如圖 9所示，將裝置分為主(Host)及從(Device)兩端，Device 端會有一個 7 位元的裝置位址供 Host 端定址用，控制訊號中由 Host 端決定讀或寫，二端在不同的控制位置 時，以 Acknowledge 方式來進行傳輸交握(Handshaking)，以此方式完成雙向資料的存取。圖 10為 FPGA I2C Host Controller 所使用的 State Machine 工作圖，state 分 IDLE，START， DEVICE ADDR，WORD ADDR，DATA，STOP 及 RESTART 共 7 個 state。

當 IDLE state 時，等待控制訊號 init_cfg=1 時改變 state 至 START state，開始讀取或寫入 I2C Device；送出 start condition 後至 DEVICE ADDR state，在 I2C_count＜8 不成立時即表示 已送出 7 位元位址資料及 RW 控制位元，此時檢查是否收到 NACK，如是，state 回到 IDLE， 如否，檢查 I2C_rw 與 init_done 是否同時為 1，表示 I2C host 要進行的動作為讀取 Device，而 且 word address 已經傳送過，state 要跳至 DATA state，如為其它，state 跳至 WORD ADDR state，開始傳送要讀取或寫入 EEPROM 中那個 word address，當 I2C_Count<8 不成立時即表示 已送出 8 位元的 word address，如 init_done=1，state 跳至 DATA state，開始寫入資料至 Device，如 init_done=0，表示 I2C host 要讀取 Device，state 跳至 STOP，再判斷 I2C_ack 與 init_done 不同時為 1，則跳至 RESTART state，重新經過 START，DEVICE ADDR 到 DATA state 讀取 Device 的資料(接前述 I2C host 要進行的動作為讀取 Device 處)；在 DATA state 中， 因每次讀取及寫入的資料數皆為 6 個 word，所以當 I2C_byte>=5 時即表示已讀取或寫入完 成，I2C host 存取動作結果，state 跳至 STOP 再回到 IDLE。

10 圖9 I2C 訊息框 WORD ADDR DATA DEVICE  ADDR IDLE STOP RESTART START Init_cfg=1 I2C_count<8 NACK I2C_rw & Init_done Others Init_done=1 I2C_count<8 Others I2C_ack & Init_done Others I2C_count<8 I2C_byte>=5

11

三、 多重亮度校正方法

打光器的多重亮度校正是關於如何於 64 階打光亮度中選用 6 個亮度階來使用的方法，這 6 個亮度階的亮度關係是等差級數或等比級數，所以只要找出打光器所使用的最低打光亮度及 最高打光亮度，即可採等差或等比計算方式找出其它 4 階打光亮度。以下內容說明如何找到最 低及最高打光亮度的方法。

3.1 校正條件與實驗環境

由於打光器使用於各種不同的場景，因此校正時也必須於各場景實際打光後，再擷取影像 進行分析。校正的時打光器的打光方式處於校正模式，採隨機攝影，再進行影像分析；又考慮 到背景也會影響影像分析結果，在影像分析前需取得背景影像，因此在每一次的校正攝影中， 前 5 秒影像只可以有背景，不可有前景物。此為固定的校正條件，使用於每一個校正實驗中。 實驗環境為使用一個自行設計製作的 16W 紅外線打光器與一支可設定固定曝光時間的 1/4 吋 CCD 攝影機，經由影像擷取卡及 RS-232 轉換線連接至一台有安裝 Matlab®的電腦，示 意圖如圖 11。攝影機高度可依實驗需要調整，攝影機使用 6mm 對焦鏡頭，與景物最適合的距 離為 5 到 10 公尺。 5 ~ 10m NB + Matlab RS-232 Video Capture Dongle Camera 圖11 實驗環境示意圖

3.2 校正方式及流程

校正的方式是使用章節3.1 所述之校正條件，隨機擷取影像，比較不同亮度的影像內容， 判斷光源是否過亮或過暗，以找出可用的最大及最小的光源強度。在此亮度範圍內，以等比或 等差級數的計算，取得所需要的打光強度設定值。圖 12為校正之流程圖，當校正一開始，需 設定打光器的打光模式為校正模式，讓打光亮度的改變為 1 至 64 階，再進行隨機擷取影像。

12 隨機影像的產生方式為對場景進行一段時間的影像擷取，在這段時間內可以任意加入不同的 人物，以不同的行進方式及距離增加影像變化。因時間決定可取得的影像資訊多寡，因人物 及行進方式及距離的不同，造成校正結果差異非常大，因此當隨機取得的影像資訊足以表達 實際的使用情況時，其校正結果將為最佳。 在進行影像分析之前需找到第一階影像亮度的位置，分析影像時才能將不同亮度階之影 像與其對應的背景進行分析比較，提高判定過亮或暗的準確度。最後依分析後的統計結果， 決定最小及最大亮度，以等比公式來計算打光器之設定值，即完成打光器之校正。以下各節 將依校正流程圖中之各步驟來說明。 圖12 校正流程圖

13

3.3 找出 64 階亮度背景影像

因為影像為隨機擷取，所以第一張影像不固定為那一階的打光亮度，因此在進行影像分 析前，需先找出各階亮度影像的順序位置。在校正時，打光器的打光亮度為 1 至 64 階亮度依 序變化，所擷取到的影像之 Mean 值變化如圖 13所示，以此亮度之 Mean 值變化特性，可以準 確的找出每張影像所對應到的打光亮度階。如圖 13中箭頭處所示，影像亮度 Mean 值由 160 改變為 30，即表示影像亮度 Mean 值為 160 之影像是以第 64 階打光亮度所擷取到的影像；影 像亮度 Mean 值為 30 之影像是以第 1 階打光亮度所擷取到的影像。此方法是以影像亮度 Mean 值的大幅度改變來找出第 1 階打光亮度的影像，而打光亮度是以 1 至 64 階順序改變的原則， 於是就能依此確定所有影像對應各階亮度的順序位置。此方法是以亮度變化的比例來找出是 否打光亮度正在由第 64 階改變為第 1 階，與影像亮度的 Mean 值無直接關係，所以此方法適 用於各種不同場景。 圖13 64 階亮度之 Mean 值變化特性 在進行校正隨機影像擷取時，預設前 5 秒為只有背景之影像，再從這 5 秒的影像中擷取出 64 張不同亮度的背景影像。要求需 5 秒的原因為 NTSC 影像的每秒張數為 29.97 張，打光器 的亮度階數為 64 階，大約每 2.14 秒就可以得到 64 張亮度皆不相同的影像。因為打光亮度的 改變與開始擷取影像的時間無相關性，所以如果在最差情況，第 65 張影像才找到影像與打光 亮度的對應順序，所以需要多 64 張影像時間來保證影像內容只有背景，也就是總時間至少為 4.28 秒內影像只有背景，取 5 秒整數值使用。由前述方法，找出各階亮度的影像順序位置後， 影像順序最前面 64 階亮度影像即是背景影像。

3.4 影像過亮或過暗的條件

影像是否過亮或過暗是一種主觀的說法，在影像分析中必須要以數學條件來定義，符合

14 條件即判定為過亮或亮暗。利用 Histogram 分析，將影像中相同灰度的點進行統計，得到灰度 0 至 255 的數量分佈，正常影像應包含很少的最小灰度 0(黑)及最大灰度 255(白)，當此二值在 影像中佔有過高的比例，即可以此結果來判斷是否過度曝光或亮度不足。本實驗依經驗自訂 過亮條件為計算影像中每一點的灰階值大於 240 之點數與總點數之比例，若大於 20%則判定 為過亮；過暗條件為計算影像中每一點的灰階值小於 16 之點數與總點數之比例，若大於 50% 則判定為過暗。過亮與過暗的比例條件不同的理由是因為大部份的影像其灰度分佈都在 200 以下，過亮的比例應該要小於過暗的比例才合乎正常。

3.5 決定打光亮度之計算方式

將所擷取到的每張影像進行亮度分析，並依不同光源強度所擷取的影像進行分組統計， 檢查是否有過亮或過暗的影像存在於分組中。這些結果用來決定最大打光亮度與最小打光亮 度，而決定方法如下說明。 從影像統計的結果中來分析，當要找出最大打光亮度時，若同一階亮度之影像其中有一 張被判定為正常(無過亮)，則此亮度階為可使用；從 64 個亮度階是否可使用的判定結果，最 大可使用的階數為最大打光亮度。當要找出最小打光亮度時，若同一階亮度之影像其中有一 張被判定為正常(無過暗)，則此亮度階為可使用；從 64 個亮度階是否可使用的判定結果，最 小可使用的階數為最小打光亮度。 打光器可設定六階亮度順序切換，這 6 階的關係於本論文中分為二種，即為等差數列及 等比數列關係。可以用簡單的公式，由最大亮度及最小亮度值來計算出其它 4 階的設定值， 以下說明數學公式。

定義最大亮度值 Xmax、最小亮度值 Xmin、亮度設定階數 steps、差值 Diff、比值 Geom、每一 階的亮度設定值 V[steps] 1. 等差計算公式 D i f f = ( X m a x – X m i n ) / ( s t e p s - 1 ) ( 1 ) V [ s t e p s ] = { X m i n , X m i n + D i f f , X m i n x + D i f f * 2 , … X m a x } ( 2 ) 2. 等比計算公式 G e o m = Xmin Xmax steps ( 1) ( 3 ) V [ s t e p s ] = { X m i n , X m i n * G e o m , X m i n * G e o m2, … X m a x } ( 4 ) 參考研究資料［10］，34-37 頁，使用等比方式計算此 6 階設定值為最佳。

15

四、 打光器校正實驗

前述打光器之校正方法，使用不同場景來進行打光器校正實驗。不同特色的場景可測試所 使用的影像分析方法是否能合理的判斷影像為過亮或過暗。在校正實驗過程中，使用二種影像 分析方法來分析影像是否過亮或過暗，分別為整張影像分析及前景移動區域分析。

4.1 整張影像分析

使用影像亮度 Mean 值來找出各階亮度影像順序位置後，就開始分析每一張影像，不使用 背景影像資料，直接對整張影像資料進行 Histogram 分析。過亮的條件為整張影像有 20%的區 域灰度值大於 240，過暗的條件為整張影像有 50%的區域灰度值小於 16。

4.1.1 背景亮度正常的場景

此場景為背景亮度正常且無過度曝光區域，人物由遠走至近，擷取 500 張影像進行分 析，包含前 3 秒約 90 張影像為背景。對每張影像進行 Mean 值計算，與背景進行比較，比較 結果如圖 14示，藍色曲線為只有背景時的影像亮度 Mean 值，紅色曲線為有人物移動時的影 像亮度 Mean 值。 圖 14內的 A 標記處現象為有前景之影像，其亮度 Mean 值小於只有背景時之亮度 Mean 值，實際影像如圖 15 (b)所示，由圖可見，深色的門擋住原先背景整片白色的牆，如圖 15 (a) 所示，造成光源反射較小，影像亮度值反而較背景時為低。圖 14內的 B 標記處現象為有前景 之影像，但其亮度 Mean 值大於只有背景時之亮度 Mean 值，實際影像如圖 15 (c)所示，明顯 可看出人物的部份反射了更多的光源，使影像亮度較背景時為高。此現象也可了解到當有前 景時，影像亮度的改變不一定是變亮或變暗，光源的反射結果才是表現影像亮度的主要因 素。 對每一張影像轉灰階影像後進行 Histogram 統計，計算灰階值小於 16 之點數與總點數之 比例，若大於 50%則判定為過暗。圖 16為同一亮度階過暗與正常之影像，圖 16 (a)、(b)、(c) 皆為過暗的影像分析結果，圖 16 (d)與(a)為同一階亮度之影像，只是擷取時間相差 64 張影像， 但(d)的影像亮度分析結果為正常並無過暗，此結果說明同一階亮度所擷取到的影像不一定都 有相同的影像過亮或過暗的判定結果，因為人物的移動會改變光源的反射，造成影像亮度的 改變。

圖 17為圖 16 (d)影像經過 Histogram Equalization 及 Sobel Filtering 後的結果，圖 16 (d)被 判斷為正常的影像，雖看起來偏暗，但經過灰度均化後，在圖 17(a)仍可清楚偵測出人物。再

16 經過 Sobel filtering 二值化的結果顯示於圖 17(b)，同樣可準確的找到人物的輪廓，也就是找到 物件。人臉的偵測結果與影像二值化後是否能表示一個物件的邊緣有直接的關係，與影像中 的點之灰度值高低無關，只要點與點之間的灰度差值足以找出邊緣，影像能偵測出人臉的機 率就提高。 圖14 前景與背景之 Mean 值比較圖 (a)背景 Frame 64 (第 64 階亮度) (b) A 標記處 Frame 192 (第 64 階亮度) (c) B 標記處 Frame 448 (第 64 階亮度) 圖15 背景與前景 A 及 B 標記處之影像差異

17

(a)第 2 階亮度 Frame 404 (過暗) (b)第 3 階亮度 Frame 405 (過暗)

(c)第 1 階亮度 Frame 467 (過暗) (d)第 2 階亮度 Frame 468 (正常) 圖16 不同亮度階過暗與正常之影像

圖17 原圖 16 (d) 經過 Histogram Equalization 及 Sobel Filtering 後之結果

4.1.2 背景有固定過度曝光區域的場景

此場景為背景有固定過度曝光的區域，人物由遠走至近，擷取 500 張影像進行分析，包 含前 4 秒約 120 張影像為背景。對每張影像進行 Mean 值計算，與背景進行比較。比較結果如 圖 18所示，藍色曲線為只有背景時的影像亮度 Mean 值，紅色曲線為有人物移動時的影像亮 度 Mean 值。 圖 18內的 A 標記處現象為有前景之影像，此時背景如圖 19(a)所示，前景影像如圖 19(b) 所示，前景為人物剛好出現在背景固定過度曝光之區域，其亮度 Mean 值變動量大，此現象可 了解到當背景有固定過度曝光之區域時當前景物體進入此區域時，影像亮度之計算結果會接

18 近於背景，造成背景與前景之過度曝光判斷不正確。圖 18內的 B 標記處現象為有前景之影 像，前景影像如圖 19(c)所示，因前景人物過於接近攝影機，造成光源完全反射，使其過度曝 光區域極大，亮度 Mean 值也極大，此現象可以作為攝影機不正常使用之判定條件。 對每一張影像轉灰階影像後進行 Histogram 統計，計算灰階值大於 240 之點數與總點數之 比例，若大於 20%則判定為過亮，同一階亮度在背景若已過度曝光，前景也機乎會出現過度 曝光的情況，除非前景物體有吸光作用，如穿著全黑衣服。圖 20 顯示在這個場景過亮之背 景影像，此場景之背景影像於打光器 41 階以上亮度即固定符合前述過度曝光條件，圖 21為對 過亮背景影像得到的 Histogram 分析結果，影像中點的灰度值為 255 的統計數量極大，清楚顯 示灰度超過 240 以上點數與總點數比例符合過亮條件。 背景已符合過亮條件之影像，再加入前景後進行過亮分析也無法改變 41 階以上亮度之影 像皆過亮的分析結果。由圖 22有人物之(a)第 41 階、(b)第 50 階、(c)第 58 階及(d)第 64 階打光 亮度影像中，就人物部份，影像並無過亮的問題，且影像右側偏暗。若校正結果採最大打光亮 度為第 41 階亮度，明顯是由背景的分析結果來決定的，此實驗結果表示，整張影像分析方式 無法滿足此類場景的打光器校正。 圖18 前景與背景之 Mean 值比較圖

19

(a)背景 Frame 64 (第 64 階亮度)

(b) A 標記處 Frame 192 (第 64 階亮度) (c) B 標記處 Frame 500 (第 52 階亮度) 圖19 背景與前景 A 及 B 標記處之影像差異

20 (j)第 37 階 (k)第 41 階(過亮) (l)第 45 階(過亮) (a)第 1 階 (b)第 5 階 (c)第 9 階 (d)第 13 階 (e)第 17 階 (f)第 21 階 (g)第 25 階 (h)第 29 階 ( m)第 48 階(過亮) (n)第 51 階(過亮) (o)第 54 階(過亮) (p)第 56 階(過亮) (r)第 60 階(過亮) (s)第 62 階(過亮) (t)第 64 階(過亮) (i)第 33 階 (q)第 58 階(過亮) (a)第 64 階過亮背景 (b) Histogram 分析結果 圖20 過亮之背景影像 圖21 過亮背景影像與 Histogram 分析結果

21 (c)第 58 階(過亮) (d)第 64 階(過亮) (a)第 41 階(過亮) (b)第 50 階(過亮) 圖22 有人物之第 41 階以上打光亮度影像

4.1.3 整張影像分析之校正結果

表 2為使用整張影像亮度分析之後的校正結果，因為使用整張影像進行亮度分析，因此 所得到的過暗或過度曝光的結果與直接分析背景亮度之結果接近或相同。實驗結果說明，整 張影像分析可以找出前景與背景有差異部份的亮度改變，但無法知道造成過暗或過度曝光是 前景或背景造成，使分析結果無法反應實際景物的移動與打光亮度的關係。因為過暗或過亮 都是以過暗或過亮的點超過設定的比例條件來判定，所以在使用整張影像分析時，影像中實 際有前景移動的區域比例在不同的場景應用下皆不同，使得判斷過暗或過亮的比例條件就可 能不適合。 表2 整張影像亮度分析結果 場景 過亮影像數 過暗影像數 校正結果 背景亮度正常 無 3/500 最小打光亮度為第 2 階， 最大打光亮度為第 64 階 有固定過曝的區域 154/500 無 最小打光亮度為第 1 階， 最大打光亮度為第 40 階

22

4.2 前景移動區域影像分析

使用影像亮度 Mean 值來找出各階亮度影像順序位置後，先儲存 64 階打光亮度的背景影 像，做為找出前景移動區域的比對影像資料。前景移動區域的產生方法將每張擷取到的影像與 它相對應的亮度階之背景影像進行點對點比較，兩張影像同一位置的點，灰階值的差超過  30 時，即表示此為前景之移動區域，此比較結果會得到 64 組前景移動區域，將這些區域全 部相加，這一個區域表示此擷取到的影像之前景有移動的區域。 固定出現在不同階亮度的過度曝光區域，對於同階亮度的影像而言也是屬於沒有前景移動 的區域。將 64 階的背景影像中符合過曝條件的點都標示為過曝區域，再將每張擷取到的影像 與它相對應的亮度階之背景影像進行比對，擷取到的影像只取出被標示為過曝區域的點來檢 查，這些點若有出現不過曝的結果，就將此點位置從過曝區域中移除，比對結果會得到 64 組 固定過度曝光的區域。 為避免影像在遮罩後，灰度為 0 的點不被列入計算，需先將影像中灰度為 0 的點都改為 1， 得到無灰度 0 的影像進行分析。在影像分析前必需使用前景有移動的區域及對應亮度階的固 定過曝區域進行遮罩，產生只有前景移動的區域會出現影像，再對這張影像進行 Histogram 分 析。過亮的條件為遮罩後的區域影像中有 20%的區域灰度值大於 240，過暗的條件為遮罩後的 區域影像中有 50%的區域灰度值小於 16，但不計入灰度為 0 的點。

4.2.1 室外低亮度背景光源的場景

此場景為室外且遠處有一盞路燈提供固定存在於背景的低亮度光源，人物由遠走至近，擷 取 500 張影像進行分析，包含前 5 秒影像為背景。對每張影像進行 Mean 值計算，與背景進行 比較，比較結果如圖 23示，藍色曲線為只有背景時的影像亮度 Mean 值，紅色曲線為有人物 移動時的影像亮度 Mean 值。圖 23內的 A 標記處現象為有前景之影像，其亮度 Mean 值大於 只有背景時之亮度 Mean 值，背景如圖 24(a)，實際影像如圖 24(b)所示，可以明顯可看出人物 的部份反射了更多的光源，使影像亮度較背景時為高。圖 25(a)為使用整張影像分析方法所找 出過暗的背景影像中最亮的影像，第 19 階打光亮度的背景影像。圖 25(b)為其 Histogram 分析 後的結果。 圖 26為找出前景有移動的區域的過程，圖 26 (a)為第 78 frame 的影像，當時都還沒有人物 出現，圖 26(b)為前 78 frames 前景移動區域分析的結果，除少量過大的雜訊造成誤判為前景移 動的區域外，大部份區域為前景無移動區域(黑色部份) 。圖 26(c)為第 100 frame，開始有人物 移動，而圖 26(d)為前 100 frames 前景移動區域分析的結果，前景移動區域(白色)增加許多。

23

(a)第 19 階過暗背景 (b) Histogram 分析結果

圖 26(e)為第 400 frame 的影像，而圖 26(f)為全部 400 frames 前景移動區域分析的結果，此為 前景移動區域分析的最後結果，白色部份為前景有移動的區域。

圖23 前景與背景之 Mean 值比較圖

(a) 背景(第 64 階亮度) (b)A 標記處 Frame 384 (第 64 階亮度) 圖24 背景與前景 A 及 B 標記處之影像差異

24 圖26 找出前景有移動的區域 使用找出來的前景移動區域去遮罩（mask）影像後，再進行亮度分析。圖 27中紅色區域 為無前景移動的區域，也就是要遮罩掉的影像區域。影像遮罩後亮度的分析資料結果如圖 27(a)為第 1 階打光亮度的背景，過暗比例為 96.3%，打光強度小於第 19 階的影像，全部都達 到過暗條件，第 18 階亮度影像中最亮的，其過暗比例為 50.9%。圖 27(b)為第 19 階打光亮度 最暗的影像，過暗比例 61.9%，同樣為第 19 階打光亮度，但最亮的影像如圖 27(d)，其過暗比 率為 47.5%，為正常影像。以此結果，決定第 19 階打光亮度為最低打光亮度。

(a)無移動影像，第 78 frame (b)前 78 frames 移動區域

(d)前 100 frames 移動區域

(e)全部 400 frames 移動區域 (c) 有人物移動，第 100 frame

25 圖27 影像與前景移動區域及各階過度曝光區域遮罩後結果

4.2.2 背景有固定過度曝光區域的場景

使用與章節4.1.2 相同的場景，人物由遠走至近，擷取 500 張影像進行分析，包含前 5 秒 影像為背景，背景影像 Mean 值的計算結果，在 41 階以上亮度之影像都符合過亮條件。這 500 張影像中，最後約 100 張影像因前景人物過於接近攝影機，造成光源完全反射，使其過度曝光 區域極大，亮度 Mean 值也極大，此現象為攝影機不正常使用之結果，影像如圖 19(c)所示； 基於此原因，以下校正分析都只對前 400 張影像進行分析。 圖 28為找出前景有移動的區域的過程， 圖 28(a)為第 90 frame 的影像，當時都還沒有人 物出現，圖 28(b)為前 90 frames 前景移動區域分析的結果，除少量過大的雜訊造成誤判為前景 移動的區域外，大部份區域為前景無移動區域(黑色部份) 。圖 28(c)為第 100 frame，開始有人 物移動，而圖 28(d)為前 100 frames 前景移動區域分析的結果，前景移動區域(白色)增加許多。 圖 28(e)為第 400 frame 的影像，而圖 28(f)為全部 400 frames 前景移動區域分析的結果，此為 前景移動區域分析的最後結果，白色部份為前景有移動的區域。

(a)第 1 階打光亮度，過暗率 96.3% (b)第 19 階打光亮度，過暗率 61.9%

26 圖28 找出前景有移動的區域 圖 29為找出各階亮度影像中固定過度曝光區域的過程，圖 29(a)為第 9 階亮度固定過度曝 光的區域，只有一極小區域有固定過曝，而(b)、(c)及(d)都有明顯區域固定過曝，在過曝區域 內看到人臉的輪廓就是在4.1.1有提到，前景的出現造成了光源反射的變化，使部份原先在背 景時過度曝光的區域變暗，而變成沒有固定過度曝光。固定過度曝光區域呈現圓形分佈，此 為打光器上之紅外線 LED 也為圓形分佈所造成。 (b)前 90 frames 移動區域 (a)無移動影像，第 90 frame (d)前 100 frames 移動區域 (c)有人物移動，第 100 frame

27 圖29 找出各階亮度影像中固定過度曝光的區域 使用找出來的前景移動區域去遮罩（mask）影像後再進行亮度分析。圖 30中紅色區域為 無前景移動的區域，也就是要遮罩掉的影像區域，藍色區域為各階亮度固定過度曝光的區 域，同樣是要遮罩掉的影像區域，只是各階影像有不同大小的固定過度曝光區域。影像遮罩 後亮度的分析資料分別為，過暗比例皆很小，而過亮比例由(a)、(b)、(c)及(d)分別為 0%、 2.5%、14.2%及 19.1%，也無過亮。 (a)第 9 階亮度開始出現過曝 (b)第 32 階亮度過曝區域 (c)第 48 階亮度過曝區域 (d)第 64 階亮度過曝區域

28 圖30 影像與前景移動區域及各階過度曝光區域遮罩後結果

4.2.3 前景移動區域影像分析之校正結果

表 3為使用前景移動區域影像分析之結果，在有固定過度曝光的區域場使用全區域影像 亮度分析後皆過亮的結果有明顯不同。實驗結果表示，此前景移動區域影像分析方法可以作 為打光器校正使用。 表3 前景移動區域影像分析結果 場景 過亮影像數 過暗影像數 校正結果 室 外 低 亮 度 背 景 光 源 無 113/400 最小打光亮度為第 19 階， 最大打光亮度為第 64 階 背 景 有 固 定 過 度 曝 光區域 無 無 最小打光亮度為第 1 階， 最大打光亮度為第 64 階 (a)第 9 階打光亮度，過曝率 0% (b)第 32 階打光亮度，過曝率 2.5% (c)第 48 階打光亮度，過曝率 14.2% (d)第 64 階打光亮度，過曝率 19.1%

29

五、 打光器校正結果比較

為了得到打光器校正後的改善數據，本章節定出實驗方法，使用人臉偵測方式來對場景 進行校正結果比較。進行校正前，使用未校正之打光器 6 階設定，這 6 階採等比方式產生數 值，最小值為 1，最大值為 64，這 6 階數值分別為[1，2，5，12，28，64]，等比產生公式請 見公式(3)及公式(4)。使用未校正的打光器設定進行影像擷取，並分析其中前 500 張的影像的 人臉偵測結果，此為校正前人臉偵測結果。取得未校正打光器之人臉偵測分析結果後，再對 同一個場景的對打光器進行校正，得到校正後的 6 階打光器設定值，使用校正後的打光器設 定進行影像擷取，同樣分析其中前 500 張影像的人臉偵測結果，此為校正後人臉偵測結果。 比較校正前與校正後之人臉偵測結果即為改善數據。

5.1 場景說明

場景一為室內且空間大，極低的背景光源。圖 31 為對影像亮度的分析結果，由圖中可 看出 Mean 值明顯偏低許多，原因為此場景空間大、景深長、光源的反射較低，所得到的影 像皆偏暗。由圖 32 背影亮度的差異即可看出打光器較低階的亮度所擷取的影像圖 32 (a)、(b) 及(c)幾乎無法看到景物。場景二為室外且遠處有一盞路燈提供固定存在於背景的低亮度光 源，同章節4.2.1。

5.2 進行打光器校正

場景一使用章節4.2 前景移動區域影像分析方法，產生如圖 33 前景移動區域與影像遮罩 之結果，此場景無過度曝光的情況，第 8 階打光亮度以下之影像亮度都滿足過暗條件，所以 校正結果將以第 9 階為打光器最低亮度設定值。使用等比產生公式請見公式(3)及公式(4)產生 的 6 階打光器設定值為[9，13，20，29，43，64]。場景二由章節4.2.1 實驗結果得到第 19 階 打光亮度為最低打光亮度。使用等比產生公式產生的 6 階打光器設定值為[19，24，31，39， 50，64]

5.3 使用人臉偵測方法比較校正結果

因為校正過程使用的是人物移動，因此本實驗採用人臉偵測來比較校正結果。人臉為物 件的一種，偵測人臉的方法有許多種，由於本實驗影像擷取結果皆為灰階影像，較適合採用 人臉特徵比較之人臉偵測方式，其偵測流程為，影像擷取，彩色轉灰階，二值化（邊緣化）， 找出物件，比對特徵(鼻子、眼晴、嘴巴、脖子），標示符合人臉特徵之物件位置。

30

5.3.1 打光器未校正前人臉偵測結果

場景一使用未校正打光器 6 階設定值[1，2，5，12，28，64]，擷取影像後進行人臉偵 測，結果如圖 34 未校正前擷取影像進行人臉偵測，圖 34 (a)第 1 階打光亮度因亮度太暗，無 法偵測出人臉。而圖 34 (b)第 2 階打光亮度雖偵測出人臉，但所偵測到的位置非人臉。圖 34 (c) 及(d)為亮度較高的亮度階，都可正常偵測出人臉。 場景二使用未校正打光器 6 階設定值[1，2，5，12，28，64]，擷取影像後進行人臉偵 測，結果如圖 35未校正前擷取影像進行人臉偵測，圖 35 (a)第 1 階打光亮度及圖 35 (b)第 2 階 打光亮度因亮度太暗，無法偵測出人臉。圖 35 (c)及(d)為亮度較高的亮度階，都可正常偵測 出人臉。

5.3.2 打光器校正後人臉偵測結果

場景一使用章節5.2 之校正後的打光器 6 階設定值[9，13，20，29，43，64]，擷取影像後 進行人臉偵測，結果如圖 36 校正後擷取影像進行人臉偵測。圖 36 (a)第 1 階打光亮度即可以 偵測到人臉，其它較高亮度階如圖 36(b)、(c)及(d)亦可偵測到人臉。場景二使用章節5.2 之校 正後的打光器 6 階設定值[19，24，31，39，50，64]，擷取影像後進行人臉偵測，結果如圖 37 校正後擷取影像進行人臉偵測。圖 37 (a)第 1 階打光亮度即可以偵測到人臉，其它較高亮度階 如圖 37 (b)、(c)及(d)都可偵測到人臉。 圖31 場景一之前景與背景之 Mean 值比較圖

31 (j)第 37 階 (k)第 41 階 (l)第 45 階 (a)第 1 階 (b)第 5 階 (c)第 8 階 (d)第 13 階 (e)第 17 階 (f)第 21 階 (g)第 25 階 (h)第 29 階 (m)第 48 階 (n)第 51 階 (o)第 54 階 (p)第 56 階 (r)第 60 階 (s)第 62 階 (t)第 64 階 (i)第 33 階 (q)第 58 階 圖32 場景一之背景亮度的差異

32 圖33 場景一之前景移動區域與影像遮罩之結果 圖34 場景一之未校正前擷取影像進行人臉偵測 (a)第 1 階打光亮度，過暗率 64.1% (b)第 8 階打光亮度，過暗率 52..7% (c)第 48 階打光亮度，過暗率 4.6% (d)第 64 階打光亮度，過暗率 4.1% (a)第 1 階打光亮度 (b)第 2 階打光亮度 (c)第 4 階打光亮度 (d)第 6 階打光亮度

33 圖35 場景二之校正前擷取影像進行人臉偵測 圖36 場景一之校正後擷取影像進行人臉偵測 (a)第 1 階打光亮度 (b)第 2 階打光亮度 (c)第 4 階打光亮度 (d)第 6 階打光亮度 (a)第 1 階打光亮度 (b)第 2 階打光亮度 (c)第 4 階打光亮度 (d)第 6 階打光亮度

34 圖37 場景二之校正後擷取影像進行人臉偵測

5.4 校正結果比較

由表 4 人臉偵測分析結果可得到實驗結論，校整正過後的打光器可在相同的環境條件下 擷取到更多可用的影像，達到較佳的人臉偵測結果。 表4 人臉偵測分析結果(人臉偵測數量) 場景 使用未校正之打光器 使用校正後之打光器 場景一 92 140 場景二 88 124 (a)第 1 階打光亮度 (b)第 2 階打光亮度 (c)第 4 階打光亮度 (d)第 6 階打光亮度

35

六、 結論

使用紅外線打光器的目的是為了補足光源，使監視攝影機擷取到足夠亮度的影像來表示 完整的環境資訊，因應使用環境的差異，使用可調整打光器提供多重且適當的光源強弱，能 達到較佳的影像擷取品質。本研究提供校正打光器的方法，針對不同場景的使用，找出合適 的 6 階打光亮度，依實驗結果表示，校正後的打光器皆能有效增加人臉的偵測數量，改善打光 效果。 本論文中使用兩種影像分析方法來比較判斷過亮及過暗的結果，由實驗結果可知，當場 景存在固定過曝的區域時，如果使用『整張影像分析方法』之校正結果，得到的最大亮度所擷 取到的影像亮度為偏暗，但改用『移動區域之影像分析方法』，則可以分析出較佳的最大及最 小打光亮度，擷取到較亮的影像亮度。由以上兩種影像分析的校正結果差異可以了解，影響場 景的外在因素很多，存在固定過曝區域的場景只是其中一種對場景的影響，若使用單一影像分 析方法，產生出的校正結果可能無法滿足使用於因外在因素所產生變異的環境，因此校正方法 在未來仍有改進的空間。 目前實驗中隨機擷取到的影像是採後處理，即是對於擷錄下來的影像檔案進行分析，各 個時間範圍內所分析的結果獨立，若能改善影像處理性能，進行即時的影像分析，那校正流 程可修改為自動收斂方式。方法為當擷取到的影像為過亮時，馬上修改打光器亮度之最高亮 度為當時的亮度設定值；當擷取到的影像為過暗時，馬上修改打光器亮度之最低亮度為當時 的亮度設定值。以此方法進行校正，打光器在校正測試時自動調整的亮度範圍會即時的依分 析結果修改，使亮度調整範圍會隨時間增長，而縮小至最佳的使用範圍。也由於亮度調整範 圍在測試分析後會被縮小，測試時間也會縮短。 最大最小亮度的決定方法，可以加入打光亮度滿足條件，也就是當決定最大亮度時，可以 用特定物體偵測結果來判斷是否較低亮度就能滿足較高正確偵測結果，反之，決定最低亮度 時，是否可使用較高亮度就能滿足較高正確偵測結果。由於此方法採即時分析前景物移動影 像，所以較多的校正時間才能得到更多的前景影像資訊，使校正數據能更可靠。

36

參 考 文 獻

［1］ A. Rövid, A. R. Várkonyi-Kóczy, T. Hashimoto, S. Balogh, and Y. Shimodaira, “Gradient Based Synthesized Multiple Exposure Time HDR Image,” Instrumentation and Measurement

Technology Conference - IMTC 2007 Warsaw, Poland, May. 2007.

［ 2］ W.C. Kao, “Real-Time Image Fusion and Adaptive Exposure Control for Smart Surveillance Systems,“ Electronics Letters, vol. 43,issue 10, pp. 975–976, Aug. 2007.

［ 3］ W. C. Kao, C. C. Hsu, L. Y. Chen, C. C. Kao , and S. H. Chen, “Integrating Image Fusion and Motion Stabilization for Capturing Still Images in High Dynamic Range Scenes,” IEEE Trans. Consumer Electronics, vol. 52, no. 3, pp. 735-741, Aug. 2006.

［ 4］ W. C. Kao, “High Dynamic Range Imaging by Fusion Multiple Raw Images and Tone Reproduction,” IEEE Trans. Consumer Electronics, vol. 54, no. 1, pp. 10-15, Feb. 2008. ［5］ C. H. Hsieh, P. W. Chen, C. W. Lan, and K. C. Hsiung, “Image Fusion Based on Grey

Polynomial Interpolation,” 2008 Eighth International Conference on Intelligent Systems Design and Applications, Nov. 2008.

［6］ 張仲豪，＂高動態範圍影像以對數為基礎之適應性色調再生演算法＂，成功大學電腦與 通信工程研究所碩士論文，民國九十七年六月 ［7］ 葉金龍，＂延伸曝光曲線線性特性之調適性高動態範圍影像融合演算法＂，中央大學通 訊工程研究所碩士論文，民國九十八年六月 ［8］ 丁榮豐，＂基於區塊的亮度特性及熵值合併多張不同曝光值影像之高動態範圍影像生成 法＂，成功大學電腦與通信工程研究所碩士論文，民國九十八年六月 ［9］ 姚柏安，＂利用多重亮度紅外線打光器之夜間人臉偵測＂，國立交通大學，資訊工程研 究所碩士論文，民國一○一年六月 ［10］ 鄧文治，＂應用於夜間監控用途的新式紅外線打光器＂，國立交通大學，資訊工程研 究所碩士論文，民國九十九年六月 ［11］ 翁仲立，＂運用同步式多重亮度紅外線打光器之夜間監控系統＂，國立交通大學，資 訊工程研究所碩士論文，民國一○二年一月