國
立
交
通
大
學
資訊學院 資訊學程
碩
士
論
文
運用同步式多重亮度紅外線打光器之夜間監控系統
A Nighttime Surveillance System Using A Synchronous
Multi-intensity Infrared Illuminator
研 究 生：翁仲立
運用同步式多重亮度紅外線打光器之夜間監控系統
A Nighttime Surveillance System Using A Synchronous Multi-intensity
Infrared Illuminator
研 究 生：翁仲立 Student：Jung-Li Wong
指導教授：莊仁輝 Advisor：Jen-Hui Chuang
國 立 交 通 大 學
資訊學院 資訊學程
碩 士 論 文
A ThesisSubmitted to College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science
August 2012
Hsinchu, Taiwan, Republic of China
運用同步式多重亮度紅外線打光器
之夜間監控系統
學生：翁仲立 指導教授：莊仁輝 博士
國立交通大學
資訊學院 資訊學程碩士班
摘 要
本研究針對夜間監控進行改善，改善的內容為提升影像品質。之前[1]所研究 之方法，提出夜間監控系統上使用多重紅外線打光可動態調整影像的清晰度，使不 同距離的目標物或人得到足夠的光源，所以影像的細節可以保留。由於紅外線系統 和夜間監控系統的控制是獨立的，針對不同距離的前景，電荷耦合感測元件會產生 不同亮度組合的影像，而需對影像亮度使用分群(clustering)的方法進行分類；而互 補式金屬氧化物半導體感測元件則會於同一張畫面的局部亮度將不一致的情形，此 情形將會降低亮度分群的準確度也同時也將增加影像處理的複雜度。本研究利用多 重亮度紅外線打光器(multi-intensity infrared illuminator)與數位紅外線攝影系統的 曝 光 (exposure) 之 週 期 同 步 的 方 法 結 合 成 一 新 式 的 夜 間 監 控 系 統 (nighttime surveillance system)，可改善之前[1]研究所發生同一張畫面的局部亮度不一致的問 題。A Nighttime Surveillance System Using A
Synchronous Multi-intensity Infrared Illuminator
Student：Jung-Li Wong Advisor：Dr. Jen-Hui Chuang
Degree Program of Computer Science
National Chiao Tung University
ABSTRACT
This study involves a new technique which improves the image quality of nighttime surveillance. According to the previous design [1], with a multi-intensity infrared illuminator, high dynamic range images can be captured by the nighttime surveillance system. The illuminator offers variable infrared intensity to illuminate the objects or humans at different distances. Therefore, the details of the images can be retained. Since the controllers of multi-intensity infrared illuminator system and nighttime surveillance system are independent, image foregrounds at different distances must be obtained from an additional luminance clustering technique for CCD cameras. For the CMOS cameras, the local luminance of one single frame may not correspond to the same luminance level, which will reduces the accuracy of luminance clustering and increases the complexity of analysis. This study presents a new system design that uses the only one system controller to synchronize the illuminator and the exposure timing. This structure will save the hardware cost and solve the inconsistent luminance problem of the previous design [1].
致 謝
本論文的完成，首先要感謝我的指導教授莊仁輝老師的諄諄教誨，耐心的給予 我許多建議與研究的方向，使我有機會從中學習與成長，讓我受益良多。同時也要 感謝口試委員陳永昇及林建州教授所給予我諸多的指導及寶貴的意見，讓我了解本 研究所欠缺的部份，使論文的內容能更加的充實與完整。 感謝智慧型系統實驗室的成員，感謝博士班的學長文治、晉瑋及易育，在我的 研究之路上出現疑惑或是瓶頸時，都會給予我許多的幫助與珍貴的建議，對於整篇 論文的架構有極大的幫助。另外也要感謝實驗室的同學們，感謝閏秋、柏安、偉成 及益彰，在研究過程中給予諸多的協助與鼓勵。 最後，感謝我的父母、家人、同事及所有的朋友，有你們一直以來的支持，讓 我能夠順利完成研究所的學業，謹以此表達我最誠摯的謝意。目 錄
摘 要... ii ABSTRACT ... iii 致 謝... iv 目 錄... v 表目錄... vii 第一章 緒論 ... 1 1.1 研究動機... 1 1.2 相關研究... 2 1.3 研究特點... 4 1.4 各章節簡介... 4 第二章 多重亮度紅外線打光器 ... 6 2.1 多重亮度紅外線打光器之原理... 6 2.2 數位紅外線攝影系統之曝光特性... 7 2.3 多重亮度紅外線打光器之影像特性... 8 2.4 非同步曝光與多重亮度紅外線打光器之影像亮度週期分布與特性... 9 2.5 同步曝光與多重亮度紅外線打光器之影像亮度週期分布與特性... 10 第三章 同步曝光與多重紅外線打光器之製作 ... 12 3.1 訊號同步... 13 3.2 基於多重紅外線打光器週期之同步方法... 14 3.3 基於數位紅外線攝影系統週期之同步方法... 17 第四章 多重動態範圍影像系統 ... 19 4.1 動態範圍... 20 4.2 多重動態範圍系統... 21 4.3 多重動態範圍系統之評估... 24 第五章 同步與非同步系統實驗結果 ... 26 5.1 同步系統各時間區段於六個頻道之標準差與亮度數據... 26 5.2 非同步系統各時間區段於六個頻道之標準差與亮度之數據... 31 5.3 數位紅外線攝影系統之標準差與亮度之數據... 34 第六章 結論與未來展望 ... 39 6.1 結論... 39 6.2 未來展望... 40 參考文獻... 41圖目錄
圖 1.1（a）亮度不足過暗且不清晰的影像 （b）亮度過亮且不清晰的影像 ... 1 圖 2.1 多重亮度紅外線打光器光源之六階週期性光源強度變化波形 ... 6 圖 2.2 多重亮度紅外線打光器之六階週期性光源強度變化之影像反應 ... 6 圖 2.3 電荷耦合元件與互補式金屬氧化物半導體感測元件曝光示意圖 ... 7 圖 2.4 週期不同步之畫面產生曝光不正常的影像結果 ... 8 圖 2.5 週期同步之畫面產生曝光正常的影像結果 ... 8 圖 2.6 多重亮度紅外線打光器的週期大於曝光的週期 ... 9 圖 2.7 多重亮度紅外線打光器的週期小於曝光的週期 ... 10 圖 2.8 多重亮度紅外線打光器的週期等於曝光的週期情形一 ... 11 圖 2.9 多重亮度紅外線打光器的週期等於曝光的週期情形二 ... 11 圖 3.1 同步曝光與多重紅外線打光器兩種主從控制方式 ... 12 圖 3.2（a）週期間的相位差值為 0 （b）週期間的相位存在著固定的常數差值 ... 13 圖 3.3 基於多重亮度紅外線打光器系統週期之同步系統 ... 14 圖 3.4 標準內部整合電路通訊介面控制與資料傳輸開始與停止狀態之波形變化 ... 15 圖 3.5 利用內部整合電路通訊介面產生觸發訊號同步曝光波形關係 ... 16 圖 3.6 基於數位紅外線攝影系統週期之同步系統 ... 17 圖 3.7 利用畫面最後一條 Line 之中斷產生觸發訊號同步之波形關係 ... 18 圖 4.1 六種亮度分群之多重動態範圍影像系統 ... 19 圖 4.2 多重動態範圍系統之流程圖 ... 21 圖 4.3 多重動態範圍系統中快速分群之流程 ... 22 圖 4.4 多重動態範圍系統影像擷取與呈現執行緒之同步狀態圖 ... 23 圖 5.1 非同步系統十四種亮度變化組合之畫面 ... 31 圖 5.2 非同步系統隨時間增加產生不同亮度變化組合之畫面 ... 32 圖 6.1 多重多重紅外線打光器強度之第 1, 3 與 5 階影像 ... 40 圖 6.2 利用多重紅外線打光器強度之第 1, 3 與 5 階影像進行合成為高動態影像 ... 40表目錄
表 4.1 位元精度與動態範圍之關係 ... 20 表 5.1 同步系統第 0 張至第 1,002 張畫面平均亮度之標準差與數據資料 ... 26 表 5.2 同步系統第 1,003 張至第 2,004 張畫面平均亮度之標準差與數據資料 ... 27 表 5.3 同步系統第 2,005 張至第 3,006 張畫面平均亮度之標準差與數據資料 ... 27 表 5.4 同步系統第 3,007 張至第 4,002 張畫面平均亮度之標準差與數據資料 ... 27 表 5.5 同步系統第 4,003 張至第 5,004 張畫面平均亮度之標準差與數據資料 ... 28 表 5.6 同步系統第 5,005 張至第 6,006 張畫面平均亮度之標準差與數據資料 ... 28 表 5.7 同步系統第 6,007 張至第 7,002 張畫面平均亮度之標準差與數據資料 ... 29 表 5.8 同步系統第 7,003 張至第 8,004 張畫面平均亮度之標準差與數據資料 ... 29 表 5.9 同步系統第 8,005 張至第 9,006 張畫面平均亮度之標準差與數據資料 ... 30 表 5.10 同步系統第 9,007 張至第 10,080 張畫面平均亮度之標準差與數據資料 ... 30 表 5.11 數位紅外線攝影系統第 0 張至第 1,002 張畫面平均亮度之標準差與數據資料 ... 34 表 5.12 數位紅外線攝影系統第 1,003 張至第 2,004 張畫面平均亮度之標準差與數據資料 .. 34 表 5.13 數位紅外線攝影系統第 2,005 張至第 3,006 張畫面平均亮度之標準差與數據資料 .. 35 表 5.14 數位紅外線攝影系統第 3,007 張至第 4,002 張畫面平均亮度之標準差與數據資料 .. 35 表 5.15 數位紅外線攝影系統第 4,003 張至第 5,004 張畫面平均亮度之標準差與數據資料 .. 36 表 5.16 數位紅外線攝影系統第 5,005 張至第 6,006 張畫面平均亮度之標準差與數據資料 .. 36 表 5.17 數位紅外線攝影系統第 6,007 張至第 7,002 張畫面平均亮度之標準差與數據資料 .. 36 表 5.18 數位紅外線攝影系統第 7,003 張至第 8,004 張畫面平均亮度之標準差與數據資料 .. 37 表 5.19 數位紅外線攝影系統第 8,005 張至第 9,006 張畫面平均亮度之標準差與數據資料 .. 37 表 5.20 數位紅外線攝影系統第 9,007 張至第 10,080 張畫面平均亮度之標準差與數據資料 38第一章 緒論
1.1 研究動機
數位攝影系統的普及於人們的生活中已隨處可見，而數位攝影監控相關的研究與 技術也於近幾年有著顯著的發展與應用。這些應用多半利用數位攝影監控系統以獲得 影像資料的收集，再將這些資料經過科學的處理與分析成有意義的資訊，但數位攝影 監控過程中環境光源的變化與目標物(人)位置距離的改變是不可預期的。在光源充足 的環境中對於現行數位攝影系統要達到呈現清晰且適合亮度的影像是不困難的，但在 光源不足的環境中對於現行數位攝影系統如何呈現清晰且適合亮度的影像就有其一 定的困難度。 目前應用於光源不足環境中的數位攝影監控系統為了補足其光源不足所造成影 像不清晰的問題，經常會加上輔助的光源以增加環境的光源、目標物(人)的亮度與攝 影的有效範圍。常見使用的輔助光源以紅外線(infrared)為主，稱之為紅外線打光器 (infrared illuminator)，其光源輔助方式為固定功率連續性的模式，此光源輔助的方式 會使位於光源適當距離的目標物(人)於影像上有適當的亮度可產生清晰度較佳的影像； 但如果位於光源距離較遠的目標物(人)則可能於影像上因亮度不足而產生過暗且不清 晰的影像的結果，如圖1.1(a)所示。而光源位置距離較近的目標物(人)於影像上因亮度 過亮而產生過亮且不清晰的影像的結果，如圖1.1 (b) 所示。 （a） （b）因此本研究期望改善夜間攝影品質，使用可程式週期性控制各種光源強度方式的 多重亮度紅外線打光器(multi-intensity infrared illuminator)[1]與數位紅外線攝影系統 的曝光(exposure)之週期同步結合成一夜間監控系統(nighttime surveillance system)。且 用此方式同步後之影像快速完成影像亮度多重動態範圍的分群(cluster)動作，適於監 控即時系統的應快速反應的需求，並達到不同位置距離的目標物(人)於各自適合的影 像亮度分群中可呈現清晰且適合亮度的影像，以強化紅外線夜間監控攝影的影像品質 之目的。
1.2 相關研究
目前於高反差環境影像品質的改善大都使用不同曝光值或不同增益值去合成出 高動態範圍(High Dynamic Range, HDR)之影像，以達到獲取更多影像細節資訊之目的。 此方式對於有一定照度之環境完成高動態範圍之影像是不困難的，但對於夜間監控的 低照度環境要完成高動態範圍之影像確有一定困難度，若僅使用曝光或增益改變的方 式是無法有效改善影像品質與增加監控資訊的目的。因此如何有效運用影像攝影系統 的曝光功能與環境光源照度之改變去達到清晰、適合亮度之影像，主要相關研究分為 改變曝光與增益或改變伽瑪曲線(gamma curve)兩大類方向，來實現高動態系統之影 像： 改變曝光與增益之方式 [2]利用相機拍攝之影像進行運算反應函速，並根據此函數做為調整合成之原始影 像各像素之亮度，並使用高斯函數(Gaussian function)決定影像中各像素之權重植；[3] 使用±2EV之曝光值影像，按曝光影像結果達127左右最為適當，並以此基礎進行相鄰 近區域的權重分配以合成高動態影像的依據；[6]使用多張不同曝光值之影像進行高動 態影像之合成，將每張不同曝光之映象分成多個固定大小之矩形區塊，而多張曝光值 之影像於同一區塊位置中，運算選擇出邊緣特性較強的曝光值影像，以此做為合成高 動態影像之原始強度，該參考像素位置與該區塊中心 之位置使用高斯混和函速(Gaussian blending function)進行修正合成高動態影像強度之權重依據，以補償高動態 影像合成所造成邊界不平滑問題；[12][13]則皆使用調整曝光值之方法進行實現，而[7] 則使用增益匹配影像(Gain Mapping Image, GMI)之方法有效改善8位元之標準影像合 成至高動態影像之結果；[14]則調整增益值之方式，以達到高動態範圍影像合成的結 果。 改變伽瑪曲線之方式 [8]使用色調匹配(tone-mapping)之方法進行亮度修正，以達高動態範圍影像之目 的；[9]則提出因視訊使用基礎進行建構膚色模型與對比增強之高動態影像方法，以改 善視訊以人為主的影像品質；[10]根據低動態範圍之影像提出計算簡易且有效率的新 式融合圖像演算法以增加影像動態範圍；[11]用於有限高對比影像，提出色調匹配方 法是基於亮度值的對數(logarithmic)壓縮，並依據影像內容進行自適性(adaptive)修正 適合之亮度與對比。 其他也有使用上述兩種方法或因快速移動拍攝合成為高動態影像所產生之問題 進行改善的研究，[5]提出色調匹配(tone-mapping)加上多曝光值合成高動態範圍影像 之方法，有效提升影像訊噪比(SNR)多出11dB的改善；[4]針對高動態範圍影像應用於 動態的影像中，進行有效的高動態範圍處理，並判可斷移動向量及快速移動影像中鬼 影移除的方法。上述之相關研究皆以改變曝光與增益或改變伽瑪曲線之方法，以增加 影像細節獲得高動態範圍之影像，但僅改變曝光與增益或改變伽瑪曲線(gamma curve) 的方法，會因為攝影系統有其有效動態範圍表現之極限，而影響改善效果。本研究之 打光器可依使用環境需求搭配不同功率之紅外線以增加其有效動態範圍，並搭配同步 之方法，以改善同一張畫面的局部亮度不一致之問題與降低影像分析之運算，達到快 速分群之結果，更符合監控系統及時之需求並強化紅外線夜間監控影像品質之目的。
1.3 研究特點
本實驗室之前的研究[1]為使用多重亮度打光器與數位紅外線攝影系統為兩獨立 運作之系統，若多重亮度打光器改變的週期與數位紅外線攝影系統曝光的週期無法同 步，將造成每個亮度變化週期不固定與畫面獲得不同亮度曝光的不正常情形，於畫面 中則會產生局部亮度不一致之問題。為此情形要進行辨識、歸納、分析與分群將會耗 費一定的系統運算與時間，對於監控即時系統的反應時間短的需求將難以達到，而造 成畫面的更新速率降低之情形。因此本研究提出一同步的概念達到快速完成影像亮度 分群之動作與多動態範圍影像之想法，以強化紅外線夜間監控攝影的影像品質之目的。 本研究的特點如下： 1. 將多重亮度紅外線打光器與數位紅外線攝影系統進行同步結合，達到快速分群的動 作與監控系統的即時反應的需求，適用於環境光源不足的紅外線夜間監控應用。 2. 提出兩種同步方式以多重亮度紅外線打光器週期為主或以數位紅外線攝影系統週 期為主的模式。 3. 使用預覽程式將硬體同步後之輸出影像進行快速分群之動作以產生多重動態範圍 之影像，以提升紅外線夜間監控的動態範圍(可視有效範圍)。 4. 使用標準差(standard deviation)之方法進行系統同步穩定性評估，以確認同步之動作 於影像上之行為一致驗證。1.4 各章節簡介
本研究之各章節安排概述如下，第二章將介紹多重亮度紅外線打光器的原理與影 像特性並說明數位紅外線攝影系統的感測元件之曝光特性。第三章是說明同步曝光與 多重紅外線打光器之製作方法，並提供兩種進行硬體同步的方式。第四章則是利用完 成同步之曝光與多重紅外線打光器之輸出影像於軟體預覽程式進行快速分群之動作， 以建構完整同步的多重動態範圍影像系統並使用標準差之方法進行系統同步穩定性 評估與比較。第五章是使用標準差之方法進行實驗之數據及數據分析。最後將於第六第二章 多重亮度紅外線打光器
2.1 多重亮度紅外線打光器之原理
多重亮度紅外線打光器是由[1]所提出之方法，此系統主要以週期性等比級數由大 至小改變電壓樣式(pattern)的方式，使紅外線打光器光源產生光源強度之變化，當設 定 1/24 秒為改變紅外線光源變化的一階(level)，則表示一秒會有四次六階的紅外線光 源強度變化。此方式於一固定週期時間內提供多種紅外線光源變化組合而產生不同光 源強度的照明，使不同位置距離之目標物(人)產生不同的亮度反應，而攝影系統也將 取得不同亮度之影像，並可從其影像中獲得所需適當亮度的資訊。如圖 2.1 所示，為 多重亮度紅外線打光器之六階週期性光源強度變化波形。如圖 2.2 所示，為多重亮度 紅外線打光器之六階週期性光源強度變化之影像反應。 圖 2.1 多重亮度紅外線打光器光源之六階週期性光源強度變化波形 圖 2.2 多重亮度紅外線打光器之六階週期性光源強度變化之影像反應 Level 1 Level 2 Level 3 Level 4 Level 5 Level 6Level 1 Level 2 Level 3 Level 4 Level 5 Level 6
Frame N Frame N+1 Frame N+2 Frame N+3 Frame N+4 Frame N+5
1/24 sec
Voltage (Light intensity)
2.2 數位紅外線攝影系統之曝光特性
多重亮度紅外線打光器的影像特性與數位紅外線攝影系統的感測元件之曝光特 性有關。目前攝影系統主要使用的感測元件(sensor)有兩種，第一種為電荷耦合元件 (Charge-Coupled Device, CCD)；而另一種為互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor, CMOS)。這兩種感測元件各自有不同的曝光方式，其中電 荷耦合元件是以畫面(frame)為單位的方式進行曝光(global shutter)，所以一次曝光時， 若亮度有變化的情形下只會有畫面的亮暗變化；而互補式金屬氧化物半導體則是以列 (line)為單位的方式進行曝光(rolling shutter) ，所以當一次曝光時，若有亮度變化的情 形下會使不同時間點曝光的列之亮暗有所變化，因此造成一個畫面有多個不同亮度的 列組合而成，所以當感測元件不同曝光特性的不同，會造成畫面有不同的反應。目前 本研究的攝影系統的感測元件，是採用互補式金屬氧化物半導體曝光是以列為單位的 方式，使用的原因為互補式金屬氧化物半導體的感測元件之攝影系統若可達到同步， 也就表示電荷耦合元件可達到，因為互補式金屬氧化物半導體曝光是以列為單位的方 式，若有些微的不同步或不穩定易造成整張畫面中不同列就會有亮度差異的情形，相 較於整張畫面曝光更容易發現不同步或不穩定的問題，如圖 2.3 所示，為電荷耦合元 件與互補式金屬氧化物半導體感測元件曝光示意圖。 圖 2.3 電荷耦合元件與互補式金屬氧化物半導體感測元件曝光示意圖 TN TN+1 TN TN+1 CCD CMOS Pixel Electric Pixel Electric Light Source Light Source Time
2.3 多重亮度紅外線打光器之影像特性
因多重亮度紅外線打光器本身可程式化與週期性的特性，當多重亮度紅外線打光 器依程式設定使用一固定週期改變亮度；而數位紅外線攝影系統本身的感測元件也有 其感測(曝光)的週期，而使用者所看到的就是每張畫面停留的時間，以每張畫面為 1/24 秒為例，則代表一秒就會有 24 張畫面輸出也就是畫面更新率(frame rate)。此運作方式 的兩個系統之打光與曝光間的動作若各自有獨立的週期在進行運作就會造成不同步 所產生兩種以上的曝光於同一畫面的結果，如圖 2.4 所示。但若兩系統的打光與曝光 的週期改變以週期同步之運作方式就會因同步而產生曝光正常的畫面結果，如圖 2.5 所示。 圖 2.4 週期不同步之畫面產生曝光不正常的影像結果 圖 2.5 週期同步之畫面產生曝光正常的影像結果Exposure Intensity infrared illuminator (Level 1)
Exposure Intensity infrared illuminator (Level 1) Intensity infrared illuminator (Level 6)
Frame Frame
2.4 非同步曝光與多重亮度紅外線打光器之影像亮度週期分布與特性
以曝光與多重亮度紅外線打光器不同步的情形進行探討，當數位紅外線攝影系統 以固定週期進行影像輸出(綠色)與曝光(藍色)，與多重亮度紅外線打光器主要會發生 兩種不同步的情形： 一、多重亮度紅外線打光器的週期大於曝光的週期： 當多重亮度紅外線打光器的週期大於曝光的週期非整數倍關係的條件下(式子 2-1)，會造成畫面中產生兩種曝光亮度的影像結果。以本圖例約為 1.5 倍的情形，則 會於第 N+1、N+2、N+4、N+5、N+8 與 N+9 的畫面中灰色分界區域左右產生兩種不 同的亮度而造成不同曝光亮度之影像結果，如圖 2.6 所示。
Exposure period
period r Illuminato MOD 0 (2-1) 圖 2.6 多重亮度紅外線打光器的週期大於曝光的週期 二、多重亮度紅外線打光器的週期小於曝光的週期： 當多重亮度紅外線打光器週期小於曝光週期且比例介於大於 0 倍與小於 1 倍之範 圍間的條件下(式子 2-2)，會造成每個畫面中產生兩種或兩種以上曝光亮度之影像結果。 以本圖例約為 0.7 倍的情形，則於每個畫面中灰色分界區域左右產生兩種以上不同的 亮度而造成不同曝光亮度的影像結果如，如圖 2.7 所示。 ms Frame Exposure Illuminator N N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N N+1 N+2 N+3 N+4 N+5 N+61 0 period Exposure period r Illuminato (2-2) 圖 2.7 多重亮度紅外線打光器的週期小於曝光的週期 上述兩種不同步曝光的情形，皆會於畫面中產生兩種以上不同的亮度，而造成不 同曝光的情形發生。其中又以多重亮度紅外線打光器週期越小於曝光週期的情形越容 易發生，產生影像畫面不穩定性與分群不規則性的問題，造成後續影像處理與分析的 困難度。
2.5 同步曝光與多重亮度紅外線打光器之影像亮度週期分布與特性
以曝光與多重亮度紅外線打光器同步的情形進行探討，當數位紅外線攝影系統以 固定週期進行影像輸出(綠色)與曝光(藍色)，並且多重亮度紅外線打光器的週期等於 曝光的週期，則會發生兩種同步的情形： 一、多重亮度紅外線打光器週期的正、負脈波寬等於曝光週期的正、負脈波寬： 當多重亮度紅外線打光器週期的正脈波寬等於與曝光週期的正脈波寬(式子 2-3) 且多重亮度紅外線打光器的負脈波寬等於與曝光週期的負脈波寬(式子 2-4)，當以上 兩條件成立，可保證多重亮度紅外線打光器每一階的光源強度於畫面中完整曝光的影 像結果，如圖 2.8 所示。 ms Frame Exposure Illuminator N N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N+10 N+11 N+12 N+13width pulse positive Exposure width pulse positive r Illuminato (2-3) width pulse negative Exposure width pulse negative r Illuminato (2-4) 圖 2.8 多重亮度紅外線打光器的週期等於曝光的週期情形一 二、多重亮度紅外線打光器週期的正脈波寬大於曝光週期的正脈波寬且多重亮度紅外 線打光器週期的負脈波寬等於曝光週期減掉多重亮度紅外線打光器週期的正脈波寬: 當多重亮度紅外線打光器週期的正脈波寬大於與曝光週期的正脈波寬(式子 2-5) 且多重亮度紅外線打光器的負脈波寬等於曝光的週期減掉多重亮度紅外線打光器週 期的正脈波寬(式子 2-6)，也可確保多重亮度紅外線打光器單一階的光源強度於畫面中 可完整曝光的影像結果，如圖 2.9 所示。 width pulse positive Exposure width pulse positive r Illuminato (2-5) width pulse negative r Illuminato width pulse positive r Illuminato -period Exposure (2-6) 圖 2.9 多重亮度紅外線打光器的週期等於曝光的週期情形二 ms Frame Exposure Illuminator N N N N+1 N+1 N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 Frame Exposure Illuminator N N N N+1 N+1 N+1 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 N+2 N+3 N+4 N+5 N+6 N+7 N+8 N+9 ms
第三章 同步曝光與多重紅外線打光器之
製作
使用多重亮度紅外線打光器搭配數位紅外線攝影系統進行同步曝光與多重紅外 線打光器紅外線光源的動作，使畫面中獲得同步的週期性亮度變化的紅外線影像，則 利用一個訊號同步系統(synchronization signal system)，如圖 3.1 所示。以此訊號同步 系統作為兩個原本獨立系統間訊號同步的依據，為達到訊號同步的動作與目的，並可 按系統需求決定以數位紅外線攝影系統的週期為主(master)而多重亮度紅外線打光器 為從(slave)的訊號同步方式；或是要以多重亮度紅外線打光器的週期為主而數位紅外 線攝影系統為從的訊號同步方式，以上兩種方式皆可達到此次研究欲實現多重動態範 圍影像系統的目的。 Infrared module OP DAC MCU SCL SDA Digital Signal Precessing System Optical Sensor System Signal Output Interface SCL SDA Synchronization signal system Slave Vsync Trigger Master Master Vsync Trigger Slave 圖 3.1 同步曝光與多重紅外線打光器兩種主從控制方式 multi-intensity infrared illuminator Type 1
Type 2
13
3.1 訊號同步
本系統的訊號同步是根據多重亮度紅外線打光器與數位紅外線攝影系統所產生 的週期行為。當定義兩系統訊號同步也就代表多重亮度紅外線打光器與數位紅外線攝 影系統兩獨立系統間的週期存在一致的行為，其週期間的相位一致也就是差值為 0 (式 子 3-1)或存在著固定的差值也就是差值為一固定常數(式子 3-2)，則兩系統間的差值不 隨時間增加而改變，則可定義兩系統間存在訊號同步的行為。如圖 3.2 (a)所示，為週 期間的相位差值 0。與圖 3.2 (b)所示，週期間的相位存在著固定的常數差值的週期波 形圖。 0 Δφ (3-1)
t
c , c constant Δφ (3-2) （a） （b） 圖 3.2（a）週期間的相位差值為 0 （b）週期間的相位存在著固定的常數差值 Signal A Signal B Signal A Signal B c3.2 基於多重紅外線打光器週期之同步方法
多重亮度紅外線打光器主要是使用一顆微控制器(Microcontroller Unit, MCU)，依 程式設定於固定週期時間透過內部整合電路(Inter-Integrated Circuit, I2
C)串列通訊介面 控制數位類比轉換器(Digital to Analog Converter, DAC)進行電壓改變的動作，再經由 運算放大器(Operational Amplifier, OP)與紅外線模組以達到多種紅外線光源變化組合 而產生不同光源強度照明的效果，如圖 3.3 所示，為基於多重亮度紅外線打光器為主 之同步系統。而內部整合電路通訊介面是使用串列資料線(Serial Data Line, SDA)與串 列時脈線(Serial Clock Line, SCL)兩信號線路進行控制與資料傳輸，其開始傳輸資料時 串列資料線信號線路會先將電壓準位更改為低電壓準位，隨即串列時脈線信號線路也 會先將電壓準位更改為低電壓準位，此動作為一個完整的開始(start)狀態的信號。當 完成所要傳輸的從(slave)裝置位址、讀寫位元(R/W bits)與資料後，也要進行將串列時 脈線信號線路會先將電壓準位更改為高電壓準位，隨即串列資料線信號線路也會先將 電壓準位更改為高電壓準位，此動作為一個完整的停止(stop)狀態信號的動作，如圖 3.4 所示。 Infrared module OP DAC MCU SCL SDA
Digital Signal Precessing System
Optical Sensor System
Signal Output Interface SCL SDA Synchronization signal system Slave Vsync Trigger Master 圖 3.3 基於多重亮度紅外線打光器系統週期之同步系統
圖 3.4 標準內部整合電路通訊介面控制與資料傳輸開始與停止狀態之波形變化
因為有此內部整合電路通訊標準匯流排規格，所以可由此信號線路得知每次多重 亮度紅外線打光器進行電壓改變的動作的時機點，進而利用此動作發生時產生一同步 信號觸發數位紅外線攝影系統進行產生畫面與曝光的動作。主要是利用一複雜型可程 式邏輯裝置(Complex Programmable Logic Device, CPLD)進行偵測串列資料線(淺藍色 波形)產生轉態由高電壓準位轉變為低電壓準位的瞬間，由波形上會產生下降緣(falling edge)且隨即串列時脈線(淺橘色波形)也產生轉態的情形由高電壓準位轉變為低電壓 準位也產生下降緣時，如圖 3.5 所示，左邊第一條黑色虛線為串列資料線產生轉態之 時間點，至左邊第二條黑色虛線為串列時脈線產生轉態之時間點。此期間的開始會觸 發此電路產生一個觸發信號(pulse)傳送給數位紅外線攝影系統的外部同步腳位，產生 驅動下一個畫面(綠色波形)與曝光(藍色波形)的動作，如圖 3.4 所示。而左邊第一條至 第二條紫紅色虛線之間為多重亮度紅外線打光器穩定產生光源的時間，同時曝光的時 間小於或等於多重亮度紅外線打光器的時間，可確保數位紅外線攝影系統每張畫面的 曝光皆可完整的獲得多重亮度紅外線打光器所產生穩定的光源，以達同步之目的。 SDA SCL start stop
圖 3.5 利用內部整合電路通訊介面產生觸發訊號同步曝光波形關係 SDA SCL Illuminator Exposure Frame (VSYNC)
SDA
SCL
Illuminator
Frame
(VSYNC)
Exposure
3.3 基於數位紅外線攝影系統週期之同步方法
目前使用的數位紅外線攝影系統有內建一顆 8051 的微控制器，主要負責整個攝 影系統的流程控制與感測元件影像處理相關參數設定。因此選擇以數位紅外線攝影系 統週期為同步依據時，可使用同一個微控制器來對原有的數位紅外線攝影系統及多重 亮度紅外線打光器的數位類比轉換器進行控制。其中數位紅外線攝影系統與多重亮度 紅外線打光器數位類比轉換器的串列資料線與串列時脈線皆連接至微控制器，而微控 制器會使用不同從裝置識別碼(slave ID)對數位紅外線攝影系統與多重亮度紅外線打 光器數位類比轉換器進行控制。此方式可避免需在各別的微控制器間進行狀態控制與 設定的同步動作，單純使用同一個微控制器完成狀態判斷並進行觸發的動作，如圖 3.6 所示。 Digital Signal Precessing System Optical Sensor System Signal Output Interface SCL SDA MCU Infrared module OP DAC Vsync Trigger Slave Master Slave ID: 0x0f Slave ID: 0x21數位紅外線攝影系統中會於每張畫面輸出結束(frame end)後產生一個中斷，所以 可利用此中斷的時間點到下一張畫面開始輸出前的時間，如圖 3.7 所示，黑色虛線間 的時間。利用此區間時間使用系統內建的微控制器透過內部整合電路通訊介面控制數 位類比轉換器進行多重亮度紅外線打光器電壓改變的動作，以更換下一階所要使用的 紅外線光源，而產生下一階所要光源強度的照明。此流程之動作可確保數位紅外線攝 影系統的每張畫面曝光與多重亮度紅外線打光器的光源是同步的動作產生正常曝光 的畫面結果，如圖 3.7 所示，紫紅色虛線之間曝光的週期與打光器的週期於同一時間 運行完成在進行轉態，確保畫面的完整與正確曝光行為。 圖 3.7 利用畫面最後一條 Line 之中斷產生觸發訊號同步之波形關係 SDA SCL Illuminator Frame (VSYNC) Line
SDA
SCL
Illuminator
Exposure
ExposureFrame end
Frame
(VSYNC)
第四章 多重動態範圍影像系統
當數位紅外線攝影系統與多重亮度紅外線打光器的硬體同步動作，已可確保輸出 的影像皆可正常完整的曝光，並使得影像亮度的分群(cluster)因為同步的關係，快速 的分成多重亮度紅外線打光器所產生變化的階數(亮度)，根據打光器的階數，可將階 數一(level 1)所產生的影像抽出至頻道一(channel 1)顯示，依此類推進行分群，共可以 取得六個頻道，也因無須分群演算法運算的動作與進行影像分析分類的動作，所以影 像串流可直接完成分群及即時呈現於程式中。對於即時性(real-time)與在線性(on-line) 的監控有其必要性，並可提供多重動態範圍(multiple dynamic range)之影像呈現。本研 究之多重亮度紅外線打光器會產生六種紅外線光源變化組合而產生六種光源強度的 照明於輸出畫面中，呈現出在相同環境下六種動態範圍的表現，如圖 4.1 所示。所以 將數位紅外線攝影系統與多重亮度紅外線打光器硬體同步動作完成之系統結合預覽 軟體的呈現，可讓快速分群之動作即時預覽，達到多重動態範圍影像監控之目的。但 硬體同步後的輸出畫面與預覽軟體間，也需要有其同步機制的控制，才可確保整個系 統的同步是一致的動作與影像的呈現。Level 1 Level 2 Level 3
4.1 動態範圍
動態範圍(dynamic range)於電子學之定義為感測接收元件所能感測接收信號之範 圍，而於影像處理技術上之定義為可呈現最亮區域至最暗區域之細節之範圍。當影像 動態範圍越大，則代表影像上越能表現與反應出越多不同照度之訊號，反之影像動態 範圍越小，則代表影像上只能表現較少不同照度之訊號，一般以 dB 值(式子 4-1)來定 義其特性。目前以人眼的動態範圍最暗至最亮之比例為 1:1,000,000，則其動態範圍為 120dB 以上，而一般使用的攝影系統為 10 bit (210)的資料精度，能表現的動態範圍最 暗至最亮之比例只有 1:1,000，其動態範圍最大也只有 60dB，所以攝影系統(單一曝光 值之影像)接收到的影像細節與人眼接收到的真實景像資訊相較是不足且很有限的， 而位元精度與動態範圍之關係可參考表 4.1。 MIN MAX Y Y dB Range Dynamic ( )20log (4-1) 表 4.1 位元精度與動態範圍之關係 Bit Precision Contrast Ratio1:( 2Bit)
Density
log(2Bit) Dynamic Range Device
1 1:2 0.30 6 dB 2 1:4 0.60 12 dB 3 1:8 0.90 18 dB 4 1:16 1.20 24 dB 5 1:32 1.50 30 dB 6 1:64 1.80 36 dB 7 1:128 2.10 42 dB Print film 8 1:256 2.40 48 dB 9 1:512 2.70 54 dB LCD display 10 1:1,024 3.01 60 dB DV 11 1:2,048 3.31 66 dB DSLR Camera 12 1:4,096 3.61 72 dB 13 1:8,192 3.91 78 dB 14 1:16,384 4.21 84 dB 15 1:32,768 4.51 90 dB 16 1:65,536 4.81 96 dB 17 1:131,072 5.11 102 dB 18 1:262,144 5.41 108 dB 19 1:524,288 5.71 114 dB 20 1:1,048,576 6.02 120 dB Human eye
4.2 多重動態範圍系統
為呈現多重動態範圍之影像，以便於觀察同步穩定性與欲觀察之目標物(人)，因 此使用一多重動態範圍系統的預覽程式，呈現數位紅外線攝影系統與多重亮度紅外線 打光器硬體同步動作後之影像。圖 4.2 為多重動態範圍系統之流程圖。 Start Form Create Click Preview =? Preview Procedure (Initial camera) Paint Procedure (Image Thread) Get Image Procedure(Grabber Thread)
Stop Preview=?
Stop Get Image
Procedure Stop Paint Procedure
END Record Procedure (Record Thread) Record=? Stop Record Procedure Yes Stop Produce=? Yes Yes Yes No No No No
此多重動態範圍系統中，提供畫面預覽(preview)與將畫面串流儲存成影片檔 (record)的功能。在預覽前，由介面上的附屬(property)選項選擇是否要儲存影像的串流 成影片檔案，當使用者按下預覽後，此程式的影像串流主要會分成兩個部份的進行處 理。第一部分(左側的藍色框)是使用執行緒之方式，先將完整畫面由串流中擷取下來 的擷取執行緒(grabber thread)，完成後再由另一個執行緒將這擷取於緩衝區(buffer)中 的完整畫面，進行更新到多重動態範圍系統中使用者介面上的影像更新執行緒(image thread)。如圖 4.3 所示，這兩個執行緒會對每張進入的緩衝區中的畫面給予一個索引 值(index)，從第一個執行緒至第二個皆使用一致的號碼以確保影像的一致性，主要是 將每張畫面以計數與餘數函式(mod)的動作完成分群的動作(式子 4-2)與圖 4.3 所示， 為完成同步兩執行緒間使用一機制進行控制將於下段進行詳細說明。而第二部分(右 側的紅色框)也是使用執行緒之方式將完整畫面的串流以多媒體格式音訊視訊交錯 (Audio Video Interleave, AVI)的包裝格式(container)進行處理並儲存，如圖 4.3 所示，其 兩者之間個別設置宣告獨立的緩衝區進行資料搬移與處理之動作，使互相之間不會發 生爭奪緩衝區資源的影響。
1
MOD 6 Index Index (4-2) Index = ? Index=0 Move image data to Paint Box 1 (Channel 1) Index=1 Move image data to Paint Box 2 (Channel 2) Index=2 Move image data to Paint Box 3 (Channel 3) Index=3 Move image data to Paint Box 4 (Channel 4) Index=4 Move image data to Paint Box 5 (Channel 5) Index=5 Move image data to Paint Box 6 (Channel 6) Stop Stop procedure No Yes 圖 4.3 多重動態範圍系統中快速分群之流程在此多重動態範圍系統中，為確認影像輸入至輸出的同步性，因此使用多重執行 緒(multi-thread)的方式。其分別針對輸入的影像進行擷取的動作，此擷取執行緒於完 成擷取後，會由影像更新執行緒進行影像呈現於程式介面上，為達到同步性，兩個執 行緒間使用事件(event)的機制以確保影像的同步，每當有新的影像輸入時擷取的擷取 執行緒會由閒置(idle)狀態轉成運行(active)狀態，並進行一張完整畫面的擷取，完成擷 取後的擷取執行緒狀態會轉成閒置狀態，並設定事件(set event)的動作去通知呈現影像 的影像更新執行緒，此時呈現影像的影像更新執行緒會由閒置狀態轉成運行狀態，並 進行將完成擷取的完整畫面呈現於程式介面上，當完成畫面呈現於程式介面上之動作 後，呈現影像的影像更新執行緒狀態會轉成閒置狀態，並清除事件(clean event)的動作。 此動作機制可確保擷取畫面至呈現畫面之過程為同步的，保證硬體同步後的影像串流 表現可完整的呈現於多重動態範圍系統的預覽程式上，如圖 4.4 所示，為多重動態範 圍系統影像擷取與呈現執行緒之同步狀態圖。最後影像於預覽軟體呈現且快速完成分 群之動作可即時產生預覽，如圖 4.1 所示。 Idle Active Idle Active Start Start
Grabbe Thread Click preview Image Thread Click preview
Complete copies the frame to buffer New frame input
Set event
New event input Complete painting the buffer data to UI and clean event Stop Stop preview Or Close Stop preview Or Close Stop Stop preview Or Close Stop preview Or Close
4.3 多重動態範圍系統之評估
當完成同步的多重動態範圍系統的建構，其中包含硬體部分的數位紅外線攝影系 統及多重亮度紅外線打光器與軟體部分的預覽程式，會使同一多重亮度紅外線打光器 亮度階數所產生的畫面，以整張畫面亮度平均值使用標準差(standard deviation)的方法 進行此系統同步穩定性的評估。此方法可確認系統誤差的離散程度，由標準差數值得 知，當標準差數值越大，代表此系統的誤差情形越嚴重越不穩定，也就是同步系統不 穩定與亮度不穩定；反之標準差數值越小，則代表此系統的誤差情形越輕微越穩定， 也就是同步系統穩定與亮度穩定，也表示輸入資料值與平均值之間的分散程度。因此 必須先得到同一多重亮度紅外線打光器亮度階數的整張畫面亮度的平均值(式子 4-3)， 再進行同一多重亮度紅外線打光器亮度階數的標準差運算(式子 4-4)，以獲知同一多重 亮度紅外線打光器亮度階數的同步性與穩定度的評估依據。
N i Li N L 1 1 (4-3)
N i L Li N 1 2 ) ( 1 (4-4) 此同步穩定性評估分析會使用一定數量之影像資料進行標準差數值分析，因此需 使用一影像標準差分析程式進行批次作業，以評估本多重動態範圍系統中六個多重亮 度紅外線打光器亮度階數的同步穩定性。此影像標準差分析程式會將輸入的串流影像 資料進行六個群的循序處理，分別依照標準差的方法分成四個步驟進行計算，第一個 動作步驟主要進行該群每張畫面平均亮度的加總，第二個步驟，依上一步驟之加總值 與該群的影像輸入數量算出平均值，第三個步驟，將該群每張畫面之平均亮度與該群 的平均值算出變異數並進行平方之計算，第四個步驟，將該群將每張畫面之變異數平 方值加總，並與該群的影像輸入數量算出平均值，再進行開平方根之計算以取得該群 之標準差數值，為呈現處理過程與結果會將每張畫面之平均亮度與六個群的標準差數值以動態更新之長條圖的圖形方式，呈現於影像標準差分析程式介面上，便於後續分 析與比對之動作。 利用上述之評估方法進行同步與非同步系統之比較，使用固定場景分別針對同步 與非同步的多重亮度紅外線打光器與數位紅外線攝影系統進行拍攝。此實驗將使用約 10,000 張左右的畫面資料進行評估與分析，目前系統中的數位紅外線攝影系統一秒有 24 張畫面的產生，因此要達到實驗所需的 10,000 張左右的畫面就至少要進行七分鐘 的拍攝來產生共 10,080 個畫面，並將拍攝之畫面以時間先後順序分成十個時間區段， 進行評估其穩定性是否會隨時間增加而產生改變。以此實驗方式來進行評估同步與非 同步系統的分析差異與評估系統本身的穩定性，其中按照亮度的變化六個群將其定義 為六個頻道(channel)，所以每個頻道於固定場景，應保持相近之畫面平均亮度，以確 認此系統之穩定性。
第五章 同步與非同步系統實驗結果
5.1 同步系統各時間區段於六個頻道之標準差與亮度數據
使用 10,080 個畫面進行同步系統驗證結果，其中同頻道的每張畫面平均亮度偏 差量皆可在≦3 的誤差情形，而所計算出的標準差皆介於 0.0000~0.4944，表示此同步 系統有一定的穩定性且有規則性，下列為各時間區段所分析之詳細數據資料： 表 5.1 為同步系統第 1 張至第 1,002 張的畫面資料，也代表第 0 秒時間至第 41.75 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 3、5 與 6 頻道的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 1、2 與 4 頻道的標準差介於 0.0772~0.4944 之間，而最亮與最暗亮度差異皆為 1。 表 5.1 同步系統第 0 張至第 1,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel YmaxYmax
min
Y Ydifference Standard deviation
1~1,002 1 174 173 1 0.0772 2 148 147 1 0.2859 3 116 116 0 0.0000 4 71 70 1 0.4944 5 21 21 0 0.0000 6 2 2 0 0.0000 表 5.2 為同步系統第 1,003 張至第 2,004 張的畫面資料，也代表第 41.79 秒時間至 第 83.50 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1 與 4 頻道的標準差 皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 2、3、5 與 6 頻道的標準差介於 0.0772~0.4606 之間，而最亮與最暗亮度差異皆為 1。
表 5.2 同步系統第 1,003 張至第 2,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
1,003~2,004 1 174 174 0 0.0000 2 148 147 1 0.0772 3 117 116 1 0.3982 4 71 71 0 0.0000 5 22 21 1 0.3175 6 3 2 1 0.4606 表 5.3 為同步系統第 2,005 張至第 3,006 張的畫面資料，也代表第 83.54 秒時間至 第 125.25 秒的畫面資料，將此區段之畫面資料進行亮度分析於六個頻道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。 表 5.3 同步系統第 2,005 張至第 3,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
2,005~3,006 1 174 174 0 0.0000 2 148 148 0 0.0000 3 117 117 0 0.0000 4 71 71 0 0.0000 5 22 22 0 0.0000 6 3 3 0 0.0000 表 5.4 為同步系統第 3,007 張至第 4,002 張的畫面資料，也代表第 125.29 秒時間 至第 166.75 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 2、3、5 與 6 頻道 的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 1 與 4 頻道的標準差介於 0.1091~0.3797 之間，而最亮與最暗亮度差異皆為 1。 表 5.4 同步系統第 3,007 張至第 4,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
3,007~4,002 1 174 173 1 0.1091 2 148 148 0 0.0000 3 117 117 0 0.0000 4 72 71 1 0.3797 5 22 22 0 0.0000 6 3 3 0 0.0000
表 5.5 為同步系統第 4,003 張至第 5,004 張的畫面資料，也代表第 166.79 秒時間 至第 208.50 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 2、3、4、5 與 6 頻道的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 1 頻道的標準差為 0.0772，而最亮與最暗亮度差異為 1。
表 5.5 同步系統第 4,003 張至第 5,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
4,003~5,004 1 174 173 1 0.0772 2 148 148 0 0.0000 3 117 117 0 0.0000 4 72 72 0 0.0000 5 22 22 0 0.0000 6 3 3 0 0.0000 表 5.6 為同步系統第 5,005 張至第 6,006 張的畫面資料，也代表第 208.54 秒時間 至第 250.25 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1、2、3、4 與 6 頻道的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 5 頻道的標準差為 0.4934，而最亮與最暗亮度差異為 1。 表 5.6 同步系統第 5,005 張至第 6,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
5,005~6,006 1 174 174 0 0.0000 2 148 148 0 0.0000 3 117 117 0 0.0000 4 72 72 0 0.0000 5 23 22 1 0.4934 6 3 3 0 0.0000 表 5.7 為同步系統第 6,007 張至第 7,002 張的畫面資料，也代表第 250.29 秒時間 至第 291.75 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1、3、4、5 與 6 頻道的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 2 頻道的標準差為 0.0774，而最亮與最暗亮度差異為 1。
表 5.7 同步系統第 6,007 張至第 7,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
6,007~7,002 1 174 174 0 0.0000 2 149 148 1 0.0774 3 117 117 0 0.0000 4 72 72 0 0.0000 5 23 23 0 0.0000 6 3 3 0 0.0000 表 5.8 為同步系統第 7,003 張至第 8,004 張的畫面資料，也代表第 291.79 秒時間 至第 333.50 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1、5 與 6 頻道的 標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 2、3 與 4 頻道的標準差介於 0.1088~0.4192 之間，而最亮與最暗亮度差異為 1。 表 5.8 同步系統第 7,003 張至第 8,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
7,003~8,004 1 174 174 0 0.0000 2 149 148 1 0.1088 3 118 117 1 0.4192 4 73 72 1 0.1088 5 23 23 0 0.0000 6 3 3 0 0.0000 表 5.9 為同步系統第 8,005 張至第 9,006 張的畫面資料，也代表第 333.54 秒時間 至第 375.25 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1、2、5 與 6 頻道 的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 3 與 4 頻道的標準差介於 0.1328~0.4526 之間，而最亮與最暗亮度差異為 1。
表 5.9 同步系統第 8,005 張至第 9,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
8,005~9,006 1 174 174 0 0.0000 2 148 148 0 0.0000 3 118 117 1 0.1328 4 73 72 1 0.4526 5 23 23 0 0.0000 6 3 3 0 0.0000 表 5.10 為同步系統第 9,007 張至第 10,080 張的畫面資料，也代表第 375.29 秒時 間至第 420 秒的畫面資料，將此區段之畫面資料進行亮度分析於第 1、3、4 與 6 頻道 的標準差皆為 0.0000，其最亮與最暗亮度差異皆為 0，而第 2 與 5 頻道的標準差介於 0.1051~0.2501 之間，而最亮與最暗亮度差異為 1。 表 5.10 同步系統第 9,007 張至第 10,080 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
9,007~10,080 1 174 174 0 0.0000 2 149 148 1 0.2501 3 118 118 0 0.0000 4 73 73 0 0.0000 5 24 23 1 0.1051 6 3 3 0 0.0000
5.2 非同步系統各時間區段於六個頻道之標準差與亮度之數據
相同於同步系統使用 10,080 個畫面進行非同步系統進行驗證，區分為六個頻道 進行每張畫面平均亮度偏差量與標準差分析，會發現數據結果於同頻道的每張畫面平 均亮度偏差量有 186 的誤差情形，所計算出的標準差介於 57.4021~58.4209 之間，針 對此數據結果將畫面進行分析發現，因多重亮度紅外線打光器六個頻道亮度變化的週 期與數位紅外線攝影系統曝光的週期非同步的方式，會組合出十四種相近亮度變化組 合的情形，所以同步與非同步之亮度變化都有一定的規律性，但非同步系統中，其多 重亮度紅外線打光器亮度變化的週期與數位紅外線攝影系統曝光的週期若不是整倍 數關係的條件下，產生的亮度變化組合與排列順序會因時間增加而產生新的亮度變化 組合與排列順序的情形，而若為整倍數關係時，則產生的亮度變化組合與排列順序就 不會因時間增加而產生新的亮度變化組合與排列順序的情形。 Cluster 1 Cluster 2 Cluster 3 Cluster 4 Cluster 5 Cluster 6 Cluster 7 Cluster 8 Cluster 9 Cluster 10 Cluster 11 Cluster 12 Cluster 13 Cluster 14 Frame sequence 1 2 3 4 5 6 7 8 9 10 11 12 Y mean 127 Y mean 85 Y mean 21 Y mean 89 Y mean 179 Y mean 122 Y mean 62 Y mean 10 Y mean 157 Y mean 147 Y mean 109 Y mean 41 13 14 15 16 17 18 19 20 21 22 23 24 25 26 Y mean 21 Y mean 191 Y mean 128 Y mean 87 Y mean 22 Y mean 85 Y mean 181 Y mean 123 Y mean 63 Y mean 11 Y mean 154 Y mean 148 Y mean 110 Y mean 42 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Y mean 18 Y mean 190 Y mean 129 Y mean 89 Y mean 23 Y mean 80 Y mean 183 Y mean 123 Y mean 65 Y mean 11 Y mean 149 Y mean 150 Y mean 112 Y mean 43 圖 5.1 非同步系統十四種亮度變化組合之畫面Cluster 1 Cluster 2 Cluster 3 Cluster 4 Cluster 5 Cluster 6 Cluster 7 Cluster 8 Cluster 9 Cluster 10 Cluster 11 Cluster 12 Cluster 13 Cluster 14 Frame sequence 1 2 3 4 5 6 7 8 9 10 11 12 Y mean 127 Y mean 85 Y mean 21 Y mean 89 Y mean 179 Y mean 122 Y mean 62 Y mean 10 Y mean 157 Y mean 147 Y mean 109 Y mean 41 13 14 15 16 17 18 19 20 21 22 23 24 25 26 Y mean 21 Y mean 191 Y mean 128 Y mean 87 Y mean 22 Y mean 85 Y mean 181 Y mean 123 Y mean 63 Y mean 11 Y mean 154 Y mean 148 Y mean 110 Y mean 42 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Y mean 18 Y mean 190 Y mean 129 Y mean 89 Y mean 23 Y mean 80 Y mean 183 Y mean 123 Y mean 65 Y mean 11 Y mean 149 Y mean 150 Y mean 112 Y mean 43 ● ● ● ● 517 518 519 520 521 522 523 524 525 526 527 528 529 530 Y mean 27 Y mean 61 Y mean 189 Y mean 124 Y mean 70 Y mean 13 Y mean 131 Y mean 157 Y mean 115 Y mean 48 Y mean 7 Y mean 182 Y mean 132 Y mean 96 531 532 533 534 535 536 537 538 539 540 541 542 543 544 Y mean 28 Y mean 56 Y mean 190 Y mean 124 Y mean 72 Y mean 14 Y mean 127 Y mean 159 Y mean 115 Y mean 50 Y mean 6 Y mean 180 Y mean 134 Y mean 97 圖 5.2 非同步系統隨時間增加產生不同亮度變化組合之畫面 此分析發現兩獨立系統的各自週期為固定的條件下，當使用非同步的方式會產生 相較於同步方式較多的亮度變化組合的結果，但仍會與攝影系統中兩種主要的感測元 件其曝光特性有關，其中電荷耦合元件是以畫面(frame)為單位的方式進行曝光，因此 使用同步或非同步的系統所產生之畫面結果僅有亮度差異的變化組合，並且無畫面亮 度均勻性的問題；而互補式金屬氧化物半導體是以列(line)為單位的方式進行曝光，因 此當使用非同步的系統所產生之畫面結果會有亮度差異的變化組合，但因不同光源於
相同畫面進行曝光而造成畫面亮度不均勻的問題，對後續影像資料分析有其困難度， 所以互補式金屬氧化物半導體感測元件適合使用同步系統，而亮度差異的變化數量是 由多重亮度紅外線打光器之設定亮度改變階數來決定，此系統可避免畫面亮度均勻性 的問題，以增加後續影像資料分析的準確性與可行性。
5.3 數位紅外線攝影系統之標準差與亮度之數據
針對前驗證同步系統的標準差與亮度之數據，本節將使用相同數量的 10,080 個 畫面並設定六個頻道使用相同亮度進行數位紅外線攝影系統的驗證，以確認同步之標 準差與亮度數據是否有部份變異是由數位紅外線攝影系統所產生的，下列為各時間區 段所分析之詳細數據資料： 表 5.11 為數位紅外線攝影系統第 1 張至第 1,002 張的畫面資料，也代表第 0 秒時 間至第 41.75 秒的畫面資料，將此區段之畫面資料進行亮度分析六個頻道的標準差皆 為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。 表 5.11 數位紅外線攝影系統第 0 張至第 1,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel YmaxYmax
min
Y Ydifference Standard deviation
1~1,002 1 122 122 0 0.0000 2 122 122 0 0.0000 3 122 122 0 0.0000 4 122 122 0 0.0000 5 122 122 0 0.0000 6 122 122 0 0.0000 表 5.12 為驗證數位紅外線攝影系統第 1,003 張至第 2,004 張的畫面資料，也代表第 41.79 秒時間至第 83.50 秒的畫面資料，將此區段之畫面資料進行亮度分析六個頻道的 標準差介於 0.4112~0.4153 之間，而最亮與最暗亮度差異為 1。 表 5.12 數位紅外線攝影系統第 1,003 張至第 2,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
1,003~2,004 1 122 121 1 0.4153 2 122 121 1 0.4112 3 122 121 1 0.4112 4 122 121 1 0.4153 5 122 121 1 0.4153 6 122 122 1 0.4112
表 5.13 為驗證數位紅外線攝影系統第 2,005 張至第 3,006 張的畫面資料，也代表 第 83.54 秒時間至第 125.25 秒的畫面資料，將此區段之畫面資料進行亮度分析六個頻 道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。
表 5.13 數位紅外線攝影系統第 2,005 張至第 3,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
2,005~3,006 1 121 121 0 0.0000 2 121 121 0 0.0000 3 121 121 0 0.0000 4 121 121 0 0.0000 5 121 121 0 0.0000 6 121 121 0 0.0000 表 5.14 為驗證數位紅外線攝影系統第 3,007 張至第 4,002 張的畫面資料，也代表 第 125.29 秒時間至第 166.75 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。 表 5.14 數位紅外線攝影系統第 3,007 張至第 4,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
3,007~4,002 1 121 121 0 0.0000 2 121 121 0 0.0000 3 121 121 0 0.0000 4 121 121 0 0.0000 5 121 121 0 0.0000 6 121 121 0 0.0000 表 5.15 為驗證數位紅外線攝影系統第 4,003 張至第 5,004 張的畫面資料，也代表 第 166.79 秒時間至第 208.50 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。
表 5.15 數位紅外線攝影系統第 4,003 張至第 5,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
4,003~5,004 1 121 121 0 0.0000 2 121 121 0 0.0000 3 121 121 0 0.0000 4 121 121 0 0.0000 5 121 121 0 0.0000 6 121 121 0 0.0000 表 5.16 為驗證數位紅外線攝影系統第 5,005 張至第 6,006 張的畫面資料，也代表 第 208.54 秒時間至第 250.25 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。 表 5.16 數位紅外線攝影系統第 5,005 張至第 6,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
5,005~6,006 1 121 121 0 0.0000 2 121 121 0 0.0000 3 121 121 0 0.0000 4 121 121 0 0.0000 5 121 121 0 0.0000 6 121 121 0 0.0000 表 5.17 為驗證數位紅外線攝影系統第 6,007 張至第 7,002 張的畫面資料，也代表 第 250.29 秒時間至第 291.75 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。 表 5.17 數位紅外線攝影系統第 6,007 張至第 7,002 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
6,007~7,002 1 121 121 0 0.0000 2 121 121 0 0.0000 3 121 121 0 0.0000 4 121 121 0 0.0000 5 121 121 0 0.0000 6 121 121 0 0.0000
表 5.18 為驗證數位紅外線攝影系統第 7,003 張至第 8,004 張的畫面資料，也代表 第 291.79 秒時間至第 333.50 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差介於 0.2859~0.4192 之間，而最亮與最暗亮度差異為 1。
表 5.18 數位紅外線攝影系統第 7,003 張至第 8,004 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
7,003~8,004 1 121 120 1 0.4070 2 121 120 1 0.3247 3 121 120 1 0.3175 4 121 120 1 0.2859 5 121 120 1 0.4192 6 121 120 1 0.3382 表 5.19 為驗證數位紅外線攝影系統第 8,005 張至第 9,006 張的畫面資料，也代表 第 333.54 秒時間至第 375.25 秒的畫面資料，將此區段之畫面資料進行亮度分析六個 頻道的標準差介於 0.1088~0.2679 之間，而最亮與最暗亮度差異為 1。 表 5.19 數位紅外線攝影系統第 8,005 張至第 9,006 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
8,005~9,006 1 121 120 1 0.1088 2 121 120 1 0.2679 3 121 120 1 0.2583 4 121 120 1 0.2679 5 121 120 1 0.1088 6 121 120 1 0.1529 表 5.20 為驗證數位紅外線攝影系統第 9,007 張至第 10,080 張的畫面資料，也代表 第 375.29 秒時間至第 420 秒的畫面資料，將此區段之畫面資料進行亮度分析於六個頻 道的標準差皆為 0.0000，且六個頻道各別最亮與最暗亮度差異皆為 0。
表 5.20 數位紅外線攝影系統第 9,007 張至第 10,080 張畫面平均亮度之標準差與數據資料 Frame Sequence Number Channel Ymax
Ymax
min
Y Ydifference Standard deviation
9,007~10,080 1 120 120 0 0.0000 2 120 120 0 0.0000 3 120 120 0 0.0000 4 120 120 0 0.0000 5 120 120 0 0.0000 6 120 120 0 0.0000 數位紅外線攝影系統本身所產生的標準差介於 0.0000~0.4192，且最亮與最暗亮度 差異皆可在≦2 的誤差情形，與同步系統驗證結果的每張畫面平均亮度偏差量皆可在 ≦3 的誤差情形，及計算出的標準差介於 0.0000~0.4944 之間，表示此同步系統之畫面 平均亮度偏差量部分變異為數位紅外線攝影系統本身之亮度偏差所造成的，並非全為 同步系統所產生之誤差。
第六章 結論與未來展望
6.1 結論
多重亮度紅外線打光器是[1]所提出的方法，過去相關的研究都僅改變攝影系統內 的曝光來達到多動態範圍的目的進而改善影像品質，但在夜間環境必須仰賴多重亮度 紅外線打光器的輔助以增加並延伸動態的範圍，然而多重亮度紅外線打光器與數位紅 外線攝影系統為兩獨立運作的系統，因此當攝影系統使用互補式金屬氧化物半導體感 測元件，並以非同步之方式運作會造成影像上同一張畫面的局部亮度產生不一致的問 題，而亮度不一致會降低後續亮度分群的準確度，並將增加影像後處理的複雜度。 因此本研究針對此問題提出利用多重亮度紅外線打光器的光源改變週期與數位 紅外線攝影系統的曝光週期同步的方法結合成一新式的夜間監控系統，以改善多重亮 度紅外線打光器光源改變的週期與使用互補式金屬氧化物半導體感測元件的數位紅 外線攝影系統曝光週期的不同步，所造成同一張畫面亮度局部不一致的問題，並提供 多重動態範圍的亮度分群呈現清晰且適合亮度的影像，於實驗中使用標準差與每頻道 之亮度差異顯示同步系統之影像亮度上有一定的穩定性，並將硬體同步後輸出之影像 於預覽軟體中進行軟體流程之影像預覽同步化，已完成影像亮度分群之動作，達到多 重動態範圍影像之結果，以強化紅外線夜間監控影像品質之目的。6.2 未來展望
因同步之動作有其規律性與週期性，所以可利用此特性進行不同亮度之影像結合 成高動態影像，進而利用此影像提高分析或辨識的正確性。此應用需考量監控環境目 標物體或人物移動之速率，如果需應用於高速移動之物體必須搭配高速攝影機提高畫 面更新率，以降低移動影像結合後模糊之情形，將此研究之多動態範圍影像結合成高 動態範圍影像，適用於低光源照明之環境，如圖 5.1 所示，為多重紅外線打光器強度 之第 1, 3 與 5 階影像。利用影像軟體 Adobe Photoshop CS3 可將多張不同亮度之圖片 合製成高動態影像，如圖 5.2 所示，為利用多重紅外線打光器之強度第 1, 3 與 5 階進 行影像合成的高動態影像。 圖 6.1 多重多重紅外線打光器強度之第 1, 3 與 5 階影像 圖 6.2 利用多重紅外線打光器強度之第 1, 3 與 5 階影像進行合成為高動態影像參考文獻
[1] 鄧文治, “應用於夜間監控用途的新式紅外線打光器,” 交通大學資訊學院資訊學 程碩士論文, 2010.
[2] Y.-J. Piao and W. Xu, “Method of Auto Multi-Exposure for High Dynamic Range Imaging,” in Proc. International Conference On Computer, Mechatronics, Control and Electronic Engineering, pp. 93-97, 2010.
[3] A. Vavilin, K. Deb, and K.-H. Jo, “Fast HDR Image Generation Technique Based on Exposure Blending,” in Proc. International Conference On Industrial Engineering And Other Applications Of Applied Intelligent Systems, vol. 3, pp. 379-388, 2010. [4] S. Mangiat and J. D. Gibson, “Automatic Scene Relighting for Video Conferencing,”
IEEE International Conference on Image Processing, pp. 2781-2784, 2009.
[5] S. Cvetkovic, Menber, “Tone-Mapping Functions and Multiple-Exposure Techniques for High Dynamic-Range Images,” in Proc. IEEE trans. on Consumer Electronics, vol. 54, pp. 904-911, 2008.
[6] A. Kóczy, T. Várkonyi, T. Hashimoto, S. Balogh, and Y. Shimodaira, “Gradient Based Synthesized Multiple Exposure Time HDR Image,” in Proc. Instrumentation and Measurement Technology Conference, vol. 57, pp. 1779-1785, 2007.
[7] J. Guan and G. Qiu, “Display HDR Image using a Gain Map,” in Proc. IEEE International Conference on Image Processing, vol. 3, pp. 521-524, 2007.
[8] G. Krawczyk, R. Mantiuk, D. Zdrojewska, and H.-P.Seidel, “Brightness Adjustment for HDR and Tone Mapped Image,” 15th Pacific Conference on Computer Graphics and Applications, pp. 373-381, 2007.
