影像錄製系統之即時色調重現

全文

(1)國立臺灣師範大學應用電子科技學系. 碩士論文. 指導教授：高文忠博士. 影片錄製系統之即時色調重現 Real-Time Tone Reproduction for Video Recording. 研究生：黃湘婷撰. 中華民國 101 年 6 月 i.

(2) 影片錄製系統之即時色調重現. 學生：黃湘婷. 指導教授：高文忠博士. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要. 這篇論文提出一個適用於拍攝高動範圍情境之即時色調重現演算法，並提出嵌入式系統實作技術，達到即時影像處理的目標。本演算法中，首先使用影像濾波器將輸入影像分成高頻與低頻兩個圖層，針對低頻圖層進行多次色調重現處理，以壓縮低頻圖層資訊的動態範圍，再加上高頻圖層的資訊，以達到保留高頻影像細節的目標，並有效提升暗處區域的可見度與影像細節之對比度。此外，為了減少影像處理時間以及保持畫面亮度的穩定性，視訊中的前後連續畫面分享同樣的色調曲線，使畫面不閃爍。本論文並提出多項實作本演算法於嵌入式系統的實務技術，利用系統晶片平台所內建之影像計算加速器，達成處理 VGA (640 x 480 pixels) 畫面的條件下，可達每秒 30 個畫面(frames/s)以上的高效能表現。. 關鍵字：高動態範圍、色調重現、嵌入式系統. ii.

(3) Real-Time Tone Reproduction for Video Recording. student：Xiang-Ting Huang. Advisors：Dr. Wen-Chung Kao. Department of Applied Electronics Technology National Taiwan Normal University. ABSTRACT. This thesis presents a practical tone reproduction approach to taking videos in high dynamic range scenes and several schemes of embedded software implementation have proposed meet the real-time requirement. The algorithm first adopts a signal filter to separate high and low frequency image planes. Multiple cycles of tone mapping are then performed for the low frequency image plane to reduce its dynamic range.. The. algorithm boosts the visibility of image details in darker regions by attenuating the dynamic range of the low frequency plane. The image details are maintained since the high frequency plane runs only one cycle of tone mapping.. The successive frames. share the same set of tone curves for the reduction of the execution time as well as the consistency of brightness among frames. The proposed high dynamic range video processing system has been implemented on an embedded system. Several practical techniques that fully utilize the available hardware accelerators in a system-on-a-chip (SoC) are also proposed. The proposed system reaches the performance of processing 30 frames/s with VGA (640 x 480) resolution when the algorithm is running on the SoC platform.. Keywords：high dynamic range, tone reproduction, embedded system. iii.

(4) 誌. 謝. 在師大應用電子所這兩年，真的打從心底感謝我的指導教授高文忠教授，影像處理這個領域是我從前沒有碰過的，老師自己有非常多事情要忙，卻總是很樂意撥出時間解答我的疑惑，並且不直接告訴我答案，而是慢慢教導我如何自己找尋答案，不只是專業上的領域，更甚至是做事的基本方法與態度，再過沒多久就要出去工作了，我會很驕傲的說：我曾經待過高文忠教授的系統晶片實驗室，在裡面學到了很多！. 同時，也要感謝實驗室內的冠範、易良、翠瑤、善玉，實驗室內的許多事務都是靠你們的幫忙，才得以順利運作，也謝謝一成、百成、建輝、昇儒、詩堯、星羽、英浩，正因為有你們這群學弟妹，才能一起合作把實驗室的各項專案執行完成，更要謝謝維德、泓淳、紹綱、書呈，常常討論課業上以及研究上的問題，多一些人一起思考，就有更多角度的看法，才能更快的突破盲點，也很謝謝我們實驗室的英文助理思婷，很有耐心的替我們解釋一些文法，有時看論文看很久都不了解，或是自己擬好的英文稿，總是需要麻煩思婷幫忙。. 最後，謝謝台灣瑞薩電子公司，碩二這一年來的產學合作，有許多地方麻煩他們協助，也正因有實際與業界公司合作的經驗，才更深入了解工作的各項細節，包括了如何從一大本手冊中快速找尋自己需要的資料，還有開會前該做什麼準備，開會之後的重點整理，以便自己清楚下一步的工作細項，另外很重要的是專案一開始的責任分工，一定要歸納非常清楚，才能夠使專案的執行更加順暢，謝謝瑞薩公司的吳朱令顧問、潘致成經理、楊豐哲工程師不厭其煩的替我們解惑，很開心這次與瑞薩公司的合作。. iv.

(5) 目. 錄. 中文摘要.........................…………………………………………………………ii 英文摘要 …… …… ………… …… …… ………… …… …… ………… …… …iii 誌. 謝……………………………………………………………………iv. 目. 錄…………………………………………………………………………v. 圖目錄…………………………………………….……………………………vii 表目錄…………………………………………………………………………ix 第一章. 緒論……………………………………………………………………1 1.1. 研究背景與動機…………….....………………………………………1. 1.2. 高動態範圍相關研究..........……………………………………..……2. 1.3. 提出的方法..............................................................................................4. 1.4. 論文架構..................…....……………………………………………5. 第二章. 相關背景與研究....………………………………………………6 2.1. 影像動態範圍........……………………………………………………6. 2.2. 色彩空間........…………………………………………………………7. 2.3. 相關研究....................…………………………………………………9. 第三章. 2.3.1. 直方圖等化...........………………………………………….......9. 2.3.2. 攝影色調重現...........……………………………….………….11. 2.3.3. 感光色調重現..........……………………………….………….14. 2.3.4. 頻率領域的色調重現……………………………….………..16. 2.3.5. 多重曝光影像合成…………………………………….………17. 色調重現演算法設計.………………………………………………..…20 3.1. 問題描述....................…………………………………………..20. 3.2. 演算法流程....................………………………………………….…..21. 3.3. 影像頻率分割......................…………………………………….…..23. 3.4. 色調映射流程.........................………………………………….…..25. v.

(6) 3.4.1. 參數計算…………………………………………………..25. 3.4.2. 中間灰階映射…………………………………………….……26. 3.4.3. 白點映射………………………………………………..……28. 3.4.4. 正規化……………………………………………………...…28. 3.5. 影像頻率合併…………..................……………………………….…29. 3.6. 多重色調映射……………..............…………………………………..31. 第四章. 嵌入式系統架構……………………………………………………….32 4.1. 4.2. 第五章. 系統晶片平台規格…......…………………………………………..32 4.1.1. 硬體規格......................................................................33. 4.1.2. 軟體規格......................................................................33. 嵌入式軟體設計...................……………………………………..35 4.2.1. 記憶體配置......................................................................35. 4.2.2. 嵌入式軟體架構......................................................................36. 實驗結果……………………………………………………………..43 5.1. 影像品質……………….......………………………………………..43. 5.2. 與直方圖等化比較..…………………………………………………49. 5.3. 與攝影色調重現比較..……………………………...……………….54. 5.4. 與區域對比增強及攝影色調重現比較..………………….………….59. 5.5. 色調映射處理次數的討論…………………………...……………….66. 5.6. 非 BMP 檔案的 HDR 影像處理結果………………...……………….67. 5.7. 執行效能………………………………………………………………71. 第六章. 結論………………………………………………………………......75. 參考文獻…………………………………………………………………………….76 附錄 A. 多張 BMP 影像處理結果…………………………….………………79. 附錄 B. 多張 HDR 影像處理結果….....…….……………….……………….94. 附錄 C. 實作程式碼解說…………...............……………….……………….108. 附錄 D. 嵌入式系統環境建置………………………………………………....129. vi.

(7) 圖目錄圖 1-1. 人眼視覺可辨識亮度差與真實場景亮度關係圖……………...…….3. 圖 2-1. RGB 色彩空間.........................................…………………………….7. 圖 2-2. 直方圖等化-影像與直方圖比較.................…………………………10. 圖 2-3. S 型傳遞函數...................................……………………..…………….11. 圖 2-4. 色調重現影像比較........................…………………………………….13. 圖 2-5. 桿狀細胞反應曲線................................……………………………….14. 圖 2-6. 多重曝光影像合成示意圖.......................…………………………….18. 圖 2-7. 多重曝光影像邊緣合成圖...................…………….………………….18. 圖 3-1. 演算法流程圖.......................…………………………………….…….21. 圖 3-2. 原始場景 ...........................................................................................24. 圖 3-3. 不同遮罩大小取出的低頻影像 ...................................................24. 圖 3-4. tone mapping 處理流程....... ... ... ... .. . .... .. ... ... ... .. ... ... ... ... .... 25. 圖 3-5. 室內場景高低頻率影像 .........................................................30. 圖 3-6. 室外場景高低頻率影像.................................……………………30. 圖 4-1. SH77650 平台..............................................................32. 圖 4-2. 影像辨識處理資料流程 . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . .. . . . . . . . . .. . .. . . 3 4. 圖 4-3. S H 7 7 6 5 0 b o a r d m e mo r y m a p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5. 圖 4-6. 嵌入式軟體流程圖..................... ....................................................37. 圖 4-7. 鏡頭預抓影像模式..................... ..................................................39. 圖 5-1. 白天影像比較....................... ................................................45. 圖 5-2. 白天場景細節比較............................ .........................................46. 圖 5-3. 晚上影像比較..............................................................47. 圖 5-4. 晚上場景細節比較……………….………………………………...…48. 圖 5-5. 白天與晚上測試影像-原始影像與暗處細節……………………...…50. 圖 5-6. 直方圖等化暗處細節結果比較-白天測試影像…………………….50. vii.

(8) 圖 5-7. 直方圖等化影像結果比較-白天測試影像……………….........…......51. 圖 5-8. 直方圖等化影像結果比較-晚上測試影像...................................……52. 圖 5-9. 直方圖等化暗處細節結果比較-晚上測試影像...............................…53. 圖 5-10. 室內與室外測試樣本原始影像與暗處細節............………..………54. 圖 5-11. 色調重現影像結果比較-室內測試影像.....................………………55. 圖 5-12. 色調重現暗處細節結果比較-室內測試影像.............................……56. 圖 5-13. 色調重現影像結果比較-室外測試影像.........................................…57. 圖 5-14. 色調重現暗處細節結果比較-室外測試影像.............………………58. 圖 5-15. 室內與室外測試樣本原始影像與暗處細節.........…………….……59. 圖 5-16. 區域對比增強影像結果比較-白天測試影像...................…….……61. 圖 5-17. 區域對比增強影像暗處細節結果比較-白天測試影像.....................61. 圖 5-18. 區域對比增強影像結果比較-晚上測試影像..........………………62. 圖 5-19. 區域對比增強影像暗處細節結果比較-晚上測試影像.................…63. 圖 5-20. 室內測試影像映射曲線.............……………………………………64. 圖 5-21. 室外測試影像映射曲線.................…………………………………64. 圖 5-22. 局部細節比較............................................…………………………66. 圖 5-23. HDR 原始影像...........................................…………………………68. 圖 5-24. HDR 影像結果比較-測試場景 1...................………………………69. 圖 5-25. HDR 影像結果比較-測試場景 2..............……………………………70. viii.

(9) 表目錄. 表 4-1. 嵌入式系統硬體規格....……………………………………….........33. 表 4-2. 嵌入式系統軟體規格....……………………………………............33. 表 4-3. 記憶體配置..........................................……………………….…..36. 表 4-4. 嵌入式軟體流程-API 加速………………………………...........37. 表 4-5. 統計相關數值............................................………………..………41. 表 4-6. 加速方法……………………………………………..……………40. 表 5-1. 改善細節比例………………………………………..……...........44. 表 5-2. 測試環境比較...........…………………………………..…………29. 表 5-2. 測試環境硬體規格比較............................................……………71. 表 5-3. 測試環境軟體規格比較............................................……………71. 表 5-4. 更新工作............................................……………………………72. 表 5-5. 效能改善紀錄............................................………………………73. 表 5-6. 效能改善各模組紀錄 1............................................………………73. 表 5-7. 效能改善各模組紀錄 2............................................………………74. 表 5-8. 效能改善各模組紀錄 3............................................………………75. ix.

(10) 第一章. 緒論. 1.1 研究背景研究背景與背景與動機在一般日常生活中，大多人常與親朋好友一同開心的出遊，美景當前，總是希望能夠留下足跡，與美麗的風景合照，可是回家之後卻常常發現拍出來的照片與當初看到的景色相差很多，覺得天空沒有原本看到的藍，湖水沒有原本的清澈，甚至是人物變成一片黑，似乎拍成了藝術照；另外在晚上的時候，照片也常常拍不好，明明眼前是那麼豐富的景色，夜晚的百家燈火是那麼吸引人，但拍回家的照片總只剩下整片漆黑的幾個光點，讓人覺得好可惜。或是在開車的時候，晚上常常會有視線不清楚的問題，萬一在死角處突然衝出一台機車或是行人，都是很容易發生意外的，就算不幸真的發生了意外，也會希望能夠還原現場，將責任釐清，但即便裝了攝影機也可能因為畫質不夠清楚，而無法拍攝到當時完整的情況，像這種情形，都會讓人生氣花了冤枉錢，買了行車紀錄器卻仍然會因為視線不清而惹上麻煩。. 一般消費型數位相機與攝影機的設計好壞，將決定處理後的影像品質，其中包含幾個重要的技術：自動對焦[4][26]、白平衡[5][27]、雜訊抑制[6][28]、色彩校正[7][29]等等，當自動對焦控制不夠精準時，容易產生整張模糊的影像，或是區域性的模糊現象，而白平衡和色彩校正則是用來將色彩校正到與當初人眼所看到的場景一樣的技術，這個技術若不夠優異，就會發現影像色調與當時人眼看到的場景不同，另外拍攝夜景的時候，雜訊問題尤為明顯，因為晚上的光線不足，所以業餘攝影師常常會延長曝光時間增加進光量、或單純依賴AGC提昇增益值、或是利用高感光的感測器，但是這些動作也很容易放大雜訊，同時相機應該依照當時的情境亮度作不同的曝光控制，包含光圈大小、曝光時間與ISO值，以避免得到過曝或過暗的影像，但是當場景動態範圍已經太高，無法單純調整曝光設定去韓改整張影像亮度時，過曝與過暗的像素就必定存在於影像中，這就是高動態範圍影像的問題。 1.

(11) 在多個相機設計的技術中，大多技術已經趨向成熟，但高動態範圍影像仍是一個尚待解決的問題，因此本文將針對此部分進行研究，在此先介紹高動態範圍主要的問題[8][9][10]。整張影像最亮的亮度與最暗的亮度比值，即為其動態範圍，高動態範圍就是高反差對比的一種情況，真實世界的動態範圍高達如豔陽中的白雪，而最低可以到星光般的微弱，高動態範圍的問題，很多人也許以為只要砸錢買好相機或好鏡頭就好，甚至誤認為必須擁有高超的攝影技巧才能解決這個問題，事實並不然，這是機器和人眼本質上的不同造成，人眼的動態範圍比相機感測器高很多，因此人眼可看到的場景，相機卻未必能全部都擷取到，同時，日常生活中的資訊幾乎都是類比型式，包含聲音、電、力等等，影像資料也不例外，因此相機的內部也需要類比數位轉換器，而此種轉換器有其侷限的位元數，這一點也限制住相機的動態範圍，而且影像輸出格式大多也只有8位元，像是常見的 BMP格式，或是目前市面上的顯示器，大多數的解析度仍然不夠儲存高動態範圍的資料，以上種種都是造成無法完整顯示高動態範圍影像的原因。. 1.2 高動態範圍相關研究高動態範圍的議題已經被研究了許久，目前常見的三種基本方法為：直方圖等化[11][12][13][14]、攝影色調曲線重現[16][17][18][19]與多重曝光合成[20][21] [22][30][31]。在這一節，將會簡單介紹這些方法，並且也同時介紹本文提出的新方法，會引用其優點並更加改善。. 直方圖等化主要透過統計學的機率密度函數以及累積分配函數，計算色階分佈的機率，並重新對應像素的亮度値，使色階根據出現的頻率重新配置到整個 8 位元的動態範圍，以達到色階分佈更均勻的結果，這個方法對於色階分佈集中的影像會有比較好的成效。如果色階都集中在低亮度或高亮度，直方圖等化後將會變得清晰可見，因為將比較暗的像素都變亮了，但缺點是比較不自然，會看到一些多出來的線條，但若色階集中於中亮度，則等化後的結果就可能會比較好，另 2.

(12) 外像是原圖因為光源位置而漸層白色的牆壁，就可能因為直方圖等化處理之後，產生如同彩虹一樣的多條曲線。. 攝影色調曲線重現就是一個色調映射中很穩定的 HDR 演算法，其原理在於模擬人眼的行為進行色調曲線的調整，而人眼的視覺曲線類似對數曲線，看暗處的時候會比較明亮清楚，並非只是如同相機感測器一般的線性，這一點可以由圖 1-1 證明，圖中的 I b 是背景影像亮度， ∆I b 是一個刺激光點，藉由調整這個刺激光點的亮度，去實驗得出人眼可辨識的最小可覺差(just-noticeable difference, JND)，從圖 1-1 可發現這兩者在對數域之下大約呈現一個線性關係[1]，因此才宣稱人眼的視覺曲線類似對數曲線。攝影色調重現這個方法在許多影像上的處理都可得到不錯的結果，而且全域性的方法也較為簡單快速，因此後續有許多研究均參考這個原理繼續改善。. 圖 1-1 人眼視覺可辨識亮度差與真實場景亮度關係圖[1]. 多重曝光合成比較常見於建立高動態範圍 HDR 的影像，其中的設計理念在於維持彩色影像處理在線性的關係之下進行合成，而非線性的處理流程將放在最後才實作，主要方法是對同一個場景拍攝多張不同曝光設定的照片，得到多張 raw. 3.

(13) 檔，可以得到更大的動態範圍有效資料，藉以保留比較完整的資訊，再利用多次的邊緣偵測從中找出所需的資訊，進行合成，根據這些提取出的邊緣進行直方圖等化，使動態範圍擴大，最後，實作區域對比增強進一步加強影像細節，以得到細節呈現比較清楚的照片，這個方法其實實驗結果相當不錯，色調重現的成果與色彩的重現都非常優越，但缺點在於資料量較大，處理時間也耗費較久。. 1.3 提出的方法以前的高動態範圍影像系統可能會為了保留細節的可見度而犧牲色彩恆定性，也許重現正確的色彩在醫療應用或是監控系統中並不是最重要的，但在一般消費型數位相機中，正確的色彩是最為重要的，因此在數位相機中，一個好的高動態範圍影像系統應該提升對比、亮度，並同時保持正確的色彩重現，. 然而在前一小節提出的現有方法中，直方圖等化的方法雖然簡單，不過處理結果有時生硬不夠自然，而多重曝光合成計算量極大，實用性較低，無法移植於硬體上並達到即時處理的效率，色調重現處理後的影像品質穩定，幾乎都有不錯的改善，且計算方法也不算太複雜，因此本文引用此方法，希望可以進一步加強此演算法。. 本文提出一個新方法，處理影片的色調重現。首先將輸入影片分解成低頻及高頻成分。低頻影像在線性域下，處理兩次的色調重現；高頻影像只處理一次。這是因為高頻影像代表影像細節，因此要保護其對比。利用連續畫面常見的特性來減少執行時間。在連續幾個畫面中，因為鏡頭不至於會改變太大的位置，因此前後幾個畫面的場景相差不大，故提出的方法中只有一個畫面計算色調曲線，後續的畫面將會沿用此曲線。同時提出的色調重現方法已經實作到系統晶片上。針對解析度 640 × 480 的影片，達到即時處理即每秒 30 個畫面的效能。. 4.

(14) 1.4 論文架構第一章概論高動態範圍，包含其背景、動機、相關研究、應用層面等等，也簡述本文提出的方法；第二章詳細解釋何謂高動態範圍，並就現有的相關研究進行討論，取較好的方法更進一步改善技術；第三章敘述演算法架構，解釋每一個影像處理流程的意義，如何達到更好的影像品質；第四章介紹實現的硬體架構，提到將演算法實作到嵌入式系統的細節，使用硬體加速的各個流程；第五章為硬體處理的結果分析，討論影像品質與執行效能的提升；第六章則是本文結論，總結本文重點；附錄備有 API 詳細資料與多張影像比較。. 5.

(15) 第二章. 相關背景與研究. 2.1 影像動態範圍影像動態範圍動態範圍是指影像中最高亮度及最低亮度的比值。當影像的動態範圍愈高時，則影像所能呈現原始場景的細節和資訊也就愈多，這樣的影像也就更接近人類眼睛所看到的場景。High Dynamic Range (HDR)即為高動態範圍，由陰暗的室內往窗戶看到室外的環境，就是典型的高動態範圍場景。. 不論是室內或者是室外的環境，人眼會隨著光線強弱去區域性調節瞳孔大小，所以可以看清楚高動態範圍的場景；然而一般的相機拍照的時候，光圈就只有一個固定大小，不可能拍一張照片時，卻使用多個不同光圈對各個區域拍攝，除非是特殊的影像感測器，否則一般消費型數位相機中的感測器無法完整擷取高動態範圍的場景。. 除此之外，一般照片都是 8 位元，如 JPEG、BMP、GIF 等等，正因影像的資料格式限制，高動態範圍無法完整呈現，目前可看到的 HDR 檔，大多是多張曝光不同的照片合成，才產生資料格式高至 32 位元的 HDR 檔，用比較多的空間儲存影像，自然可以表現較高動態範圍的場景，然而，影像檔案過大會造成儲存不便，而且市面上大多的螢幕都還不支援這麼高的位元數，即使影像保留許多場景的細節，也無法從螢幕看到。. 因此，高動態範圍的議題是：如何只處理一張影像，使其處理過後，能在儲存格式只有 8 位元的空間下，去盡可能呈現接近人眼看到的高動態範圍場景。. 6.

(16) 2.2 色彩空間在此先介紹 RGB 色彩空間圖 2-1[35]，這是最常見的色彩空間。RGB 色彩空間使用三原色紅色(Red)、綠色(Green)、藍色(Blue)來組合產生各種色彩。BMP 圖片格式就是利用 RGB 色彩空間轉換的圖片。最常使用的是 RGB 三通道皆各使用 8 個位元去表示，這種情況可組合超過 1600 萬種顏色。. 圖 2-1 RGB 色彩空間. 在影像處理中，除了RGB色彩空間以外，另外還有一個標準色彩空間XYZ，經由國際照明委員會(International Commission on Illumination, CIE)所定義，根據人眼三個不同波長的感測細胞，給予三個不同的參數用以描述顏色，這三種原色稱做顏色的三色刺激值，CIE1931用XYZ表示該三色刺激值，然而在色調處理過程中，常將RGB色彩空間轉至XYZ色彩空間進行處理，使運算過程中，可以單獨處理亮度，其轉換公式如2-1與2-2。. 7.

(17)  X  0.4124 0.3576 0.1805  RiRGB  Y  = 0.2126 0.7152 0.0722 G  ................................(2-1)      iRGB   Z  0.0193 0.1192 0.9505  BiRGB   RiRGB   3.2406 − 1.5372 − 0.4986  X  G  = − 0.9689 1.8758 0.0415  Y  ............................(2-2)  iRGB    BiRGB   0.0557 − 0.2040 1.0570   Z . 而 YCbCr 色彩空間是常應用於 JPEG(Joint Photographic Experts Group)、MPEG (Moving Picture Experts Group)、DVD(Digital Video Disc)等標準的泛用格式。RGB 色彩空間轉換到 YCbCr 色彩空間的目的在於將亮度與彩度分離，其轉換公式如式 2-3 所定義。而從 YCbCr 色彩空間轉換到 RGB 色彩空間如式 2-4。[1]. 0.587 0.114   RiRGB  Y   0.299 Cb  = − 0.169 − 0.331 0.500  G  .....................................(2-3)      iRGB  Cr   0.500 − 0.419 − 0.081  BiRGB  0 1.402  Y   RiRGB  1 G  = 1 − 0.344 − 0.714 Cb ..........................................(2-4)  iRGB      BiRGB  1 1.772 0  Cr . 在重現高動態範圍影片時，總是希望能夠在螢幕上完整重現色調，不只是亮度，也包含彩度，因此Cb、Cr應該隨著Y的調整比例一起更改，但由於Cb、Cr 有加上128的偏移，所以Cb、Cr的轉換公式如式2-5、2-6。 CbT (i, j ) = (Cb(i, j ) − 128) × CrT (i, j ) = (Cr (i, j ) − 128) ×. 8. YT (i, j ) + 128 .......................................(2-5) Y (i, j ). YT (i, j ) + 128 ........................................(2-6) Y (i, j ).

(18) 2.3 相關研究 2.3.1 直方圖等化直方圖有效的增強影像對比度，細節也可以提升一些，主要的使用方法是統計像素色階直方圖，計算機率密度函數(probability density function, PDF)與累積機率函數(cumulative distribution function, CDF)，以得到對應的數值，使色階分布的更佳均勻，計算累積機率公式如 2-7 到 2-8。 PDF (i ) = n(i ) / N .......................................................................(2-7) i. CDF (i ) = ∑ PDF ( j ) ..................................................................(2-8) j =0. n(i ) 表示第 i 個色階統計的像素量， N 為所有的像素量，公式 2-7 將統計的直. 方圖調整範圍到 0 到 1 之間，表示為出現的該色階值出現的機率，式 2-8 計算累積機率。 H (i ) = D × CDF (i ) ......................................................................(2-9). I new = H ( I org ) ...........................................................................(2-10). 式 2-9 與 2-10 為直方圖等化的過程，利用公式 2-7 與 2-8 計算得出的累積機率，平均分配色階，式 2-9 乘上目前的色彩深度最大值，將值域重新調整，D 是色彩深度的最大值，例如 8 位元的深度最大值是 255，10 位元的深度最大值是 1023。式 2-10 影像內的所有像素都根據目前的直方圖重新分配色階，出現次數較高的色階將使用比較廣的動態範圍，而出現次數比較少的色階就會使用比較窄的動態範圍，因此能夠使色階分布更均勻。. 然而，全域性的直方圖等化雖然擁有低複雜度的優勢，也正因直接使用了整張影像的直方圖資訊，而無法精準控制對比拉伸的倍率，有時會因為整張影像資訊包含太多過暗的資訊，導致直方圖等化之後的照片整張呈現過曝，此種就是對比拉伸太誇張的狀況。. 9.

(19) (a)原始影像. (b)直方圖等化處理結果. (c)改善的直方圖等化處理結果. (d)圖(a)的直方圖統計. (e)圖(b)的直方圖統計. (f) 圖(c)的直方圖統計. 圖 2-2 直方圖等化-影像與直方圖比較. 圖 2-2 是直方圖等化的結果比較，圖 2-2(b)是直方圖等化基本做法，如同上述公式實作，從圖 2-2(b)可看出影像的確相較於原圖清楚許多，有一大區域原始影像是完全漆黑的，透過直方圖等化，已經可以看清楚絕大多數的細節，但色階分佈非常不自然，看起來像是有許多的雜訊點，讓人認為影像品質並不好，因此 10.

(20) 後續有很多研究根據這個方法進行改善[11][12][13][14]，如圖 2-2(c)，限制直方圖等化對於亮度的調整比例最大值，意即並不直接透過累積機率重新分配色階，而給與上下限，避免對比拉伸太過頭，因而導致影像失真太嚴重。. 2.3.2 攝影色調重現攝影色調重現色調重現曲線(Tone Reproduction Curve)是全域性的方法，對同一像素值使用相同的轉換函數，而不考慮其所在的座標位置做區域性的影像分析；由於分別對每一像素獨立調整來降低影像的動態範圍，所以全域性的方法是最容易的，而全域性的功能通常需要考慮每一像素值與一全域性像素衍生值的關係。因而，全域性的方法有一明顯的優勢，就是較低的運算複雜度。. 色調重現的函數經由分析場景資訊而得，很多場景都有一個主要的平均動態範圍，這取決於少數接近光源或是天空的高照度區域，傳統的攝影技術採用S型的傳遞函數(sigmoids)[2]去同時壓縮高照度與低照度，並且增強中照度區域，如圖2-3。. 圖2-3 S型傳遞函數[1] 11.

(21) 然而現代的攝影技術，主要是壓縮高亮度如式2-11，這個公式小幅調整比較小的數值，而對高亮度的影像有大幅度的壓縮，由於這個函數會漸進於1，因此這代表所有的數值將對映射到0到1之間的顯示範圍，然而實作上的輸入影像並不存在無限大的亮度資料，因此顯示的最大亮度不會達到1，此外，這也可能是美學上的需求，希望將明亮的區域減少一些亮度。 Y (i, j ) =. Y (i, j ) ....................................................(2-11) 1 + Y (i, j ). 經由以前的傳遞函數和線性映射，可產生新的色調重現運算子，即為Reinhard et al.提出感光行為的計算模型[15][16]，用來解決色調重現的問題。其目的是提供一個能夠快速產生合理結果的方法，並且可以有效運用在高動態範圍影像，利用一個對數平均值有效逼近影像的關鍵值，高關鍵值的場景就應該被映射到比較高的數值，低關鍵值的場景就應該被映射到較低的數值。首先，Reinhard認為應該線性調整影像亮度，類似相機的曝光控制進光量，接下來，利用一個數學模型進行局部的對比調整，類似攝影的區域性曝光技術，如遮光法，這可能會提升選出的暗部區域亮度，或壓低選定的明亮區域亮度。. 後續有許多研究皆根據此方法改善，例如：將直方圖等化與色調重現合併，並取其邊緣進行直方圖統計[17]，或是將原本全域性的色調重現方法，改成色階分段處理[18]，或是根據人眼視覺的適應行為，建造一個簡單的模型去進行色調重現[19]。. 圖 2-4 為色調重現其中一個改善版本[17]的實驗結果，可看出只做攝影色調重現已經得到不錯的結果，原始影像右半部幾乎看不到任何細節，但是透過色調重現已經增加許多可見細節，而單獨作直方圖等化如上節所提，儘管影像便得明亮許多，但色階分佈很不自然，比較無法被接受，圖 2-4(c)整張影像看起來似乎稍微過亮，人誤的衣服顏色也過於鮮豔，而圖 2-4(d)將影像取其邊緣進行直方圖等 12.

(22) 化之後，再處理色調重現，確實增加更多可見細節且色階分佈自然。. (a)原始影像. (c)直方圖等化. (b)攝影色調重現. (d)邊緣進行直方圖等化與攝影色調重現圖 2-4 色調重現影像比較. 13.

(23) 2.3.3 感光色調重現人的眼睛中光感受器有兩種：錐狀細胞和桿狀細胞。光感受器將吸收的光能量轉換成神經訊號傳送給大腦。桿狀細胞對光的亮度的感覺很敏銳，而錐狀細胞對於色彩的銳利度很敏感。人的眼睛所看到的景象就是這兩種光感受器的反應下組合而成。根據細胞量測顯示出桿狀細胞跟錐狀細胞有以下行為。在背景光源相當強的情況下去觀察視覺系統運作會發現光感受器是在相當窄的動態範圍內呈現線性。這個範圍大約只有 3 個對數區間。圖 2-5 是桿狀細胞的反應曲線[3]。. 圖2-5 桿狀細胞反應曲線. 桿狀細胞和錐狀細胞的反應曲線可以被寫成公式2-12。 R In = n ………………………………..(2-12) Rmax I + σ bn. 在這裡，R是光感受器的反應值 (0 < R < Rmax )，Rmax是最大的反應值。I 14.

(24) 是光的強度，而 σ bn 是半飽和常數(會造成一半最大值反應值的亮度)，n是敏感控制參數介於0.7到1之間。. 這個方程式廣為人知，是由心理學和神經學反覆測試推導得知。現在已知的一些色調映射運算子大多是由這個方程式衍生推導而成。接下來介紹兩種色調映射運算子： Rational Quantization Function[2] Photoreceptor Adaptation Model[23][32]. 1. Rational Quantization Function Schlick使用映射函數2-13去計算像素亮度以得到顯示像素值。. F (I ) =. pI = pI − I + I max. I I+. I max − I ……………………..(2-13) p. I max 是像素中最高值，p的範圍是1到無限大，從公式2-10與2-11比較可以發. 現，I的次方從n改為1，而原本 σ bn 的位置取代成. I max − I ，這邊可以特別注意， σ b p. 在公式2-10當中，只是一個使用者輸入的常數，但在公式2-11當中， σ b 是根據影像本身的資訊而改變。. 2. Photoreceptor Adaptation Model Pattanaik對錐狀細胞和桿狀細胞分別提出不同的公式去計算在photopic和 scotopic光源條件下的亮度。. σ b ,rod = σ b ,cone =. c1 I b , rod 6 c 2 j 2 I b ,rod + c3 (1 − j 2 ) 4 I b1,/rod. ……..…………..(2-14). c 4 I b ,cone 3 k j I b ,rod + c5 (1 − k 4 ) 2 I b1,/cone 4. 2. 15. ………………..(2-15).

(25) j= k=. 1 c6 I b , rod + 1 1 c7 I b ,rod + 1. ……………………………………..……..(2-16). ……………………………….…………..(2-17). I b ,rod 和 I b ,cone 分別表示桿狀細胞和錐狀細胞的背景亮度，Pattanaik和Yee利用這些. 公式去對HDR影像做色調映射。. 2.3.4 頻率領域的色調重現色調重現和動態範圍的縮減已經是近期研究的發展方向，這個問題一開始出現於照明設計領域，後來在電腦圖學也慢慢被討論，然而高動態範圍影像和縮減動態範圍的問題對於攝影領域來說，早就不是老問題，印刷的過程就如同是色調映射技術，當數位影像的發明出現時，這個問題又再一次浮出水面。. Oppenheim[24]提出的方法是與頻率相關的壓縮，低頻的資訊縮減的動態範圍比高頻的還要多，這個技術後來也使用雙邊濾波器[25]，雙邊濾波器是用來保留邊緣的一種平滑技術，利用雙邊濾波器去分離基底圖層和細節圖層，一般來說，基底圖層類似於低頻且屬於高動態範圍，而細節圖層則是高頻成分，同時只具有比較低的動態範圍，然後對基底圖層進行色調重現，壓縮其動態範圍，再合併細節圖層，後續也有人使用三邊濾波器將影像分離[33]。. 假設一張影像幾乎都是以漫射的成分組成，沒有直接看到光源，則影像資訊可以直接當做是照明和漫射的結果，照明的成份屬於高動態範圍，而漫射的部分不是，因此，如果可以將這兩者分開，只執行照明上的動態範圍壓縮，這將會是有利的。. 這個方法忽略可直接看到光源的狀況，像是鏡面反射之類的，因此這種用於 16.

(26) 影像的技術並不適用於這些直接看到光源的類型，而剩餘的其他影像，可以透過觀察影像中變化緩慢的光線，去分離反射和照明的成分，這是因為物件通常有明確的邊緣和不同的大小及紋理，因此在頻率域當中，獨立處理照明和反射是有可能完成的。. 2.3.5 多重影像曝光合成多重曝光合成的設計理念在於維持彩色影像處理在線性的關係之下進行合成，而非線性的處理流程將放在最後才實作，首先執行自動曝光去決定一開始的曝光設定，再連續拍攝五張相同場景不同曝光的照片，合成的影像數目取決於影像品質的需求、硬體平台的需求以及可用的系統記憶體。. 而多重曝光合成的演算法其實非常多，但有許多都是合成處理後的照片，正確的來說，應該要從最原始未經過任何影像處理的RAW檔進行合成才對[21]，因為從一般消費型數位相機拍出來的照片，經常已經執行了未知的影像處理流程，其中也存在一些非線性的運算子，像是色調曲線轉換和gamma校正，如果在合成影像之前沒有對這些非線性的運算進行反校正，就會很難保留色彩的恆定性。直接合成RAW檔比合成處理過非線性流程的資料還要容易，因為RAW檔在通過感測器校正之後，已經確保是線性的資料。. 改變快門時間為原本的兩倍，等同於1EV的差別，因此合成五張照片，延伸到8EV，有效的動態範圍將是原本的 2 8 = 256 倍，合成的動作包含了全域性與區域性的穩定(防歪斜)方法，全域性的部分，會省略不計飽和的像素，並且以各個區塊的中位數為主，區域性的部分，會偵測對齊像素的移動物件，並且選擇沒有飽和的像素作為最後的影像。任兩張影像都差距2個EV，合成出來的影像類似比較短曝光時間的原始影像，但事實上，已經比原本短曝光的影像還要大量增加有效資訊。以多張不同程度曝光的影像合成變成一張影像，這樣的概念來擴展動態範圍，如圖2-6[21]。圖2-6五張由上至下曝光程度分別為EV+4、EV+2、EV0、EV-2、 EV-4的影像。 17.

(27) 圖2-6 多重曝光影像合成示意圖. 然後，在不同亮度的位階下抽取影像細節，每次都將影像亮度調為原本的4 倍，再將超過最大值的像素截去，而比較有名的邊緣偵測法是Sobel運算子，然而所有的邊緣都會被直接合成，但仍然需要濾除一些錯誤的邊緣，只要留下對於最後的影像夠重要的細節就可以，而這些細節要盡可能讓最後的影像細節紋理都變得更加清楚可見。. 圖2-7. 多重曝光影像邊緣合成圖 18.

(28) 根據這些提取出的邊緣如圖2-7進行直方圖等化，使這些感興趣的區域延伸更大的影像對比度，最後，實作區域對比增強進一步加強影像細節，以得到細節呈現比較清楚的照片，但區域對比增強的主要缺點是在亮處的區域可能會有亮度反轉的問題，或是產生一些不想要的雜訊，這些問題對於醫療成像或監控系統也許並不是那麼重要，但對於一般性消費型數位相機來說，一張沒有雜訊的美麗照片是很基本的要求，因此若拍出一張擁有雜訊或是對比細節很粗糙的照片，在消費型的市場中，這種相機是不被接受的。. 因此在這之後，必須將區域對比與色調重現合併，以避免因為區域對比而產生的人工雜訊，用色調重現的方法將影像重新調整映射，便能夠重現原始影像場景，這個方法其實實驗結果相當不錯，色調重現的成果與色彩的重現都非常優越，但缺點在於資料量較大，處理時間也耗費較久。. 19.

(29) 第三章. 色調重現演算法設計. 3.1 問題描述一個對比極高的影像稱作高動態範圍影像，高動態範圍場景因為一些原因無法完整的將場景重現於影像或影片當中，包括了曝光設定無法同人眼隨著場景區域性的亮度而自動調整曝光設定，相機感測器的動態範圍遠小於人眼，以及影像輸出的資料格式目前只能侷限在 8 位元等等，因此在相機設計技術越來越成熟的時機下，這一個問題已經不能再被容忍，逐漸有越來越多高動態範圍的相關研究，在前一章提出了目前現有的各種高動態範圍研究方法，在這一小節將比較各方法的優缺點，並討論本文的方法如何改善這些方法的缺點。. 直方圖等化的方法只需透過直方圖統計和累積機率計算就可以完成，非常簡單而且快速，而且效果也非常明顯，不過處理後的影像有時看來生硬不夠自然，因為這是種全域性的色階重新配置，沒有考慮到區域像素之間的關係，事實上，影像當中希望對比增強的部分，只有影像邊緣的部分，然而影像處理中，經常將影像邊緣做為影像細節，而直方圖等化卻無論是否為邊緣，全部會一致性的調整，這就可能造成不自然的問題，因此本文的方法在直接進行 HDR 處理之前，先將細節抽出來，影像細節部分留住，和剩餘的部分作不同處理，以避免得到不自然的影像結果。. 色調重現是利用非線性數學模型去模擬人眼視覺系統的行為，其中包含了感光色調重現、攝影色調重現以及頻率領域的色調重現。感光色調重現的方法，使整張影像看起來常常瀰漫在濃霧當中，整體呈現偏白，實際的處理效果與其他方法相比並不好；攝影色調重現是一個廣為沿用的 HDR 方法，在大部分的場景都可以有效改善高動態範圍的問題，但是夜晚的場景改善幅度相當有限，這才發現其實攝影色調重現為了不讓影像失真，影像亮度的調整比例相當保守，因此本文引用這個方法，並且多次處理，以期得到更好的影像，增加更多可見的影像細節；. 20.

(30) 而頻率領域的色調重現原本的方法使用雙邊濾波器分離基底圖層和細節圖層，但雙邊濾波器需要根據影像本身特徵給予不同的參數，才能真正保留住人眼看到的細節進行濾波，而不會將人眼認為是細節的區域也進行平滑，因此本演算法改用平均濾波器，就可以捨去參數設定的問題，同時，計算方法也比雙邊濾波器簡單許多，在嵌入式系統實作上，更有機會達到即時處理的高效能。. 多重曝光合成可以得到更多有效資訊，在低曝光的時候，整張影像會偏暗，反而保留亮部區域的資訊，相同的在高曝光時，整張影像偏亮，暗部區域的細節也可以擷取完整，取其中有效資訊進行合成，有這麼多的正確資訊，可確保處理後的影像能夠更真實重現場景，但也應該資料量較大，造成計算量極大，需要耗費比較多時間，因此在需要即時處理的影片實用性較低，無法移植於硬體上並達到即時處理的效率，因此不採用這個方法。. 綜合以上所述，本演算法不使用雙邊濾波器，而利用平均濾波器平滑影像，同時保留細節，可以減低複雜度，在實體的嵌入式系統上的執行效能也能提升，然後再使用色調重現壓縮動態範圍，並且進行多次色調重現，改善原先攝影色調重現過於保守的處理，詳細的設計理念將於 3.2 小節說明。. 3.2 演算法流程 Y1I. -. YH. +. Low pass filter Y L Tone mapping In. Out. Tone mapping. Y2I~ n. Low pass filter. In. YL. Out. Y1O -. Y. +. H. 圖 3-1 演算法流程圖 21. Y2O~ n.

(31) 本文提出的方法主要用來解決高動態範圍影片的問題，因此使用常見的影片資料格式 YCbCr，其中的 Y 代表亮度，CbCr 代表彩度，首先針對亮度進行處理，彩度再根據亮度的調整比例進行計算，如此一來，才是真正完整的色調重現，若只對亮度進行處理，可能會造成整張影像偏白，色彩也會看似變淡，因此彩度處理流程是必要存在的。. 圖 3-1 是影片亮度的處理流程，首先，在進行動態範圍壓縮之前，預先保留影像的細節，這個動作可以避免後續的影像處理流程破壞影像細節，因此在色調重現處理之後，再合併先前保留的細節和低頻處理影像，然而抽取影像細節的方式，本演算法選用平均濾波器取出平滑影像，再將原圖減去平滑影像做為保留的影像細節，利用這個方法，將影像分離成兩個部分，分別是代表低頻的平滑影像 Y L 和代表高頻的影像細節 Y H 。. 其中低頻影像會進行色調映射，色調映射的細節將於 3.4 詳細說明，透過色調映射去建出色調重現曲線，再將先前保留的影像細節加回。此時的處理結果已經有不錯的改善，但文獻探討曾經提到攝影色調重現的方法相當保守，原因可能是避免與原圖相差太大，然而，原始影像與人眼所看的真實場景並不完全相同，透過實驗結果觀察發現若再次進行色調映射，得到的影像更能夠改善暗處細節不清的問題，因此在處理系統的最後一步，執行第二次的色調映射。. 本演算法的處理資料為影片，因此根據影片前後畫面場景不會改變太多的特性，以 30 個畫面為一個單位，每 30 個畫面只有第 1 個畫面完整執行所有影像處理流程，其他 29 個畫面，共享第 1 個畫面建出的色調映射曲線，如此一來，處理後的畫面會更加連續不閃爍，同時透過這個方法，也能夠加速影像處理時間，將有助於後續嵌入式系統實作。. 22.

(32) 3.3 影像頻率分割. 高動態範圍影像處理的目標在於提升暗處亮度以及對比，在保留對比的前提之下，影像細節應該預先抽取出來，避免透過全域性的影像處理，遺失影像重要資訊，使影像對比反而下降。因此本文提出的演算法中，第一步需要對影像作頻率分割。利用平均濾波器取出低頻成分的影像。原圖減去低頻成分的影像得到高頻的影像。後續的影像處理都只處理低頻影像，以保留高頻成份的對比，避免壓縮動態範圍的過程中，也減少影像對比度。. 其中低頻的影像包含了平滑的基底圖層，通常這個影像比較接近原圖，動態範圍也比較廣泛，若原圖屬於沒有直接看到光源的影像，則整張圖大致上就是由照明與漫射所組成，低頻的影像就類似於漫射的部分，相反的，高頻的部分就屬於照明的部分。. 在先前的相關研究中有提到，關於影像頻率的分割，先前的研究使用雙邊濾波器，這種濾波器在平滑影像的時候，也會保留影像細節，但這個方法的複雜度太高，不適合實作於嵌入式平台，因此，本演算法選擇了硬體平台有提供加速器的平均濾波器。. 平均濾波器是利用一個遮罩對影像進行區域性處理，遮罩大小可以自行設定。目前使用 3 × 3 的遮罩去實作平均濾波器。遮罩的中心是目標像素。利用周遭八個像素的亮度值乘以權重值加上本身的亮度值乘以權重值。最後除以所有權重值總和，取出九個像素的平均值，可以得到一個較模糊的像素亮度值，即表示為平滑的低頻成份，遮罩的各個權重值皆設為 1。. 圖 3-2 是原始場景，圖 3-3 是平均濾波器遮罩不同大小的比較，可看出 3×3 的低頻影像較為清晰，而 13×13 的低頻影像較為模糊，接下來在嵌入式系統實作時，因為 API 提供的平均濾波器只有 3×3 的大小，因此對於 640×480 的輸入影像， 23.

(33) 平均濾波器使用 3×3，而其他解析度的影像，則根據面積比例設定濾波器大小 w× h 。 640 × 480. 圖 3-2 原始場景. (A) 3×3. (D) 9×9. (B) 5×5. (E) 11×11 圖 3-3 不同遮罩大小取出的低頻影像. 24. (C) 7×7. (F) 13×13.

(34) 3.4 色調映射流程. 色調映射包含四個階段如圖 3-4，下列敘述各階段的設計原理[15]： 1.. 參數計算 parameter estimation：預先計算第二階段與第三階段所需的參數. 2.. 中間灰階映射 scaling with middle gray：線性的調整影像亮度，類似相機的曝光控制進光量動作. 3.. 白點映射 scaling with white value：利用一個數學模型進行局部的對比調整，類似攝影的區域性曝光技術，如遮光法，這可能會提升選出的暗部區域亮度，或壓低選定的明亮區域亮度. 4.. Y. 正規化 normalization：將資料重新縮放到輸出資料格式的範圍. Parameter estimate. S Scaling with Y middle gray. Scaling with Y white value. T. Normalization. YN. 圖 3-4 tone mapping 處理流程藉由色調映射，能夠有效壓縮影像動態範圍，更精確重現真實場景於影像之中，本文提出的高動態範圍影像色調重現演算法，引用此色調映射方法，將先前抽取出的低頻影像進行色調映射處理，有效利用影像的動態範圍，以呈現更多影像細節。. 3.4.1 參數計算人眼所見到的影像會視當時場景的影響自動調整亮度，所以面對強光時，人眼所見到的影像比相機所拍攝出來的影像品質更好。色調重現演算法要嘗試模擬人眼視覺，則需要知道人眼調整影像亮度的情況。色調映射演算法[16]提出一個 α 值代表人眼視覺中調整後的中間亮度所在的位置。如 α 設定為 0.40 代表的意義是影像亮度 40%的位置為中間灰階值。大多數的影像，α 只要設定為 0.18 即可，但少數影像如夜景，因演算法判別此影像亮度極低，因此大幅升高其亮度，在夜晚的燈光部分，就容易造成過曝。. 25.

(35) 然而一個場景的關鍵，就統計對數域直方圖的經驗上來說，E. Reinhard 認為對數域中的平均值、最小值與最大值與整體的亮度有很大的關係[16]，因此首先計算 log 2 L min 和 log2. Lmax ，找出影像亮度最大值與最小值取對數，為了增加穩定 avg. 度，除去最亮和最暗 1%的像素，避免受到極端值的影像，對數平均亮度值 YG 落於最大和最小亮度值中，影像 α 值的決定，觀察高 α 值的影像，應使對數平均亮度之下的像素多於平均亮度之上的像素；低 α 值影像正好相反，所以演算法根據影像資訊，使用式(3-1)計算 α ，以找到適合的映射灰階值。 α = 0.18 × 2. 2×. ( 2 log 2 YGavg − log 2 Ymin − log 2 Ymax ) log 2 Ymax − log 2 Ymin. …………............……………(3-1). w. 參數計算中，另一個所需的參數是 YS ，因為人眼視覺可以視情況去壓縮動態範圍，要去模擬這樣的系統是非常困難的，太亮或太暗都不適合，所以需要幾個參數幫助演算法限制亮度的調整範圍。在色調映射演算法[16]中提出純白亮度 w. YSw 來限制調亮的範圍， YS 代表的意思是在調整過程中會被調到最亮的像素中的 w. 最低值。在高動態範圍影像中， YS 只要夠大的數字即可，但在低動態或中動態 w. 範圍的影像中， YS 的選擇需要非常小心，才能在降低動態範圍過程中，避免降 w. 低對比度，因此使用式(3-2)估測得出 YS 。 YSw = 1.5 × 2(log 2 Ymax − log 2 Ymin − N / 2) ……....…….......................….…(3-2). 式 3-2 之中的 N 是影像資料的動態範圍取其對數值，N/2 表示為影像動態範 w. 圍的一半，用來對映到真實場景的中間灰階值，式 3-2 中的 1.5 是 Reinhard 計算 YS 的經驗數字。. 3.4.2 中間灰階映射在進行色調映射的主要過程之前，必須先線性調整影像資料，就像是在一般 26.

(36) 消費型數位相機使用時，攝影師總是需要找到正確的曝光設定，才能將人眼感受到的場景，盡可能完整保留，只有正確的曝光設定，才可以盡量減少飽和或是過暗的像素，然而人眼的色調曲線在對數域下呈現幾乎線性的關係，因此真實場景給人的整體亮度感受，可以使用對數域中的平均做為一個基準，再將影像對數平均的位階對映到中間灰階值，大約 18%的位置，然而，這並不適用於所有的影像。. 照理來說，原始影像如果擁有比較高的對數平均，在經過本文提出的處理流程之後，也應該得到比較高的結果，否則就可能會給人整體亮度改變太多的感覺，甚至是出現失真嚴重的狀況，相同地，如果原始影像擁有比較低的對數平均，也應該在處理過後得到比較低的數值，否則可能出現晚上的場景，在經過影像處理之後的結果，卻變成了白天場景，相當不自然。. 中間灰階映射模組的目的是映射對數域中的平均亮度到所謂全灰色調範圍的中間灰階值。因此將影像資料首先以對數平均做為一個調整的基準，對數域中亮度值 YG (i, j ) 的平均值表示為 YGavg 。經由初始調整的階段亮度值可以由式(3-3)計算出來。 YS (i, j ) = α × YG (i, j ) / YGavg. ……………......................……....……(3-3). 其中 α 代表目標中間灰值且通常設定為 0.18 為映射目標中間灰值到 18%灰色調。但透過每張影像的資訊，本演算法使用式(3-1)來決定 α ，將會使處理後的影像，更加符合原影像需求。為了提升處理效能，在前一模組參數計算即預先處理此參數的運算。. 當亮度值 YG (i, j ) 接近零時，取對數會得到負無限大，無法取值，補救這個問題的方法就是增加一個小偏移 δ 來避免該問題發生。例如，計算對數平均亮度 ( YGavg )的修改方程式被定義為式(3-4)，其中 N 代表像素的總數量。. 27.

(37) avg G. Y.  ∑ log(δ + YG (i, j ))    = exp i , j  N     ……………….....................……(3-4). 3.4.3 白點映射白點映射很多場景有一個主要的平均動態範圍，及光源或亮點附近的少數高亮度像素。然而人眼的動態範圍僅管比一般消費型數位相機的動態範圍高上許多，但是真實場景的動態範圍還是比人眼更高，因此在光源附近的高亮度像素，對人眼來說都只是過曝，並不需要耗費動態範圍在這些極亮的部分，因此演算法找出純白亮度的最小白點，以此為一個調整門檻，計算這個數值的公式在式3-2。. 色調重現演算法通常使用非線性色調映射曲線，該演算法壓縮高亮度區域的動態範圍，同時保持黑暗處幾乎線性的縮放。這個概念可以由式(3-5)實現。 YT (i, j ) = YS (i, j ) ×. 1 + (YS (i, j ) /(YSw ) 2 ) 1 + YS (i, j ) ……………….............……(3-5). 其中 YSw 代表映射到純白亮度的最小亮度，所有亮度值會被映射到一個 0 和 1 間的重建範圍中。剩下的問題是如何決定 YSw 使得最後的影像最能代表所有影像紋理。在高動態範圍影像中， YSw 只要夠大的數字即可，如影像中的亮度最大值，但其他的影像中，可能在降低動態範圍過程中造成對比度降低，為了避免降低對比度。因此使用式(3-2)估測得出 YSw ，為了參數的計算複雜影像處理效能，預先在參數計算模組計算。. 3.4.4 正規化經由色調映射之後的結果亮度範圍並不是 0 到 255。因為色調映射是利用比例關係去重新調整亮度。調整完的亮度範圍約介於 0 到 1 之間。所以需要重新調 28.

(38) 整亮度範圍到影像所制定的格式。目前影像是每個像素利用 8 位元去表示。這樣的表示法範圍介於 0 到 255 之間。首先計算色調映射結果的最小值和最大值找出範圍。再利用這個範圍協助演算法將影像正規化到 0 到 255 之間。如式(3-6)。 Y N (i, j ) = (YT (i, j ) − Ymin ) ×. 256 ..........................................(3-6) Ymax − Ymin. 3.5 影像頻率合併影像頻率合併影像流程下一步是將色調映射後的低頻資料與原始的高頻資料進行合成，因為先前有提到，低頻影像與原始影像較為接近，擁有比較高的動態範圍，因此只對低頻影像進行動態範圍壓縮，而高頻影像的部分，是影像處理中高感興趣的影像邊緣細節區域，就一般來說，這是希望可以保留的，甚至如果可以進一步增強更好，這可以使整張穎像的可見度提高，對比性變好，影像看起來會更加吸引人。. 實際做法是低頻成分的影像經由 HDR 演算法處理完之後建立一個亮度對應表格。再這個階段，並不直接將低頻處理結果與高頻成分影像組合起來。因為低頻成分影像亮度已經被調整過且經由正規化。每個像素的亮度值且與周遭像素亮度的比例皆與原始影像不同，如果直接合併會因為影像資訊不符造成品質下降。. 所以本演算法利用原始影像經由亮度對應表格去轉換再與高頻成分影像組合起來，這時會碰到一些問題。高頻成分影像是藉由原始影像減去低頻成分的影像得到，是一種像素亮度之間的差距。這個差距範圍從-255 到 255。可以想像組合之後可能有某一些像素值會超過 255 或是低於 0。但是為了保留資訊的真實性，只將小於 0 的數值設為 0，至於超出 255 的部分，仍然維持超出 255 的資料，用以保留亮處細節，直接進入下一個影像處理流程。. 圖 3-5 與圖 3-6 分別為室內場景與室外場景的低頻影像及高頻影像，可看出低頻影像比較平滑，而高頻影像極為銳利，幾乎可代表人眼可見的影像細節，因 29.

(39) 此希望壓縮動態範圍的同時，也可以保留這些影像細節，所以才會將影像分割頻率進行 HDR 處理，最後再將 HDR 處理完的影像與高頻合併。. (a)室內場景低頻影像. (b)室內場景高頻影像. 圖 3-5 室內場景高低頻率影像. (a)室外場景低頻影像. (b)室外場景高頻影像. 圖 3-6 室外場景高低頻率影像. 30.

(40) 3.6 多重色調映射多重色調映射在合併高頻影像之後，相對於傳統的攝影色調重現來說，本文提出的方法還有一些動態範圍的空間可以壓縮，因此將目前的影像結果再進行第二次的色調映射，可得到較佳的品質。. 實作方面，由於高頻影像的計算方法是原圖減去平滑後的低頻影像，因此高頻影像的數值範圍從-256 到 256，因此合併後的影像數值範圍也超出範圍，在上一小節有提到將負值設為 0，而超過 255 的部分，保留原始資訊直接進行第二次的色調映射，將類似於有比較多的有效資訊，因此處理出來結果自然也比原本只處理一次來的好。. 相同地，在執行色調映射的時間會比較久，為了實作上面的加速，以 30 個畫面為一個單位，每 30 個畫面中只有第 1 個畫面完整跑完所有的影像流程，同時建立色調映射的亮度轉換表格，其他 29 個畫面，只需要查詢表格就可以等同完成色調映射，也正因為共享同一個色調重現曲線，當影片播放的時候，會更加的順暢不閃爍。. 31.

(41) 第四章. 嵌入式系統架構. 4.1 系統晶片平台簡介. 圖 4-1 SH77650 平台. 圖 4-1 為實現演算法的嵌入式系統，瑞薩電子公司提供的系統晶片 SH77650 平台，SH77650 是汽車導航系統的系統晶片(SOC)，SH-4A 的 CPU 在 300MHz 的操作頻率下，可達到 540MIPS 的高效能，而浮點處理有專門的 FPU，可在 300MHz 的頻率下，進而達到 2.1GFLOPS，另也提供影像辨識處理加速器，記憶體部分包含 512KB 的 EPRON、2MB 的 SRAM、64MB 的 FALSH 與 256MB 的 DDR-SDRAM。詳細硬體規格如表 4-1。. 而軟體部分，作業系統使用 µITRON4.0，核心 HI7000/4，軟體介面使用瑞薩公司自行開發的 Renesas High Performance Embedded Workshop，此軟體可以直接察看記憶體內部資料，訂定專案所需的 Section，也可以將偵錯的資訊輸出到 XP 終端機上。軟體規. 格如表 4-2。. 32.

(42) 4.1.1 硬體規格. 項目. 名稱. 嵌入式平台. SH77650. 中央處理器. SH-4A. 時脈頻率. 300MHz CPU：540MIPS FPU：2.1GFLOPS. 處理效能模擬器. SH-4A E10A-USB Emulator V.3.02.00. 主機板. RedAle DDR2-SDRAM：128MB EPROM：512KB. 記憶體. SRAM：2MB FLASH：64MB. 影像輸入接頭. AV 端子. 影像輸出接頭. VGA 測試資料輸出接頭 RS232、RS232 轉 USB 轉接頭表 4-1 嵌入式系統硬體規格. 4.1.2 軟體規格項目. 名稱. 作業系統. µITRON4.0. 核心. HI7000/4. 軟體介面. Renesas High Performance Embedded Workshop 測試資料輸出位置 XP 終端機表 4-2 嵌入式系統軟體規格. 33.

(43) 應用程式介面(API). 圖 4-2 影像辨識處理資料流程[34] 1. 為了回應使用者的要求，高階影像辨識應用程式(Higher-layer image recognition application)命令影像辨識應用程式(Image recognition application)去辨識一張影像，影像辨識應用程式再通知影像辨識資料庫(Image recognition library)。 2. 影像辨識資料庫透過視訊輸入驅動程式驅動VIN模組(如圖4-2的(A)流程)，並從主記憶體(Main memory)取得視訊資料(如圖4-2的(B)流程)。 3. 設定影像辨識模組(如圖4-2的(C)流程)，讓模組處理主記憶體終的視訊資料(如圖4-2的(D)流程)。處理後的結果放回主記憶體或影像辨識模組中。 4. 資料庫接收影像辨識模組的處理結果(如圖4-2的(E)流程)。 5. 重複步驟3和步驟4直到獲得想要的處理結果為止(如圖4-2的(C')、 (D')和 (E') 流程)。 6. 資料庫透過顯示輸出驅動程式驅動顯示單元(DU：display unit) (如圖4-2的(F) 流程)，輸出主記憶體中的處理結果給外部裝置(如圖4-2的(G)流程)。 7. 處理結果將回傳給影像辨識應用程式(如圖4-2的(H)流程)。 8. 影像辨識應用程式透過影像辨識資料庫的結果完成影像辨識，並回傳辨識結果給高階影像辨識應用程式。. 34.

(44) 4.2 嵌入式軟體設計 4.2.1 記憶體配置燒錄的目的位置可由版子上的 switch3 設定，當 SW3(2:1) = (ON, OFF)為燒錄到 SRAM；SW3(2:1) = (OFF, OFF)為燒錄到 NOR FLASH，若是燒到 SRAM，只要電源關閉，燒錄的資料就會消失，但若是 NOR FLASH，就不會跟著電源關閉而消失。. 嵌入式系統中，由於記憶體資源珍貴，配置記憶體是很重要的事情，需要確定資料結構及其大小，並且根據資料特性不同配給不同的 Section 屬性。在這次的實作中，可用的 DDR-SDRAM 有 128MB，本專案約使用了 3.1MB。圖 4-3 為 SH77650 的 memory map，程式設計者可自行訂定的 section 為 AREA4 與 AREA5，用來存放執行程式碼所需的資料。. 圖 4-3 SH77650 board memory map. 35.

(45) 在實作演算法的過程中，為了畫面播放更流暢，執行效率更高，本演算法將許多較為複雜的計算都預先處理，如：對數 log、指數 exp、計算參數模組內的 white 變數和 key 變數，皆屬於較耗時的運算，然後將預先計算的結果存放於表格當中，使用時只需要查表，便可省去冗長的計算時間，因此這類表格中的數值皆為固定的常數，Section 便配給 C 屬性，表示為 constant 常數，記憶體配置如表 4-3。. 另外，瑞薩公司提供的 API 只支援整數型態，而本文提出的方法需要精確的浮點數處理，因此需要大量的浮點數暫存區，存放處理中的影像資料；如同前段所述，為了使畫面順暢，同時也對影像製作亮度轉換表格，後續的畫面可直接參考使用，節省整個演算法的複雜計算，同時，影像處理不只針對亮度，彩度也應該隨之比例調整，故另外製作一個亮度比例表格，給彩度處理的模組使用，此處的影像暫存區也需要訂定 section 使用。 section. 定義. 對數表格 white 表格 key 表格指數表格暫存影像資料影像資亮度轉換表格料相關整數亮度轉換表格表格亮度比例表格高複雜度計算表格. data index entry type float 262144 = 256 × 1024 float 8096 = 8 × 1024 float 4096 = 4 × 1024 float 11593 = 11.321 × 1024 float 614400 = 640 × 480 × 2 float 256 int float. 256 256 總共：3.1MB 表 4-3 記憶體配置. size. start addr. 1MB 32KB 16KB 45KB 2MB 1000 0000 1KB 1KB 1KB. 4.2.2 嵌入式軟體架構將程式碼移植到嵌入式系統的過程中，為了加快速度達到即時處理的高效能，並且同時保持影像品質的基本水準，對程式碼的寫法與演算法的流程都陸續做了一些修改，首先描述實作流程如圖 4-6，以及其中使用到的各個 API 功能，並列出加速演算法的方法，使整個影片處理系統達到即時處理的效能。 36.

(46) 圖 4-6 嵌入式軟體流程圖. Block. API implib_CaptureContinuous GetCamera implib_GetCamera implib_StopCaptureContinuous Copy Y implib_IP_Copy Low pass filter for low frequency implib_IP_smoothFLT Sub for high frequency implib_IP_Sub Open direct access implib_OpenImgDirect Type transfer implib_IP_ReadImg Close direct access implib_CloseImgDirect HDR flow implib_IP_Histogram Write LUT implib_IP_WriteConvertLUT Convert LUT implib_IP_ConvertLUT Add Combine low-high implib_IP_Add Copy Y back implib_IP_Copy Combine YUV implib_CombineYUV Display implib_Display 表 4-4 嵌入式軟體流程-API 加速. 37.