). (
)
(Inputpixel Lowpixel M US
Newpixel
Platform For Real Time Image Processing
即時影像處理硬體發展平台
陳冠宇 逢甲大學電機工程系 [email protected] 黃冠誠 逢甲大學電機工程系 [email protected] 王壘 逢甲大學電機工程系 [email protected] 摘要-由於近十年來消費性電子產品的普及，影像處理 的技術亦隨之有明顯的改善，為了滿足高品質影像的需 求，高對比、高飽和度以及高解析度的顯像技術，即成為 研究的主要目標。此篇論文著重在於如何實作增強影像對 比的平台，以提供一個真實的環境來發展即時且動態地增 強影像對比的技術，改善影像對比的新方法可以透過此平 台得到驗證：首先將 National Television System Committee (NTSC)電視的類比影像輸入到此平台，經數位化之後，再 藉由 FPGA 實現影像對比增強的演算法以提供影像對比增 強的結果。此篇論文不同於從前研究所做的軟體模擬，其 採用即時影像處理的實際硬體基礎，以做為即時影像處理 數開發的實作平台。 關鍵詞―對比增強、FPGA、即時影像處理Abstract- Image processing technology has improved over the
last decade, owed to the popularity of modern IA products. In order to satisfy the needs of high quality images, high saturation, high contrast, and high resolution became the main goals of many allied researches. This article focuses on how to implement a real-time image processing platform that provides a realistic environment for developing dynamic image contrast techniques. A new method for improving the contrast quality of images can be verified by feeding analog images of NTSC television to this platform after it is digitalized. It then performs functions that enhance FPGA contrasted images which differs from suggested software simulations of past researches. This paper discusses a needed foundation of practical real-time processing that can be used as a viable real time image processing reference.
Index Terms: contrast enhancement, FPGA, real time processing.
一、介紹
對於改善影像品質而言，增強影像對比是很 重要的技術。影像對比的增強已經廣泛應用於各 種領域中，如：醫療影像、捕捉動態影像、視覺 偵測系統等。目前，影像對比增強的方法可分為 兩類：一為全域性方法，另一為區域性方法。全 域 性 方 法 是 最 為 普 遍 使 用 的 技 術 ， 像 是 Histogram Stretching [11], Improved Histogram Stretching [5], Histogram Equalization (HE) [12] 和 Brightness Preserving Bi-Histogram Equalization (BBHE) [17]。 Histogram Stretching 應用於延展圖像的直 方圖來填滿整個灰階的動態範圍，這個方法使用 在較集中的圖像上，我們可以藉由方程式(1)得到 新的輸出像素。 . 255 Lowpixel Highpixel Lowpixel Inputpixel Newpixel (1)基於 Histogram Stretching 的方法，Hee-Chul Kim et al. [5]針對動態影像處理提出一個改善的 方法，這個方法可以應用到消費產品上。將方程 式(1)修改為方程式(2)：
2 在方程式(2)中，可以藉由改變權重因子 M 與 US 而獲得新的輸出圖像畫素。US(User Select) 是由使用者定義，而 M(Multiple)則是透過下列的 規則決定其值： If ( MSB Value = 1) then M = 1 + 2-n else M = 2m + 2-n
MSB(Most Significant Bit)為輸入影像最大 及最小灰階差值的最高位元值，此位元為決定常 數 m 及 n 為 1 或 2 時的重要參數，而 m 及 n 則 為決定直方圖擴展的基值常數。
Histogram Equalization method (HE) [12]利 用輸入圖像的直方圖獲得一個輸入-輸出的轉換 函數，考慮一輸入的數位影像 f(x,y)其灰階的動 態範圍為[0, L-1]，總畫素數量為 N，則定義機率 密度函數(probability density function, PDF)為方 程式(3)： , ) ( N n k pk k for k = 0,1,…,L-1. (3) 在此nk 代表灰階為 k 時在整個圖像中所佔 的 畫 素 數 量 ， 而 其 累 積 分 佈 函 數 (cumulative distribution function, CDF)定義如方程式(4): , ) ( ) ( 0
k i k k k p i c for k = 0,1,…,L-1. (4) 對 於 BBHE(Brightness preserving Bi-Histogram Equalization) [17]而言，其實是一 個以 HE 為基礎的方法，BBHE 利用平均值將輸 入圖像的直方圖分成兩個部份，然後分別執行 HE。 在執行較大量的計算時，通常區域性的方法 在對比增強上可以達到比全域性的方法更好的 效果，如 Contrast Limited Adaptive Histogram Equalization (CLAHE) [9], Partially OverlappedSub-Block Histogram Equalization (POSHE) [6] 以 及 Dynamic Histogram Equalization (DHE) [10]。 CLAHE 較適於靜態醫療影像的增強。其將 輸入影像分成幾個一樣大小的區塊，然後再分別 使用 HE 方法處理。為了增強對比，POSHE 將部 分的子區塊重疊以改善增強的效果。DHE 使用 高斯平滑濾波，挑選出直方圖中的區域最小值， 且利用 此最小值將 直方圖 分割成幾個 子直 方 圖，然後對每個子直方圖執行 HE 的演算法以達 到對比增強。 雖然上述的方法在影像對比增強上都號稱 可以得到良好效果，但是在研究中卻僅是以靜態 圖片的對比改善以證明其效果，而缺乏實際的執 行使這些研究顯得不切實際，因為軟體模擬無法 顯示真實的即時影像處理速度的效率，而實際上 此類圖像處理的演算法所需的計算量很龐大，因 此這些耗時的演算法將導致上述提到的方法只 適用於靜態的圖像處理，而不適用於即時影片圖 像的處理。 為了完成動態影像處理的效能評估，以提供 此類研究的可能實現依據，本研究以 CDK 嵌入 式系統平台整合一塊特別設計的影像訊號處理 電路板為基礎，用以完成即時影像對比增強的處 理，並將影像增強結果顯示於 LCD 上。我們提 出的這個架構，可透過 FPGA 電路在即時影像處 理方面，提供快速的資料處理能力以滿足影像對 比增強的需求。 為了驗證此研究所提出的發展平台，我們選 擇 Adaptively Increase the Value of Histogram Based on Histogram Equalization(AIVHE) [1]增強 對比的方法作為實現的目標。此平台將 National Television System Committee (NTSC)電視視訊資 料輸入到影像訊號處理電路板上處理及顯示。在 第二節中，將介紹與此篇研究的基礎相關的基本 影像技術。而硬體平台的細節，包含 CDK 平台
和其擴充的電路板，將在第三節中介紹。接下來 在第四節中，描述硬體的實作以及平台動態執行 的結果。最後在第五節，則對未來研究的一些考 量當做這篇論文的結論。 圖 1 影像處理基本架構
二、視頻廣播系統
從上個世紀中，類比視訊系統已經開始發 展，且至今在影像應用上已成為最普遍的系統。 其主要定義出三種類比標準，分別為 NTSC [14]、 Phase Alternating Line (PAL) [3] 和 Sequental Couleur A Memoire (SECAM) [7]。現今，NTSC 已被廣泛使用在美國、台灣、加拿大、日本、韓 國和一些其他國家，而它也被選定為我們設計的 目標。圖 1 為本篇論文處理影像資料的基本架 構，由於 Y (發光度)的值可以決定影像的對比 及亮度。所以在我們提出的平台中，我們將著重 於 Y 分量的處理而忽略 Cb和 Cr的部分。 圖 1 中 AIVHE 區塊為本篇論文所使用之增 強對比方法，此方法藉由調整原始輸入圖像的 PDF (P(k))來獲得新的 PDF(PAIVHE(k))，調整 PDF 的形狀以達到對比增強的效果。AIVHE 藉由基 準值 Pbas將原始的 PDF 分割為上、下兩塊區域。 將大量的 P(k)限制於 Ph，使之約束 PAIVHE(k)的變 化。AIVHE 利用改變 P(k)獲得 PAIVHE(k)，如方程 式(5)： ) ( if , ) ( if , ) ( if , )) ( )( ( ) ( ) ) ( )( ( ) ( ) ( bas h bas h bas bas h AIVHE P k P P k P P P k P k P P k k P P k P k k P P k P (5) β值可讓使用者自行控制，以調整影像對比 增強的效果；β值的遞增會減少對比增強的效 果，反之β值的遞減會增加對比增強的效果。若4 將β值設定為零，且 Pbas設定為 P(k)中之最大值 與最小值的平均值，即可獲得與 HE 相同之對比 增強效果。 0 if , 0 and if , 0 and if , 0 ) -(1 ) 1 ( 1 ) -(1 1 ) ( 2 2 m m m m m m X k X k X L X k X k X k (6) 在方程式(5)中，可適性約束函數α(k)，以參 考平均亮度 Xm 作自動調整，當 k 值愈接近平均 亮度時，α(k)會逐漸增加，如方程式(6)。初始值 γ為一實數，範圍為[-1,1]。藉由方程式(6)得 知：當γ值大於、等於零時，α(k)為一正數；當 γ值小於零時，α(k)為零。 AIVHE 可以藉由γ值用於控制亮、暗區域 擴展的範圍，產生自然的直方圖分佈；藉由β值 用於控制整體對比增強的效果，產生令人滿意的 對比增強結果。 為了達到改善影像品質的目的，數位系統利 用視訊解碼晶片將類比訊號轉換為數位影像資 料，可以用來處理 NTSC 影像的輸入。圖中的 ITU-R BT.656 為 最 普 遍 的 數 位 視 訊 標 準 ， ITU-RBT.656 的 傳 送 速 率 為 27Mhz ， ITU-R BT.656 是基於 4:2:2 YCbCr 的抽樣方式完成數 位化轉換。 RGB 區塊與 ITUR656 Decoder 同樣為接收 輸入資料的區塊，RGB 區塊接收 RGB 視訊形式 的輸入資料。由於影像對比所處理的資料形式為 YCbCr，因而我們將 RGB 輸入資料經過 RGB to Y’CbCr區塊轉換後，將 RGB 的視訊資料轉換成 Y’CbCr視訊形式，再傳給 AIVHE 區塊增強對比。 由控制區塊(CONTROL BLOCK)中的多工 器選擇區塊(MUX CHOOSE BLOCK)對多工器
(Input MUX)發出訊號選擇輸入的資料，再將資 料經 AIVHE 做處理，此時經過對比增強後的資 料形式仍為 YCbCr，故將資料經過 YCbCr to RGB 區塊將要輸出的資料轉換為 RGB 形式，最後再 將輸出資料傳給 LCD 控制區塊(LCD CONTROL BLOCK)輸出到顯示器上。 經過 Sensor 處理的紅外線輸入資料，可以 由控制區塊中的紅外線解碼區塊(IR Decoder)解 碼，並且將其對應的控制輸出到 LCD 控制區塊， 如此便能讓使用者藉遙控器下達指令。 I2C Slave 是外部與此平台的溝通介面，是一 種串列傳輸匯流排，其包含了串列資料(SDA)以 及串列時脈(SCL)。 影像處理系統結合 ASIC 和 DSP 晶片來建立 此系統，而 FPGA 讓設計者能夠利用靈活的硬體 設計及實作，以實現即時影像增強處理，也提供 升級上高度的靈活性，並且降低了系統的設計複 雜度並縮短產品上市時間。 由於這些優點，本研究將平台環境建立於 FPGA 上，此平台可以提供一個完整的即時影像 增強處理的架構，它也是一個重要的設計參考雛 型，有助於發展及驗證 SoC 或者嵌入式系統。
三、即時影像處理平台
為了支援複雜的影像處理的演算法，我們利 用一個 CDK 嵌入式系統的開發平台，藉由裝備 一塊本研究設計的影像訊號處理電路板，使此平 台可以完成增強影像對比的功能，並且能即時的 將經過對比增強處理的影像輸出到 LCD 顯示螢 幕上。圖 2 CDK 平台 圖 2 即 CDK 平台，其包含一個 ARM926EJ
的處理器，工作頻率可達到 266MHz。此研究所 需要的大部分 IP(Intellectual Property)都包含在 此平台內，如 static memory controller、SDRAM controller、PCI host bridge 、IDE controller、USB host/device controller、LCD controller 和 DMA controller 等。
CDK 平台支援開發的 SoC 以及嵌入式系統 設計，除了 Xilinx Spartan3 XC3S4000 FPGA 晶 片內建於此平台內，還有保留 GPIO 擴充埠可以 連接其他擴充的電路。因此我們設計一塊影像 訊號處理電路板用來完成即時影像處理的功 能。影像訊號處理電路板方塊圖如圖 3 右方所 示，包含 64M Byte 的 SDRAM、視訊解碼器、 LCD 顯示器的 RGB 端子接口的連接器和連接 CDK 平台 I/O 的 LVDS 接口。 圖 3 影像處理電路板
6 圖 4 CDK 平台功能方塊圖 整 個 平 台 的 功 能 方 塊 圖 如 圖 4 所 示 。 De-Interlaced module 主要有兩個功能：一、接 收和解碼視頻流中的 SAV 和 EAV 參考時序的 掃瞄線及圖場資訊。二、偵測每一個視訊圖框 中 最 大 及 最 小 的 亮 度 準 位 。 Contrast Enhancement module 可以增強影像對比且利用 輸 入 的 Y 產 生 新 的 Y’ 分 量 。 Color Space Converter module(CSC)將 Y’CbCr 色彩空間轉換 成 RGB 色 彩 空 間 ， 接 著 將 資 料 送 至 LCD Controller module 產生 LCD 時序控制訊號和 RGB 資料，並且輸出至 LCD 顯示器。然後我 們就可以從顯示器觀察對比增強結果並驗證 之。 圖 5 中的 LCD 控制器模組(LCD controller) 從 color space converter 接收 RGB 訊號資料，包 括 產 生 TFT-LCD 控 制 訊 號 ， 例 如 :VSYNC ( vertical synchronous )、HSYNC ( horizontal synchronous )、DEN ( data enable )和 PCLK ( pixel clock )到 TFT-LCD 模組。由於本研究所 使用的 TFT-LCD 顯示器的輸入端為 RGB 各 6bit，所以將資料了最後 2bit 無條件捨去，使輸 出的 RGB 資料從原本的 8bit 變成 6bit。此 LCD 控制器模組是在 VGA 的模式下驅動外部 5.7 吋 的 TFT-LCD。 在 CSC module 中，Y’CbCr 視訊傳輸資料 會先由 4:2:2 轉為 4:4:4 的格式。此功能可以轉 換視訊傳輸資料以恢復失去的彩度成分，當轉 換完成後，此模組將執行色彩空間轉換的演算 法，把 Y’CbCr 轉為 RGB 色彩空間參考[8]。LCD Controller module 從 CSC module 接收 RGB 傳 輸資料且產生 LCD 控制信號，驅動外部 5.7 inch 解析度為 VGA 的 TFT LCD。 在此節中所描述的完整平台建構在 CDK 平 台和轉換視訊資料成數位格式的影像訊號處理 電路板。我們利用了 CDK 平台上的 FPGA 電路 中增強影像對比演算法的核心部分，以滿足即 時影像處理的需求，在下一節中，將說明實作 細節且驗證實際的影像訊號。
圖 5 LCD 控制模組 圖 6 影像訊號處理電路板
四、對比增加實現驗證
為了建立一個完整的硬體環境來實現及發 展影像增強技術，我們增加影像訊號處理電路 板於 CDK 平台上以擴充此平台的功能來實現影 像對比增強的處理，且增強後的影像可以被展 示在板子上的 5.7 英吋 VGA(640*480)解析度的 TFT LCD 顯示器上，此完成的影像訊號處理電 路板如圖 6 所示。我們設定 FPGA 工作在 70MHz 頻率中，以達成即時影像對比增強的功能。 雙端口的 SDRAM controller 用來控制外部 的 SDRAM 去儲存及讀取視訊資料。SDRAM 則 規 劃 為 雙 影 像 緩 存 區 以 實 現 視 訊 資 料 的 ping-pong 操 作 ， 影 像 資 料 將 透 過 雙 端 口 的 SDRAM controller 讀出，接著傳送到 FPGA 中 的 Contrast Enhancement module，執行影像對比 增強的處理，再透過 CSC module 將影像資料轉 成 RGB 格式，最後送到 LCD 控制器將影像結 果顯示在 LCD 上。8 資料的關鍵點在於影像資料儲存的速度和容 量。這篇論文選擇雙端口 SDRAM controller 作 為我們的設計，確實提供更高效率來處理視訊 傳輸資料，並且更有效的利用 SDRAM 的頻寬。 這個平台設計運作於 70MHz，此執行速度可以 達到即時影像對比增強的需求，在整個系統 中，是以 27MHz 的頻率抓取 ITU-R BT.656 的影 像串流，所以利用雙端口 SDRAM controller 執 行的 SDRAM 存取和顯示器都需設在相同的頻 率，這也指出要支援影像處理，SDRAM 的存取 速度就不能低於 54MHz，且因為 SDRAM 本身 需要額外的 SDRAM 頻寬充電，所以我們設定 存取的頻率在 70MHz 以提供足夠的頻寬。在完 成 FPGA 電路中，我們總共使用 1495 個 4 input LUTs ( 大約 96130 個系統邏輯閘 ) 來完成此 功能，整個電路可以工作在 9.041ns 的週期時間 內，代表此電路最大的執行頻率最多可以達到 110.6MHz，如果我們使用這個最大的頻率來運 作此電路，則雙端口 SDRAM 存取的頻寬可以 增加到 55.3MHz，此資料顯示此平台提供的處 理速度遠高於 VGA 解析度的基本要求，對解析 度為 720*480 的影像來說，此速度可以支援到 122fps(frame per second)。這個事實證明，在我 們製作的平台環境下，其執行速度可以達到即 時影像處理基本要求的兩倍，在未來的研究 裡，此剩下的硬體能力可以保留來發展其他技 術以增強影像效果。 整 個 電 路 最 關 鍵 的 部 份 就 是 Contrast Enhancement module 的設計，它影響整個系統的 最高速度，由於設計的目標不要求影像訊號處 理電路板的最高效率，在這個應用中，影像資 料只使用 SDRAM 資料寬度的 16bits，此外，外 部 SDRAM 的最大工作頻寬為 133MHz 32bits 資 料寬度，理論上，使用雙端口 SDRAM controller 處理 SDRAM 的存取，最大可以達到 66.5MHz 32bits 資料寬度，可以適用於各種即時的應用。 我 們 相 信 此 計 畫 透 過 進 一 步 對 contrast enhancement module 設計的修改，可以提供更高 的即時影像處理的效率。 在實際的驗證中，我們發現平台中 FPGA 提供的強大的處理能力，可以提升影像處理的 速度，以達到費時運作的需求。此平台產生的 影像對比增強結果，解析度和圖框掃描的頻率 均能達到電視廣播系統之規格，我們可以藉由 觀察圖 7 與圖 8 來驗證影像增強的效果，圖 7(a) 和圖 7(c)分別是軟體模擬增強後和硬體實際增 強後的影像，圖 8(b)和圖 8(c)還有實驗中取得的 CDF 圖片，透過圖 8(b)和圖 8(c)的比較，可以發 現硬體實際測試結果與軟體模擬的結果是吻合 的。且此平台的輸出影像可以達到 NTSC 的標 準解析度 720*480 即時處理速度的要求。 圖 7(a) 原始圖片 圖 7(b) 軟體模擬圖片 圖 7(c) 硬體測試圖片
圖 8(a) 原始圖片 CDF 圖 8(b) 軟體模擬 CDF 圖 8(c) 硬體測試 CDF
五、結論
由 於 及 時 影 像 處 理 發 展 / 實 驗 平 台 之 缺 乏，因此在此篇增強影像技術的研究中，這個 平台的完成成為首要的目標，這篇論文描述了 如何實作一個即時影像處理發展平台以提供一 個真實的環境發展即時且動態地增強影像對比 的技術，使一個改善影像對比品質的新方法可 以藉由輸入 NTSC 電視的視訊傳輸資料到此平 台，然後透過 FPGA 實現影像對比增強的功能， 以提供影像對比增強的結果，傳統的方法是利 用軟體模擬來驗證新技術的對比增強效果；而 此平台不同於傳統的是可以將影像對比增強演 算法實際實現在硬體上並能立即顯示輸出影 像。 此平台是建立在 SoC 開發平台上，此開發 板裝備一塊特殊設計的影像訊號處理電路板來 完成即時地處理增強影像對比，然後在 LCD 顯 示器上展示影像。在最後的實際驗證中，這個 研究也證明平台上的 FPGA 提供強大的處理能 力，它可以提升影像處理的速度以達到耗時運 算的需求，且此平台產生的增強影像的結果， 能達到電視系統的解析度和圖框掃描的頻率， 此外，此平台的執行速度根據 SDTV 的標準可以 達到即時影像處理基本需求的兩倍，證明此平 台是一個適合相關研究開發及評估影像處理新 技術的發展環境。但也因為此論文所使用的影 像訊號處理版所用的解碼晶片是以 SDTV 做為標 準，因此在更高規格的影像處理，如 HDTV，其 速度仍有不足，影像訊號處理版的改良也是本 論文未來的研究方向。 在未來的研究中，其他影像增強的技術將 使用此平台研究及實現，以驗證成本和相關顯 示技術的效能。六、參考文獻
1. Ching-Hsi Lu, Hong-Yang Hsu and Lei Wang,
"A New Contrast Enhancement Technique by Adaptively Increasing the Value of Histogram," 2009 IEEE International Workshop on Imaging Systems and Techniques, May. 2009.
2. Ching-Hsi Lu, Hong-Yang Hsu and Lei Wang, "A New Contrast Enhancement Technique Implemented on FPGA for Real Time Image
10
Processing," The Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2009.
3. ETSI ETS 300 731: Television Systems : Enhanced 625-Line Phased Alternate Line (PAL) Television : PALplus (1997)
4. Hynix Semiconductor, http://www.hynix.com, 256M ( 16Mx16bit ) Hynix SDRAM Memory HY57V561620F (L)T(P) Series, Rev1.1 (2008) 5. Hee-Chul Kim, Byong-Heon Kwon and Myung-Ryul Choi: An Image Interpolator With Image Improvement For LCD Controller. IEEE Transactions on Electronics , Vol.47, NO.2, May (2001)
6. J-Y Kim, L-S. Kim, and S-H. Hwang: An Advanced Contrast Enhancement Using Partially Overlapped Sub-block Histogram Equalization, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, Issue 4, pp. 475-484 (2001)
7. J. W. Herbstreit and H. Pouliquen: International Standards for Color Television , IEEE Spectrum. pp.23-80 (1967)
8. Keith Jack: Video Demystified IV th Edition, A handbook for the digital engineer , Newnes (2005) 9. Karel Zuiderveld: Contrast Limited Adaptive Histogram Equalization, Chapter VIII.5 , Graphics Gems IV, Cambridge, MA, Academic Press, pp. 474-485 (1994)
10. M. Abdullah-Al-Wadud, Md, Hasanul Kabir, M. Ali Akber Dewan, and Oksam Chae: A dynamic histogram equalization for image contrast enhancement, IEEE Transactions on Consumer Electron., Vol. 53, No. 2, pp. 593-600 (2007) 11. Randy Crane: Simplified Approach to Image Processing. Prentice-Hall. pp. 55-83(1994)
12. Rafael C. Gonzalez, Richard E. Woods: Digital image processing. Prentice-Hall, Inc.(2001)
13.Socle Technology Corporation , http:// www.socle-tech.com , CDK EVB Hardware User Manual (2007)
14. SMPTE 170M-1999 : Television-Composite Analog Video Signal-NTSC for Studio Applications
15. Texas Instruments, http://www.ti.com, TVP5150PBS Ultralow-Power NTSC/PAL Video Decoder, Data Manual (2006)
16. Xilinx, Inc. http://www.xilinx.com, Spartan-3 FPGA Family: Complete Data Sheet, DS099 (2007)
17. Y. T. Kim.: Contrast enhancement using brightness preserving bi-histogram equalization, IEEE Transactions on Consumer Electron, Vol.43, No.1. pp. 1-8 (1997)
