創新異質整合智慧型手機相機模組之研究---子計畫三：成像品質之數位影像演算法開發(III)

行政院國家科學委員會專題研究計畫 成果報告

創新異質整合智慧型手機相機模組之研究--子計畫三：成

像品質之數位影像演算法開發(3/3)

研究成果報告(完整版)

計 畫 類 別 ： 整合型 計 畫 編 號 ： NSC 99-2220-E-009-004- 執 行 期 間 ： 99 年 08 月 01 日至 100 年 07 月 31 日 執 行 單 位 ： 國立交通大學電機與控制工程學系（所） 計 畫 主 持 人 ： 黃聖傑 共 同 主 持 人 ： 趙世鈞 計畫參與人員： 大專生-兼任助理人員：李曜宸 博士班研究生-兼任助理人員：王惠民 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中 華 民 國 100 年 10 月 30 日

創新異質整合智慧型手機相機模組之研究— 子計畫三：成像品質之數位影像演算法開發(3/3)

The Research and Applications of the Image Quality Improvement Algorithms for LC Lens (3/3) 計畫編號：NSC99-2220-E-009-004- 執行期限：2010/08/01 ~ 2011/07/31 計畫主持人：黃聖傑 助理教授 Email: [email protected] 執行機構：國立交通大學電機與控制工程研究所 一 一 一 一、、、、前言前言前言前言 本計畫以開發相機模組之液態鏡頭 為研究的重點，本研究將以成像品質修 正及影像處理為主要研究方向，在演算 法層次以及電路架構層次同步進行。在 第二年的計畫之中，配合系統其他部分 整合進度, 由 LC Lens 與影像晶片設計 入手。 首先將第一年之影像處理相關研究 成果以 FPGA 平台先行測試，藉以分析 相關數據並探討其整合之可能性。 Fig. 1. 影像處理 FPGA 模組 已完成之 LC Lens 模組如 Fig. 2 所示。 Fig. 2. LC Lens 模組. 加壓處理前影像呈現糢糊狀態，如 Fig. 3 所示。 Fig. 3. 加壓前之糢糊影像. 加壓後結果於 Fig 4 中展現，原本 糢糊影像變的可以分辨出字體型態，目 前更持續改進演算法將顯示結果透過影 像處理變的更為清析。 LC lens Lens Power

Fig. 4. LC Lens 加壓後成像顯示. 結合 LC Lens 與 FPGA 影像模組 之初步成果如 Fig. 5 所示。 Fig. 5. 系統全貌與測試結果. 二 二 二 二、、、、研究目的研究目的研究目的研究目的 以目前感測器技術，如：液晶電視 與相機的CMOS 感測器對單色的解析度 都已達10 位元以上甚至更高，現在傳統 的單色 8 位元表示法已不合所需，如： JPEG，無法提供更豐富的色彩，而JPEG XR 可以支援到單色16、32 位元與浮點 數壓縮，以滿足感測器所需，提供較高 的動態範圍(High dynamic range, HDR)，從影像擷取端至壓縮演算法都不 會失去任何資訊，即使放大倍率也無損 畫質細膩的程度消費者只要選擇適當的 顯示器與色調轉換公式(Tone mapping) 即可享受高畫質的影像，且動態範圍的 數值越高，對影像的長期保存也非常重 要，印表機和顯示器會遠遠超過現行 JPEG技術的處理能力』，所以這新世代 的JPEG XR 影像壓縮演算法會是未來的 趨勢。 三 三三 三、、、研究方法、研究方法研究方法研究方法 JPEG XR 可以在相同的影像品質下 提供比JPEG高一倍的壓縮率，有效降低 檔案傳輸時間，如Fig 6.，JPEG XR 能 提供與JPEG 2000 近四的影像品質，演 算法複雜度卻大大減少，非常適合在低 耗電的電子產品上，此外，JPEG XR 在 無失真壓縮的表現也是同樣亮眼，能高 達2.5 倍的壓縮率。 20 20 20 20 22 22 22 22 24 24 24 24 26 26 26 26 28 28 28 28 30 30 30 30 32 32 32 32 34 34 34 34 36 36 36 36 38 38 38 38 40 40 40 40 0000 0.50.50.50.5 1111 1.51.51.51.5 2222 2.52.52.52.5 3333 3.53.53.53.5 4444 4.54.54.54.5 bpp bppbpp bpp P S N R P S N R P S N R P S N R JPEG XR JPEG XR JPEG XR JPEG XR JPEG2000 JPEG2000 JPEG2000 JPEG2000 JPEG JPEG JPEG JPEG

Fig. 6. PSNR Comparison between different image standard.

(b)

Fig. 7. Image Quality Comparison with (a) JPEG XR and (b) JPEG under the same compressed ratio 110.

演算法流程如圖3所示，由於壓縮過程中 使 用 取 樣 會 造 成 資 料 的 流 失 ， Pre-scaling 的 作 用 即 為 調 整 資 料 大 小，增加表示範圍，在經過幾個後面元 件的處理時，才不至於損失更多的原始 資訊，在傳統的紅色、藍色、綠色中， 不容易看出之間的關連，經過研究後發 現，其實眼睛對亮度的敏感度比彩度還 要強，所以色相轉換(Color space)的目 的即是為了符合人眼特性，JPEG XR 採 用與JPEG相同的轉換公式，目的都是為 了 減 少 RGB 顏 色在 人類 視 覺 上 的 關 連 性，由於JPEG XR 在色相轉換之前有動 態調整過資料的表示範圍，所以在此會 再將亮度調整一次表示範圍，以利後續 處理，轉換後得到的資訊就可以進行下 一部的分析。人眼對彩度的敏感度比較 低，所以這部份也是影像壓縮的目標之 ㄧ，主要取樣格式分為4：4：4、4：2： 2 與4：2：0，第一種格式是不取樣，完 全保留資料進行後續編碼，所能提供的 影像品質最高，但本身的資料量也最 大，後面二者分別對彩度進行二分之ㄧ 與四分之ㄧ取樣，目的都是減少處理的 資料量，達到高效能低耗電的演算法， 並且維持一定的影像品質，以符合人類 視覺系統。整個空間上的資訊的關連可 以藉由頻率域的分析來判斷，可以得到 頻譜的分佈來選擇需要的資訊，另一項 研究發現人眼對高頻信號的敏感度沒低 頻信號強，此一特性就可以再利用減少 空間資訊上的累贅，進一步減少資料 量，但缺點就是這類演算法的運算量太 大，造成運算時間與硬體資源消耗資源 過多，為了改善這缺點，JPEG XR 採用 整數運算，並且有相同效果。 最 後 即 是 使 用 熵 編 碼 (Entropy en-code)，利用霍夫曼(Huffman)的機率統 計方式提供無損式的影像編碼，減少資 料間的亂度，出現機率較頻繁者，在編 碼時則給予少許的唯一代碼，相反的， 出現機率低的係數，則給予較長的代 碼，最後得到最簡的結果。

Lenna.bmp Color conversion Pre-filter PCT

Quantization Prediction Adaptive encode

Control unit

Header MUX Packetizer Lenna.wdp

Fig. 8. JPEG XR Coding Flow.

. Color Conversion 色相轉換的目的即是反映人眼對於訊號 的接收方式，從眼睛外之物體來的光 在視網膜上成像，形成了圖案視覺，人 眼的光受體有2 類，錐狀體(cones)和桿 狀體(rods)，每隻眼睛的錐狀體數量大 約有600 萬到700 萬間，主要分佈於視 網膜中央凹附近，並且對色彩很敏感， 但必需要在光線足夠的地方才有功用， 錐狀細胞又稱白畫視覺或亮光視覺。桿

狀細胞的數目就比錐狀細胞多很多了， 大約有7500 萬到15000 萬，分佈在視網 膜表面，功能適用來獲得視野中大體上 的影像，對亮度相當敏感，例如白天看 起來很鮮豔的花朵，在月光下看起來卻 沒有色彩，這是因為只有桿狀體受到了 刺激，此現象稱為夜視覺或昏暗視覺。 經過上述討論，我們可以使用人眼對亮 度比較敏感的特性來設計多種色相轉換 公式，JPEG XR 採用的是由紅、綠、藍 色組成的RGB色彩空間轉換成YUV，Y即是 亮度，存放著大量對人眼相當敏感的資 訊，U、V負責存放彩度的資訊。 V = B - R V U = - R - G + 2 U Y = G + offest 2      _{ }     −     (1) where offect is 128. Pre-filter 影像處理上都是以方塊(Block)為基礎 的處理方式，此方法雖然在編碼上有一 定的效率，但是也會產生不自然的方塊 效應(Blocking-effect)，在影像邊界處 會造成鋸齒狀的結果，尤其在壓縮率越 高時會越明顯，根據人類視覺系統發 現，影像的邊受到了損毀，則人眼所看 到的影像品質會大幅降低，所以為了解 決這問題，前置濾波器也就孕育而生， 目的即是為了解決邊緣因以方塊為準之 轉換量化（Block-Based Transform & Quantization）所造成之不連續現象， 同時保存原有物體邊緣之銳利度，濾波 器也是以小方塊為單位進行處理，在影 像邊界上的資料則另外處理，整個JPEG XR 有2 層前置濾波器，其用意在低壓縮 率時，影像本身的品質就不錯，可以選 擇不進行濾波器的處理，節省運算時 間，中等壓縮率時就採用一層濾波器， 高壓縮率則進行二層濾波器處理，犧牲 運算時間來獲取較好的影像品質，此 外，濾波器還可以增加壓縮率，根據模 擬結果，可增加壓縮率達 30%。

Photo Core Transform

PCT即是整體壓縮法的核心，有別於JPEG 的離散傅立業轉換(Discrete Cosine Transform, DCT)，而是採用類似JPEG 2000 的離散小波轉換(Discrete Wavelet Transform, DWT)架構，進行多 層的運算，過濾出高頻、中頻、低頻資 料，以利後續的處理，將 Macroblock 切 成 4x4 的Block 分別進行第一階段的轉 換，每個 block 都產生一個DC 值與15 個AC 值，當16 個block 都處理完成後， 在將 16 個Block 的DC 值分別擷取出來 做第二階段轉換，如圖 9.，藍色方塊即 代表DC 係數，再做一次PCT運算，最後 得到1 個DC 係數、15 個低頻係數與240 個高頻係數，為了進一步的增加PCT轉換 效能，所以全部的轉換演算法都採用整 數運算的方式處理，避免浮點數對硬體 帶來的困擾。 Quantization 根據人類視覺系統(Human visual system, HVS)研究發現眼睛在一個相對 大範圍區域，辨別亮度上細微差異是相 當的好，但是在一個高頻率亮度變動之 確切強度的分辨上，卻不是如此地好。 這個事實能在高頻率成份上極佳地降低 資訊的數量。簡單地把頻率領域上每個 成份，除以一個對於該成份的常數就可 完成，且接著捨位取最接近的整數。這

是整個過程中的主要失真運算。以這個 結果而言，經常會把很多更高頻率的成 份捨位成為接近 0，且剩下很多會變成 小的正或負數。JPEG XR 採用以分頻的 方式來處理量化過程，主要分成直流、 低頻與高頻段，每個頻段都除相同的數 即可完成，而非JPEG的量化方式，以減 少演算法複雜度。 16 16 DC Low pass High pass

First part Second part

(a)

Th

Todd _odd

Todd

Th

■2x2 hardnard transform for low pass band (Th)

■2x2 filter for low -high and high-low band(Todd)

■_{2x2 filter for hign -high band(Todd)}

(b)

Fig. 9. The 1st _{part and 2}nd _{part process of PCT.}

Current Macroblock wants to predict

H_weight = DC[top-left_MB] - DC[top_MB] V_weight = DC[top-left_MB] - DC[left_MB] if H_weight > (4 * V_weight)

then “predict from LEFT ” else if V_weight > (4 * H_weight ) then “predict from TOP ” else

“predict from LEFT and TOP ”

Fig. 10. DC prediction model.

Current AD block Left AD block Top AD block (a) 4 5 6 3 1 2 PSEUDO CODE:

Hozi_weight = abs(lowpass_Y(1)) + abs(lowpass_Y(2) + abs(lowpass_Y(3)) abs(lowpass_U(2)) + abs(lowpass_V(2));

Verti_weight = abs(lowpass_Y(4)) + abs(lowpass_Y(5) + abs(lowpass_Y(6)) abs(lowpass_U(5)) + abs(lowpass_V(5));

if (4 * Hozi_weight < Verti_weight) then “predict from LEFT ” else if (Hozi_weight < 4 * Verti_weight) then “predict from TOP ” else

then “NULL predict”

(b)

Fig. 11. (a) Prediction of AD low pass. (b) Prediction model and AC high pass.

Prediction

為了減少資料在前後間的關係，所以就 必須做個資料預測，類似JPEG的誤差脈 衝編碼調變(Differential Pulse Code

Modulation, DPCM)，JPEG XR不採用每 個係數間的運算，而是用Block 為單位 進行資料預測，被預測的資料則視本身 資料與周圍資料間的關係由特殊演算法 決定，以確保經過預測後的資料是最精 簡的，達到影像壓縮的目的。DC 值的預 測如下列演算法所示，依照目前處理的 Macroblock 所在位子，會有不同的預測 方式，例如Fig.9：Macroblock 的位子 在粉紅色的區域上，即是處理整張影像 的第一個Macroblock，無任何資料可以 預測，所以整個Macroblock 的資料將不 進行預測，當分別處理到藍色與綠色區 域的Macroblock 時，所能參考的資料只 有左方與上方的Macroblock，所以進行 特定方向的預測，黃色區域代表目前的 Macroblock 有左方與上方的資料，則由 演 算 法 來 決 定往 哪 邊進 行 預 測 。 Low pass 係數也稱為 AD係數，它的預測資 料方向是跟隨DC 係數的方向，Fig.6 說 明了只有往左或往上參考，每次進行運 算時，都只有三個係數會去進行運算， 這原因是PCT在轉換時就經過設計，認為 一個block 只需要三個係數進行運算即 可，以減少系統的運算量與複雜度，High pass 係數稱為AC 係數，圖是個例子用 來說明預測方式，空格代表示 Low pass 係數的所在位子，預測演算法跟 Low pass band 的方式一樣，每個block 都 只有三個係數會去計算，往左邊或上方 的 block 來參考進行預測，目的還是希 望能減少運算量與執行時間。

Adaptive Encode and Packetize

JPEG XR 的掃描採用適應性掃描的方 式，而非大家熟悉的固定掃描法。首先 由系統先給一系列的掃描順序(Scan order) 與權重 (Weight) 作為預設值， 進行掃描時，就記錄該係數是否非零， 是則在該係數的權重上累加，處理完一 個block就進行更新掃描順序的動作，將 掃描順序依照權重的大小重新排列，過 程完全動態調整，如Fig.12 所示，當掃 描順序為第二的係數發現是非零的次數 大於掃描順序為第一個係數時，就交換 彼此的順序，目的就是減少資料間的亂 度，使得非零係數能集中並先處理。

Fig. 12. Adaptive scan order updating example.

Run-Level Encode是JPEG XR 的特殊編 碼方式，概念類似JPEG的串長編碼(Run Length Encoding)，目的都是減少資料 間的累贅，JPEG XR 採用固定位元數的 編碼演算法，即根據不同頻段的係數給 予特定的位元數來編碼，例如經過預測 演算法後的高頻係數，大部分都集中在0 附近，就固定使用2 bit 來編碼，或者 低頻係數由於所包含的能量較大，就給 予4 bit 編碼。當然，每個低頻係數都 不一定能用 4 bit 來表示，係數大於 4 bit 能表示的範圍時就需要另外處理， Fig.13 可以說明這處理流程，當一個 block 進行適應性掃描將係數擷取出來 並且給予4 bit 來編碼，發現係數17 會 大於可編碼的空間，系統會將多餘的值 (紅色底線部份)標示為Level，而前面3 個係數都未超過4 bit 可表示的範圍， 所以把 Run 標示為 3，最後將可用4 bit 表示的部份(藍色底線)和係數查霍夫曼 表進行輸出即可完成RLE編碼。

19 17 7 18 4 6 2 5 6 -2 17 4 11 4 9 Current Blcok Index Symbol -3 15 -2 11 -1 7 0 0 1 5 2 9 Flexbits table Adaptive scan 7, 6, 9, 17, 4, 4, 18, 5... 10001(2) = 17(10) If coefficients ≥ 24

(One coefficient use four bits to represent)

Run Level 3 1 RLE results NO! YES! YES! NO! Flexbits Coefficient ≥ 24 2 1 3 1

Fig. 13. Adaptive scan and Run-Level encode example – AD, and AC.

System Architecture and Pipelining

JPEG XR 採用以Macroblock 為單位的處 理方式來進行編解碼，整體 JPEG XR 在 歸劃上的困難點在於熵編碼器的設計， 許多的適應性演算法來達成最佳化的壓 縮，也就是說適應性演算法會一直回報 目前狀況給系統，所以這部份在時序上 得控制會是最大的挑戰，在管線的切割 上，我們規劃為三級管線架構，Stage 1 包含色相轉換、前置濾波器，Photo core transform 與量化，經過 SRAM 將資料 傳給Stage 2 來進行資料預測的動作， 最後由Stage 3 收尾，做熵編碼與可變 長 度 編 碼 (Variable Length Cod-ing,VLC)，每個Stage裡還有細部的管線 架構，例如Stage 1 裡的前置濾波器與 PCT轉換，之所以切為三個Stage的原因 在於資料預測演算法與熵編碼都有自己 執行block 的順序，這順序必須由本身 Macroblock 的內容決定，所以在這中間 必須有管線暫存器(SRAM)來存放資料， 根據上面討論，以三階管線執行是最有 效率的方式。 PE Stage 1 PE Stage 2 SRAM SRAM Main controller (Finial State Machine )

Lena.bmp Lenn.wdp PE

Stage 3

SRAM

Fig. 14. Pipeline stage consideration of JPEG XR.

首先先分析內部Stage 1 內部元件的特 性，發現都是以Block 為單元進行處 理，一級傳給一級，這非常適合以管線 方式進行處理，而Stage 1 在硬體實做 上有一個特別的東西就是前置濾波器， 這會造成在處理Block 時的錯誤，原因 是前置濾波器與PCT所抓取的Block 資 料剛好不一樣，所以在中間必須建立暫 存器陣列來存放部份資料，加入資料重 複使用技術(Data reuse)，以便PCT能夠 順利抓取一個完整的Block 資料，FSM 的 規劃上就會多一個Pre-processing的狀 態，目的就是為了暫存器陣列。 Data Color conversion Register array Pre-filter Register array PCT Qunatization 32 SRAM 768 x 4 byte Off-Line Memory 32

Fig. 15. Data flow of JPEG XR stage 1.

JPEG XR 再硬體設計上有一個困難點就 是 前 置 濾 波 器 與 PCT 轉 換 所 處 理 的 Block並不是同一個，以前置濾波器所處 理的Block剛好落在PCT要處理的Block 的邊界上，如 Fig. 16 所示，虛線框框 代表前置濾波器要處理的Block，藍色區 域則代表PCT所要處理的Block，發現PCT 要處理一個Block 則必須由四個Block 來組成，這是相當麻煩的地方，如果處 理一個 Macroblock，就必須連同周圍的 Block一起處理，所以我們設計了一套資 料重複使用技術來解決重複處理的問

題，在前置濾波器與PCT中間加入暫存器 陣列來暫存前置濾波器處理後的資料， 我們比較加入資料重複技術在對外讀取 的頻寬上減少了33％的讀取次數。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Read data from off-chip memory Buffered Register array : 12 x 16 x 2 bytes = 384 bytes (a) (b)

Fig. 16. Data reuse of pre-filter and PCT function. Architecture design of JPEG XR

以 Fig. 17 管線執行方法來描述資料重 複技術，Stage 1 在每個Macroblock 只 需要處理24 個Block，剩餘的時間可以 使用clock gating來節省功率消耗，主 要原因式受限於後端VLC 的緣故。 Block 1 CC Pre-filter PCT Function Block 2 Block 3 Block 4 Block 5 Block 6 Block 2 Block 3 Block 4 Block 5 Block 6 Block 2 Block 3 Block 4 Block 5 Block 24 Block 23 Block 24 Block 23 Block DC Block 23 Time

Fig. 17. DC block insertion on the function block pipeline.

前置濾波器演算法即是一堆數學，經過 大 量 的 加 法 、 減 法 與 移 位 ， 由 多 個 sub-program 組成的轉換，運算量相當 大，如果為了節省面積與功率消耗，可 以將這單元捨棄，權衡方式如前幾節所 述。整體架構採用管線式設計，提升 Throughput 和Frequency，每個Block 可 以連續一值處理，並分為邊界處理與非 邊界處理單元，PCT的架構與Pre-filter 類似，不同的地方在於PCT必須將轉換後 的Block，把DC 值回存至DC register array，準備做第二階段的處理，過濾出 DC 與Low pass，以利量化器的進行，PCT 也是採用管線設計方式，可以大量的處 理資料，輸出由SRAM 負責儲存，演算法 由多個加法、減法、移位器組成。 Photo core transform DC band Low pass band High pass band DC register array

Register array Input

Output Quantization

Fig. 18. PCT, and Quantization.

Prediction 在 硬 體 實 現 上 是 最 簡 單 的，只需要控制好FSM 讀取適當的係數 進行減法運算，SRAM 1 與 SRAM 2 即為 管線暫存器，容量為 768 Bytes 的原因 是必須存放1 個 Macroblock 的所有係 數，比較特別的地方就是SRAM 3 的存 在，DC 係數要決定從哪個方向進行預測 時 ， 必 須 由 左 上 方 、 上 方 與 左 方 的 Macroblock 的DC 係數來決定，所以SRAM 3 的 功 用 即 為 存 放 上 方 那 列 所 有 Macroblock 的DC 值與部份AD值。 SRAM 768x4 bytes R eg SRAM 768x4 bytes SRAM 1440x4 bytes R eg AD/AC block 0 1 Top AD block

Fig. 19. Prediction architecture.

經 過 之 前 演 算 法 的 的 討 論 ， 可 得 知 Entropy Coding 部份是JPEG XR 最複雜 的地方，我們整理成硬體方塊圖，由多

個Sub-circuit 組成，綠色元件為一般 的 處 理 單 元 (Processing Element, PE)，粉紅色即為 Feedback circuit， 專 門 用 來 適 應 目 前 bitstream 的 狀 態，達最佳的編碼狀態，資料路徑分為 二條，一條專門處理DC 值的編碼，由DC coder 負責，另一條處理Low pass 和 High pass 的係數，經過適應性掃描後， 將資料以串列方式供Run-Level Encode 的進行，將資料整理後，由Code Block Patten(CBP)記錄目前Macroblock 的情 形，最後進行適應性霍夫曼編碼。 Adaptive scan RLE coder FlexBit encode Adaptive scan order Update Model Bit Adaptive Huffman Encode Index encode Level encode Run encode Codeword concentrate Pre-VLC VLC Code Block Pattern

Input Output

Fig. 20. Adaptive encode architecture.

IImplementation

表 I 為 使 用 Altera FPGA 合 成 prototype 之結果.

TABLE I

IMPLEMENTATION RESULTS OF FPGA PROTOTYPE SYSTEM Function

Blocks

Adaptive Look-Up Ta-bles (ALUTs) Critical Path (ns) Color conver-sion 484 51.01 for 4 coefficients Pre-filter 4080 86.9 for 16 coefficients PCT and quantization 5191 122.79 for 16 coefficients Prediction 1952 10.2 for 1 coefficients Adaptive encode 6262 18.215 for 1 coefficients Packetizer 380 7.4 for 1 coefficients On-chip SRAM 1440x4 Bytes (x1) 768x4 Bytes (x2) Processing Capability

44.2 Mega pixels within one second 7.11 fps for 4:4:4 HDTV(1920x1080) 42.66 fps for 4:4:4 VGA(720x480) 145.43 fps for 4:4:4 CIF(352x288) 表 II 為各區塊之 power consumption 資料。 TABLE II.

POWER CONSUMPTION OF EACH MODULES IN PROPOSED DESIGN

Function Blocks Power (mW)

Color conversion 8 Pre-filter 37 PCT/Quantization 47 Prediction 13 Adaptive Encode 78 TABLE III.

JPEG XR ENCODER CHIP SPEC CKT name : JPEG XR Encoder

Technology : TSMC 0.18um 1P6M CMOS Max. Frequency : 62.5 MHz Gate Count : 651.3K Chip Size : 20.47 mm2 表 III 為 目 前 規 格 , 底 下 為 chip layout。

表 IV 為與目前 JPEG2000 chip 之比 較。

TABLE IV. HARDWARE COMPARISONS

Liu Hayashi Proposed Tech-nology DONGBU 0.18 2P5M Hitachi 0.18 2P5M TSMC 0.18 1P6M Area 20mm2 34.81mm2 20.47mm2 Fre-quency 100M Hz 55M Hz 62.5M Hz 更重要的是，本設計已成功運用於 醫學影像無失真壓縮之處理，並與多家 醫院臨床使用中。同時並將研究中之影 像處理演算法，使用於微循環影像強化 與處理，底下為相關影像與結果:

Fig. 22. Nailfold Microcirculation.

圖 22 微正常人之為循環血管影像， 結合 Laplacian of Gaussian 之方法，可 快速將血管邊界切割出來。Laplacian L(x,y) 函式與影像強度之關係如下: 2 2 2 2 ) , ( y I x I y x L ∂ ∂ + ∂ ∂ = (2) 上式可由圖 23 中之濾波器逼近其結 果: 0 1 0 1 4 1 0 1 0 − − − − 1 1 1 1 8 1 1 1 1 − − − − − − − −

Fig. 23. Two Discrete Approximations to the Laplacian Filter 將所得結果平滑處理，可使用底下之 式子 (3): 2 2 2 2 2 2 2 4 2 1 1 ) , ( σ σ πσ y x e y x y x LoG + −       ₊ − − = (3) 底下為不同生理情況之影像比較，圖 24 為健康人之微循環影像:

Fig. 24. Healthy Subject.

圖 25 為氣喘患者之微循環影像:

Fig. 25. Asthma.

圖 26 與圖 27 為癌症患者化療前 後之比較:

Fig 27. Cancer with Chemotherapy. 從 6 年前開始，與皮膚科醫師合 作，利用現代醫學監測皮膚的知識與 中國醫學望診的觀念，結合影像處理 與大量資料分析的技術，進行人體臉 部生物特徵的資訊擷取並做為診斷 的依據。 藉由量測得知皮膚與微循環的 關聯性，藉此來檢測受測者的膚質狀 況，並把抽象的膚質狀況數值化，再 利用影像處理以及演算法建立出外 觀與微循環狀況的相關性，以利於治 療與成效的評估。研究團隊正將系統 晶片微型化，方便攜帶使用，也就是 說，未來可以像痘痘貼一樣方便，結 合手機等消費型產品，愛美的女性試 用化妝品後，就可以知道有沒有效 果。 實驗室正在整理各種膚質對應 的保養品資訊，充實資料庫，讓未來 的使用者，使用晶片就知道自己適合 何種保養品，免得買錯保養品白花 錢。 從中醫理論來看，以特定波長 光源做低能量照射，透過美容晶片， 藉此來調動身體養分資源到臉部以 滋潤皮膚，讓皮膚變好，能用非侵入 與無痛的方式達到美容效果。 四四四四、、、、計畫成果自評計畫成果自評計畫成果自評計畫成果自評 在 2009 年度的計畫之中，我們已 將 JPEG XR Encoder Chip 實現出來， 目前是全世界學術界第 1 顆 JPEG XR

Encoder Chip，此項作品在 2008 年度

已 獲 國 際 重 量 級 的 會 議 International

Conference on Image Processing, ICIP

接受，並已於國際期刊 IEEE

Transac-tion 之 中 發 表 成 果 ， 同 時 榮 獲 2008, 2009 之旺宏金矽獎，除此之外，並受邀

發表於 2010 VLSI 專書(In-Tech

pub-lishing Inc.)。在年度計畫之中，已逐漸 往更核心之部分進行探討與實現，利用 已完成之 FPGA prototype 進一步與液 態鏡頭前端各單元進行整合，並強化影 像品質處理演算法。 2011 將影像分析 技術進一步結合循環動力學與光動力療 法，其循環動力光膚質系統晶片創新並 獲得 2011 國家中央通訊社台灣焦點之 報導。 Fig. 28. 循環動力光膚質系統晶片. (2011 CNA 國家中央通訊社台灣焦點) 參考文獻 參考文獻參考文獻 參考文獻

[1] Chia-Ho Pan, Ching-Yen Chien, Wei-Min Chao, Sheng-Chieh Huang, Liang-Gee Chen, “Architecture design of full HD JPEG XR encoder for digital photography applications,” IEEE Transactions on Consumer Electronics, Vol. 54, No. 3, pp. 963-971, Aug. 2008. (SCI & EI).

[2] Chia-Ho Pan, I-Hsien Lee. Sheng-Chieh Huang, Chung-Jr Lian and Liang-Gee Chen, “A

Quality-of-Experience Video Adaptor for Serving Scalable Video Applications,” IEEE Transactions On Consumer Electronics, Vol. 53, No. 3, pp. 1130-1137, Aug. 2007 (SCI & EI).

[3] S. F. Lin, S.C. Huang, F. S. Yang, C.W. Ku, and L.G. Chen, “Power-efficient FIR Filter Architecture Design for Wireless Embedded System,” IEEE Transactions on Circuits and Systems, Part II, Vol. 51, No. 1, pp 21-25, Jan. 2004 (SCI & EI).

[4] Sheng-Chieh Huang, Hui-Min Wang, I-Cheng Chen,Chia-Ho Pan, Tzu-Der Chuang, Ching-Yen Chien, Lei-Chun Chou, You-Liang Lai, Ming-Yie Jan, Shih-Chun Chao, Chih-Hsun Yang, Su-Chin Shen, Mark C. Hou and Liang-Gee Chen, “A 62.5 MHz JPEG XR Lossless Image Encoder Chip Design for Bio-medical Applications,“ International Journal of Electrical Engineering (revised).

[5] " Pipelined Arithmetic Encoder Design for Lossless JPEG XR Encoder, " The 13th IEEE International Symposium on Consumer Electronics (ISCE 2009)

[6] Ching-Yen Chien, Sheng-Chieh Huang, I-Cheng Chen, Lei-Chun Chou, Hui-Min Wang, You-Liang Lai, Ming-Yie Jan, Shih-Chun Chao, Chih-Hsun Yang, Su-Chin Shen, Tzu-Der Chuang, Chia-Ho Pan and Liang-Gee Chen, “A 62.5 MHz JPEG XR Lossless Image Encoder Chip Design for Biomedical Applications,” International Symposium on Biomedical Engineering (ISOBME2008), 2008.

[7] Ching-Yen Chien, Sheng-Chieh Huang, I-Cheng Chen, You-Liang Lai, Shih-Hsiang Lin, Yu-Chieh Huang, Lei-Chun Chou, Hui-Min Wang, Zhe-Ming Zhuang, Ming-Yie Jan, Shih-Chun Chao, Chih-Hsun Yang, Su-Chin Shen, Tzu-Der Chuang, Chia-Ho Pan and Liang-Gee Chen, “JPEG XR Encoder Chip

Design for Biomedical Lossless Image,” 19th VLSI Design/CAD Symposium, 2008.

[8] Lei-Chun Chou, Yu-Chieh Huang, Shih-Hsiang Lin, Ching-Yen Chien, Yi-Cheng Chen, Sheng-Chieh Huang, “A Predictive Displacement Approach for Block Motion Estimation,” The 3rd International Ph.D. Student Workshop on SOC, 2008.

[9] Ching-Yen Chien, Sheng-Chieh Huang, Shih-Hsiang Lin, Yu-Chieh Huang, Yi-Cheng Chen, Lei-Chun Chou, Tzu-Der Chuang, Yu-Wei Chang, Chia-Ho Pan, Liang-Gee Chen, “A 100 MHz 1920×1080 HD-Photo 20 frames/sec JPEG XR encoder design,” 15th IEEE International Conference on Image Processing (ICIP 2008), pp. 1384 – 1387, Oct. 2008.

[10] Ching-Yen Chien, Sheng-Chieh Huang, Shih-Hsiang Lin, Yu-Chieh Huang, I-Cheng Chen, Lei-Chun Chou, Ming-Yie Jan, Shih-Chun Chao, Chih-Hsun Yang and Su-Chin Shen, “JPEG XR Encoder Design for Biomedical Lossless Image,” 2008 Conference on Engineering Technology and Applications on Chinese and Western Medicine, 2008.

[11] 邱俊誠, 賴有粱, 王惠民, 周雷峻, 陳奕澄, 侯俊成, 黃聖傑, “ 生醫晶片及系統簡介 “,

2009 電子資訊第 15 卷, 第 1 期, 2009 年 6 月.

[12] Sheng-Chieh Huang, “VLSI,” 2010, In-Tech publishing Inc.

行政院國家科學委員會補助專題研究計畫

行政院國家科學委員會補助專題研究計畫

行政院國家科學委員會補助專題研究計畫

行政院國家科學委員會補助專題研究計畫

□

□ 成 果 報 告

□

□

成 果 報 告

成 果 報 告

成 果 報 告

(V)期中進度報告

期中進度報告

期中進度報告

期中進度報告

創新異質整合智慧型手機相機模組之研究-子計畫三：

成像品質之數位影像演算法開發

計畫類別：□個別型計畫 (V)整合型計畫

計畫編號：

NSC99-2220-E-009-004

執行期間： 2010 年 8 月 1 日至 2011 年 7 月 31 日

執行機構及系所：

國立交通大學電機與控制工程研究所

計畫主持人：黃聖傑

共同主持人：

計畫參與人員：

成果報告類型(依經費核定清單規定繳交)：(V)精簡報告 □完整報告

本計畫除繳交成果報告外，另須繳交以下出國心得報告：

□赴國外出差或研習心得報告

□赴大陸地區出差或研習心得報告

(V)出席國際學術會議心得報告

□國際合作研究計畫國外研究報告

處理方式：

除列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

中 華 民 國 2010 年 12 月 20 日

國科會

國科會

國科會

國科會補

補

補

補助

助

助專題研究計畫成果報告自評表

助

專題研究計畫成果報告自評表

專題研究計畫成果報告自評表

專題研究計畫成果報告自評表

請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）、是否適

合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。

1.

請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估

(V)

達成目標

□ 未達成目標（請說明，以

100

字為限）

□ 實驗失敗

□ 因故實驗中斷

□ 其他原因

說明：

2.

研究成果在學術期刊發表或申請專利等情形：

論文：(V)已發表 □未發表之文稿 □撰寫中 □無

專利：□已獲得 □申請中 □無

技轉：□已技轉 □洽談中 □無

其他：（以

100

字為限）

3.

請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以

500

字為限）

本研究環繞於心電圖訊號處理以及進行實驗的刺激和反應結果。在進行

心理生理的刺激之前必須要進行多久時間的休息，這一直是很大的議題，本

研究針對體循環系統(circulatory system)以及自律神經系統(autonomic

nervous system)進行實驗設計以及分析，相關論文已經獲得 ISCAS2011、

EMS2010、ICS2010 等國際重量級會議錄取，在未來將會針對本研究的成果對

於音樂刺激對生理反應影響進行更進一步的分析和探討。

國科會補助

國科會補助

國科會補助

國科會補助專題研究計畫項下出席

專題研究計畫項下出席

專題研究計畫項下出席

專題研究計畫項下出席國際學術會議心得報告

國際學術會議心得報告

國際學術會議心得報告

國際學術會議心得報告

日期：2010 年 12 月 20 日

計畫編號

NSC99-2220-E-009-004

計畫名稱

創新異質整合智慧型手機相機模組之研究-子計畫三：成像品質之數位

影像演算法開發

出國人員

姓名

李曜宸

服務

機構

及職

稱

國立交通大學電機與控制工程系

研究助理

會議時間

2010 年 11 月 15 日至

2010 年 11 月 20 日

會議

地點

義大利比薩

會議名稱

(中文)國際歐洲模型建立研討會

(英文)European Modelling Symposium 2010

發表論文

題目

(中文)年輕成年男子的心電圖和自律神經反應的相關性探討

(英文)Heart Rate Variability and Autonomic Responses in Young

Adult Males

國立交通大學出國報告書 2010 年 12 月 20 日 職稱 學生 報告人姓名 李曜宸 申請單位 電機與控制工程學系 電話 54377 出國類別 □考察訪問 □進修 □研究 ■國際會議 □其他： 會議/出國計畫 名稱 EMS2010 出國期間 自 2010 年 11 月 15 日至 2010 年 11 月 20 日 出國地點 義大利比薩 出國目的 參加會議及發表報告 1 篇論文 補助金額 nt$60000 經費來源（校內會計編號） 前 言 ： 此 次 主 要 是 參 加 EMS2010 發 表 關 於 生 醫 晶 片 設 計 領 域 之 1 篇 論 文 。 參 訪 時 間 從 2010/11/15-2010/11/20。 一、 參加經過 1-1. 2010 年 11 月 15-16 日 11/15 日凌晨搭國泰班機(CX531)從桃園國際機場出發，前往香港，在透過瑞士航空(LX139)前往蘇黎 世，蘇黎世轉往佛羅倫斯(LX1678)。前往下榻旅館。稍事休息後，計畫前往會議場地領取報名相關資 料及場次準備事宜。 1-2. 2010 年 11 月 17 日 本日於會場發表 HRV 訊號處理以及實驗數據分析，由於這是相當重要的議題，並且我們利用特殊的 方式分析討論，這篇論文獲得相當大的迴響，前來討論的教授不少，以及本會議主席David Al-Dabass(英 國Nottingham Trent 大學)，相當獲得他的賞識以及鼓勵。

1-3. 2010 年 11 月 18 日 本日議會主題在於電腦通訊工程，有相當深入利用 P2P 技術和影像應用的發表，討論手機無線通訊的 Cross-over 技術，在座的評審和大家有良好互動。 1-4. 2010 年 11 月 19 日 這天有人發表了和基因演算相關的論文，我對其中一位馬來西亞來的學生提出了一些問題，並且協助 其改進演算法減少他程式的空間、時間複雜度，提升效率和晶片面積，互動良好 二、 會議心得 此次會議生醫相關議題相當多人參加，來自世界各國的教授和學生也都有各種不同領域的專才，涵蓋 許多不同國家學者, 以心血管循環系統晶片 Heart Rate Variability (HRV) 晶片設計而言，前來討論之學 者有美國華裔大學教授以及愛爾蘭工業大學、比薩大學教授，並有多位先進前來討論相關演算法之設 計改進。這是關於心電圖以及休息和刺激的重要論文，本研究和英國Glasgow大學、日本東京大學學者 的研究有相關，主席邀請我們前往馬來西亞做進一步地發表，能夠和這麼多有研究相關的人共鳴實是 很棒的經驗。

四、建議 這次前往義大利比薩和佛羅倫斯，對義大利的文化和背景大有改觀，雖然社會福利和政策方向使得義 大利的公務系統相當沒效率，但是在義大利進行研究的學生和教授卻相當有衝勁，顯得相當有對比。 反觀台灣近幾年的發展，和學術研究，感到相當欣慰，台灣應該更努力和國際接軌，並且在國際舞台 上努力表現，台灣是相當具有淺力的，相信大家的努力，必定能使台灣更上一層樓，使得學術、產業 並進，再創國際巔峰。

五、攜回資料名稱及內容

IEEE EMS2010 會議光碟、內容為會議論文集

六、其他

國科會補助計畫衍生研發成果推廣資料表

日期:2011/10/30

國科會補助計畫

計畫名稱: 子計畫三：成像品質之數位影像演算法開發(3/3) 計畫主持人: 黃聖傑 計畫編號: 99-2220-E-009-004- 學門領域: 晶片科技計畫--整合型學術研究 計畫

無研發成果推廣資料

99 年度專題研究計畫研究成果彙整表

計畫主持人：黃聖傑 計畫編號： 99-2220-E-009-004-計畫名稱：創新異質整合智慧型手機相機模組之研究--子計畫三：成像品質之數位影像演算法開發 (3/3) 量化 成果項目 實際已達成 數（被接受 或已發表） 預期總達成 數(含實際已 達成數) 本計畫實 際貢獻百 分比 單位 備 註 （ 質 化 說 明：如 數 個 計 畫 共 同 成 果、成 果 列 為 該 期 刊 之 封 面 故 事 ... 等） 期刊論文 1 1 100% 研究報告/技術報告 0 0 100% 研討會論文 20 20 100% 篇 論文著作 專書 0 0 100% 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 1 1 100% 博士後研究員 0 0 100% 國內 參與計畫人力 （本國籍） 專任助理 0 0 100% 人次 期刊論文 3 3 100% 研究報告/技術報告 0 0 100% 研討會論文 47 47 100% 篇 論文著作 專書 1 1 100% 章/本 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 0 0 100% 博士後研究員 0 0 100% 國外 參與計畫人力 （外國籍） 專任助理 0 0 100% 人次

其他成果

(

無法以量化表達之成 果如辦理學術活動、獲 得獎項、重要國際合 作、研究成果國際影響 力及其他協助產業技 術發展之具體效益事 項等，請以文字敘述填 列。) 計畫主持人黃聖傑教授 2000~2004 年於揚智科技公司多媒體影音事業處任職， 從事多媒體通

訊相關晶片研發，主要成果包括(1) DVD Recordable SOC；(2) DVB/STB MPEG 晶片；(3) DVD

Player 4 合 1 SOC；(4) FVD/ HDDVD 標準制定；(5) DVD Player 3 合 1 SOC； (6) MPEG + Servo 晶片。 自 2005 年起至交大電機任教，研究領域主要為感官多媒體通訊以及生醫/中醫 系統晶片設 計。2007 年帶領其研究團隊參與『龍騰微笑競賽』榮獲佳作，其作品’蠱惑人 心’主要為 利用 HRV 和音樂之間的關連性，設計出能夠由音樂調控人體機能的非接觸式系 統，藉由該系 統可以利用音樂就達到改善身體機能的目的。而這項核心想法也在國家新創獎 中獲得評審的 高度肯定，並於國家生技產業策進會 IP MALL 授權推廣，同時在 2007 醫學工 程年會中予以 發表。同時亦於 2008 年參與竹北生醫園區初期之台聯大系統規畫。除此之外， 亦於 2008 代表國立交通大學電機學院與國際處前往德國各大學拜訪並演講，介紹系上與 電機學院相關 生醫電子研究，進一步拓展國際合作。 同時亦於 2008 開發出全世界第一顆 JPEG XR chip。 2009 於澳洲生醫電子會議發表全世界第一顆美容晶片平台，並初步與 Being Spa 進行上下 游合作串接，藉以開發中醫/生醫晶片創新產品與產業之可能性。 由於生醫電子晶片常需要長時間使用，因此嘗試以心跳方式進行脈波發電的可 能性，目前已

有多顆晶片之初步成果，正嘗試整合現有之 Heart Rate Variability (HRV) chip 進行系統測 試。(2010) 成果項目 量化 名稱或內容性質簡述 測驗工具(含質性與量性) 0 課程/模組 0 電腦及網路系統或工具 0 教材 0 舉辦之活動/競賽 0 研討會/工作坊 0 電子報、網站 0 科 教 處 計 畫 加 填 項 目 計畫成果推廣之參與（閱聽）人數 0

國科會補助專題研究計畫成果報告自評表

請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）

、是否適

合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。

1. 請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估

■達成目標

□未達成目標（請說明，以 100 字為限）

□實驗失敗

□因故實驗中斷

□其他原因

說明：

2. 研究成果在學術期刊發表或申請專利等情形：

論文：■已發表 □未發表之文稿 □撰寫中 □無

專利：□已獲得 □申請中 ■無

技轉：□已技轉 ■洽談中 □無

其他：（以 100 字為限）

3. 請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以

500 字為限）

1. 主要創新技術: 全世界第一顆 JPEG XR Chip

在 2009 年度的計畫之中，我們已將 JPEG XR Encoder Chip 實現出來，目前是全世界學 術界第 1 顆 JPEG XR Encoder Chip，此項作品在 2008 年度已獲國際重量級的會議 International Conference on Image Processing, ICIP 接受，並已於國際期刊 IEEE Transaction 之中發表成果，同時榮獲 2008, 2009 之旺宏金矽獎，除此之外，並受邀發 表於 2010 VLSI 專書(In-Tech publishing Inc.)。

2. 主要創新技術: 可見光影像醫學分析診斷 目前使用可見光影像量測分析，可直接取得呼吸，心跳，收縮壓/舒張壓，心跳變異率 (HRV)，交感/副交感神經(LF/HF)，並可推導婦科排卵期與月經週期，並可用於測謊儀器 分析。除此之外，可偵側是否超過 12 點睡覺，是良好疲倦指標。 3. 主要創新技術: 循環動力光膚質系統晶片設計 從 6 年前開始，與皮膚科醫師合作，利用現代醫學監測皮膚的知識與中國醫學望診的觀 念，結合影像處理與大量資料分析的技術，進行人體臉部生物特徵的資訊擷取並做為藉由 量測得知皮膚與微循環的關聯性，藉此來檢測受測者的膚質狀況，並把抽象的膚質狀況數 值化，再利用影像處理以及演算法建立出外觀與微循環狀況的相關性，以利於治療與成效 的評估。 研究團隊正將系統晶片微型化，方便攜帶使用，也就是說，未來可以像痘痘貼一樣方便，

實驗室正在整理各種膚質對應的保養品資訊，充實資料庫，讓未來的使用者，使用晶片 就知道自己適合何種保養品，免得買錯保養品白花錢。

從中醫理論來看，以特定波長光源做低能量照射，透過美容晶片，藉此來調動身體養分 資源到臉部以滋潤皮膚，讓皮膚變好，能用非侵入與無痛的方式達到美容效果。