行政院國家科學委員會補助專題研究計畫
超影像品質顯示技術
（ Ultra Image Quality Display Technology ）
計畫類別：■ 個別型計畫 □ 整合型計畫 計畫編號：NSC 98-2218-E-011 -003 -MY2
執行期間：98 年 08 月 01 日至 100 年 07 月 31 日
計畫主持人：羅明 計畫參與人員：陳詩涵
成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列 管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立台灣科技大學工程技術研究所
中 華 民 國 九十九 年 五 月 二十八 日
□ 成果報告
■ 期中進度報告
摘要
影像品質評價為一繁冗之流程，每一新設計之影像設備均得經過此流程來評價等 級。傳統上由資深技術人員及諸多之觀測者來進行主觀目測評價，本計畫目的希望能 以色彩科學及影像科學為基礎，發展一套自動化影像品質評價之程序。
本計畫目標是發展超畫質顯示技術。它的核心是發展一新式影像品質評價流程，
其中包括四要素：智慧顯示器校正方式、心理物理實驗、顯示器品質評價系統及影像 品質優化系統。
在本計畫第一階段，已發展出應用於顯示器影像品質評價之混合調色盤，用於評 價膚色喜好色。此特徵調色盤包含影像從屬調色盤與設備從屬調色盤，其中影像從屬 調色盤目前使用膚色喜好色來製作，膚色的取出步驟是先將標準測試影像轉至L*/s*/n* (亮度/ 膚色/ 非膚色) 對立色空間，再利用影像侵蝕法與使用濾波器將膚色做平均處 理，最後從中選取色塊。最終在結合顯示器常用測量用之色塊，也就是設備從屬調色 盤一起排列於標準測試影像外圍，完成混合調色盤。
本計畫最後有兩個使用此發展之調色盤的使用範例，分別為視覺評價應用與色彩 與亮度量測應用。
關鍵詞：影像品質、喜好色、色彩調色盤
Abstract
Image quality assessment is a tedious process and is required for each individual imaging product. It involves experienced technologists and trained assessors to conduct subjective visual assessments. The project is intended to replace the process by an automated method based on color and imaging science.
The aim of the present research project is to develop technologies to achieve ultra image quality for displays. An image quality assessment cycle is proposed including 4 major components: to gather physical parameters from a smart display characterization method, to accumulate data from psychophysical experiments for assessing image quality, to model image quality and to develop an image quality enhancement system.
In the first year of this project, a hybrid color palette for assessing display image quality was developed. The palette comprises colours important to characterize a display and test colours to test the performance of the characterization model developed. In addition, facial skin colors are included in the image as the preferred colors for the evaluation of skin color preference. A facial image is converted into L*/s*/n* (lightness/ skin/ non-skin) individual color channels through the device independent CIE LAB color space. After the technologies of face-area erosion and re-sampling are applied to the facial image, a series of palette colors are produced. Based on the principles of panel-dependent color and image-dependent color, a hybrid color palette surrounding the test image is generated.
Two examples of applying to visual assessment and color / luminance measurement are also given to illustrate the effective tool developed at the present of the project.
Keywords: image quality, preferred color, color palette
壹、研究背景
台灣之顯示器工業在世界上佔有執牛耳的地位。此時正值全球經濟風暴之衝擊，
在一片工商業不景氣之風浪中，顯示器工業無可避免的正面臨重大挑戰。國內廠商絕 大多數以顯示器面板生產為其主力，大多僅要求面板之品質劃一，較不注重最終產品 之影像品質（Image Quality，IQ），目前僅有少數電視或系統生產廠商注意到影像品質 的重要性，但在此技術方面著墨甚為有限。在IQ 上自然無法與國際著名廠商如 Sony、
Samsung 等品牌競爭。但是換個角度而言，在此風聲鶴唳時亦正是重新調整步伐之時 機，正所謂「危機即轉機」。應藉此時進行生產製程之改進及新產品技術之研發。此 計畫之目的是提升台灣影像品質產業技術，提高顯示科技產品的附加價值。
貳、研究目的
此計畫之研究目的是發展一套智慧型之影像品質系統，包括有以下四個部分：建 立標準測試影像資料庫、建立標準影像顯示導表、顯示器影像品質評價系統及影像品 質優化系統。標準測試影像資料庫將包含一般採用之影像素材如：室外景物、室內題 材及不同人種之膚色。標準影像顯示導表應包含所有顯示器校正之色塊，此二者能有 效率將所有顯示器色彩特性一次測量取得。後二者是用影像品質評價系統來判斷顯示 器之影像品質是否達到要求水準，若無法達成則評價系統將報告哪些影像品質指數如 對比度（contrast）、銳利度(sharpness)、自然度(naturalness)指數未達要求，進而使用 影像品質優化系統來修正影像以達到要求之影像品質。研究成果之一的影像品質評價 系統也能依影像畫質之精確（accuracy）或喜好（preference）複製導向(reproduction Intent) 而做適度調整。
影像品質雖是一種抽象的觀念，但是為目前非常熱門之影像技術課題，在工業使 用上具有舉足輕重的地位，各公司均大力進行研發。另外，世界標準單位如國際照明 委員會（CIE）及國際電氣委員會（IEC）等均成立相關技術委員會，目標是希望能將 主觀意識之人為判斷，改用以色彩科學為基礎之影像統計模式來決定。
參、文獻探討 一、影像品質評價
2000 年提出影像品質流程（圖 1）概念廣為影像設備業界所採用，它利用三種模 式來連結四種數據資料：客戶影像品質等級（customer image quality rating）、客戶影 像品質心理參數（customer perceptions-the “nesses”）、物理影像參數（physical image parameter）以及技術控制變數（technical variables）。三種模式為影像品質模式來連 結客戶影像品質等級及客戶影像品質心理參數。視覺模式（visual model）來結合客戶 影像品質心理參數與物理影像參數。最後系統影像模式（system/ image model）用來 連結物理影像參數以及技術控制變數。要提高影像品質的等級，就必需優化影像系 統。但準確的影像品質評價，有賴於精確的視覺演算法以及有效的影像品質模式[1]。
圖1 影像品質流程
在一般文獻中影響影像品質之研究可分為二類：(1)兩個影像間之差異及(2)單一影 像之品質評價。前者考慮製品與「原始圖像」間之品質差異，後者考慮單一圖像與記 憶中「理想圖像」作比較。所要考慮的重點有人眼的色彩解析度特性(明度具帶通特性，
色相彩度具低通特性) [2]、對記憶色彩[3]、大色塊、大色差[4]、明度差異的感受性較 強，以及對影像認知[5]、影像細節[6]與對比[7]的感知特性等問題。
二、標準影像的定義
一般平面顯示器的色彩測量是將事先定義好之測試色塊組(color patch sets)作為 客觀的色彩評價方式。但仍以人眼視覺直接觀察評價真實影像的外貌是最為直接有效 的方法，顯示器再現影像外貌的效果會直接受到影像內容之主觀影響，為了盡可能接 近客觀且公正評價顯示器的色彩品質效能，需要定義一套適當的標準影像。ISO TC130 提出應用在成像設備的數位標準影像內容，如CMYK/SCID 影像主要是用來評價傳統 印刷機或彩色印表機所列印的圖像色彩[8]，XYZ/SCID 影像為在 sRGB 色域範圍內所 定義出的標準影像，適合應用於螢幕至列印的影像品質評價。
三、特徵調色盤
顯示器特性化描述在整體的跨媒體色彩管理系統(color management system)中扮 演關鍵性的角色，本計畫將採用特徵調色盤的概念來進行顯示器的特性化描述分析，
製作出能同時可以進行平面顯示器畫質主觀評價與客觀評價用途之特徵影像圖庫。直 至目前，調色盤的概念在不少領域都可發現其應用[9]；在網路世界中，它可以是網頁 安全色，用來表示瀏覽器選定的最低限度必要色彩，用以免除使用者端的電腦環境因 為有所限制而無法表達網頁設計的色彩表達問。在影像處理的領域中，它常應用於影 像分割的演算機制中，用以進行影像內容的自動分割[10];它也可以應用於利用較少的 顏色資料進行影像資料庫中目標影像之比對與找尋[11]；或是指應用於針對影像內容 進行自動命名表示的演算機制[12]。在列印技術之半色調方式中，它可以代表誤差擴 散法所使用之最佳化調色盤[13]。在色彩管理的領域，ICC描述檔的產生也可以視為一 種數位調色盤的應用, 使用目的是用來交換設備從屬色彩空間(device-dependent color space)與設備獨立色彩空間(device-independent color space)之間的色彩資料對照表 (color look-up table) [14]。
肆、研究方法與結果
因目前之影像評價流程需針對每一特別顯示產品均進行品質評價。本計畫目標是
建立簡易之自動化評價系統(如圖 2)簡化目前之繁冗程序。
圖2 提議之影像品質評價流程
在上圖中本系統第一步是顯示器校正(display correction)，須由本計畫分項一所建 立之標準品質測試影像及標準影像品質導表。如此可進行顯示器校正，取得顯示器特 徵資料。接下來決定採用哪種評價方式：二影像間之色差計算或是單影像品質預估。
如事前者則進行影像色差計算，若是後者則進行由影像評價模式做單一影像品質評 定。若兩者均無法通過已設定之影像品質允收界限值，則進行影像品質優化系統修正 原稿，使其達到較高品質之要求。
因此，本計畫之智慧型顯示器校正系統將利用特徵調色盤的概念來進行顯示器的 特性化描述與分析。希望能夠依據平面顯示器或彩色影像內容自動或人為指定意圖產 生構成該顯示影像基本顏色之特徵調色盤，此特徵調色盤不但可以作為顯示器畫質之 主觀評價(人眼觀測)與客觀評價(儀器測量與軟體分析)之用途。其實施步驟描述如下：
一、喜好色特徵資料蒐集
本實驗進行之方法為要求受測者使用本研究自行設計之色彩調整使用者操作介 面(如圖3)，將由標準影像產生之測試影像調整至自己喜好之色彩呈現。調整過程中左 邊影像保持不變，右邊則會根據受測者的調整呈現影像之改變。操作介面下方中間部 分為選擇調整方法及色頻道之區域，調整方法透過“method”項目下拉式選單進行選 擇 ， 裡 面 共 有3 種 模 式 可 選 擇 ， 分 別 為 “Histogram” 、 “Curve-1point” 及
“Curve-2points”，色頻道則分為代表L*、a*、b*頻道，分別代表LAB色空間下的明度 (L*, lightness) 頻道、紅-綠色頻道(a*)及黃-藍色頻道(b*)。
圖3 色彩調整使用者操作介面
測試影像則是使用Adobe Photoshop軟體手動調整曝光偏移(2張)、色度偏移(6張) 及飽和度偏移(2張)等影響色外貌呈現之因素，分別各自產生10種不同版本之非標準影 像(共40張)。本次實驗共請8位受測者進行喜好色調整，經過調整的40張影像的臉頰區 域將作為實驗結果分析的數據。分析方法為找出西方女性(白種人)及東方女性(黃種人) 膚色分布的95%信賴橢圓。
由實驗統計結果可知，受測者所調整出來的影像平均明度都比標準影像來的高，
其平均明度經過受測者調整過後在分布在50 到 80 之間，這個明度區間可以視為一般 人對於膚色亮度喜好的範圍。彩度幾乎都是降低的，但是彩度的變化範圍則相對的 大，這裡的結果可以大概推論出彩度值15 到 25 的區間是受測者所接受膚色喜好的範
圍。在色相方面，發現西方女性的喜好膚色調整結果都是偏紅，另外，測試東方女性 的喜好膚色調整結果都是偏黃，但是喜好的色相範圍則與東方人或西方人沒有直接關 係，色相角範圍大概為40°到 55°之間。
二、膚色特徵導表製作 (一) LSN 對立色色空間
基於 CIE-LAB 的各個色頻間相互獨立的優點，本研究提出一個類似的對立色色 空間LSN(明度/膚色/非膚色，lightness/skin/non-skin)，在保持 L*軸與CIE-LAB 的明度 軸一致的情形下，將a*-b*平面旋轉一個角度，其中a*軸旋轉後的軸稱為s*軸(膚色軸，
skin axis)，b*軸旋轉後的軸稱為 n*軸(非膚色軸，non-skin axis)，s*軸和n*軸依然維持 互相正交，構成s*-n*平面。
a*-b*平面上的色度座標以(a*, b*)表示，s*-n*平面上的色度座標則標示為(s*, n*)，其 中(a*, b*)與(s*, n*)之間的轉換以一個 2 x 2 之正交軸旋轉矩陣來表示，如公式(1)。正交 軸旋轉矩陣由單一參數 hs所控制，而 hs為一個喜好膚色色相角，這裡以上述膚色喜 好色分析結果，取 hs為50°。
( )
( ) ( ) ( )
( ) ( ) ( ) ( )
−
=
y x b
y x a h h
h h
y x n
y x s
s s
s s
, , cos
sin
sin cos
, ,
*
*
*
*
(1)
(二) 膚色調色盤製作
在膚色調色盤製作之流程如圖 4，主要步驟為先將輸入之標準影像轉至 LSN 對 立色色空間後，取出膚色軸(S>0)，為了取得更精確的膚色範圍，利用影像侵蝕的方 法，如公式(2)，對於所有畫素ω中的集合 A 和 B，A 被 B 侵蝕記為 AӨB，再此 B 的 結構元素形狀為使用圓盤型，其半徑設定為15，最後得到侵蝕後的部份 A，目的是將 影像較暗之邊緣陰影或交界處刪除。之後再利用濾鏡將膚色平均，依據不同選取方 式，如透過明度優先或彩度優先來選取，最後將膚色喜好色色塊排列至影像外圍。
AӨB={ω:Bω⊆A} (2)
START START
Input an facial image Input an facial image
Convert to L*/a*/b* channels Convert to L*/a*/b*
channels
Convert to L*/s*/n* channels Convert to L*/s*/n*
channels
Extract skin-color channel (s*>0) Extract skin-color channel
(s*>0)
Abstract skin-color part from an image Abstract skin-color part
from an image
Facial erosion operation Facial erosion operation
Resample facial part Resample facial part
ENDEND Convert palette colors Convert palette colors
Format color-patch frame Format color-patch frame START
START
Input an facial image Input an facial image
Convert to L*/a*/b* channels Convert to L*/a*/b*
channels
Convert to L*/s*/n* channels Convert to L*/s*/n*
channels
Extract skin-color channel (s*>0) Extract skin-color channel
(s*>0)
Abstract skin-color part from an image Abstract skin-color part
from an image
Facial erosion operation Facial erosion operation
Resample facial part Resample facial part
ENDEND Convert palette colors Convert palette colors
Format color-patch frame Format color-patch frame
圖4 膚色調色盤製作流程圖
(三) 調色盤模式設計
由於希望可以有效率的將所有顯示器的色彩特性一次取得。標準影像顯示導表也 應包含顯示器校正之色塊。因此將設計不同模式之調色盤以供使用：
1. 設備從屬調色盤(panel-independent color palette)：如圖 5(a)，中間影像部分為自然 影像，可用來給人眼觀察（做心理物理實驗），觀看顯示器表現影像的效果。外圍 為標準色塊，分別為紅、綠、藍各 32 階之色塊與 Colorchecker 導表 24 色色塊，
用以檢查顯示器顯示色彩的能力與準確度，並在四個角落加上黑白三角形，可用 以檢察顯示器之均勻度。
2. 影像從屬調色盤 (image-dependent color palette)：如圖 5(b)，由於中間影像部分為 複雜影像，因此藉由喜好色特徵抽取，抽出想要特別觀察的部份，如膚色，可更 容易觀察顯示器表現此影像中膚色的差異，亦較容易做量化分析，可作主觀/客觀 分析。
3. 混合調色盤 (hybrid color palette)：如圖 5(c)，此為設備與喜好之混合模式，一半 為標準色塊，另一半為特徵色塊，可做綜合分析標準與喜好之差異。
(a) 設備從屬調色盤 (b) 影像從屬調色盤 (c) 混合調色盤 圖5 調色盤模式
三、使用範例
以下為使用混合調色盤來做影像品質評價之使用範例：
【範例一】視覺評價應用
此範例為影像調整前後之差異，圖 6(a)為一較紅潤、過飽合之原始影像，圖 6(b) 為調整後之影像，由圖6(a)與圖 6(b)周圍色塊可看出膚色有所變化，其他顏色則無。
圖6(c) 則為色差分析圖 (ΔE*ab)，越靠近紅色代表色差越大，因此可看出接近膚色的 地方與色塊均有明顯變化，其他如綠/藍色色階調、灰階則無變動。
(a) 調整前 (b) 調整後 (c) 色差分析 圖6 影像視覺評價
【範例二】色彩與亮度量測應用
此為使用 Topcon UA-1000A 面型量測儀器所測量之影像，圖 7(a)與圖 7(b)可看出
2D 與 3D 維度之亮度變化，而圖 7(c)則為取出紅、綠、藍色塊之量測數值所畫出之 CIE u’ v’色度圖，由圖可看出所測試之面板 CIE u’ v’色域(實線部分)比 sRGB 色域(虛 線部分)為大。
(a) Cross section view (b) 3D view (c) CIE u’v’ diagram 圖7 色彩與亮度量測
參考文獻
1. P. G. Engeldrum (1995) A framework for image quality models, J. Imaging Sci.
Technol. 39, 312.
2. X. M. Zhang and B. A. Wandell (1996), A Spatial Extension to CIELAB for Digital Color Image Reproduction, Proceedings of SID Symposium, 731-734.
3. P. L. Sun and J. Morovic (2002) What Differences Do Observers See In Color Image Reproduction Experiments ?, Proceedings of IS&T CGIV Conference, 181-186.
4. G. Hong and M. R. Luo (2002) Perceptually Based Color Difference for Complex Images, SPIE Proceedings, 4421: 618-621.
5. S. N. Yendrikhovskij (1998) Color Reproduction and the Naturalness Constraint, PhD.
Thesis, Technische Universiteit Eindhoven, HV Press, The Netherlands.
6. M. D. Fairchild and G. M. Johnson (2004) The iCAM framework for image appearance, image difference, and image quality, J. Elec. Imag. 13, 126.
7. A. Fedorovskaya (1997) Chroma variations and perceived quality of color images of natural scienes, Col. Res. Appl. 22, 97.
8. [2] Green P. etc., Color Engineering, Wiley, 2002.
9. The Browser Safe Palette (2008) < http://the-light.com/netcol.html >.
10. L. Lucchese and S. Mitra (1998) An Algorithm for Unsupervised Color Image Segmentation, multimedia signal processing, IEEE conference.
11. G. P. Qiu and R. D. Palmer (2001) A Content-based Web Image Search Engine, Multimedia Computing and Networking.
12. N. Moroney, P. Obrador and G. Beretta (2008) Lexical Image Processing, Proc. of CIC16.
13. B.W. Kolpatzik et.al. (1995) Optimized Universal Color Palette Design for Error Diffusion, Journal of Electronic Imaging.
14. M. Nielsen and M. Stokes (1998) The Creation of the sRGB ICC Profile, Proc. of CIC6.
計畫成果自評
本研究的計畫目標依階段性可分為建立標準測試影像資料庫、建立標準影像顯示 導表、顯示器影像品質評價系統及影像品質優化系統四個部份，計畫執行期間除按照 既定的目標進行外，階段性成果也都能達到預期目標。
計畫過程當中，成功地利用標準影像資料庫，製作特徵調色盤，並以此概念來進 行顯示器的特性化描述分析與初步影像品質評價，而在使用範例中可知此系統應為可 行，以利於計畫其他階段之進行。此外，本計畫先透過膚色喜好色為例，主要是因一 般大眾大多會注意影像中人臉的部份，因此可知膚色的重要性，所以先藉由膚色找出 特徵調色盤之製作流程，並可繼續應用於其他喜好色，如藍天、綠草等。
在計畫期間亦發表文章，以彰顯本研究除能有實作成品外亦有學術研究成果。目 前已投一篇文章如下列，並將持續撰寫論文發表於國際研討會和學術期刊。
S.H. Chen, H.S. Chen, P.L. Sun and M.R. Luo, A Color Palette for Assessing Color
