中 華 大 學 碩 士 論 文
題目：利用超解析度技巧放大人臉與車牌影像
The Enlargement of Facial and License Plate Images Using Super-resolution Techniques
系 所 別：資訊工程學系碩士班 學號姓名：M09402052 陳昭偉 指導教授：周 智 勳 博士
韓 欽 銓 博士
中華民國 九十七 年 六 月
Abstract
For many digital surveillance systems, human faces and license plates are the most important targets in the captured images. Sometimes the qualities of the captured images are inadequate for recognition because of some uncontrollable effects such as poor light conditions and far distances of the concerned objects. To make the target discernible, the images are zoomed for analysis. For coping with the blurry effects of the zoomed images, image interpolation and super-resolution are two popular techniques. In this paper, super-resolution is applied to the reconstructions of facial and license plate images. By conducting several experiments with various choices of training strategies, we demonstrate that the performance of super- resolution depends on how its model is built from training data. In the conclusion, we suggest that improvements on the reconstruction of facial and license plate images are possible by adopting training images with more aligned feature points.
Keywords：Image interpolation、Super resolution.
摘要
隨著科技的進步，取像設備也越來越低廉，並廣泛地使用於各種領域中，其中監控 系統為當紅的應用之一。監控系統有一個很大的作用，即能將現場的畫面資訊錄下，以 便提供當時某地方的環境資訊。我們可以從監控系統所取得的畫面來進行智慧型系統的 偵測與檢索或是人為的操作，以進行搜尋或檢索功能；然而因為環境等等因素(例如光 線變化，取像角度、遠近等等)，使得取像品質無法控制好，造成事後人眼辨識的困難，
例如辨識畫面中人物的身份，辨識車牌的車號。本論文整理了一些影像上常用的內插法 (Image Interpolation)，以及介紹一種超解析度(Super Resolution)的方法來放大影像，並 應用於人臉及車牌影像，以利人眼的辨識。
關鍵字：內插法、超解析度。
誌謝
本論文能夠順利完成，首先感謝我的指導教授韓欽銓老師以及周智勳老師，謝謝兩 位老師在我研究生的期間給予論文上以及人生態度上的指導與協助，同時也感謝連振昌 老師、李建興老師、石昭玲老師以及黃雅軒老師，在課業上給予的教導。此外，也感謝 李遠坤老師以及王元凱老師，在我碩士論文口試中，给予許多寶貴的意見。
其次要感謝多媒體系統實驗室的夥伴，尤其感謝致傑、士棻、嘉宏、郁婷、忠茂、
楊凱、炳佑學長在論文研究上給予的指導與幫助，石哥、建程、宜達、清乾、阿達同學 的支持與照顧，以及雅麟、小日本、銘輝、懷三、偉欣、怡婷、明修、筱萱、正崙以及 蔣肥等學弟妹的協助與陪伴，使我的研究生生涯得以多采多姿。
最後，感謝我的父母以及小妹在我背後無時無刻的叮嚀與照顧，沒有你們，我無法 在無後顧之憂的情況下完成學業，真的很謝謝你們，謹以此論文獻給各位，謝謝。
目錄
第一章、緒論 ...1
1.1 研究動機與目的 ...1
1.2 相關研究 ...1
1.3 論文架構 ...3
第二章、影像上的內插法(Image Interpolation) ...4
2.1 內插法原理概述 ...4
2.2 Nearest-Neighbor 內插法 ...5
2.3 Sinc 內插法 ...6
2.4 Linear / Bi-Linear 內插法 ...8
2.5 Cubic / Bi-Cubic 內插法...9
2.6 區域做為比重的內插法(Area) ...10
2.7 內插時色彩空間的選擇 ...12
2.8 傳統內插方法放大的比較 ...15
2.9 影像放大後之強化 ...16
第三章、超解析度(Super Resolution) ...20
3.1 Steerable pyramid...20
3.2 Local best match ...23
3.3 貝氏定理 ...27
3.4 建立Prior model ...27
3.5 建立 Measurement model...28
3.6 合併以及最佳化 ...28
3.7 彩色影像的超解析度 ...30
第四章、實驗結果 ...32
4.1 實驗內容說明 ...32
4.2 灰階及彩色影像之超解析度 ...33
4.3 人臉使用各種模型來放大 ...35
4.4 超解析度應用於車牌放大 ...37
第五章、結論及未來方向 ...41
參考文獻 ...42
第一章、緒論
1.1 研究動機與目的
社會型態的轉變，使得監控系統越來越重要。2005 年五月，發生了震驚臺灣的千面 人毒蠻牛事件，在偵辦過程中，警方鍥而不捨的調閱了大量的監控資料，才能掌握到破 案的線索。2007 年五月，台北縣議員吳善九在服務處遭槍擊，送醫不治，警方利用鋪設 於各個路段監視器取得的畫面，確認嫌犯的車牌號碼，並且公佈嫌犯照片，以利民眾提 供線索以便破案。從這些例子顯示出監控系統的重要性。
監控系統在某些情況下，影像有時候會因為光線變化、拍攝角度、以及取像遠近等 環境因素而影響其取像品質，因此，我們從監控系統得到的資料，常常不是過於模糊，
就是過於渺小，使得我們想利用這些資料取得影像的確實資訊(辨識出影像中的人物身 份，確認車牌號碼)可能會有技術上的困難，所以我們對影像使用一些放大的演算法(例 如內插法，超解析度等)，以利於人眼的辨識。放大之後，常會使得影像出現模糊狀或 是鋸齒狀的情況發生，為了使得放大影像的邊緣資訊能夠更清楚，我們有時加入一些強 化的步驟，例如利用 Hi-boost filter 來增加影像的銳利度。
1.2 相關研究
一般我們放大影像的方法可分為影像內插法(Image Interpolation)以及超解析度 (Super Resolution)的放大方法。影像內插法，我們先分析原始影像附近的點，然後利用 各種不同的核心函數(Kernel Function)，來對影像做各種不同的影像放大。超解析度的方 法比傳統內插法還要複雜，常常需要大量的模型(Model)，做為原始影像放大的依據，所 以在計算時間上也比內插法還要多的多。
對 於 影 像 上 的 內 插 法 ， 有 Sinc[1][2] 、 Bi-Linear[3] 、 Bi-Cubic[4][5][6] 、 Nearest Neighbor[7]等方法，其基本原裡皆是利用各種不同的核心函數來對影像做放大或縮小，
因此，在不同的情況下可用各種不同的核心函數，以求的最佳的縮放效果。其他像是[8]
L. Rodrigus 提出一個演算法，先根據像素附近的點，將邊緣的點內插出來，然後根據附 近像素點的強度還有變異程度，來決定內插值的強度，使得演算法較有彈性。[9]C.H. Kim 利用計算面積比例大小的方式作影像的方式做影像的縮放，透過已知像素值被覆蓋的面 積大小，按比例去計算在一個放大的影像中新的像素值，這方法使用了四個參考點，因 此比 Bi-Linear 有更好的影像品質。
除了傳統上的內插法放大之外，還有被稱為超解析度(Super resolution)的放大方法，
[10][11][12][13][14]提出了以學習方法為主的超解析度方法，這類的研究大都是先搜集 大量的低解析度的影像，以及相對應的高解析度的影像，將這些資料設成資料庫，若我 們要提升某一張低解析度影像 L 的解析度，則先將 L 分割成若干個小區塊，然後從資料 庫中屬於低解析度的影像進行區塊比對，找出最符合的區塊，則 L 的高解析度的影像為 最符合低解析度影像區塊所對應的高解析度區塊的組合，這類方法所需要的資料庫可能 很龐大，而且在搜尋資料庫以進行比對時，也需要龐大的時間，但是所得到的高解析度 影像較為自然。
[15] C.Su 提出一種超解析度方法，跟其他超解析度方法一樣，也要搜集許多的低解
析度影像以及相對應的高解析度影像，他使用的模型是使用經過[16]E.P. Simoncelli 提出 的 Band pass filter 的影像，比對時改良了[17] S. Baker 用點對點彼此之區域的比對方式，
改成 Local best match 做比對，使得比對效果大幅提昇，其特徵是強調使用邊緣資訊，
因為邊緣資訊常會因為放大而模糊或呈現鋸齒狀，若能將邊緣資訊更為清楚，放大後的 可 見 度 也 能 夠 提 高 ， 此 論 文 是 利 用 貝 氏 定 理 ， 先 求 得 事 前 以 及 事 後 的 機 率 (prior probability and posterior probability)，來決定放大後像素值之強度。
1.3 論文架構
本論文用五個章節來討論，第一章介紹論文的動機以及一些相關的研究，並且簡單 介紹論文的架構。第二章我們介紹影像上的內插法，其中包括內插的原理，以及常用的 內插方法，並且討論各個內插法的優缺點。第三章我們介紹一種超解析度放大影像的方 法，由於超解析度的方法較為複雜，所以第三章又分成幾個小節來說明超解析度的一些 前處理還有做法。第四章我們用一些標準測試圖，人臉以及車牌來展示放大後的結果，
其中包含內插法的放大，超解析度的放大。在放大的失真程度的判定，我們使用 PSNR(Peak Signal to Noise Ratio)值作為客觀的放大結果。第五章為結論以及未來方向。
第二章、影像上的內插法(Image Interpolation)
本章介紹內插法原理、一些內插常用的核心函數以及一些影像強化的方法。
2.1 內插法原理概述
當影像放大或是縮小成另一個新的尺寸時，內插法可以幫助我們如何從舊有的像素 來產生新的像素值。首先我們用一維訊號來做說明內插法如何實作：
f(x) g(x)
圖 2-1 一維內插法說明
f 為離散訊號， 為連續訊號，g f 為 在g x為整數時的取樣點，假設現在我們只擁
有 訊號，我們想得知 時， 值為何，此時因為我們並不知道有 的存在，也 無法掌握訊號變化的方式，所以當
f x=1.5 f g(x)
5 .
=1
x 時， 的值是多少，無法得知，因此我們可以 使用內插法來求得 ，最簡單的方法，
f )
5 . 1 (
f f(1.5)=(f(1)+ f(2))/2，這就是一般我們熟 知的線性內插法，使用的核心函數則為x=1.5對附近兩點(x=1,x=2)的距離關係。雖 然以此例子，內插出來的值跟正確的值會有一段差距，但在影像上的內插法，就可以得
到還不錯的效果，實作時，只要先對影像的水平方向先做內插，再對垂直的方向做內插 即可以做放大的效果，接下來的小節，我們即將介紹用各種不同的核心函數來對影像做 內插。
2.2 Nearest-Neighbor 內插法
Nearest-Neighbor 內插法顧名思義，就是利用最鄰近的點來做內插，其核心函數可 表示為：
1) - (2 5 . 0 s ...
...
...
1
5 . 0 s ...
...
...
) 0 ( ⎪⎩
⎪⎨
⎧
≤
= >
s u
其中 s 為將要內插的點與其對應的原始影像格點距離。
其詳細方法為：
1) 找出放大後的像素點座標與放大前的像素點座標對應的關係，如圖 2-2。
2) 放大後的像素點灰階值則為對應過去的點距離最近的原始座標值的灰階值。
因為使用的是鄰近某一像素點的灰階值，並沒有做任何改變，因此在影像邊緣的附 近，經常產生鋸齒狀，但容易將影像原有的特徵保留起來，如圖 2-3。
圖 2-2 左圖為原始影像，右圖為放大後的影像，右圖的 P 點先對應到左圖的位置，發現此點對應後最接 近左圖的 E 點，所以 P 的灰階值用 E 點的灰階值來決定
圖 2-3 用 Nearest Neighbor 長寬各放大兩倍的結果
2.3 Sinc 內插法
Sinc 內插法常被用在信號分析的內插法上，其核心函數如下：
2) - (2 0 s s ,
s) sin(
0 s , 1 ) ( sin ⎪⎩
⎪⎨
⎧
≠
=
= π
π x
c
其中 s 為將要內插的點與其對應的原始影像格點距離。
圖 2-4 Sinc 函數
根據式子(2-2)，可以看出其在 0 以外的整數點均為 0，變化強度會越來越小，另外，
所需的參數為全部參考點的權重值，所以內插計算量很大。其詳細方法如下：
1) 找出放大後的像素點座標與放大前的像素點座標對應的關係。
2) 放大後的像素點，對應回未放大的座標位置，並設其為原點，以此點跟此一維 訊號的所有點的距離代入 Sinc 函數，以求得灰階值。
而二維的 Sinc 內插法，則是分別先後對水平以及垂直方向進行內插，因為所需的參 數為全部參考點的權重值，因此，放大後的影像的邊緣附近有可能會發生不自然的波紋 狀，如圖 2-5。
波紋效應(Ringing)
圖 2-5 波紋效應(Ringing Effect) 左圖為原圖 160×120 右圖為 Sinc 放大的結果，長寬各為原來 2 倍
理論上這種方法應該效果不錯，但由於這種方法計算量很大，而且使用的參考點範 圍太大，造成邊緣附近容易產生波紋效應，所以一般用其他不同的核心函數來替代 Sinc 函數，例如 Bi-Linear、Bi-Cubic 內插法等等，我們將在以下的小節來進行討論。
圖 2-6 用 Sinc 長寬各放大兩倍的結果
2.4 Linear / Bi-Linear 內插法
線性內插法(Linear Interpolation)在內插的應用上相當普遍，其方法是找到原始影像 的像素值，然後找到放大後的像素點座標與放大前的像素點座標對應的關係，接著找出 鄰近兩點的像素值還有距離關係，最後利用距離關係決定權重值來求出放大後像素點的 灰階值。而雙線性內插法(Bi-Linear Interpolation)則是先後對水平及垂直方向做內插，以 水平或垂直方向(一維度)而言，其核心函數可表示為：
3) - (2 1 s ...
...
s 1
1 s ...
...
0 ) ( ⎪⎩
⎪⎨
⎧
<
−
= ≥ s u
其中 s 為將要內插的點與其對應的原始影像格點距離。
圖 2-7 用 Bi-Linear 長寬各放大兩倍的結果
2.5 Cubic / Bi-Cubic 內插法
我們根據[4]提出的立體內插法(Cubic convolution Interpolation)，是參考原始影像四 個參考的灰階值，乘上其權重值以決定其內插的灰階值，對於一維度而言，其核心函式 如下：
4) - (2 2
0
2 1
2 2 4
5 2
1
1 0
2 1
5 2
3
)
( 3 2
2 3
⎪⎪
⎪
⎩
⎪⎪
⎪
⎨
⎧
<
<
<
+
− +
−
<
<
+
−
=
s s s
s s
s s
s s
u
其中 s 為將要內插的點與其對應的原始影像格點距離。
圖 2-8 Cubic 函數
對於二維影像而言，則使用 Bi-Cubic 來做內插，我們做法可以先對水平方向做 Cubic 內插，然後再對垂直方向做內插。由於 Cubic 演算法應用到影像放大對於人眼的視覺效 果較佳，其核心函數也較接近 Sinc 函數，因此放大後的效果也較佳，不過由於因為要用 到的函數為三次多項式，也因此它耗費的運算量稍多。
圖 2-9 用 Bi-Cubic 長寬各放大兩倍的結果
2.6 區域做為比重的內插法(Area)
Bi-Linear 在影像上內插法為先對水平方向做內插，然後再對垂直方向做內插，使用 的是鄰近兩點做為參考點，然後利用距離來做為比重，區域比重則是直接參考鄰近四個 點做為參考點，與 Bi-Cubic 不同的是，Bi-Cubic 是利用同一列或者同一行來做內插，區 域比重是使用左上，左下，右上，右下做為內插參考點。
如圖 2-2，首先做法跟 Nearest-Neighbor 一樣，先找出要內插的點與原圖找對應點 P，
以及找到四個參考點 A，B，D，E 等的灰階值，然後如圖 2-10，找出 ~ ， 以圖 2-10 為例，P 的內插灰階值算法如下：
1
Area Area4
5) - (2 4 3
2
1 Area Area Area Area
Area= + + +
6) - (2 4
3 2
1 A
Area B Area Area
D Area Area
E Area Area
P= Area × + × + × + ×
圖 2-10 區域比重內插法示意圖
區域比重內插法與 Bi-Linear 精神一樣，用距離來找出內插所需的權重值，只是他 用了左上、左下、右上、右下四個參考點，也因此效果也比 Bi-Linear 較好(PSNR 值較 高)，而且多花費的運算量也不大。
圖 2-11 用區域比重內插法長寬各放大兩倍的結果
2.7 內插時色彩空間的選擇
一般我們使用影像內插法，常是使用 RGB 的色彩模型，分別對影像 R、G、B 三 通道來進行內插，而人眼對亮度的敏感度比對色彩的敏感度還高，所以我們可以選擇使 用有亮度資訊的色彩空間來進行內插，以求得更好的效果，例如 YUV。根據[18]，為了 減少運算複雜度，而且可利用人眼對亮度較敏感的特性，我們可以在亮度 Y 上使用 Bi-Cubic 的內插法，在色彩資訊 U、V 下，我們選擇 Nearest Neighbor，或許會有不錯的 內插效果。接著我們做以下的實驗：
測試一：分別對 R、G、B 三通道進行 Bi-Cubic 內插。
測試二：分別對 Y、U、V 三通道進行 Bi-Cubic 內插。
測試三：Y 進行 Bi-Cubic 內插，U、V 進行 Nearest Neighbor 內插。
表 2-1 五種不同的測試圖的內插效果(PSNR 值)
Lena baboon airplane pepper sailboat 測試一 27.8395 23.0012 25.9077 28.7153 25.0645 測試二 27.9438 23.0317 25.9806 28.8063 25.0828 測試三 27.7255 22.8779 25.8040 26.6054 24.2252
由表 2-1 可知，色彩空間先轉成 YUV，再使用內插法放大，所得的 PSNR 值較高，
即內插效果較好，Y 使用 Bi-Cubic 內插，U、V 使用 Nearest Neighbor 內插，所得的效 果遜於 Y、U、V 都用 Bi-Cubic 內插，甚至比使用 RGB 色彩空間的內插效果要差，所
以根據這些測試，若是要求品質，則可以考慮將色彩空間轉換成 YUV，然後對這三通 道使用 Bi-Cubic 內插，要求速度則不轉換色彩空間，直接使用 RGB 色彩空間做內插，
至於 Y 使用 Bi-Cubic 內插，U、V 使用 Nearest-Neighbor 內插這方法，本來預期效果會 落於上述兩者方法之間，但是卻不然，因為效果反而比原先使用 RGB 都用 Bi-Cubic 內 插效果還要差，而且計算時還要另外轉換色彩空間，耗費運算。
(a) (b)
(c) (d)
(e) (f)
圖 2-12 (a)(b)用 RGB 做 Bi-Cubic，(c)(d) YUV 做 Bi-Cubic，(e)(f)Y 做 Bi-Cubic、UV 做 Nearest-Neighbor 三種內插法的比較圖
2.8 傳統內插方法放大的比較
表 2-2 各種內插法，PSNR 的比較
Lena Cameraman mandril 缺點 優點
Sinc 27.8457 25.5702 23.3535 極耗費運算、有波紋 現象
失真程度較小
Nearest-
Neighbor 26.8044 24.7255 23.1839 效果不佳 可保留原始特徵 Bi-Linear 27.6514 25.4680 23.3474 模糊現象 效果不錯
Bi-Cubic 27.9295 25.7134 23.4265 稍耗費運算、有模糊 現象
效果不錯
Area 27.8027 25.5138 23.3784 模糊現象 效果不錯 [8] L.
Rodrigus 27.6553 25.3670 23.2693
演算法過長，運算效 益不佳
像素可依鄰近的像 素點強度，做不同的 運算
由表 2-2 得知，Bi-Cubic 為傳統內插法中效果較為好的，雖然因為要使用的核心函 數為三次多項式，稍微耗費運算，而且邊緣資訊有模糊化的現象，但以整體而言，是很 值得一用的內插法，其他方法如 Nearest-Neighbor 運算量很小，效果卻不佳，放大後的 鋸齒狀非常明顯，除非為了保留原始資訊，不然不建議使用。而 Bi-Linear 運算量也很 小，與 Bi-Cubic 一樣會有模糊的現象，但 Bi-Cubic 的核心函數較接近 Sinc，因此放大 效果也較好，但由於 Bi-Linear 還是比 Nearest Neighbor 效果好很多，所以若是處理一般 影像，不需考慮效果，只考慮計算量時，可選擇 Bi-Linear。同樣的，Area 可以說是 Bi-Linear 強化版，因為所需的參考點較多，雖然計算量較多一些，但效果較優於 Bi-Linear，使用 者可以根據效果以及計算量取捨使用 Bi-Linear 或者 Area。而 Sinc 這方法雖然比 Bi-Linear
的 PSNR 結果較好，但是其耗費的運算量實在太大，而且會產生波紋現象，除非是特殊 的狀況下(做訊號分析)，不然在影像處理上也是不建議使用。[8] L. Rodrigus 的方法是先 找出可能的邊緣資訊，而決定的內插值會根據鄰近的像素值強度不同，而有不同的做 法，但是放大的大小無法隨著使用者的需要去做調整，僅能由w×h的影像，放大成
，其中 為大於 0 的整數，在比較 PSNR 值時，我們另外選擇某
種內插法先調整成 的大小，又失真了一次，所以也是 PSNR 值較為小
的原因，而且演算法過於冗長，在實作中，運算效能也不及大部份的演算法，所以也不 建議使用，因此，在影像處理中，要使用內插法放大，建議使用 Bi-Cubic。
) 1 2
* h ( ) 1 2
* w
( n− × n− n ) 2
* h ( ) 2
* w
( n × n
2.9 影像放大後之強化
當我們使用 Bi-Linear 或是 Bi-Cubic 放大影像後，隨之而來就是影像模糊化，使得 邊緣較為不清楚，所以我們可以利用一些可以強化高頻資訊的濾波器，常用的有 Hi-Boost Filter，將影像加上 Hi-Boost Filter 的處理可以將邊緣資訊更加的清楚。Hi-Boost Filter 的 做法很簡單，首先做一個 Filter Mask，Mask 內容如下：
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢
⎣
⎡
−
−
−
−
0 1 0
1 5 1
0 1 0
用此 Filter 對影像做 convolution 的動作，即可對影像做強化。
圖 2-13 放大之後做 Hi-Boost 的結果
如圖 2-13 經過 Hi-Boost Filter 的影像，邊緣就會有銳利化的現象，使得影像的邊 緣更加清楚，但是缺點是，在我們使用了 Hi-Boost Filter 的影像，或多或少都會產生一 些雜訊，影響到人眼的觀感，而且亮度發生了改變，但是這是一個有一定的效果，而且 是簡單的方法。其他還有 Image Histogram Equalization 等強化方法，視需要來使用。
圖 2-14 原始影像
圖 2-15 放大之後做 Image Histogram Equalization
對影像做 Image Histogram Equalization 後，雖然感覺影像對比更強了，但是跟原始 影像相比，就明顯的失真了。
(a) (b)
(c) (d)
(e) (f)
圖 2-16 (a) 原測試圖(128×128)，(b) Sinc，(c) Nearest-Neighbor，(d) Bi-Linear，(e) Bi-Cubic，(f) Area，以 上放大後長寬皆為原測試圖的兩倍
第三章、超解析度(Super Resolution)
將影放大數倍的研究，稱為超解析度，本章介紹其中一種超解析度的方法，目的是 將 24×32 的臉部影像放大為 96×128，以及將 16×8 的車牌放大至 64×32。
原始影像 24*32
訓練樣本 96*128
利用Steerable pyramid建立完整 利用Bi-Cubic放大 模型
影像至96*128當作 超解析度初始值
利用Steerable pyramid建立部份
模型
模型資料庫 Local best match
完整的模型 根據貝氏定理求出
最後的結果
圖 3-1 24×32 臉部影像放大至 96×128 超解析度系統流程圖
3.1 Steerable pyramid
超解析度的方法，我們會先建立模型，以作為放大的依據，這裡我們使用的是 Steerable pyramid 來建立模型。將影像的各種尺寸存下來成為類似金字塔的形狀，我們
稱為 pyramid，如圖 3-2。一般常見的 pyramid 還有 Gaussian pyramid，Laplacian pyramid 等等。
圖 3-2 pyramid
圖 3-2 是將 N×N 的影像先存下來，然後做 down sampling 的動作，然後也將 down sampling 的圖存下來，然後視需要來建立數層的金字塔，而這金字塔就可成為眾多模型 的其中之一。
接下來，我們可以利用 Steerable pyramid 將影像的高頻資訊(整體的邊緣資訊)還有 四個方向的邊緣資訊存下來，這裡，我們定義這些特徵表示法：
1) - (3 )]
( ), ( ), ( ), ( )), ( ( [ ) (
Fl Ihi = Gl H0 Ihi B0l Ihi B1l Ihi B2l Ihi B3l Ihi T
如圖 3-3(b)(高頻)，以及圖 3-4(a)(b)(c)(d)(四個方向的邊緣資訊)，然後也分別對圖 3-3 (b) 圖 3-4(a)(b)(c)(d)分別做 down sampling，取得 Steerable pyramid，這裡，我們需 要 down sampling 二次，即 pyramid 共有 3 層， = 0 ~ 2，所以當l=0 時，此層的資訊為 96×128 大小的影像，l=1 時，為大小 48×64 大小的影像資訊，l=2 則為大小 24×32 的影 像資訊。
l
(a) (b)
圖 3-3 (a)為原圖，(b)為原圖的高頻資訊
(a) (b) (c) (d)
圖 3-4 (a)(b)(c)(d)四個方向的邊緣資訊，由左至右分別用 180 度、135 度、90 度、45 度方向的 Sobel filter 取得
我們將臉部影像用上述方法建好模型之後，我們可以很方便的從這些模型取得臉部 影像的特徵，由式子(3-1)，l用 0~2 代入，可得到三層 pyramid 的特徵， 、 、
及 。
) (
F0 Ihi F1(Ihi) )
( F2 Ihi
由於我們目的是將 24×32 的臉部影像放大成 96×128，所以測試影像大小為 24×32，
套入上述特徵表示方法，則會缺少 ， ，如表 3-1，只可以得到 (為了 區別測試資料以及做為模型的資料，作為測試資料的影像為低解析度所用 表示，而做 為模型的影像為高解析度，用 表示)即目的就是要將 及 求出來。因為這些 特徵建立在 Steerable pyramid，所以我們可以將 表示為 ，臉部影像搜集數 張之後，稱為訓練樣本，便可代入此模型，以取得特徵。
) (
F0 Ilo F1(Ilo) F2(Ilo)
Ilo
Ihi F0(Ilo) F1(Ilo) )
(
F0 Ilo SP0(Ilo)
表 3-1 特徵表示法
l 0 1 2
) ( lo
l I
F F0(Ilo) F1(Ilo) F2(Ilo)
大小 96×128 48×64 24×32
狀態 空缺
) , )(
( Fˆ
0 Ilo x y
空缺 ) , )(
( Fˆ
1 Ilo x y
由低解析度 可取得 Ilo
3.2 Local best match
在 3.1 中，由低解析度的測試資料 代入 Steerable pyramid 中， 及 將 會產生空缺，我們利用 Local best match 作比對，可將 求得。Local best match 分 成幾個步驟：
Ilo F0(Ilo) F1(Ilo) )
( F0 Ilo
1) 對於低解析度的測試資料，將它的SPl(Ilo,i)建立出來，其中 為第幾個點。 i 2) 對於測試資料在它的l層上任一點p找尋每一個訓練樣本中l層同一位置pt ，以及鄰
近pt的區域LAl中的點。
3) 對這區域 中的點 ，計算其所在區域與 p 的所在區域的差異度，如式 (3-2)。
LAl lalk(pt)
2) - (3
||
)) ( , ( )
, (
||
)) ( ,
(i la2 p SP2 I p g SP2 T la2 p g
Dist k t = lo ⊗ − i k t ⊗
其中 為 Gaussian kernel，g ⊗為 convolution，SP2(Ilo,p)為F2(Ilo)中p 點所在的區 塊，Ti表示訓練樣本中的某一點 。 i
4) 找到最小的差異度的座標以及是屬於哪一張訓練樣本。
3) - (3 )) ( , ( min arg )) ( ˆ, ( ) , , (
)) ( , ( ˆ
t k p l
la t i
k
l p Dist i la p
la i v u j
t k l
=
≡
其中 j 為第 j 張訓練樣本，u、v 為訓練樣本中的座標。
5) 將差異度為最小的點對應的F0(Tj)(x,y)複製於Fˆ ( )( , )。
0 Ilo x y
6) 將測試資料中的每一點依步驟 1~步驟 5 做完。
使用 Local best match 有兩個好處，其中一個可以防止因為訓練樣本或測試的資料 稍微位移幾個像素點產生的比對失誤，另一個則由於比對時不是點對點比對，而是點對 點彼此所在的小區塊做比對，如圖 3-5，所以可以增強比對的效果。
pt LA(pt)
p
pt
p
(a) (b)
圖 3-5 (a)採用點對點彼此之所在區塊的比對方式，效果較差，(b)採用 Local best match，效果較好
為了增強比對結果，我們將步驟 5 做一些改變並做一些測試，在步驟 5 中，我們將
差異度為最小的點對應的 copy 至 ，在實作時，原始影像大小為
24×32，預定放大為 96×128，所以 1 點可對應至 4×4 點，彼此之間沒有重疊。我們將此 做法改成 1 點對應至 12×12 點，即對應的像素點彼此互相重疊，然後我們對重疊的像素 點做兩種不同的基本運算。作法一，對於重疊的像素點取最大值。作法二，對於重疊的 像素點取平均。
) , )(
(
F0 Tj x y Fˆ ( )( , )
0 Ilo x y
圖 3-6 對應方式示意圖，左圖為直接對應，對應後的區塊本身沒有互相重疊，右圖則對應的範圍較大，
而彼此重疊
表 3-2 原始圖 96×128 所建立的模型
原始影像 Hi pass 45 度 90 度 135 度 180 度
根據表 3-3 的實驗，由於使用平均的效過會比較好，因此，我們選用此方式來做 Local best match。
表 3-3 利用表 3-2 原始影像來做各種對應方式的效果比較，原本對應的方式雜訊較多，對應效果較差，
對應範圍較大使得對應到的區塊重疊時，將重疊的部份取平均，對應效果則較好
Hi pass 45 度 90 度 135 度 180 度 直接對應，對
應區塊並沒 有互相重疊
PSNR 31.9634 19.5219 20.2920 19.7755 20.9680 對應區塊有
互相重疊，並 取最大值
PSNR 29.8559 17.3384 17.9406 17.2536 19.0471 對應區塊有
戶相重疊，並 取平均值
PSNR 33.2349 21.4335 22.3660 21.4495 21.9414
3.3 貝氏定理
我們放大臉部影像所根據的理論是貝氏定理， 和 表示高解析度以及低解析度 的影像， 表示 prior model，
Ihi Ilo
) (Ihi
P P(Ilo Ihi) 表示 measurement model，根據貝氏定理，
posterior model 為P(Ihi Ilo)，其中P(Ihi Ilo)=P(Ilo Ihi)P(Ihi)/P(Ilo)，為了用 推出 ， 我們要找到適當的值 使得
Ilo Ihi
Iˆhi P(Ihi Ilo)為最大，因此可推成這下式：
4) - (3 ) ( ) ( max ˆ arg
hi hi I lo
hi P I I P I
I
hi
=
因此，我們要先建構出 prior modelP(Ihi)，接著找出 measurement modelP(Ilo Ihi)， 最後最佳化式子(3-4)即可求出最後放大的結果。
3.4 建立 Prior model
) 為高解析度臉部影像 的最底層(
(
F0 Ihi Ihi l =0)的特徵資訊， 可從訓練樣本中 利用 Local best match 求出，假設為理想狀況， 應等於 ，但是通常是不會相 等的，會有一個差值
) ( Fˆ
0 Ilo
) ( Fˆ
0 Ilo F(Ihi)
εp，我們假設這個差值的分佈為 i.i.d Gaussian noise。因此我們可以 得到式子：
5) - (3 2
||
) ( F ) ( Fˆ exp ||
) 2 (
) ( ) (
2
2 0 2 0
/ 2
) ( F ) ( Fˆ
0 0
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛− −
=
=
∗
−
−
=
p hi B lo
A p
I p I
hi
I I
P I P
hi lo p
πσ σ ε ε
可將 轉換成 Gaussian white noise distribution。其中 A*B 為影像大小， 為變異 數。
) (Ihi
P σ2p
3.5 建立 Measurement model
Measurement modelP(Ilo Ihi)建構方法與 prior model 相似，首先 可由 得 出，測試的低解析度臉部影像 也應該等於 ，但是也是有一個差值
) (Ihi
Sd Ihi
Ilo Sd(Ihi) εm，我們假
設它也是屬於 Gaussian noise，所以可以寫成下式：
6) - (3 2
||
) ( exp ||
) 2 (
) (
) (
2 2 2
/ 2
) (
⎟⎟⎠
⎜⎜ ⎞
⎝
⎛− −
=
=
∗
−
−
=
m hi B lo
A m
I Sd I m hi
lo
I Sd I P
I I
P m lo hi
πσ σ ε ε
同樣εm為變異數，A*B 為影像大小。
3.6 合併以及最佳化
我們先將式子(3-4)改成 ˆ argmin( ln ( ) ln ( ))
hi hi
I lo
hi P I I P I
I
hi
−
−
= ，然後根據(3-5)(3-6)，
可將式子(3-4)再改寫成
7) - (3
||
) ( 2 ||
|| 1 ) ( F ) ( Fˆ 2 ||
min 1
arg 2 0 0 2 2 2
^
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛ − + −
= lo hi
m hi
lo p
hi I I I Sd I
I σ σ
根據(3-7)，假設 大，表示灰階值較為分散，所以推到(3-7)式，表示權重值較小，
所以最後逼近的結果以 權重較為重要，相反的，假設 小，表示灰階值
較為集中。最後逼近的結果則是
2
σm
) ( F ) ( Fˆ
0
0 Ilo − Ihi σm2
) ( hi
lo Sd I
I − 較為重要，所以區塊中的灰階值離散程度可 視為(3-7)的權重值。
由於(3-7)式為 2 次多項式，所以可用最陡坡降法(Steepest Descent Algorithm)來求 解，但是用此方法必須將資料正規化，過程還要將(3-7)做偏微分的動作，其推導過程有 時會很困難。本論文提出另一種簡單且有效的逼近方法：
1) 根據上一章介紹的內插法，我們發現影像使用 Bi-Cubic 內插法通常有較佳的效 果，因此，我們用 Bi-Cubic 當作放大後影像的初始值，我們用的是共 4×4 個像素 點的 Ihi _block，然後帶入(3-8)，求得結果N。
2) 對此 16 個位置隨機取 1~6 個位置取一值 r ，其餘為 0。
3) r 值隨機皆為+1 或-1。
4) 對 中的像素值，根據 2、3 步驟加入亂數求得 ，然後再代入
(3-8)求得 ，若是 小於 ，則 取代 ， 取代 ，若是
沒有小於 ，則 的值不做任何更動。
block
Ilhi _ Ilhi_block
Nˆ Nˆ N Nˆ N Ilhi_bˆlock Ilhi _block Nˆ N Ihi _block
根據上述步驟，反覆做 1000 次，則可以得到較佳的結果，最後，每個區塊都遵照 此方法來逼近(3-8)式，則為最後放大的結果。
8) - (3
||
) ( 2 ||
|| 1 ) ( F ) ( Fˆ 2 ||
1 2
2 2 0
2 0 lo hi
m hi
lo p
I Sd I I
I
N = − + −
σ σ
利用Bi-Cubic內插 法的放大結果作為 超解析度之初始值 將 Ihi_block 帶入
(3-8)求得N
對 Ihi_block 中16位 置隨機在1~5個位
置取一值r
取代 N , 取代 Ihi_block
Nˆ Ilhi_bˆlock
r值隨機為+1 或-1得 到 Ilhi_bˆlock
將 帶入 (3-8)求得
lock b Ilhi_ˆ
Nˆ
Ihi_block中的值不做 比較 N 與 Nˆ 任何更動
小於N Nˆ
不小於Nˆ N
圖 3-7 逼近式子(3-8)系統流程圖
3.7 彩色影像的超解析度
一般我們使用超解析度來對影像做放大，常常只用在灰階影像(8 bit)的放大，而彩 色影像(24 bit)的放大，也是先將影像先灰階化，只保留亮度資訊，因此超解析度的結果 也是屬於灰階影像，這裡我們利用 YUV 色彩空間的特性，提供一個簡單的彩色影像放 大方法：
1) 對原圖的色彩空間由 RGB 轉為 YUV。
2) 對 YUV 的色彩空間做 Bi-Cubic 放大，並且備份 U、V。
3) 將原圖轉成灰階，直接做超解析度。
4) 對於超解析度的放大結果的色彩空間轉成 YUV ，取其 Y 值。
5) 使用其 Y 值跟之前備份的 U、V 合併，並轉回 RGB 色彩空間，求得結果。
使用上述步驟即可對彩色影像做超解析度放大。
將彩色影像轉成灰階影 像
對灰階影像做超解析度
將色彩空間由RGB轉為 YUV並取其Y值
將色彩空間由RGB轉為 YUV
用Bi-Cubic將影像做放 大
備份UV
合併並將色彩空間轉回 RGB
彩色影像
彩色影像超 解析度
圖 3-8 彩色影像做超解析度系統流程圖
第四章、實驗結果
本章將展示一些放大影像的實驗結果，在放大效能的判定，我們用 PSNR 值當作客 觀的放大結果。
4.1 實驗內容說明
在人臉的部分，我們用內插法、超解析度、彩色影像之放大以及不同的性別使用不 同模型來將影像放大。在車牌的部份，我們可清楚的比較在邊緣資訊較強烈的影像上使 用內插法、超解析度，讓人眼可辨識的程度有顯著的不同。超解析度的方法是選用各種 方向 Sobel Filter 與訓練樣本做 convolution 來當作模型，也就是說模型強調邊緣資訊，
因此，放大之後的邊緣資訊更加的明顯。
人臉資料的部分，我們使用 BioID-Technology Research The BioID Face Database，
Yalefaces Database，以及自己搜集的人臉，我們將人臉依照戴眼鏡，男性，女性，整體，
分門別類，共 1650 張人臉，352 不同的人，分別將兩眼定位到影像相同的位置，實驗結 果可以看出來 PSNR 值，較 Bi-Cubic 高約 0.7~1.6，為有效的放大方法。在(3-8)中，若 是忽視σm所佔的權重值，即放大前跟放大後，不用管灰階值的變化程度，便能有新的 結果，再繼續逼近(3-8)直到 2000 次後，會發現雖然 PSNR 值有時會下降，但是卻使得 邊緣資訊更加的明顯，從實驗結果中可以發現，人眼的眼白更加的分明，臉上的皺紋以 及牙齒的分明也是更加的清楚明顯，也是另一種實驗的結果。
對於彩色影像的超解析度，我們將色彩空間由 RGB 轉為 YUV，YUV 色彩空間的
特性可以將亮度及彩度分離出來，根據此性質，我們做超解析度前，可以將彩度資訊先 保留起來，然後做完超解析度後的亮度資訊，再與之前備份的彩度資訊做個合併，可得 彩色影像超解析度的放大結果。
4.2 灰階及彩色影像之超解析度
表 4-1 灰階影像超解析放大結果
原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 22.2433 24.0001 23.5569 原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 24.2612 25.3252 24.1274
表 4-1 及表 4-2 為灰階影像超解析度結果，我們用結果與 Bi-Cubic 相比，在客觀上，
PSNR 值較為高，顯示失真程度下降，在主觀上用人眼觀看，邊緣資訊較 Bi-Cubic 較為 強烈，彩色影像的放大，PSNR 值的公式要考慮到 RGB 三通道，才能夠做出正確的 PSNR 值。
表 4-2 灰階影像超解析放大結果
原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 20.7506 22.3185 22.0409 原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 22.2233 23.7548 23.5250
表 4-3 彩色影像超解析放大結果
原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 20.9249 21.1037 18.9866
原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(2000)
PSNR 22.5773 22.4083 22.3411
4.3 人臉使用各種模型來放大
假設我們得到一張人臉影像，因為過於渺小或是模糊，以致於人眼難以判定他是男 性或是女性，由於我們已經將人臉模型分門別類，所以可以將影像代入每一種模型都試 試看，將所有結果求出。
表 4-4 女性人臉使用女性及男性模型放大的結果
原始圖
縮小 原始圖 Bi-Cubic 女性模型 男性模型 整體模型
PSNR 19.3470 20.7025 19.6654 20.5692 原始圖
縮小 原始圖 Bi-Cubic 女性模型 男性模型 整體模型
PSNR 24.2462 25.7015 23.8389 25.7900
根據表 4-4 的實驗，若是要放大的臉部影像為女性，則放大時使用女性的模型的 PSNR 值會較高，使用男性的模型的效果會較差，但以人眼來做判定，女性的臉若使用 男性的模型來放大，就會變成較接近男性的臉。若測試圖為男性的臉，我們也可以套入
此實驗，發現也有類似變換性別的效果。因此，若是我們要放大的對象不知其性別，則 可以使用各種不同的模型來做訓練，求得後，可再經過人眼來挑選可能的放大結果。
表 4-5 男性人臉使用女性及男性模型放大的結果
原始圖
縮小 原始圖 Bi-Cubic 女性模型 男性模型 整體模型
PSNR 21.9996 20.7025 22.8149 22.9389 原始圖
縮小 原始圖 Bi-Cubic 女性模型 男性模型 整體模型
PSNR 24.2462 23.7272 25.7479 25.7542
4.4 超解析度應用於車牌放大
對於放大車牌的部份，我們先搜集了 1500 個車牌做為模型，原始的車牌為 64×32 的大小，我們將它縮小為 16×8，以便做測試。我們先用傳統的內插法來放大，結果發 現雖然圖放大了，但是大部份車牌的號碼已經難以用人眼辨識了，這時我們選用超解析 度放大，由於車牌的灰階值較走於兩個極端(0 跟 255)，相對的灰階值的逼近需要較多次 數，經過多次試驗，大約跑到 5000 次就可以有相當的效果。
表 4-6 車牌用傳統內插放大的結果
原圖縮小 原圖 NN BiLinear Bi-Cubic Sinc Area
PSNR 19.5552 20.2855 20.2335 18.6865 20.2986
PSNR 12.9188 13.3922 13.3587 12.2603 13.3920
PSNR 19.8989 20.3537 20.2896 18.4547 20.3464
PSNR 12.9983 13.1857 13.1606 12.5019 13.1826
PSNR 15.9270 16.1377 16.0969 14.6148 16.1316
PSNR 11.8978 12.2852 12.2299 11.1224 12.2790
PSNR 14.3507 14.7785 14.7667 13.2532 14.7852
PSNR 14.9169 15.3023 15.3007 14.4501 15.3123
表 4-7 車牌用超解析度放大的結果
原始圖縮小 原始圖 Bi-Cubic 超解析度(1000) 超解析度(5000)
PSNR 20.2335 18.9032 18.0082
PSNR 13.3587 14.5380 15.6618
PSNR 20.2896 19.6187 17.7062
PSNR 13.1606 13.9868 14.6185
PSNR 16.0969 16.5022 16.2865
PSNR 12.2299 13.4673 14.3126
PSNR 14.7667 17.0872 18.6013
PSNR 15.3007 14.7665 14.3012
表 4-8 車牌用超解析度放大效果較差的範例
原始圖縮小 原始圖 Bi-Cubic Super_(1000) Super(5000) 原因
PSNR 23.2222 21.6428 18.8432
縮小後邊緣 資訊已喪失
應用超解析度放於車牌放大之實驗中，會出現一些效果較差的例子(如表 4-8 所示)，
當車牌太髒使得其車牌號碼過於模糊，而導致邊緣資訊喪失許多，其放大結果亦變差。
第五章、結論及未來方向
影像內插法以及超解析度皆可對影像做放大的功能，效果以及花費時間、複雜度各 有所長，所以我們可以視情況或需要來使用各種不同的放大方法。在本論文中，用超解 析度放大的部份，我們的訓練樣本僅使用眼睛的部份當作主要對應點，即模型中眼睛皆 在同一位置，若能夠增加定位鼻子跟嘴巴的部份，相信能夠對放大有所助益。另外在放 大車牌的部份，由於車牌本身一定都是方方正正的矩形，但是我們在切車牌的過程中，
難免因為拍攝車牌的角度，使得切割的車牌並不完整，所以若能夠針對不同角度拍攝的 車牌，將車牌依據角落四點重新還原為方方正正的矩形，相信可以使得放大的效果進一 步的提升。
參考文獻
[1] T. M. Lehmann , Claudia G¨onner, and Klaus Spitzer,“Interpolation Methods in Medical Image Processing” IEEE Transactions on Medical Imaging, VOL. 18, NO. 11,
NOVEMBER 1999.
[2] K. Turkowski, “Filters for Common Resampling Tasks,” Graphics Gems I, Academic Press, pp. 147-165, 1991.
[3] H.M. Valenzuela,“A two-dimensional recursive model for bilinear systems with
applications to image reconstruction,” IEEE Transaction on Circuits and System , VOL.
31, NO. 3, MARCH 1990.
[4] R.G. Keys,”Cubic Convolution Interpolation for Digital Image Processing”, IEEE Trans.
Acoustic, Speech and Signal Processing , vol. 29 pp. 1153-1160, 1981.
[5] M. Sonka, V. Hlavac, and R. Boyle PWS Publishing, Image Processing, Analysis, and Machine Vision, pp.67-68, 1999.
[6] D. P. Mitchell and A. N. Netravali, “Reconstruction Filters in Computer Graphics,”
Computer Graphics, (SIGGRAPH ’88 Proceedings), vol.22, no.4, pp. 221-228, Aug.
1998.
[7] C. A. Lindley, Practical Image Processing in C, Big Apple Tuttle-Mori Agency, Inc., New York,1994.
[8] L. Rodrigus, D.L. Borges, and L.M. Ganalves, ”A Locally Adaptive Edge-Preserving Algorithm for Image Interpolation, ”Proc. Computer Graphics and Image Processing, pp300-305, Oct.2002.
[9] C.H. Kim, S.M. Seong, j.A. Lee, and L.S. Kim, “Winscale： An Image-Scaling Algorithm Using an Area Pixel model” IEEE Trans. Circuits Syst. Video Technol., Vol.
14, No. 6, pp. 549-553, June 2003.
[10] S. Baker and T. Kana de, “Limits on Super-Resolution and How to Break Them, “IEEE Trans. Pattern Analysis and Machine Intelligence, vol.24, no. 9 pp. 1167-1183,
September 2002.
[11] W.T. Freeman, T.R. Jones, and E.C. Pasztor, “Example-Based Super-Resolution,”
IEEE Computer Graphics and Application, vol22,No2 pp56-65, March/April 2002.
[12] A. Hertzmann, CE. Jacobs, N. Oliver, B.Curless, and DH. Salesin, “Image Analogied,
“ Proc. Of ACM SIGGERAPH’01, pp. 327-340, 2001.
[13] J.Sun, N.N. Zheng, H. Tao, and H.Y. Shum, “Image Hallucination with Primal Sketch Priors,” Proc. CVPR, 2003.
[14] H. Chang, D.Y. Yeung, and Y. Xiong, “Super-Resolution through Neighbor Embedding,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. I：
275-282,2004.
[15] C.Su, Y. Zhuang, Y.T.,L. Huang,and F.Wu, “Steerable pyramid-based face hallucination”, Pattern Recognition. v38. 813-824
[16] E. P. Simoncelli and W.T. Freeman, “The steerable pyramid: a flexible architecture for multi-scale derivative computation” Proceeding of the International Conference on Image Processing, Washington DC, 1995, pp. 444-447.
[17] S. Baker, T. Kanade,“Limits on super-resolution and how to break them, “IEEE Transactions on Pattern Analysis and Machine Intelligence,vol 24,No.9,pp
1167~1183,2002.
[18] 高丈淵,” 影像縮放內插方法及硬體化可行性之研究” 國立交通大學電機資訊學院 產業研發專班碩士論文,Janu 2006.
