相關文獻探討

在影像縮放文獻探討中，我們研究並探討了硬體實現影像縮放相關的專利，以及討 論「適合硬體實作」及「較不適合硬體實作」的相關研究與一般常見的網路討論部分共 20 篇，在本小節中做概略說明。

1.2.1 專利文獻

參考文獻[1]提出一個影像縮放的架構，將來源影像在水平方向及垂直方向上進行縮 放後形成一個目的影像，此專利設計出一個可在來源影像與目的影像時脈不同下的運作 方式，藉由兩個不同的時脈（Clocks）處理與 Line Buffer 的設計，使得輸出的放大影像 Frame Rate，達到與輸入影像 Frame Rate 相同的播放速度。

參考文獻[2]於 2002 年被提出，主要重點在利用平行處理的架構對數位影像進行縮 放。在平行處理的系統中有一常被運用到的「單一指令複合資料模式（Single Instruction Multiple Data）」技術，可在同一時間處理大量的數據，因此可以大幅的增加資料處理的 速度，運用在影像縮放上，也就有可能使用較複雜的運算得出較細緻的內插結果。

1.2.2 適合硬體實作之相關文獻

一般在影像縮放的軟體中，常採用的論文研究方法包含了 Sinc、Bi-Linear [3]、

Bi-Cubic [4]、Nearest Neighbor [20]等作法，其基本原理皆是應用不同的核心函數（Kernel Function）來對影像作縮放，不同的核心函數的形式，即可得到不同的影像縮放效果，

如 Lanczos [5]的影像縮放，即是 Sinc 核心函數的簡化實作方法，而 Mitchell-Netravali [6]、[7]所採用的核心函數，則可視為 Bi-Cubic 核心函數的廣義形式；這些基於核心函 數的影像縮放方法，由於較為基本而簡易，所以也常被應用於軟、硬體影像縮放的實作。

在關於影像縮放的議題之討論中 [9]，以 Bi-Linear 作影像內插放大，是一個簡易同 時效果可為大眾所接受的方法，以 Bi-Cubic 作影像內插放大，則是一個較 Bi-Linear 複 雜一些，但效果較佳的選擇，即是在於討論以硬體實作 Bi-Cubic 影像放大相關的問題（詳 見第三章）。

1.2.3 較不適合硬體實作之論文研究

除了上一小節所描述較基本的影像縮放方法之外，還有比較複雜，適合軟體實作的 方法，如採用視覺上的幾何來取代核心函數的方式[10]作影像放大，這個方法能在放大 影像的過程中保持影像的精確度，且放大後的邊緣看起來較平滑。而在論文[11]中，

Storkey 提出了一個以機率混合模型（Probabilistic Mixture Model）作超解析度放大的方 法，有別於以簡單濾波器作放大處理的作法，Storkey 所提出的混合機率法則是將每一 個高解析度的點，由數個潛藏的點（Latent Nodes）混合計算而得出，而每個潛藏點則 可視為對應到一塊同質的影像區域，這些潛藏點的機率模型，則是以信息傳遞（Belief Propagation）的方法計算得出，如此所作出的放大影像，其效果優於既有的濾波器處理 方法，其放大的影像與真實大張的影像相比，有較小的平方誤差，放大後影像的紋路得 以較好的方式呈現。

在 [12]、[13]的研究中，則是應用求解偏微分方程式的方法，來改善影像放大時鋸 齒狀的狀況。其方法大致是在放大的影像上，建立格子點，並依照影像內容（如邊線分 佈），建構初始等高線與梯度函數，並驅動偏微方程求解的程序，以得出新的等高線分 佈，如此修正過後的影像，會使得原本鋸齒的情況，藉由等高線的移動而變得較為平滑，

但由於此類方法需求解偏微分方程，故計算量頗大，較不適合硬體實作。

此外，在影像處理的領域，對於放大比例很高的影像處理問題，又稱為超解析度問 題。早期關於這方面的研究大多是從影像重建（Image Reconstruction）的觀點出發[14]，

此 類 做 法 ， 基 本 上 是 假 設 存 在 一 張 真 實 的 高 解 析 影 像 H ， 經 過 Convolution 及 Down-Sampling 運算，這類運算轉換稱之為T ，成為我們所見到的低解析度影像 L ，我 們可以L=TH +Z 的式子來表示這樣的關係，其中 Z 為雜訊或誤差向量。在[14]中假設 這些轉換的過程是較簡單的線性轉換，以解出轉換矩陣的方式求解，不同的作法還包含 利用最大化相似區間（Maximum Likelihood）求解，以得到一近似的高解析度影像 H ′ ， Irani 等人在[15]中所提出的方法，即可快速求得這樣的 H ′。但由於這樣的模型本身可能

包含無數解，所以雖然我們求得的 H ′ 在數值上正確，但對於人類的視覺感官來說卻可 能會有相當不自然的感覺，如鋸齒狀及光暈的出現，對此，可行的改進模型是對所要求 的 H 給予一先備知識（Prior），經由最大化事後機率（Maximum Aposteriori）的計算，

可得到一較為自然的影像。

為了想要得到更自然的影像，有些人提出了以學習方法為主的超解析度方法[16]、

[17]、[18]，這類研究大都以全影像中的一小區塊（Image Patch）及相對應的高解析影 像區塊的資料庫，在提升 L 的解析度時，先將 L 切割成小塊的區塊，然後從資料庫中找 出最接近的低解析度區塊，再將相對應的高解析度區塊取回組成一高解析度的影像。這 類方法的優點在於所得的高解析影像大多較為自然，且可在只有單張低解析影像時放大 較大的倍數，其缺點則在於搜尋資料庫的時間成本以及應用範圍會跟資料庫的內容有 關。

儘管上述的諸多方法，較不適用於硬體的實作，而多屬於軟體影像處理的研究結 果，但其研究所得到的影像處理效能，卻是未來發展趨勢的重要指標。