對比加強技術，所發展出來的「以影像內容為基礎的視訊暗部加強技術」 另一項是一 種針對H.264/AVC 視訊縮放的技術，我們稱之為「視訊空間解析度加強技術」。在「以 影像內容為基礎的視訊暗部加強技術」方面，我們根據影像內容分析的結果，產生相對 應的亮度調整機制。運用此項技術，我們可以用來改善視訊品質，並達到特定應用之目 的。在「視訊空間解析度加強技術」方面，我們以 MAP 估測器為基礎，實作一視訊解 析度改善的技術，另外，我們並針對現有方法做一些改進，使其在場景變換及快速運動 時依然能有效的來加強視訊的解析度。
A. 視訊暗部加強技術
(1) 背景
現實世界中的光源強度分配的範圍是非常大的，但人類的視覺系統會對其做一定的 調整以得到較清楚的視覺感知。但在數位影像中，由於位元數的限制，所以無法儲存完 整的亮度變化。使用較少位數儲存影像資訊的結果會使得所儲存之數位影像，其亮度分 佈可能會很集中，也就是整張影像會很黑或是很亮，因此喪失了影像的辨識性。因此我 們的目的就是希望能解決上述的問題。在暗部加強的現有技術中，Retinex 是一普遍被 運用的技術。雖然Retinex 可提供一定的處理效果，但是其運算複雜度較高(log 運算)。
因此也增加其硬體實現的困難度。
(2) 演算法說明
我們所提出的方法是接續去年的「以影像內容為基礎的視訊對比加強技術」所發展 出來的。首先我們定義一n n大小的視窗作為分析的基準。假設當視窗移動到影像中 座標軸(x,y)時，我們會以函數 f1, f2 分析視窗內亮度值的特性。其中 f1 主要是分析視窗 中像素亮度值之平均趨勢，而 f2 主要是分析視窗中像素亮度值的變異度資訊。我們一 方面以視窗掃瞄影像產生f1, f2 的資訊時，另一方面，我們會累計(f1,f2)的出現頻率。接 著我們將從影像特徵對分布函數出發，推演出相對應的對比加強演算法。當我們考慮完 所有特徵對的貢獻後，我們可以求出一最終的柱狀圖資訊 M(g)，並以此產生相對應的 亮度轉換函數Tc(r)。
接著，影像的暗部加強，可藉由壓縮影像中亮度對比較強的邊角資訊同時保持影像 中亮度對比較弱的邊角資訊來達成。若換一個角度來思考這個問題，等同於影像的暗部 加強可藉由加強影像中較弱的邊角資訊來達成。對我們的去年所發展的對比加強演算法 架構而言，此概念相當容易被實現，我們只需要將去年研究成果中的柱狀圖的公式改為
下式即可： 2 1max
2 1min
2
1 2 1 2
( ) f T1 f ( ; , )
f T f
M g
=H g f f df df
=
∫
=∫
(3) 實驗結果
圖 1 為所提方法和 Retinex 的比較，我們可以清楚的觀察到，所提方法能提供和 Retinex 類似的處理效果，但是以運算複雜度的觀點而言，所提方法則是較 Retinex 簡單 需多，也更易於硬體的實現。
(4) 結論
在本研究中，我們根據去年所提出的對比加強處理演算法為基礎，成功的發展出一套適 用於影像暗部加強的演算法，且較 Retinex 而言，更易於硬體實現。另外，最後的實驗 結果也證實了所提方法的強健性及實用性。
B. 視訊空間解析度加強技術
(1) 背景
畫面解析度改善(Resolution Enhancement)或是超解析度(Super-Resolution)的技巧，
主要處理的問題是希望能夠藉由觀察低解析度(Low-Resolution)的影像或視訊去重建回 高解析度的影像或視訊，可以利用圖2 來做說明。超解析度的演算法利用低解析度影像 間sub-pixel 移動的關係去重建回高解析度的影像。而這些移動關係是由於視訊序列裡發 生的運動所造成。由於有這些移動，所以才能在多張低解度影像中，找出對於重建高解 析度影像有用的資訊。幾種常用來解決超解析度問題的方法為：(1) Projection onto Convex Set 方法；(2) Stochastic 方法；(3) Hybrid 方法。
(2) 架構
為了要進一步探討針對壓縮視訊畫面解析度改善的方法，首先要先把會使用到的系 統模型建立起來。這個系統模型，將會把原始的高解析度影像跟解壓縮過後的低階析度 影像的關係連結起來。我們的方法，是先建立視訊取像模型、視訊壓縮、以及雜訊模型。
接著，我們假設高解析度影像的資訊可能會出現在多張低解析度的影像中，那麼每張低 解析度的影像都能夠提供關於高解析度影像的額外資訊。因此，藉由觀察多張壓縮過的 低解析度影像就可以重建回高解析度影像。
(a) 原始影像 (b) 所提方法
(c) Retinex
圖 1 暗部加強實例
因為MAP 的方法在 model 雜訊和先前知識上很有彈性及韌性，所以我們以此為基 礎，推導MAP estimator。針對超解析度的 spatial-domain MAP estimator 的推導，我們必 須定義Fidelity constraint 與 Prior model，接著推導 MAP estimator 的 cost function，最後 採用 steepest descent 方法去找到超解析度問題的最佳解。然而在整個流程中，motion estimation 是整個方法理最關鍵的一個步驟，所以如果有不正確的 motion estimation 出 現，就會造成 warp-back 過程發生錯誤。為了處理這樣的問題，我們分別針對瑕疵減少 與場景轉換與快速運動偵測兩個議題提出解決方法。
(3) 實驗結果
在實驗中，我們將畫面的解析度由 QCIF 放大為 CIF。我們使用四張 QCIF 的低解 析度影像去重建單張CIF 的高解析度影像。在這個情況下，我們必須要作三次的 motion estimation。然後我們便會得到三張 warpped-back images 及三張的 warpped-back error images。由圖 2，我們可以看到視覺品質獲得改善。而我們的方法跟 bilinear 的比較可 以在圖 3 中看到。可以看出我們方法重建回的高解析度影像，比bilinear 方法的結果來 的少瑕疵且在邊緣的部分比較銳利。
(4) 結論
在這次的進度報告中，我們以MAP estimator 實現了針對 H.264/AVC 壓縮視訊的畫 面解析度改善方法。針對重建結果中產生的瑕疵部分，也提出兩種改善的方式去壓抑瑕 疵。第一種，是一個spatial domain 的中位數濾波器，用來壓抑 salt-and-pepper 型的雜訊。
第二種，則是pixel-wise temporal median filter 用來移除重建過程中的例外者。針對 SC/FM (a) 5th frame;
bilin-ear 方法；
(a) 5th frame; 改善 過的超解析度方法
圖 3 Bilinear 方法跟改善過的超解析度方法的模擬比較：Mobile 視訊序列 (a) 157th frame; 原始
超解析度方法；
(b) 157th frame; 改善 過的超解析度方法
圖 2 原始超解析度方法跟改善過的超解析度方法的模擬比較：Foreman 視訊序列
的問題，我們也提出了可能的改善方式去解決這樣的問題。跟原始的超解析度方法比 較，我們提出的方法可以克服SC/FM 的問題，並壓抑大部分的瑕疵。