畫面間小波視訊轉換(Interframe Wavelet Video Coding)由於擁有良好的壓縮比以及多元 的可調性近來備受矚目。它可以做到三種不同的可調性：1)資料量的可調整性、2)時間 解析的可調整性、3)空間解析的可調整性。畫面間小波視訊轉換初步研究成果在 2004 年3 月與 7 月提案參加於 MPEG 標準組織 scalable video coding Call-for-Proposal 競賽，
之後仍參與MPEG Ad Hoc Group 進行討論。2005 年我們持續提案參加 MPEG 標準組織 scalable video coding 的 Core Experiments。在本計畫中，主要有兩個研究主題 (1)以人類 視覺系統為基礎的位元率控制法，(2)用於影像壓縮之方向性多重解析度轉換，和(3)區 塊位元平面算數編碼。計畫目標為針對畫面間小波視訊轉換之空間轉換、熵編碼器、與 位元率控制等進行改良。
A.
以人類視覺系統為基礎的位元控制法(1) 背景與研究目的
在畫面間小波視訊轉換(Interframe Wavelet Video Coding)位元控制法(rate control algo-rithm)中，每個在用於畫面之間的小波轉換編碼的截斷點(truncation point)都有自己相關 聯的失真(distortion)和位元長度(bits length)。而每個截斷點的斜率(slope)就是把失真的差 異(distortion difference)除以位元差異(bit difference)所得到的商。在最佳化理論中 (optimization theory)，擁有較高斜率的截斷點有較高的優先權被傳送。在這裡我們提出 一個方法，就是說我們把每個截斷點的斜率乘上一個由人類視覺系統算出來的權重。故 這個經過視覺加重的斜率會成為位元控制法中判斷的標準。我們的模擬會指出最後的重 建影像有較低的最高訊號雜訊比(PSNR)和較佳的視覺品質。
(2) 方法與實驗
正好可被注意到的失真(Just Noticeable Distortion) -- 把一張影像經過小波轉換(wavelet transform)後，每個次頻帶可用層次(level)λ 以及方位(orientation) θ 表示，而每個次頻帶 的亮度成份(luminance component)的正好可被注意到的失真(just noticeable distortion)y 可 以用log(
y
)=log(a
)+k
⋅(log(f
)−log(g
θf
0))2來算出，其中 a = 0.495，k = 0.466，f0 = 0.401。g 為 1.501，1，或 0.534 分別對應到 LL，LH/HL，或 HH 次頻帶。f 是空間上
θ 的頻率(spatial frequency)且在不同的狀況下有不同的數值。在一般看電腦螢幕的狀況 下，展示解析度(display resolution)r 為 16 像素/度，而每一層次 λ 的小波轉換所對應的空 間上的頻率f 為f
=r
∗2−λ。(3) 結果與討論
依照正好可被注意到的失真及其他視覺特性，我們可推導出一個次頻帶內所有截斷點的 視覺權重要素。然後依據截斷點加權後失真和位元關係，決定其位元分配。從圖 6-1 可
以看出，乘上權重後的影像在視覺效果比原本的好，尤其是在大面積的平坦的區域上可 化，但對於線和曲線的變化卻不能發揮，因此，Candes and Donoho 發表了新的空間分 析方法，叫做曲線轉換（curvelet）。其後 Minh N. Do 提出了輪廓轉換(contourlet)建立新 的圖片表示方法。我們的研究用Minh N. Do 的輪廓轉換放入 MPEG Wavelet Coding 參
(3) 結果與討論
在方向性多重解析度轉換研究方面，表 6-1 測試圖片 barbara 的壓縮結果比較，
MSSVC(Microsoft 的 MPEG Wavelet Coding Software) 為 原 參 考 軟 體 的 結 果 ， MSSVC_MDT 為加入輪廓轉換後的結果。由於 JPEG2000 大家熟悉的壓縮方法，我們也 將JPEG2000 包括進來當作 PSNR 比較的參考。
表 6-1：測試圖片 barbara 的 PSNR 比較表
256(k byte) ratio(%) PSNR
512(width) MSSVC JPEG2000 MSSVC_MDT 512(height) 0.625 21.41 22.44 22.43
0.9375 23 23.33 22.8
1.25 23.89 23.97 23.86
5 30.85 29.56 28.18
10 35.5 33.97 31.89
C. 區塊位元平面算數編碼
(1) 背景與研究目的
在熵編碼方面，由於參考軟體所使用的三維嵌入式塊最佳截斷編碼沒有利用到能量聚集 的現象，因此我們希望能藉著位元平面上能量聚集的現象讓編碼效率能夠提升。
(2) 方法與實驗
小波係數之初始設定為『非有效性的』(insignificant)，
當係數的第一個非零位元被找到時，就將其設定為『有 效』(significant)，此第一個非零 significant 位元即是係 數的『有效位元』(Significant Bit，SB)，我們在每一個 位元面建立另一個位元面叫做有效位元整併面
(SB-reach plane)，如右圖所示。若在此位元面上的一個 數值代表其N x N 平方區塊的係數位元面。當對應區塊 越大有效位元整併平面越小，當對應區塊中有一個係數 變成significant，有效位元整併面(SB-reach plane)的數值
會被設為1，反之，當整併面的參數為 0 代表其相對應區塊全部為 0。
編碼完整併面後，我們對原來的位元面編碼。如果之前整併面的數值為0，其位元面上 相對應區塊就都不需要編碼，若整併面上的參數為1，其位元面編碼過程在錯誤! 找不 到參照來源。說明。位元面的編碼步驟和核心實驗軟體中是一樣的，
(3) 結果與討論
在熵編碼方面，我們提出有效位元整併方法(SB-reach plane)來提升三維嵌入式塊最佳截 斷編碼，位元率的節省百分比在錯誤! 找不到參照來源。到錯誤! 找不到參照來源。，
在這些表顯示從第一層位元平面到目前指定位元面累加節省的總位元數。舉例來說，累 加到第三層位元面表示第一、第二和第三位元面節省位元數，而若為負百分比表示位元 率比原來的方法還要多，表上也顯示出空間上每個次頻帶的節省位元數。在低位元比率 時，在第一、第二有較明顯節省位元減少比例。