第四章 數據分析
4.3 R ESIDUAL 的特性
4.3.2 RESIDUAL BYTE 數
在 MPEG-4 的壓縮中，在經過運動估計[motion estimation]和運動補償後，還要經過量 化和entropy 編碼後，才會成為最後的輸出結果(bit-stream)。而在通道傳輸中，傳遞的就是 bit-stream。因為頻寬不足的關係，並不是所有的 bit-stream 都可以順利地被傳送到解碼端。
MPEG-4 FGS 中採用的是位元平面編碼，資料量會依據其重要性，分佈在不同的位元平面 中。在本節中，我們將對於bit-stream 的長度大小，作統計和分析。
在 MPEG-4 的編碼中，在最後的輸出結果裡，會在每一張畫面的開始還有每一層資料 的開始位置，加上一個註記，因此我們利用一個程式，可以統計出在不同的 β 值時，每一 張畫面經過編碼後bit-stream 大小的分佈，結果如下圖所示:
Bit-plane 1 byte count Bit-plane 2 byte count
Bit-plane 3 byte count Bit-plane 4 byte count
Bit-plane 5 byte count Bit-plane 6 byte count 圖4.17 Residual Byte 數示意圖
由上圖的結果可以發現，採用了愈大的 β 值，可以使得前 β 個 bit-plane 的 byte 數明 顯地降低，達到提升編碼效率的效果。另一方面，比較重要的資料都是被安排在比較前面 的 bit-plane，而且愈前面的 bit-plane 其 byte 數愈小，也符合位元平面編碼的主要精神，就 是把大部份的資料，放置在最小可能大小的 bit-stream 中。
4.3.3 總結
在各自了解了 residual 平均值和 residual byte 數的大小關係後，我們認為兩個值的大小 存在一定程度的關係。大致上就是residual 平均值愈大，residual byte 數也會跟著增加，經 過作圖比較後，發現到上述兩個數值將有一個幾乎是線性的關係，其結果如下圖所示:
bitplane3
bitplane6 bitplane5
bitplane4
beta = 2 beta = 3 beta = 4 beta = 5
圖4.18 Residual 線性模型(News)bitplane3 bitplane4
bitplane5 bitplane6
STEFAN FOREMAN NEWS
圖4.19 Residual 線性模型(News Foreman Stefan)
如我們預期的在同一個影像中，不同張畫面，採用不同的 β 編碼，所得到相對應的 residual 平均值和 residual byte 數都會有接近於線性的關係。更進一步地，我們測試了三種 不同的影像，快速的Stefan、中速的 Foreman、以及慢速的 News，發現這個線性的關係是 可以通用的。雖然會有部份的點偏離線性關係，但是已經提供了一個很好的估計方法。我 們把發現的規則(規則一)，整理於下表中:
Residual 平均值 = M 致地了解最後編碼出來的bit-stream 分佈，節省了一定程度的時間。而且，由實驗的結果，
其估算的分佈相當地精確。
在作完上述的分析之後，我們只要在編碼端作完運動補償之後，就可以依照所得到的 residual 平均值大小，對於最後編碼完成的 bit-stream 大小作約略的估計，這樣就可以使得 最適合的參數組合在更早的階段被決定，其示意圖如下:
第五章 提出的方法
固定的，我們可以經由規則一，預測出最後編碼出來的 bit-stream 情形。在有這兩項資訊 的情況下，我們可以選擇適當的 β 值，只讓可以完全被解碼端接收的加強層資訊，被運動Bit-plane 1-3 available
Bit-plane 4 partially available Bit-plane 5 6 lost
Set β = 3
5.2 方法二
Bit-plane 1-3 available
Bit-plane 4 partially available Bit-plane 5 6 lost
If MSE gain>MSE lost -> Set β = 4
and lower down α
Else
5.3 方法三
Consider bit plane k
If MSE gain > MSE lost
-> Set β = β+1
處的檢查點個數，如果超過半數的檢查點在採用了這一層的加強層資料量之後，可以對
Consider bit plane k
If (MSE gain>MSE lost ) count
> (total count)/2
-> Set β = β+1
第六章 實驗結果
在本章中，將比較上章中各項方法的結果進行比較，並且討論效能提升或者是下降的 原因，測試的影像主要為News、Foreman、Stefan 分別代表了慢速度，中速度和快速度的 影像，頻寬考量是從256K 到 2560K，畫面率設為 30。
6.1 方法一實驗結果
如第五章中所介紹的，本方法是用最簡單的想法來實現一個不會受到錯誤漂移影響的 參數挑選方式。在固定頻寬下，因為我們只採用了可以被解碼端收到的資訊量來作為運動 補償的參考，雖然沒有辦法達到比較好的編碼效率，但是可以免除掉錯誤帶來的處罰，在 比較低頻寬的時候，可以帶來比較好的效果，接近於之前最佳參數挑選的結果。我們一共 在256K 到 2560K 之間，分別測試了 256K、384K、512K、768K、1024K、1536K、2048K 和2560K 等八個頻寬，部份的結果如下圖所示:
128K 256K
768K 2048K
圖6.1 方法一結果圖
6.2 方法二實驗結果
在方法二中，我們開始使用我們發現的規則，對於解碼端影像的品質進行評估，希望 在某些適合的情形下，採用部份解碼端不會被收到的資訊來作為運動補償之參考，希望更 進一步的提升編碼品質，同樣測試了256K、384K、512K、768K、1024K、1536K、2048K 和2560K 等八個頻寬，其結果如下圖所示:
256K 384K
1536K 2560K
圖6.2 方法二結果圖
6.3 方法三實驗結果
在方法三中，延續方法二的估測方式，只是改為採用一整段的頻寬來考量，經過實驗 結果發現，如果考量的頻寬較長的時候，因為在低頻寬時錯誤對於MSE 的影響非常的大，
會主宰參數的決定，所以最後挑選出來的結果就幾乎都是選擇 β 為 2，這並不是我們希望 的結果。但是如果考量的頻寬範圍較小，避開一些非常低的頻寬，就可以帶來比較好的效 果，我們取用了768K、896K、1024K、1280K、1400K、1536K、1750K 和 2048K 等八個 頻寬作為檢查點，得到如下的效果:
圖6.3 方法三結果圖(News)
圖6.4 方法三結果圖(Foreman)
6.4 方法四實驗結果
最後為了改善方法三在比較大的可能頻寬，含蓋了低頻寬時，挑選參數組合結果不佳 的問題，我們改採了以改善與否的數量取代了平均改善量，作為衡量的標準，一樣是考量 256K、384K、512K、768K、1024K、1536K、2048K 和 2560K 等八個頻寬，得到的結果 如下:
圖6.5 方法四結果圖(News)
3 圖6.6 方法四結果圖(Foreman)
圖6.7 方法四結果圖(Stefan)
第七章 結論
在本論文中首先分析原本以 PSNR 為標準的 RFGS 最佳化參數挑選方法，為了達到平 衡的考慮低、高頻寬情形，並且改善過度低估錯誤處罰的缺點，提出了以 MSE 為標準的 RFGS 最佳化參數挑選方法，相較於原本的方法，提升了一定程度的整體編碼效果。有鑑 於上述的兩種方法，需要經過多次的編碼，通道，解碼才能得到最佳參數組合，雖經過加 速，但是速度仍然非常的慢，在實作上幾乎不可行。我們接下來觀察了編碼，解碼端各過 程的結果，經過統計分析，發現其規律，建立各個相對應的模型;最後，藉由上述的結果，
我們提出了一些不同的快速演算法，可以在編碼端經過簡單的一些運動補償測試，就可以 估算出一組最適合的參數組合。
我們提出以 FRAME 為基礎的完整方法，相對於固定參數的編碼方式，在增加非常少 的編碼時間之下，因為對於有不同特質的畫面，採用不同的參數組合，可以一定程度的提 升了編碼效果。
參考文獻
[1] Coding of Audio-Visual Objects, Part-2 Visual, Amendment 4: Streaming Video Profile, ISO/IEC 14 496-2/FPDAM4, July 2000.
[2] Mihaela van der Schaar, Hayder Radha, “A hybrid temporal-SNR Granular Scalability for Internet Video,” IEEE Trans. On Circuits Syst. Video Technol., vol. 11, No. 3, March 2001 [3] Feng Wu, Shipeng Li, Ya-Win Zhang, “A framework for efficient progressive fine
granularity scalable video coding,” IEEE Trans. On Circuits Syst. Video Technol., vol. 11, No. 3, March 2001
[4] Weiping Li, “Overview of Fine Granularity Scalability in MPEG-4 Video Standard,” IEEE Trans. On Circuits Syst. Video Technol., vol. 13, No. 3, March 2001
[5] Jyh-jyh Huang, ” Visual Improvement on MPEG-4 Video Coding with Frequency Information Selection”, Department of Electronics Engineering, Institute of Electronics National Chiao Tung University Res. 2004
[6] Mihaela van der Schaar, Hayder Radha, “Motion-compensation fine-granular-scalability (MC-FGS) for wireless multimedia” Proceeding Multimedia Signal Processing, IEEE 4th Workshop on, Oct. 2001
[7] Hsiang-Chun Huang, Chung-Neng Wang, and Tihao Chiang, “A Robust Fine Granularity Scalability Using Trellis-Based Predictive Leak,” IEEE Trans. On Circuits Syst. Video Technol., vol. 12, No. 6, June 2002
[8] S.R. Chen, C.P. Chang, and C.W. Lin, “MPEG-4 FGS coding performance improvement using inter-layer prediction,” in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, May 2004, Montreal, Canada.
[9] Y. Liu, Z. Li, Paul Salama, and E. J. Delp, “A discussion of leaky prediction based scalable coding,” in Proc. IEEE Int. Conf. on Multimedia and Expo (ICME), pp. 565-568, vol. 2, July 6-9, 2003, Baltimore, MD.
[10] L.C. Kuo, T. Chiang, S.J. Wang, “An Adaptive Macro-Block Based Scheme for Temporal Prediction Control in Fine Granularity Scalability Coding,” in Conf, on WCE, Nov 2004, Hsinchu, Taiwan