－蔡淳仁教授
在三年的整合計畫中，本子計畫除了配合總計畫團隊，協助MPEG 標準 ISO/IEC TR 21000-12：Test Bed for MPEG-21 Resource Delivery 的制定之外，在過去三年共發展了以 下系統。在第一年的時候，除了開發Test Bed，主要是研究現有的流量控制和容錯機制 的設計。第二年則改進了現有的碼率失真最佳化（rate-distortion optimized）可調式串流 傳輸機制並整合進計畫團隊開發的 MPEG Test Bed 標準測試環境中。另外，在第二年 的計畫中，也針對未來多媒體嵌入式系統的相當有潛力的多次內容調適(multiple adap-tations)的應用，設計出以 wavelet 為基礎之 scalable video codec 的流量控制機制。最 後，在第三年的研究中，我們更進一步提出了更好的碼率失真最佳化（rate-distortion optimized）可調式串流傳輸機制。在此系統中，我們會根據封包內容的重要度進行不同 的 Reed-Solomon 容錯保護。在研究成果的產出方面，根據第二年和第三年的研究，我 們分別寫了兩篇期刊論文，目前正在審核中。
(1) 緣由與目的
過去的串流傳輸系統的設計重點是在於同一時間內要能服務最多的客戶端為主，而 且多半假設所有連到伺服器的終端機都是透過類似的網路以及具有相似的計算能力。本 計畫的主要目的在於配合 MPEG-21 的理念，設計出一個具有實用性系統，可以橫跨不 同的網路架構和在不同的客戶端設備上（PC、手機、PDA 等等）提供高品質多媒體傳 輸播放服務。因此，這個傳輸系統必須能動態地根據不同的應用環境調整資料包裝和傳
圖 7 互動式影片瀏覽系統
輸的方式。簡言之，一個數位多媒體傳輸系統的架構必需包含流量控制和容錯機制。另 外，依據客戶端的能力來調整媒體資料流品質的能力也是十分重要的。
為了在頻寬和封包掉失率隨時在改變的環境下給使用者最好的串流傳輸品質，許多人嘗 試對傳輸的資料進行碼率失真最佳化(Rate-Distortion)分析，然後根據分析結果來傳輸視 訊串流。過去所提出的碼率失真最佳化的網路傳輸的流量控制機制裏，最大的問題在於 封包漏失所造成的失真(distortion）沒有辦法量化。許多現有系統的做法在封包漏失所造 成的失真的估測都十分不切實際（或完全忽略了）。我們提出了一個較實際的方法，可 以合理的把封包失真量化。
要達到碼率失真最佳化的網路串流傳輸，除了要根據網路頻寬和封包漏失率來估測 出最好的串流資料量，還必須能在算出的串流資料量限制下，從scalable video 的位元流 中，抽出最好的子位元流。所以我們針對這方面的需求，設計出了一個快速收斂的小波 轉換視訊壓縮法(wavelet video coding)的流量控制機制，另外，更進一步設計了可以有效 進行多次碼率失真最佳化的子位元流抽取(multiple adaptation)的機制。
另外，多媒體串流資料傳輸之前，一般的系統會進行Forward Error Correction (FEC) 或Automatic Retransmission reQuest (ARQ)的保護。然而，在目前公開發表的系統中，最 多只是針對漸層式編碼可調式編碼的的不同傳輸層做不同程度的 FEC 保護。而我們則 改進了這項缺點。在本計畫第三年的成果中，我們提出了一套機制，在碼率失真最佳化 的原則下，能較精確地對視訊內容依其重要性進行不同程度的Reed-Solomon 編碼保護，
並配合data interleaving 的封包包裝法來強化資料對封包掉失的容錯度。
(2) 結果與討論
前面大致提到了本計畫在過去三年除了參加 MPEG 標準制訂之外的三項主要研究 成果，首先是一個較實用的碼率失真最佳化串流傳輸系統、其次是一個較適合嵌入式系 統使用的低複雜度可多次內容調適的流量控制機制、最後則是一個根據 IP 封包網路串 流傳輸特性所設計的自動隨內容重要性調整的（content-adaptive）FEC 保護機制。
本節首先描述本計畫在碼率失真最佳化串流傳輸系統方面的創新設計。目前在這方 面較知名的是由 P. A. Chou 等人所發展的系統。這個系統有兩大缺點。首先是他們使用 封包掉失率來估測碼率失真最佳化分析中的失真。這是很不實際的做法。其次，該系統 為了避開傳統 ARQ 對封包回傳時間很敏感的問題，因此採用封包預先重覆傳送的方法 來降低失真，這也是很沒有效率的容錯保護機制。因此這套方法目前發表的成果以理論 分析為主，在實作上有很多細節並沒有提出解決方案，而且在頻寬變化大的網路環境 下，串流傳輸最難達到的平滑播放要求也沒有考量。
在本計畫的碼率失真最佳化串流傳輸系統中，我們把封包漏失所造成的失真，轉化 為不同程度的FEC 保護所造成的失真。舉例而言， 10-3 的封包漏失率造成的失真，就 相當於10-3 的 FEC 的 error protection 導致 data rate 降低所造成的失真。整個系統可以 分成兩大部份：媒體封包相依性控制：媒體封包相依控制和碼率失真最佳化傳輸控制。
在提出的系統中，碼率失真最佳化傳輸模組會根據資料內容的移動量資訊，來調整流量 控制時的最佳化決定。簡單地說，一般的碼率失真最佳化控制架構必需在資料單元群組 之間利用碼率及失真的Lagrangian cost function 來算出最小值的解來有效率的分配時間 和頻寬的網路資源。而本計畫提出的系統則會同時利用 FEC 的編碼率和每一段視訊資 料所含的移動量大小來校正傳統的cost function 以求得更佳的效果。
在可調式位元串流傳輸中，影像資料可以分成好幾次傳送，每次的傳送都可以幫助
解碼端得到更接近於原影像資料的重建訊號，因此可調式位視訊編碼法必須必須能支援 或是用Reed-Solomon 編碼配合資料交錯安排（data interleaving）來逹到修復掉失的封包 的功能。前者往往不適用封包回傳時間（round-trip time）較長的網路，而後者則是很難 標準委員會共同組織一個名為Joint Video Team (JVT)的團隊共同發展可調視訊編碼技術 (SVC)，以期達成單一位元流能夠支援空間、時間、品質(SNR)三種不同解析度的目標，
Pic0 Pic4 Pic2 Pic1 Pic3
Pic4 Pic2 Pic1 Pic3
Pic0
Pic0 Pic4 Pic2
0 4
Pic8
Pic8 Pic6 Pic5
Pic4 Pic2 Pic8 Pic6
Pic8 Pic6
Pic0 Pic4 Pic2 Pic1 Pic3
Pic4 Pic2 Pic1 Pic3
Pic0
Pic0 Pic4 Pic2
0 4
Pic8
Pic8 Pic6 Pic5
Pic4 Pic2 Pic8 Pic6
Pic8 Pic6
8 Pic0 Pic0
Pic0 Pic4 Pic2 Pic1 Pic3
Pic4 Pic2 Pic1 Pic3
Pic0
Pic0 Pic4 Pic2
0 4
Pic8
Pic8 Pic6 Pic5
Pic4 Pic2 Pic8 Pic6
Pic8 Pic6
(a) SVC bitstream extraction
Prediction
圖 9 SVC encoder structure with three spatial/SNR layers
(SD@3SNR,60fps)
Pic0 Pic1 Pic2 Pic3
(SD@3SNR,60fps)
Pic0 Pic1 Pic2 Pic3
Pic0 Pic1 Pic2 Pic3
(b) SVC decoded video (SD, 704x576 和 CIF, 352x288)、三個 不同的時間解析度(60, 30, 15 fps)，針
總結，作為H.264/AVC 的延伸，SVC 提供了一個 H.264/AVC 相容的基底層跟一個
0 400 800 1200 1600 2000 2400 2800 3200
Bitrate (kbps)
(a) SVC with combined scalability vs. AVC with picture skipping
CREW_60FPS_Spatial Scalability
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Bitrate (kbps)
(b) SVC with spatial scalability only
CREW_4CIF60_SNR_Scalability
0 500 1000 1500 2000 2500 3000 3500 4000
Bitrate (kbps)
(c) SVC with SNR scalability only
CREW_Com bine Scalability
0 400 800 1200 1600 2000 2400 2800 3200
Bitrate (kbps)