適用於網路QoS控制之可調式視訊編碼研究
102
0
0
全文
(2) 適用於網路 QoS 控制之可調式視訊編碼研究 研究生： 吳政穎. 指導教授： 王隆仁 博士. 國立屏東商業技術學院資訊管理系(所) 中華民國 九十四 年 六 月. 摘要 隨著網路技術的蓬勃發展，在網路所提供的視訊服務越來越多，相 對的網路服務品質的要求也變得越來越高，故如何改善視訊在網路上傳 輸的服務品質(QoS, Quality of Service) 一直是近年來相當熱門的研究議 題。本論文旨在提出以MPEG-4視訊標準為基礎的可調式視訊壓縮技術 (Scalable Video Coding)，使視訊傳輸更能適應在變動的通訊網路頻寬， 達到即時傳輸及高品質的視訊畫質。為了因應網路頻寬的多變化性，亦 對MPEG-4架構做部份的調整，使其架構更具備視訊傳輸的可調性。 論文中主要是利用空間(Spatial)及時間(Temporal)之可調技術來改善 MPEG-4視訊壓縮技術，也就是首先利用空間之可調性，根據通訊網路頻 寬的狀況選擇不同維度次取樣(Decimation)的方法，降低傳輸的位元率； 並且當通訊網路頻寬更不足時，再次利用時間之可調性，進行相鄰畫框 間的次取樣產生極低位元率(Very Low Bit-rate)的壓縮視訊輸出至接收 端，接收端再依據相對應之插補法(Interpolation)進行視訊重建。透過此即 時性可調式視訊傳輸位元率之決策機制的使用，達到即時視訊傳輸所需 求的影像品質。. 關鍵詞：網路服務品質 (QoS) 、 MPEG-4 、取樣法 (Decimation) 、插補法 (Interpolation). -I-.
(3) A Study of Scalable Video Coding for Network QoS Control Student： Cheng-Ying Wu. Advisor： Dr. Lung-Jen Wang. Dept. of Information Management, National Pingtung Institute of Commerce. ABSTRACT Nowadays, streaming video over heterogeneous network is ready to take off since the scalable video coding techniques and the underlying network infrastructure have been matured and fully established. However, the streaming server’s support for scalable video is not prevailing. The problems arisen from dealing with the scalable video coding are bandwidth limitation and QoS(Quality of Service) guarantee between different layers in end-to-end transmission. In this thesis, we propose a scalable video coding based on MPEG-4 standard over Internet. The proposed method achieves a real time and high-quality video transmission to conform to the requirements of the video communication. We also present a framework for efficient scalable video coding using both decimation and interpolation schemes in spatial and temporal of frames. Experimental results show that the proposed scalable video coding improves the coding efficiency in terms of PSNR and bit rate for the applications in network communication over Internet. Keyword: QoS (Quality of Service), MPEG-4, Decimation, Interpolation. -II-.
(4) 誌謝 回首過去，碩士生涯眨眼即過，看似短暫，但也經歷了許多的事情。 首先要感謝的是指導老師—王隆仁 教授，兩年前我剛考進來，還在茫 然不熟悉時，願收我為門下，感謝老師在日常生活中給予的自由和研究 上的指導， 也因如此， 我才能在研究所期間徜徉影像處理浩瀚的學問 之中， 完成這份論文。 論文考試期間，承蒙陳孟峯教授及黃振藝教授兩位老師提供了許多 寶貴的意見與協助， 也讓這份論文的內容更加完整而充實， 在此謹致 上最誠摯的謝意。 感謝研究室一同奮鬥的夥伴們及學弟坤融，有你們的互相切磋和經 驗分享，讓研究所生活更加多采多姿。 最後當然要感謝我的家人，在背後默默的支持，父、母親雖然不怎 麼懂我念的是些什麼，但是始終全力支持我，讓我能無後顧之憂的順利 完成學業。 謹將本論文獻給所有關心我的人。. 吳政穎 謹誌 于屏商技資訊管理研究所 九十四年六月 -III-.
(5) 目錄 摘要 .................................................................................................................... I ABSTRACT .....................................................................................................II 誌謝 ................................................................................................................. III 目錄 ................................................................................................................. IV 圖目錄 ............................................................................................................. VI 表目錄 .......................................................................................................... XIII 第1章. 緒 論 .............................................................................................1. 1.1 研究背景 ...............................................................................................1 1.2 研究動機與目的 ...................................................................................2 1.3 論文結構 ...............................................................................................4 第2章. MPEG之可調式視訊編碼方法 ...................................................5. 2.1 MPEG-2 視訊編碼................................................................................5 2.1.1 空間之可調式 ............................................................................. 5 2.1.2 時間之可調式 ............................................................................. 7 2.1.3 SNR 之可調式 ............................................................................ 9 2.2 MPEG-4 之位元可調式.....................................................................10 2.3 MPEG-4 動態解析度轉換..................................................................11 第3章. 網路視訊傳輸系統及相關技術 .................................................16. 3.1 視訊傳輸系統架構 .............................................................................16 -IV-.
(6) 3.2 網路傳輸協定 .....................................................................................17 3.3 網路頻寬偵測 .....................................................................................20 第4章. 可調式視訊編碼 .........................................................................23. 4.1 可調式視訊編碼 .................................................................................23 4.2 可調式視訊編碼之取樣法與插補法 ..................................................26 4.2.1 一維垂直方向直接取樣與立方迴旋插補法 ............................ 27 4.2.2 二維直接取樣與立方迴旋插補法 ........................................... 30 4.2.3 三維線性取樣與線性插補法 ................................................... 33 4.3 結合取樣與插補演算法之MPEG-4 編碼演算法 ............................39 第5章. 實驗結果 .....................................................................................44. 5.1 客觀評估方法 .....................................................................................45 5.2 主觀評估方法 .....................................................................................69 5.3 視訊傳輸的封包遺失率 .....................................................................79 第6章. 結論與未來研究 .........................................................................83. 6.1 結論 .....................................................................................................83 6.2 未來研究 .............................................................................................83 參考文獻 ..........................................................................................................85. -V-.
(7) 圖目錄 圖 2-1 空間可調式基礎層編解碼方塊圖 ...................................................... 6 圖 2-2 空間可調式編碼方塊圖 ...................................................................... 7 圖 2-3 畫框排列方式 ...................................................................................... 8 圖 2-4 時間可調式編碼方塊圖 ...................................................................... 8 圖 2-5 時間可調式畫框編碼方塊圖 .............................................................. 9 圖 2-6 SNR 可調式編碼方塊圖 .................................................................... 10 圖 2-7 MPEG-4 動態解析度轉換方式的原理圖 ....................................... 13 圖 2-8 MPEG-4 動態解析度轉換之演算法................................................ 15 圖 3-1 網際網路視訊傳輸架構圖 ................................................................ 16 圖 3-2 視訊傳輸協定架構圖 ........................................................................ 18 圖 3-3 網路瓶頸現象 .................................................................................... 21 圖 4-1 可調節式視訊傳輸位元率之比較 .................................................... 25 圖 4-2 可調式視訊編碼演算法之編碼架構圖 ............................................ 26 圖 4-3 一維垂直方向直接取樣法 ................................................................ 28 圖 4-4 一維立方迴旋函數 ............................................................................ 29 圖 4-5 一維垂直方向立方迴旋插補法 ........................................................ 30 圖 4-6 二維直接取樣法 ................................................................................ 31 圖 4-7 二維立方迴旋插補法 ........................................................................ 33. -VI-.
(8) 圖 4-8 三維線性取樣法 ................................................................................ 34 圖 4-9 一維線性函數 .................................................................................... 36 圖 4-10 三維線性插補法 .............................................................................. 37 圖 4-11 三維線性插補法之圖元重建範例 .................................................. 38 圖 4-12 一維垂直方向直接取樣與立方迴旋插補法之 MPEG-4 編碼流 程圖 ........................................................................................................... 40 圖 4-13 二維直接取樣與立方迴旋插補法之 MPEG-4 編碼流程圖......... 41 圖 4-14 三維線性取樣與線性插補法之 MPEG-4 編碼流程圖 ................. 43 圖 5-1 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(一維，Y)...................................................................................... 51 圖 5-2 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(一維，U)...................................................................................... 51 圖 5-3 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(一維，V)...................................................................................... 52 圖 5-4 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(二維，Y)...................................................................................... 52 圖 5-5 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(二維，U)...................................................................................... 53. -VII-.
(9) 圖 5-6“MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(二維，V)...................................................................................... 53 圖 5-7 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(三維，Y)...................................................................................... 54 圖 5-8“MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(三維，U)...................................................................................... 54 圖 5-9 “MOTHER & DAUGHTER＂視訊(352×288)之重建後的視訊畫面品 質比較(三維，V)...................................................................................... 55 圖 5-10 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(一 維，Y) ....................................................................................................... 55 圖 5-11 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(一 維，U) ....................................................................................................... 56 圖 5-12 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(一 維，V) ....................................................................................................... 56 圖 5-13 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(二 維，Y) ....................................................................................................... 57 圖 5-14 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(二 維，U) ....................................................................................................... 57. -VIII-.
(10) 圖 5-15 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(二 維，V) ....................................................................................................... 58 圖 5-16 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(三 維，Y) ....................................................................................................... 58 圖 5-17 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(三 維，U) ....................................................................................................... 59 圖 5-18 “DANCER＂視訊(352×288)之重建後的視訊畫面品質比較(三 維，V) ....................................................................................................... 59 圖 5-19 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，Y).......................................................................................... 60 圖 5-20 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，U).......................................................................................... 60 圖 5-21 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，V).......................................................................................... 61 圖 5-22 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，Y).......................................................................................... 61 圖 5-23 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，U).......................................................................................... 62. -IX-.
(11) 圖 5-24 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，V).......................................................................................... 62 圖 5-25 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，Y).......................................................................................... 63 圖 5-26 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，U).......................................................................................... 63 圖 5-27 電影“尖峰時刻＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，V).......................................................................................... 64 圖 5-28 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，Y).......................................................................................... 64 圖 5-29 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，U).......................................................................................... 65 圖 5-30 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(一維，V).......................................................................................... 65 圖 5-31 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，Y).......................................................................................... 66 圖 5-32 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，U).......................................................................................... 66. -X-.
(12) 圖 5-33 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(二維，V).......................................................................................... 67 圖 5-34 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，Y).......................................................................................... 67 圖 5-35 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，U).......................................................................................... 68 圖 5-36 電影“星際大戰＂片段視訊(640×480)之重建後的視訊畫面品質 比較(三維，V).......................................................................................... 68 圖 5-37 LENA 影像(512×512) 於壓縮率 1/2 之視訊編碼重建後的影像畫面 品質比較 ................................................................................................... 70 圖 5-38 PEPPERS 影像(512×512) 於壓縮率 1/2 之視訊編碼重建後的影像 畫面品質比較 ........................................................................................... 71 圖 5-39 BABOO 影像(512×512) 於壓縮率 1/2 之視訊編碼重建後的影像畫 面品質比較 ............................................................................................... 72 圖 5-40 LENA 影像(512×512) 於壓縮率 1/4 之視訊編碼重建後的影像畫 面品質比較 ............................................................................................... 73 圖 5-41 PEPPERS 影像(512×512) 於壓縮率 1/4 之視訊編碼重建後的影像 畫面品質比較 ........................................................................................... 74. -XI-.
(13) 圖 5-42 BABOO 影像(512×512) 於壓縮率 1/4 之視訊編碼重建後的影像畫 面品質比較 ............................................................................................... 75 圖 5-43 RUSH HOUR 視訊(640×480) 於壓縮率 1/8 之視訊編碼重建後的影 像畫面品質比較 ....................................................................................... 76 圖 5-44 RUSH HOUR 視訊(640×480) 於壓縮率 1/8 之視訊編碼重建後的影 像畫面品質比較 ....................................................................................... 76 圖 5-45 MOTHER & DAUGHTER 視訊(352×288) 於壓縮率 1/8 之視訊編碼 重建後的影像畫面品質比較 ................................................................... 77 圖 5-46 DANCER 視訊(352×288) 於壓縮率 1/8 之視訊編碼重建後的影像 畫面品質比較 ........................................................................................... 77 圖 5-47 TABLE 視訊(352×288) 於壓縮率 1/8 之視訊編碼重建後的影像畫 面品質比較 ............................................................................................... 78 圖 5-48 STEFAN 視訊(352×288) 於壓縮率 1/8 之視訊編碼重建後的影像 畫面品質比較 ........................................................................................... 78 圖 5-49 視訊(352×288)使用四種編碼/解碼方式編碼之視訊傳輸實驗結果 ................................................................................................................... 82 圖 5-50 視訊(640×480)使用四種編碼/解碼方式編碼之視訊傳輸實驗結果 ................................................................................................................... 82. -XII-.
(14) 表目錄 表 1-1 各種傳輸媒體之網路頻寬 ................................................................... 3 表 1-2 各種視訊壓縮格式之傳輸率 ............................................................... 3 表 5-1 一維編碼演算法於靜態影像(512 × 512)之效能比較(壓縮率 1/2) ... 48 表 5-2 二維編碼演算法於靜態影像(512 × 512)之效能比較(壓縮率 1/4) ... 48 表 5-3 一維編碼演算法於視訊(352 × 288)之效能比較(壓縮率 1/2) ........... 48 表 5-4 二維編碼演算法於視訊(352 × 288)之效能比較(壓縮率 1/4) ........... 49 表 5-5 三維編碼演算法於視訊(352 × 288)之效能 (壓縮率 1/8) ................. 49 表 5-6 一維編碼演算法於視訊(640 × 480)之效能比較(壓縮率 1/2) ........... 49 表 5-7 二維編碼演算法於視訊(640 × 480)之效能比較(壓縮率 1/4) ........... 50 表 5-8 三維編碼演算法於視訊(640 × 480)之效能 (壓縮率 1/8) ................. 50 表 5-9 各編碼演算法於視訊(352 × 288)之效能比較 .................................... 81 表 5-10 各編碼演算法於視訊(640 × 480)之效能比較 .................................. 81. -XIII-.
(15) 第1章 1.1. 緒 論. 研究背景 近年來由於網路多媒體服務迅速擴張，舉凡傳統數據資料傳輸以至. 於互動式網路多媒體通訊應用，需求是有增無減。雖然網路多媒體相當 盛行， 而且對於靜態影像、音樂、動畫、語音廣播等的服務品質都已經 相當不錯， 但對於影音視訊的服務仍嫌不足。例如： 應用在遠距教學、 隨選視訊、視訊監視…等。 因影像視訊資料量的傳輸非常大， 所以以 往一般對於這些影音視訊的資料都是採用事先將檔案下載再播放的方式 來達成，如此難以達到即時性服務的要求。而拜科技快速發展所賜， 也 漸漸讓網路視訊之應用變為可行而逐漸發展出相關的軟、硬體使得網路 多媒體進入全新世界。 由於影音視訊的資料量相當的大，所以需要大量的儲存空間，如果 這些資料未經處理而在現有有限網路頻寬下傳輸，其傳輸時間將會變得 非常長且不經濟，因此有效的影像與視訊壓縮技術已經成為極重要的研 究任務。工業界為了要建立統一的儲存和傳輸影像與視訊的標準，於1988 年左右，國際標準組織 (ISO, International Standards Organization)相繼成 立了靜態影像專家小組(JPEG, Joint Photographic Experts Group)和動態影 像專家小組(MPEG, Moving Picture Experts Group)，經由世界各國的合作 與 聯 繫 來 尋 求 建 立 影 像 和 視 訊 的 壓 縮 技 術 ， 至 今 已 有 ISO所 制 定 的 JPEG、JPEG2000、MPEG-1、MPEG-2、MPEG-4及國際電信聯盟(ITU, International Telecommunication Union)所制定H.261、H.263和H.26L等 靜、動態影像壓縮標準相繼建立[1][3][6][7][12][13][12][27][29]，同時ISO 也積極著手建立新的MPEG-7、MPEG-21等標準[25][28]，這使得數位影. -1-.
(16) 像與視訊的儲存和傳輸更為實用。上述這些標準中JPEG2000和MPEG-4 已經可確定是網路多媒體靜態影像與動態視訊的新標準。. 隨著電腦硬體、網路設備的蓬勃發展，使得網路多媒體在日常生活 中變得更豐富且隨處可見，例如：全球資訊網、遠距教學、網路購物、 網路圖書館等所擁有的多媒體資訊更是多彩多姿。由於人們對於多媒體 資訊的接觸與取得亦趨頻繁，因此對於網路多媒體服務的要求變得越來 越高，故多媒體網路的服務品質(Quality of Service)一直是近年來相當熱 門的研究議題；而所謂的多媒體服務包括音樂傳送、動畫播放、語音廣 播、遠距教學(Distance Learning)、隨選視訊(Video on Demand)等多種服 務。. 1.2. 研究動機與目的 低延遲的影像傳送是即時視訊會議應用中最重要的觀點之ㄧ。早期. 由攝影機所擷取到的影像視訊係屬類比信號， 但在電腦網路所能傳送的 則是數位化的資料，將類比信號轉換成數位資料的技術雖不難，但在數 位化之後的資料量卻大的驚人。例如：每秒鐘播放三十張圖片，每張圖 片的解析度為640*480像素，每個像素都由三原色紅、藍、綠所組成，每 一原色由8個位元來表示，故可算出每秒鐘的視訊資料量是 (640*480*30*3*8)/8=27,648,000個位元組(約26.367MB)，故舉凡各種數位 視訊都有其視訊壓縮標準以降低資料量，對於各種視訊壓縮標準壓縮出 來的資料量，如表1-1[34]及表1-2[1]所示：. -2-.
(17) 表1-1各種傳輸媒體之網路頻寬. 1. 表1-2各種視訊壓縮格式之傳輸率 視. 訊. 壓. 縮. 格. H.261. 式. 視 訊 傳 輸 率 Px64Kbps (P=1~30). H.263、H.263+. 20Kbps~64Kbps. MPEG-1. 384Kbps~4Mbps. MPEG-2. 1Mbps~8Mbps 視訊 64Kbps~4Mbps. MPEG-4. 1. 音訊 2~64Kbps. OC3:Optical Carrier Level為光纖骨幹的一種，共分為OC1, OC3, …, OC768，傳輸速度為 51.84Mbps~40Gbps -3-.
(18) 由表 1-1 及表 1-2 中可知現在網路環境的頻寬尚無法完全接受各種視 訊資料量的傳送。因此目前在網際網路上一些視訊應用，無論視訊會議、 視訊直播等，其為了解決網路頻寬的擁塞情形，皆只是致力降低視訊壓 縮後所需資料量，使得視訊畫面遠比實際螢幕大為縮小，並且每秒所能 播放的圖像(Frame)數目也減少許多，而此種視訊品質不論是影像解析度 及流暢度皆不符合使用者實際應用需要，以致於相關應用始終無法普 及。故為解決此種窘境，本論文將提出可達成即時性可調式視訊傳輸位 元率之決策機制，使其能即時依據網路頻寬提供順暢且高品質的影像視 訊。. 1.3. 論文結構 本論文共分為六章。第一章主要介紹本論文之研究背景、動機與目. 的，以及整篇論文的架構。第二章將探討 MPEG 之可調式視訊編碼方法。 第三章將說明網路視訊傳輸系統及相關技術。第四章則為本論文所提出 的可調式視訊編碼演算法之探討。第五章撰寫程式模擬驗證所提出的理 論，並於實際網路狀況下，分析所得到的實驗結果。最後，第六章為本 論文的結論以及未來相關的研究方向。. -4-.
(19) 第2章. MPEG 之可調式視訊編碼方法. 2.1 MPEG-2 視訊編碼 MPEG-2視訊編碼標準為了影像能在網際網路上傳輸，而制定了較 MPEG-1更具有彈性的編碼格式，所以MPEG-2視訊編碼標準制定三種可 調式的編碼[14]：(一) 空間(Spatial)之可調式；(二) 時間(Temporal)之可 調式；(三)SNR(Signal to Noise Ratio) 之可調式。可調式的功能就是允許 我們將視訊以階層式的方式做編碼，也就是把畫框分成為一個基礎層(BL, Base Layer)以及一個或多個增強層(EL, Enhancement Layer)，以不同的可 調式編碼建立基礎層與增強層影像。編碼端可以依照網際網路的頻寬大 小，而做多階層式的可調式編碼，而解碼端可以選擇只解碼基礎層得到 較低視訊品質的重建影像，或者再加上一些增強層的解碼以得到較高視 訊品質的重建影像。. 2.1.1 空間之可調式 在空間可調式中，是以MPEG-2內定之濾波器對原始影像做壓縮率 (1/4)的次取樣(Decimation)，。如此原始影資訊量即大量減少，再進行其 後端的編碼。在解碼端同樣以MPEG-2內定的濾波器對編碼後的影像進行 插補(Interpolation)，便可以以大量的壓縮，但卻只會造成視覺品質少許的 降低。如圖2-1所示，原始影像為CIF(Common Intermediate Format)格式， 解析度為352 × 288，而經過濾波器與次取樣就得到QCIF(Quarter CIF)格 式，解析度為176 × 144，在未經影像編碼就已經將影像資料量減少四分之 三，其經編解碼後再經過濾波器與插補法的重建影像與原始CIF 格式影 像相減所得的差值影像，即為第一層的增強層(CIF格式)，而QCIF格式影 像編碼後即為基礎層(QCIF格式)，如圖2-2所示，如果再對第一層增強層. -5-.
(20) 做上述的動作即可獲得第二層增強層(CIF 格式)，但此時第一層的增強層 因為濾波器與次取樣的動作，由CIF 格式轉變為QCIF 格式。. Code / Decode. CIF. Decimator with a Filter. Interpolator with a Filter. Code / Decode QCIF. CIF ：352 x 288 pixels QCIF：176 x 144 pixels. 圖 2-1 空間可調式基礎層編解碼方塊圖. -6-.
(21) Spatial enhancement layer Enhancement layer encoder. Current frame. Spatial Decimator. Spatial Interpolator. Spatial base layer encoder. Base layer. 圖 2-2 空間可調式編碼方塊圖 2.1.2 時間之可調式 MPEG-2採3種方式來壓縮一個畫面：I畫面(Intra Frame)、P畫面 (Predicted Frame)、B畫面(Bi-directional Frame)，如圖2-3所示，I畫面的編 碼方式是採用類似於JPEG DCT的方式處理，它並不考慮與其他畫面間的 關係，所儲存的是一張完整的畫面。P畫面是利用前面的I或P畫面為參考 畫面，畫面中不動的部份就不要儲存，只儲存不一樣的部份，其具體的 作法便是動作補償編碼。至於B畫面，它的原理和P畫面一樣，只不過B 畫面是同時參考前面與後面的畫面。在結構上，如圖2-3所示的一串 MPEG-2畫面即稱為一個畫框群(GOP, Group Of Picture)。 在時間可調式中，以圖2-3所示，在編碼端將畫框群中I及P畫框當作 基礎增強層影像，而其餘的B畫框則訂定為增強層影像，如圖2-4、2-5所 示，在編碼端如果網際網路頻寬不足就只對基礎層做編碼，而當頻寬充 足時，則連增強層一起編碼。而在解碼端如果只接收到基礎層編碼資料， -7-.
(22) 則由前一張畫框與後一張畫框預測，而如果基礎層與增強層都接收到， 則解碼方式與標準MPEG-2相同。. I. B. B. P. B. B. P. B. B. I. 畫框群 圖 2-3 畫框排列方式. Temporal Enhancement layer enhancement layer encoder Current frame. Temporal demultiplexer Temporal base layer encoder 圖 2-4 時間可調式編碼方塊圖. -8-. Base layer.
(23) 增強層. 基礎層. B. B. B. I. B. P. P. 圖 2-5 時間可調式畫框編碼方塊圖. 2.1.3 SNR 之可調式 在SNR 可調式中，如圖2-6所示，是先使用一組量化係數較大的量化 表，去對編碼影像作量化，將影像重建後即可得到基礎層影像，而將原 始影像與重建影像所獲得的差值影像，即為增強層影像。 在基礎層影像編碼時的量化表較差，而且在增強層影像編碼時，則 不需再做移動向量估測，是直接使用基礎層影像的移動向量，對前一張 增強層畫框做移動補償，再做編碼。. -9-.
(24) 圖 2-6 SNR 可調式編碼方塊圖. 2.2 MPEG-4 之位元可調式 為了使多媒體視訊影像可以在通訊網路上傳輸應用，MPEG-4影像編 碼標準不僅以物件編碼方式來降低位元率，更在MPEG-4第二版中提出以 位元可調式編碼，來改善MPEG-2之空間(Spatial)、時間(Temporal)、SNR 等階層式的可調式視訊編碼。 相對於傳統的DCT 係數編碼，在MPEG-4 中改用位元平面編碼。因 為相對於DCT 編碼，位元平面編碼需要較少的可變長度編碼表，也就是 可以減少接收端記憶體的需求，而以資料量傳輸方面，也可以使用較少 的位元率達到相同的影像品質，另外也方便其餘物件的先後傳輸順位的 調整。以下我們說明位元平面編碼的方法：DCT 係數經鋸齒狀掃描讀取 後，分為數值(Absolute Values)與符號(Sign Bits)。 10,0,6,0,0,3,0,2,2,0,0,2,0,0,1,0,… ,0,0 (數值) 0,x,1,x,x,1,x,0,0,x,x,1,x,x,0,x,… ,x,x (符號) -10-.
(25) 此離散餘弦轉換係數最大值為10，以位元格式表示為1010，所以將 所有數值以四個位元表示，如下： 1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,… ,0,0 (第一位元平面) 0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,… ,0,0 (第二位元平面) 1,0,1,0,0,1,0,1,1,0,0,1,0,0,0,0,… ,0,0 (第三位元平面) 0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,… ,0,0 (第四位元平面) 將每一個位元平面以(RUN，EOP)Sign bit表示之。 RUN：表示有多少個邏輯符號零在邏輯符號1之前。 EOP：表示每一個平面最後一個1。 VLC(0,1),0. (第一位元平面). VLC(2,1),1. (第二位元平面). VLC (0,0), VLC (1,0), VLC (2,0),1, VLC (1,0),0, VLC (第三位元平面) (0,0),0, VLC (2,1),1 VLC (5,0), VLC (8,1),0. (第四位元平面). 因為MPEG-4所使用的是位元平面編碼，所以應用到通訊網路傳輸 上，相較於MPEG-2的可調式編碼必須在特定的頻寬下才可以獲得較好的 影像品質，如此便造成在非特定的頻寬下頻寬的浪費或影像品質的不 佳。而位元平面編碼則改善了這些問題，其編碼可以隨著頻寬變動改變 而改變，同時以平面為基礎來編碼，在頻寬不足時，可以使影像整體視 覺效果更為平滑柔順。. 2.3 MPEG-4動態解析度轉換 因為在高度活動的場景之下常會產生大量的位元量。為了保持畫面 的流暢性，位元控制機制便會略過某些畫面不傳送以減少位元量的暴 增，這就是所謂的畫面跳躍。畫面的跳躍使畫面品質變的低劣，因此就 -11-.
(26) 有MPEG-4動態解析度轉換(DRC, Dynamic Resolution Conversion)[2]的方 法被提出來試圖解決這些畫面低劣的問題，如圖2-7所示。動態解析度轉 換根據人類視覺系統的特性作為基礎，即在快速變動且移動下的物件人 眼是無法清晰的辨別出來。依此特性我們並不需要花大量的位元在編碼 的過程上，因為快速移動時的物件或區域根本不可能只用人眼就能清楚 地感知。如此一來，快速移動的區域便可利用縮小解析度的方式來做編 碼而不會產生視覺上的品質低劣，畫面也會變的更加流暢。 在 MPEG-4 方法中每個畫面都會使用一個簡單的演算法來判斷畫面 是高度活動性或低活動性的。當畫面是高度活動性時，預測誤差區塊 (Prediction Error Block)將被以原始解析度做二分之ㄧ的垂直與水平方向 的取樣，也就是縮小原始畫面的解析度，因此傳送的畫面便是原始畫面 的四分之ㄧ解析度大小。畫面的解析度縮小了也節省了編碼每張畫面的 位元數，如此就能達到畫面的流暢與降低畫面低劣的情形。. -12-.
(27) 圖 2-7 MPEG-4 動態解析度轉換方式的原理圖. 圖 2-7 左方為傳送端，右方為接收端，傳送端及接收端透過網路連 接。用虛線框起來的部份，就是 MPEG-4 DRC 制訂的動態解析度轉換方 式。一般來說，將動態影像以資料壓縮方式傳送，傳送端會先將與先前 畫面不同的部份抽出來，並將這部份資料再度進行壓縮後做傳送。當畫 面移動迅速時，由於變化量增大，因此需要傳送的資料可能會超出網路 頻寬的上限。在過去的影像編解碼方式中，如果發生這種情形，會改送 出畫面速率較低(畫面跳躍)的動態影像資料，因此接收端看到的影像會變 得不流暢。改以動態解析度轉換方式來實作的話，當判斷出變化量增大 時，傳送端會先將變化部份縮小成四分之一的尺寸後，再進行壓縮傳送， 接著接收端先把收到的資料解碼後擴大成四倍解析度顯示。這樣一來播 放出來的影像仍然相當流暢，且不會有畫面跳躍的現象。雖然因為經過. -13-.
(28) 縮小與放大處理，畫面變化部份的細膩度會暫時下降，但只有畫面中變 動較劇烈的地方會受到影響，人眼並不容易看出畫質的劣化。 圖2-8為MPEG-4所制定的動態解析度轉換之架構圖。在變化較少的 場景下選取標準模式，其輸入畫面以原解析度編碼，恰巧正如常用的 MPEG-4方式。另一方面，在變化較大的場景中則選擇縮小的解析度模 式，其輸入畫面編碼步驟如下所述。首先是預測誤差，此乃輸入與原始 解析度預測之間的差異，其次取樣(Decimation)至原始垂直與水平的尺寸 之一半。然後此次取樣(Decimation)預測誤差被編碼並且如同MPEG-4的 方式被傳送。在接收端，被傳送的預測誤差則被插補(Interpolation)至原始 的尺寸大小，然後再被附加到原始解析度的預測上。由於預測影像之未 更新的部分仍保持原本之解析度，靜止區域的細節部份即便在縮小的解 析度模式下依舊能被保存下來。因此，動態解析度轉換方法能改善編碼 畫面率(Coding Frame Rate)且在主觀品質上沒有劣化。. -14-.
(29) 圖 2-8 MPEG-4 動態解析度轉換之演算法. -15-.
(30) 第3章. 網路視訊傳輸系統及相關技術. 在此章節中，將先介紹一般視訊傳輸系統的架構，並從架構中瞭解 網路視訊傳輸具備之相關技術。在這些基本技術中，將說明如何應用這 些可調式機制技術以及需要外加那些控制來達成可調式機制之建構，並 解釋如何利用可調式機制來提昇視訊傳輸服務的品質。. 3.1 視訊傳輸系統架構 基本上，網際網路視訊傳輸之基本架構可說明如圖3-1 [5]所示：. 圖 3-1 網際網路視訊傳輸架構圖. 從圖3-1 中可清楚看出其架構，主要是由串流伺服器(Streaming Server)、 接收端(Client / Receiver)、網際網路(Internet)等三部分所組成。整體運作 的基本過程，主要是由視訊接收端透過網際網路向串流伺服器提出視訊 服務的要求，若伺服器接收到接收端的要求並且接受，此時伺服器可透 -16-.
(31) 過網路媒介開始傳送串流視訊資料給接收端，接收端若順利的接收到視 訊資料並播放，如此即完成網際網路上視訊傳輸的服務。當然想要完成 整個運作流程，就必須得符合以下幾點基本條件： 一、 相同的視訊壓縮標準機制 若接收端已順利取得視訊資料，則接收端想要能播放視訊即必須使 用與伺服器相同的視訊壓縮標準機制，才能對於所接收到的視訊資 料做解壓縮及執行播放視訊的動作。 二、 足夠的網路頻寬 當伺服器接收到接收端提出的服務要求，此時若伺服器能接受接收 端提出的要求，伺服器便會開始傳送視訊資料至網路上然後才由接 收端接收，但若此時網路上的頻寬並無足夠的空間來承受伺服器送 出的視訊資料量，則此時視訊傳輸的服務將無法完成。 當然除了上述之基本條件外，在整體系統中仍有許多相關知識與技 術，將於下面內容中作探討。本論文所提之可調式視訊編碼，其主要目 的是在基本視訊傳輸架構上提供服務品質(QoS)的動作；此動作即伺服器 依網路頻寬傳送適合的視訊傳輸位元率，以提昇接收端視訊播放之品 質。接下來將對視訊傳輸系統之網路傳輸協定做說明。. 3.2 網路傳輸協定 在網路傳輸協定[30]中，視訊傳輸機制使用的網路傳輸協定之架構 圖，如圖3-2 [5]所示。. -17-.
(32) 圖 3-2 視訊傳輸協定架構圖. 對於網路上視訊傳輸所使用的通訊協定，是使用現有標準的一些通訊協 定， 以下對於應用到的通訊協定分別以網路層(Network-layer)、傳輸層 (Transport-layer)、會議層(Session-layer)三層來描述。 (a) 網路層 對於視訊資料的傳輸，仍是採用IP(Internet Protocol)通訊協定，來達 成傳送端和接收端的通訊連結。在網路層中除了傳輸連結的協定之外， 有些研究中使用到ICMP(Internet Control Message Protocol)通訊協定，利 用ICMP 機制之封包回傳動作算出RTT(Round-Trip Time)值，輔助服務品 質(QoS)之控制。. -18-.
(33) (b) 傳輸層 傳 輸 層 中 對 於 視 訊 資 料 的 傳 送 有 TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)兩種通訊協定。TCP通訊協定為 連接導向之協定，具有連結的可靠性能避免網路封包的丟失，並且TCP 可以使用移動視窗(Sliding Window)去控制資料傳輸量的大小。但當利用 TCP通訊協定送出的視訊資料在網路延遲或丟失，則之後的視訊封包都將 不被送出，必需等前一視訊封包確實傳送給接收端收到之後才能再送出 下一封包，如此一來對於視訊的服務將有可能因此中斷或是一段時間之 後才緩慢的繼續運作，這樣的視訊服務品質將會非常的差，除非能保證 視訊的傳輸一直都是非常之順暢。UDP通訊協定為非連接導向，所以並 無封包丟失或延遲等的任何補償動作，且因在網路上的傳輸是以盡力服 務(Best Effort)之模式來運作，所以當使用UDP協定做傳輸時，會不斷的 將封包往網路上丟，導致或多或少都會有封包遺失，致使傳輸服務品質 不能有所保證。但即使如此，因視訊的播放必須在每秒內播放一定量的 影像畫面才能使視訊看起來順暢且達到品質要求，所以為了完成網路視 訊的傳輸就必須在短時間內將一定量的視訊資料傳送至接收端，此時想 要達到短時間內送出大量的視訊資料且不受其他因素(除網路頻寬不足之 外)影響速度，此種情況下就非UDP莫屬了，因為它完全符合這種特性。 (c) 會議層 此層一般應用到的為RTSP( Real Time Streaming Protocol )通訊協 定。RTSP是一種針對目前的網路環境，提供有效的網路多媒體資料傳輸 的 通 訊 協 定 ， 此 協 定 由 Real Networks 、 Netscape Communications 、 Columbia University 及 Internet Engineering Task Force (IETF) 裡 的 MMUSIC(Multiparty Multimedia Session Control)協助，一起研發的傳輸協 定(RFC 2326)[9]。其目的是要找出一種能夠經由網際網路通訊協定 -19-.
(34) (Internet Protocol)有效的傳送多媒體，比如傳送即時或非即時的聲音或影 像。 RTSP是一種可以經由即時協定RTP(Real-time Transport Protocol)、 HTTP 或其它的傳輸協定來傳送多媒體的通訊協定，並且外加多種多媒 體的操作機制，比如可以提供像錄放影機的控制功能暫停、快轉、回轉、 停止等功能，亦可以用來控制一或多個聲音、影像的多媒體傳輸。它負 責的是每個多媒體傳輸控制，並且還支援多址廣播(multicast)，所以RTSP 除了能夠降低網路頻寬的負擔外, 還能提供視訊會議的功能，所以對於視 訊傳輸的研究中有些是採用RTSP的通訊協定。. 3.3 網路頻寬偵測 網路頻寬偵測(BWD, Bandwidth Detection)之觀念主要來自於Robert L. Cater提出的理論[24]，其理論最主要是依據伺服器與接收端兩者之間 的網路連結通常會有網路瓶頸(Bottleneck)現象的存在，進而利用此現象 來做網路頻寬的偵測。所謂的網路瓶頸現象，其原理即是以兩個連續封 包被接收端收到時個別紀錄其收到的時間，之後再來計算收到的時間 差，令其為gap2；另外，在伺服器送出這兩個連續封包時也都紀錄其送 出的時間，並計算送出連續兩封包的時間差，令其為gap1，而伺服器送 出的時間差會因網路瓶頸的現象造成接收端收到的連續兩封包之時間差 而不同，最後就將收到的時間差減去傳出的時間差，來推算伺服器與接 收端之間的網路頻寬值。而伺服器送出與接收端接收的時間差異之產生 原理，如圖3-3所示[24]。. -20-.
(35) 圖 3-3 網路瓶頸現象. 從圖3-3中，得知封包傳送的過程中，若遇到了網路瓶頸的狀況致使 網路壅塞，因此封包傳送時就不能通順的運行，必須等待一段時間通過 較狹窄的頻寬空間之後，就又能很流暢的傳送了，這種現象就和實際生 活中的道路塞車是一樣的原理，因此便會產生所謂的時間差了，此時間 差Δgap等於gap2減去gap1，並從Robert L. Cater所提出的理論中得知，只 要將封包的大小除以時間差即是頻寬值，其公式如下：. BW =. P (bytes / sec onds), ∆gap ≠ 0 ∆gap. (3.1). 其中 BW為BandWidth (Bytes/sec)， P為 Packet Size (Bytes)， . Δgap = gap2 - gap1 (million second)。. 而Δgap的值會有大於、等於或小於零，這三種情形是如何發生分別描述 如下。 (a) Δgap > 0 大於零的情形即是最合理的狀態，當Δgap的值越大代表著伺服器 -21-.
(36) 與接收端之間網路的網路瓶頸現象越嚴重，網路頻寬在此一瞬間也 就越小。反之，Δgap值越小伺服器與接收端之間的網路瓶頸現象 越和緩，頻寬在此時也就較為充裕。 (b) Δgap = 0 當Δgap等於0情況發生，表示封包從伺服器至接收端整個網路連結 的路程中，都非常的順暢沒有網路瓶頸的現象。而因頻寬的計算方 式是封包大小除以Δgap時間差，此時Δgap是為分母，在數學除法 中分母是不能等於0的。所以當Δgap為0時，此種利用網路瓶頸計 算頻寬的式子就不能用，只能說明此狀況的出現，便能確定現在選 擇使用的視訊傳輸位元率，是被現在的網路頻寬所接收。 (c) Δgap < 0 此情況的發生，首先必須先排除伺服器與接收端兩台電腦的硬體設 備效能相差太大所造成的因素，理由是先前已說過其必要條件就是 要杜絕此種狀況的發生。因此通常此種狀況的發生，是在於當時的 網路狀態良好，而接收端程式的處理方式發生錯誤導致Δgap小於 零造成誤差。為了準確的偵測頻寬值，所以記錄的時間單位通常會 取到毫秒(million second)來作運算。當Δgap運算的結果小於零，則 取得的數據並不合理，所以不予以理會。. -22-.
(37) 第4章. 可調式視訊編碼. 因為MPEG-4視訊編碼過程在較高解析度或高度活動的場景之下常 會產生大量的位元量。為了保持畫面的流暢性，位元控制機制便會略過 某些畫面不傳送以減少位元量的暴增，這就是所謂的畫面跳躍。畫面的 跳躍使畫面品質變得低劣，不利於網路即時視訊傳輸用。為了解決這些 問題，本論文旨在提出以MPEG-4視訊標準為基礎的可調式視訊壓縮 (Scalable Video Coding) 技術，嘗試以使用不同視訊取樣法的方式，使視 訊傳輸更能適應在變動的通訊網路頻寬，達到即時傳輸及高品質的視訊 畫質。因此在視訊進行MPEG-4編碼前的前置處理階段(Pre-processing Stage)，提出了不同壓縮率(1/2, 1/4, 1/8)的視訊取樣演算法以因應網路頻 寬的多變化性，提供不同位元率的視訊，其中壓縮率1/2是使用一維垂直 方向直接取樣法來完成、壓縮率1/4是使用二維直接取樣法來完成、壓縮 率1/8是使用三維線性取樣法來完成。之後在MPEG-4解碼後的後置處理 階段(Post-processing Stage)，再依相對應於取樣方式的插補法進行視訊重 建；重建使用的插補法依解壓縮率(1/2, 1/4, 1/8)分別為一維垂直方向立方 迴旋插補法、二維立方迴旋插補法、三維線性插補法。以下各節將分別 針對上述不同的取樣及插補法進行說明。. 4.1 可調式視訊編碼 在本節中將對應因應通訊網路頻寬變動所提出之可調式視訊編碼 (Scalable Video Coding)整體系統架構提出說明。圖4-1說明傳統的視訊壓 縮(Non-scalable Video)做法在於將一段影片給壓成一串資料流，它只能根 據起始的壓縮設定，提供一個固定畫質(Quality)、解析度(Resolution)、每 秒畫格數(Frame Rate)及位元率(Bit Rate)的視訊；而本論文所提出的可調 節式視訊編碼(Scalable Video Coding)作法在於將一段影片給壓成很多串 -23-.
(38) 資料流，形成一種階層式編碼的方式(Layered-coding)，如圖4-2所示，進 一步說明如下： (1). 在網路頻寬壅塞時，頻寬偵測(BWD, Bandwidth Detection)選 擇SW1之D4及SW2之I4開關為ON，則傳送壓縮率1/8的視訊 畫面，提供一個畫質比較差、解析度比較小、每秒的畫格數 比較少、位元率比較低的視訊畫面。. (2). 當網路頻寬限制獲得改善時，頻寬偵測(BWD)會選擇SW1之 D3及SW2之I3開關為ON，則傳送壓縮率1/4的視訊畫面，此 層傳送的視訊畫面大小與(1)所敘述一致，但畫面數多了一倍。. (3). 網路頻寬限制寬裕時，頻寬偵測(BWD)再選擇SW1之D2及 SW2之I2開關為ON，則傳送壓縮率1/2的視訊畫面，視訊的品 質、畫面大小、及每秒的畫格數都可以獲得改善。. (4). 如果頻寬相當寬裕，頻寬偵測(BWD)再選擇SW1之D1及SW2 之I1開關為ON，則可以直接傳送未經取樣編碼且視訊品質最 佳的原始視訊畫面。 視訊串流選取原則為以(3.1)式所提出方法得到網路頻寬值(BW). 後，選取最接近且未大於頻寬值之視訊串流進行傳輸播放。此種依 頻寬限制大小選擇最適合位元率傳送做法的好處在於接受端可以接 收到頻寬限制下最佳的視訊畫面品質。. -24-.
(39) 圖 4-1 可調節式視訊傳輸位元率之比較. -25-.
(40) 圖 4-2 可調式視訊編碼演算法之編碼架構圖. 4.2 可調式視訊編碼之取樣法與插補法 一般而言，減少資料量的處理過程稱為取樣法(Decimation)，而增加 資料量的處理過程稱為插補法(Interpolation)。取樣法(Decimation)主要是 利用低通濾波器(Low-pass filtering)與減少取樣點(Down-sample)方式將視 訊做減少取樣，以達到視訊影像縮小之目的。而插補法(Interpolation)是 將原有影像資訊重新計算後，再填入新像素的解決方法。插補法的主要 目的是推估出介於兩個已知像素之間的新像素值。這兩種方法在數位影 像壓縮技術的應用上均非常重要，常見的應用如影像解析度的轉換(Image Resolution Conversion)和影像大小的改變(Image Change of Scale)[4]。最常 見的取樣與插補法，有線性插補法(Linear Interpolation, LI)[31]、立方 B樣條插補法(Cubic B-Spline Interpolation)[8] [19][20][31]、立方迴旋插補法 -26-.
(41) (Cubic Convolution Interpolation, CCI)[4][11][15] 、 線 性 樣 條 插 補 法 (Linear-Spline Interpolation)[10][11] 和 立 方 樣 條 插 補 法 (Cubic-Spline Interpolation) [16] [18] [26]等。線性插補法是這些方法中最簡單的，也最 常被拿來使用，卻是最不準確的。立方 B-樣條插補法雖然有連續及圓滑 的特性，可是其估計的過程太過複雜，不容易使用。立方迴旋插補法只 取用四個正弦函數取樣區間來估計，並強迫插補函數的尾端為零，此方 法比常用的線性插補法精確，也比立方 B-樣條插補法有效率，是一種非 常適當的插補法。線性樣條插補法及立方樣條插補法，均利用最小平方 法分別改善線性插補法及立方迴旋插補法，其中立方樣條插補法經證實 是以上所述所有插補法中最佳的方法，但是相對地其也是最為複雜的一 種插補法。因此本論文考量編碼執行效能及演算法複雜度兼顧下，將設 計最適用於可調式視訊編碼的取樣法及插補法，以下針對本論文所提出 的取樣法及插補法進一步說明。. 4.2.1 一維垂直方向直接取樣與立方迴旋插補法 (1) 一維垂直方向直接取樣法 一維垂直方向直接取樣法是取樣法中最基本的方法之一。假設 t、 1 t、 2 k1 及 k 2 為整數指標，並且 n1 及 n 2 亦為整數。一維垂直方向直接取樣. 法將一輸入影像函數 X (t1 , t 2 ) 在垂直方向以 τ = 2 為取樣率，產生一輸出取 樣影像函數 Y (t1 , k 2 ) 如下： Y (t1 , k 2 ) = X (t1 , k 2τ ) ，. (4.1). 其中 0 ≤ ti ≤ ni − 1, 0 ≤ ki ≤ ⎡ni / 2⎤ − 1, i = 1,2 ，而且 ⎡x ⎤ 表示大於或等於 x 之最 小整數值 以圖 4-3 為例，有 16 個圖元 x(0,0), x(0,1),…, x(3,3)，被取樣後的 8 個圖元為 Y(0,0), Y(0,1),…, Y(3,1)： -27-.
(42) Y(0,0)=x(0,0), Y(1,0)=x(1,0), Y(2,0)=x(2,0), Y(3,0)=x(3,0), Y(0,1)=x(0,2), Y(1,1)=x(1,2), Y(2,1)=x(2,2), Y(3,1)=x(3,2). 也就是直接保留原始影像第一列及第三列等奇數列上所有的圖元。 拋棄掉所有第二列及第四列等偶數列的圖元。這種取樣方式直接且簡單 並有效率。在資料取樣時，保留取樣點上之原來圖元值。. 圖 4-3 一維垂直方向直接取樣法. (2) 一維垂直方向立方迴旋插補法 一 維 垂 直 方 向 立 方迴旋插補法 利用 (4.1) 式產生的取樣影像函數 Y (k1 , k 2 ) ，以 τ = 2 為倍率及一維垂直方向立方迴旋插補法(CCI)，產生一重. 建影像函數 Xˆ (t1 , t 2 ) 如下： Xˆ (t1 , t 2 ) =. ⎡ni / 2 ⎤−1. ∑ Y (t1 , k 2 )R (t 2 − k 2τ ),. (4.2). k2 =0. 其中 0 ≤ t i ≤ ni − 1, i = 1,2 ，而 R(t 2 − k 2τ ) 為立方迴旋函數，如圖 4-4 其定義如 下：. -28-.
(43) ⎧ ( 3 ) t 3 − ( 5 ) t 2 + 1, 2 2 ⎪⎪ 3 2 5 1 R(t) = ⎨ − ( ) t − ( ) t − 4 t + 2, 2 2 ⎪ 0, ⎩⎪. 0 ≤ t <1 1≤ t < 2 2≤ t. (4.3). 圖 4-4 一維立方迴旋函數. 重建影像畫面方式如圖 4-5 所示：(1)先將經由(4.1)式產生的取樣點直 接還原回至第一列及第三列等奇數列上所有的圖元上。(2)再以這些還原 後的奇數列圖元當做還原偶數列圖元的插補參考點進行插補動作，插補 方式以(4.2)式產生，例如：. ˆ (3,3) = (−1X ˆ (3,0) + 9X ˆ (3,2) + 9X ˆ (3,4) - X ˆ (3,6))/16 X ˆ (3,0) = Y(3,0), X ˆ (3,2) = Y(3,1), X ˆ (3,4) = Y(3,2), X ˆ (3,6) = Y(3,3) 。 其中 X. -29-.
(44) 圖 4-5 一維垂直方向立方迴旋插補法 4.2.2 二維直接取樣與立方迴旋插補法 (1)二維直接取樣法 二維直接取樣法將一輸入影像函數 X (t1 , t 2 ) ，以 τ = 2 為取樣率，產生 一輸出取樣影像函數 Y (k1 , k 2 ) 如下： Y (k1 , k 2 ) = X (k1τ , k 2τ ),. (4.4). 其中 0 ≤ ti ≤ ni − 1, 0 ≤ ki ≤ ⎡ni / 2⎤ − 1, i = 1,2 ，而且 ⎡x ⎤ 表示大於或等於 x 之最 小整數值 以圖 4-6 為例，有 16 個圖元 x(0,0), x(0,1),…, x(3,3)，被取樣後的 4 個圖元為 Y(0,0), Y(1,0), Y(0,1), Y(1,1)： Y(0,0)=x(0,0), Y(1,0)=x(2,0), Y(0,1)=x(0,2), Y(1,1)=x(2,2)。 也就是將原有 16 個圖元以每 4 個圖元為一取樣組，共分 4 個取樣組， 取樣過程是只保留每一取樣組中第一列、第一行的圖元；拋棄掉其餘三 個圖元。這種取樣方式直接且簡單並有效率。在資料取樣時，保留取樣 點上之原來圖元值。 -30-.
(45) 取樣組. 取樣組. X(0,0). X(1,0). X(2,0). X(3,0). X(0,1). X(1,1). X(2,1). X(3,1). Y(0,0). Y(1,0). X(0,2). X(1,2). X(2,2). X(3,2). Y(0,1). Y(1,1). Y(0,0)=X(0,0)，Y(1,0)=X(2,0) X(0,3). X(1,3). X(2,3). X(3,3) Y(0,1)=X(0,2)，Y(1,1)=X(2,2). 取樣組. 取樣組. 圖 4-6 二維直接取樣法. (2) 二維立方迴旋插補法 二維立方迴旋插補法利用(4.4)式產生的取樣影像函數 Y (k1 , k 2 ) ，以. τ = 2 為倍率及二維立方迴旋插補法(CCI)，產生一重建影像函數 Xˆ (t1 , t 2 ) 如 下： Xˆ (t1 , t 2 ) =. n1 −1 n 2 −1. ∑∑. (4.5). Y ( k1 , k 2 )R (t1 − k1τ , t 2 − k 2τ ). k1 = 0 k 2 = 0. =. n1 −1 n 2 −1. ∑∑. Y ( k1 , k 2 )R (t1 − k1τ ) R (t 2 − k 2τ ). ，. k1 = 0 k 2 = 0. 其中 0 ≤ t i ≤ ni − 1, i = 1,2 ，而 R(t1 − k1τ ) 及 R(t2 − k2τ ) 均為(4.3)式所定義的立方 迴旋函數。 重建影像畫面方式如圖 4-7 所示，圖元的重建經由(4.5)式計算產生。 重建圖元是由垂直方向插補參考點及水平方向插補參考點共同計算完 成，例如：. -31-.
(46) ˆ (3,3) = ((− X ˆ (3,0) + 9X ˆ (3,2) + 9X ˆ (3,4) - X ˆ (3,6))/16 + X ˆ (0,3) + 9X ˆ (2,3) + 9X ˆ (4,3) - X ˆ (6,3))/16)/2 , (−X. 其中. Xˆ (3,0) = ( − Xˆ (0,0) + 9 Xˆ (2,0) Xˆ (3,2) = ( − Xˆ (0,2) + 9 Xˆ (2,2) Xˆ (3,4) = ( − Xˆ (0,4) + 9 Xˆ (2,4) Xˆ (3,6) = ( − Xˆ (0,6) + 9 Xˆ (2,6). + 9 Xˆ (4,0) - Xˆ (6,0))/16, + 9 Xˆ (4,2) - Xˆ (6,2))/16, + 9 Xˆ (4,4) - Xˆ (6,4))/16,. + 9 Xˆ (4,6) - Xˆ (6,6))/16, Xˆ (0,3) = ( − Xˆ (0,0) + 9 Xˆ (0,2) + 9 Xˆ (0,4) - Xˆ (0,6))/16, Xˆ (2,3) = ( − Xˆ (2,0) + 9 Xˆ (2,2) + 9 Xˆ (2,4) - Xˆ (2,6))/16, Xˆ (4,3) = ( − Xˆ (4,0) + 9 Xˆ (4,2) + 9 Xˆ (4,4) - Xˆ (4,6))/16, Xˆ (6,3) = ( − Xˆ (6,0) + 9 Xˆ (6,2) + 9 Xˆ (6,4) - Xˆ (6,6))/16,. 且. Xˆ (0,0) = Y(0,0), Xˆ (2,0) = Xˆ (4,0) = Y(2,0), Xˆ (6,0) = Xˆ (0,2) = Y(0,1), Xˆ (2,2) = Xˆ (4,2) = Y(2,1), Xˆ (6,2) = Xˆ (0,4) = Y(0,2), Xˆ (2,4) = Xˆ (4,4) = Y(2,2), Xˆ (6,4) = Xˆ (0,6) = Y(0,3), Xˆ (2,6) = Xˆ (4,6) = Y(2,3), Xˆ (6,6) =. Y(1,0), Y(3,0), Y(1,1), Y(3,1), Y(1,2), Y(3,2), Y(1,3), Y(3,3),. -32-.
(47) 圖 4-7 二維立方迴旋插補法. 4.2.3 三維線性取樣與線性插補法 前面兩節所提出的一維及二維的取樣法與插補法，都是兼具執行速 度快，重建影像畫質佳等特性的理想演算法。但是在面對網際網路壅塞 時的視訊傳送上，此兩種演算法均無法在極低位元率傳輸時提供令人滿 意的視訊品質，因此本節另外提出一種新的三維線性取樣與插補方法。. -33-.
(48) 取樣組. 取樣組. 取樣組. 取樣組. Frame N+1. Frame N. 取樣組. 取樣組. (a). 取樣組. 取樣組. X (t1 ,t 2 ,t 3 + 1) X (t + 1,t ,t + 1) 1 2 3 X (t1 ,t 2 ,t 3 ). X (t1 + 1,t 2 ,t 3 ). Y (t1 ,t 2 ,t 3 ) B X (t1 + 1,t 2 + 1,t 3 + 1). X (t1 ,t 2 + 1,t 3 ) X (t1 + 1,t 2 + 1,t 3 ). (b). 圖 4-8 三維線性取樣法. (1) 三維線性取樣法 假設 t、t 及 t 為整數指標，並且 n、n 及 n 亦為整數。三維線性取樣法 1. 2. 1. 3. 2. 3. 將一輸入視訊函數 X (t , t , t ) ，以 τ = 2 為取樣率，產生一輸出取樣視訊函 1. 2. 3. 數 Y (t , t , t ) 如下： 1. 2. 3. 1. Y (t1, t2 , t3 ) = avg ( ∑. 1. 1. ∑ ∑. i1 =0 i2 =0 i3 =0. X (t1τ + i1, t2τ + i2 , t3τ + i3 ) ),. (4.7). 其中 0 ≤ t i ≤ ni − 1, i = 1,2,3 ，而 avg (⋅) 為求取平均(算術平均數)數值函數。 三維線性取樣法的取樣率為 1/8 其原則為(1)將視訊畫面解析度縮小 為 1/4；(2)視訊畫框數減少為 1/2。取樣過程以圖 4-8(a)說明，首先將 Frame. N 中的 4 個圖元及 FrameN+1 中相對應位置的 4 個圖元共 8 個圖元組成 -34-.
(49) 一個取樣組，因此分為 4 個取樣組。每個取樣組依據(4.7)式產生一個取 樣點，如圖 4-8(b)所示，例如： Y(0,0,0) = 1 / 8 ( X (0,0,0) + X (1,0,0) + X (0,1,0) + X (1,1,0) + X (0,0,1) + X (1,0,1) + X (0,1,1) + X (1,1,1)). (2) 三維線性插補法 三維線性插補法利用 (4.7) 式產生的取樣視訊函數 Y (k , k , k ) ，其中 1. 2. 3. 0 ≤ ki ≤ ⎡ni / 2⎤ − 1, i = 1,2,3 ， 以 τ = 2 為 倍 率 及 三 維 線 性 函 數 (Linear Function)，產生一重建影像函數 Xˆ (t , t , t ) 如下： 1. ˆ (t , t , t ) = X 1 2 3 =. 1. 1. 1. ∑ ∑ ∑. k1 =0 k2 =0 k3 =0 1. 1. 1. ∑ ∑ ∑. k1 =0 k2 =0 k3 =0. 2. 3. Y (k1, k2 , k3 )R(t1 − k1τ, t2 − k2τ, t3 − k3τ ). (4.8). Y (k1, k2 , k3 )R(t1 − k1τ )R( t2 − k2τ )R( t3 − k3τ ). 其中 0 ≤ t i ≤ 3, i = 1,2,3. 而 R(t − k τ ), R( t − k τ ) 及 R( t − k τ ) 為一維線性函 1. 1. 2. 2. 3. 3. 數如圖 4-9 所示，其函數定義如下： ⎧ 1 - (1/τ ) t R(t) = ⎨ ⎩ 0. , t <τ , otherwise. -35-. (4.9).
(50) 圖 4-9 一維線性函數. 再以圖 4-10 說明三維線性插補法重建視訊的過程，重建方式分為：(1) 對非邊界圖元的重建，如圖 4-10 (b)所示，由(4.7)式產生的 8 個取樣點所 組成的插補立方空間，依據(4.8)式的重建影像函數重建視訊中 Frame N 中的 4 個圖元及 FrameN+1 中相對應位置的 4 個圖元共 8 個圖元。(2)對 邊界圖元的重建，如圖 4-10 (a)所示，是假設邊界的之外存在有由依據(4.7) 式產生的取樣點之相對應的鏡射圖元(Mirrored Pixels)，而這些鏡射圖元 也適用立方線性的內插法。因此可透過這些取樣點及其鏡射圖元所構成 之插補立方空間，依據(4.8)式的重建影像函數重建視訊之邊界圖元，如 圖 4-11 所 示 圖 元 之 重 建 方 式 ： a1=A, b1=(3A+B)/4, c1=(A+3B)/4,. d1=(3A+C)/4, e1=(9A+3B+3C+D)/16, f1=(3A+9B+C+3D)/16, g1=(A+3C)/4, a2=(3A+E)/4,. b2=(9A+3B+3E+F)/16,. c2=(3A+9B+E+3F)/16,. d2=(9A+3C+3E+G)/16, e2=(27A+9B+9C+3D+9E+3F+3G+H)/64 ， 其 中 -36-.
(51) mirrored A=A, mirrored C=C 且 A, B, C, D, E, F, G, H 是由(4.7)式產生的 取樣點之圖元值。. mirrored. mirrored. mirrored. mirrored. (a). Frame N+1 Frame N. (b). 圖 4-10 三維線性插補法. -37-.
(52) a4. mirrored A. mirrored A. E. a3. c4. b4. F. c3. b3. mirrored A mirrored A mirrored A. a1. a2. c2. b2. A. b1. c1. B. e2. d2. H. G e1. d1. Frame 4. f1. mirrored A. mirrored A. Frame 3 mirrored C. g1. C. i1. h1. D Frame 2. Frame 1 mirrored C. mirrored C Reconstructed prediction error Reconstructed prediction error after Interpolation. 圖 4-11 三維線性插補法之圖元重建範例. -38-.
(53) 4.3 結合取樣與插補演算法之 MPEG-4 編碼演算法 改善視訊在網路上傳輸的服務品質(QoS, Quality of Service) 是本論 文的主旨。因此提出以 MPEG-4 視訊標準為基礎的可調式視訊壓縮技術. (Scalable Video Coding)如圖 4-2，以因應網路頻寬的多變化性。本論文亦 對 MPEG-4 架構做部份的調整，使其架構更具備視訊傳輸的可調性使視 訊傳輸更能適應在變動的通訊網路頻寬，達到即時傳輸及高品質的視訊 畫質。 圖 4-11 為一維垂直方向直接取樣與立方迴旋插補法之 MPEG-4 編碼 流程圖，說明如下： z 輸入的影像最先會被切割成每個以 16×8 為單位的區塊，因此巨 區塊的單位便為 16×32。 z 16×8 的預測誤差區塊被次取樣(Decimation)至兩個 8×8 的區塊。 z 以 16×32 為單位的巨方塊做移動估計。 z 每一個 16×16 區塊的預測是根據估測的移動向量而來，再將 8×8 的預測誤差區塊計算出來。 z 接著便是將次取樣產生的 8×8 預測誤差區塊作 DCT 轉換與量化 的程序。並且與 H.263 相同的方式一樣，針對每個係數作可變動 長度編碼。 z 係數接著做反量化(Inverse-quantized)與反離散餘旋轉換(IDCT)。 經過這兩個步驟便產生一個 8×8 重建後的預測誤差區塊，再將此 重建區塊作插補(Interpolation)形成 16×16 的重建預測誤差區塊。 z 16×16 的重建預測誤差區塊與 16×16 預測區塊(Prediction Block) 相加，形成 16×16 的重建影像。 z 低通濾波器應用於區塊邊緣像素，將過濾後的區塊儲存於畫面記 憶體(Frame Memory)中作為往後的編碼所用。 -39-.
(54) 圖 4-12 一維垂直方向直接取樣與立方迴旋插補法之 MPEG-4 編碼流程 圖. 圖 4-12 為二維直接取樣與立方迴旋插補法之 MPEG-4 編碼流程圖， 說明如下： z 輸入的影像先被切割成每個以 16×16 為單位的區塊，因此巨區塊 的單位便為 32×32。 z 16×16 的預測誤差區塊被次取樣(Decimation)至一個 8×8 的區塊。 z 以 32×32×2 為單位的巨方塊做移動估計。 z 每一個 16×16 區塊的預測是根據估測的移動向量而來，再將 16×. 16 的預測誤差區塊計算出來。 -40-.
(55) z 接著便是將次取樣產生的 8×8 預測誤差區塊作 DCT 轉換與量化 的程序。並且與 H.263 相同的方式一樣，針對每個係數作可變動 長度編碼。 z 係數接著做反量化(Inverse-quantized)與反離散餘旋轉換(IDCT)。 經過這兩個步驟便產生一個 8×8 重建後的預測誤差區塊，再將此 重建區塊作插補(Interpolation)形成 16×16 的重建預測誤差區塊。 z 16×16 的重建預測誤差區塊與 16×16 預測區塊(Prediction Block) 相加，形成 16×16 的重建影像。 z 低通濾波器應用於區塊邊緣像素，將過濾後的區塊儲存於畫面記 憶體(Frame Memory)中作為往後的編碼所用。. 圖 4-13 二維直接取樣與立方迴旋插補法之 MPEG-4 編碼流程圖. -41-.
(56) 圖 4-13 為三維線性取樣與線性插補法之 MPEG-4 編碼流程圖，說明 如下： z 每次同時輸入兩張影像，輸入的影像先被切割成每個以 16×16 為 單位的區塊，因此巨區塊的單位便為 32×32×2。 z 16×16×2 的預測誤差區塊被次取樣(Decimation)至一個 8×8 的區 塊。 z 以 32×32×2 為單位的巨方塊做移動估計。 z 每一個 16×16 區塊的預測是根據估測的移動向量而來，再將 16×. 16 的預測誤差區塊計算出來。 z 接著便是將次取樣產生的 8×8 預測誤差區塊作 DCT 轉換與量化 的程序。並且與 H.263 相同的方式一樣，針對每個係數作可變動 長度編碼。 z 係數接著做反量化(Inverse-quantized)與反離散餘旋轉換(IDCT)。 經過這兩個步驟便產生一個 8×8 重建後的預測誤差區塊，再將此 重建區塊作插補(Interpolation)形成 16×16 的重建預測誤差區塊。 z 16×16 的重建預測誤差區塊與 16×16 預測區塊(Prediction Block) 相加，形成 16×16 的重建影像。 z 低通濾波器應用於區塊邊緣像素，將過濾後的區塊儲存於畫面記 憶體(Frame Memory)中作為往後的編碼所用。. -42-.
(57) 圖 4-14 三維線性取樣與線性插補法之 MPEG-4 編碼流程圖. -43-.
(58) 第5章. 實驗結果. 在本章節裡，實驗結果將利用主觀和客觀的評估方法來評斷，並將 列出本論文之實驗數據與影像。實驗的演算法是以四種編碼/解碼方式進 行：1D+MP4、2D+MP4、3D+MP4 與標準 MP4，其中 MP4 為 MPEG-4 演算法之縮寫。1D+MP4 是使用一維垂直方向直接取樣法及一維立方迴 旋插補法，結合 MPEG-4 演算法；2D+MP4 是採用二維直接取樣法及二 維立方迴旋插補法，結合 MPEG-4 演算法；3D+MP4 則是使用三維線性 取樣及插補法，結合 MPEG-4 演算法。所有實驗用之 MP4 均採用 Simple. Profile 演算編碼，且以每秒 30 張頁框之頁框組(Group of Frames)，頁框 型態為 IPPPPPPPPPPPPPPPPPPPPPPPPPPPPPI ( P between I = 29)。 為了比較各視訊編碼器的效能，將依不同維度的取樣/插補法與 MP4 結合進行視訊編碼之比較，在單一維度是使用一維垂直方向直接取樣法 及立方迴旋插補法(1D-CCI)與線性插補法(1D-LI)進行比較。在二維時是 由二維直接取樣與立方迴旋插補法(2D-CCI)、動態解析度轉換(DRC)及二 維直接取樣與線性插補法(2D-LI)進行比較。在三維時是由三維線性與插 補法與只做 MP4 處理的視訊進行比較。所有實驗挑選了六個彩色影像圖 檔(512×512)分別為，“Lena”、“Peppers＂、“Sailboat＂、“Splash＂、 “ Tiffany” 及 “ Baboo ＂ ， 及 數 個 標 準 CIF(352 × 288) 格 式 視 訊 檔 “ Stefan(300 Frames) ＂ 、 “ Dancer(250 Frames) ＂ 、 “ Mother &. Daughter(300 Frames)＂、“Table(300 Frames)＂等，又擷取一些較大格式 (640 × 480) × 72Frames 的影片檔來做測試，其為“尖峰時刻(Rush hour)＂、 “星際大戰(Star Wars)＂、“全民情聖(Hitch)＂、“野蠻遊戲(Jumanji)＂、 “龍貓 (Totoro) ＂的幾個影片片段。在這所有視訊檔中，皆會分別以. 1D+MP4、2D+MP4 與 3D +MP4 編碼器做編碼，並將編解碼結果進行效 能比較。 -44-.
(59) 5.1 客觀評估方法 在本小節中，將利用 PSNR(Peak Signal-to-Noise Ratio)的計算公式來 比較 1D+MP4、2D+MP4、3D+MP4 等演算法，令 X (i, j ) 與 Xˆ (i, j ) 分別為 原始影像與重建影像，其中 i, j 為垂直與水平方向之索引數，. 0 ≤ i ≤ M − 1 且 0 ≤ j ≤ N − 1 。影像之均方誤差(MSE, Mean-Square Error) 2 M −1 N −1 定義為 MSE = (1 / M × N ) ∑ i = 0 ∑ j = 0 X (i , j ) − Xˆ (i , j ) ，且影像之 PSNR 值. 定義為. PSNR x ( dB ) = 10 log10 255 2 /( MSE x ), for x ∈ {Y, U, V}. (5.1). 其中 MSEY 、 MSEU 與 MSEV 為 Y, U, V 影像之各別 MSE。 首 先 挑 選 了 六 個 彩 色 影 像 圖 檔 (512×512) 分 別 為 “ Lena” 、 “Peppers＂、“Sailboat＂、“Splash＂、“Tiffany”及“Baboo＂進行實 驗，實驗方式以壓縮率為 1/2 及壓縮率為 1/4 兩種進行編碼及重建。表 5-1 透過 PSNR 值呈現壓縮率為 1/2 時之 1D-CCI 及 1D-LI 兩種演算法之重建 影像品質的差異。表 5-2 透過 PSNR 值呈現壓縮率為 1/4 時之 2D-CCI、. DRC 及 2D-LI 三種演算法之重建影像品質差異。由表 5-1 可得知 1D-CCI 優於 1D-LI，表 5-2 可得知 2D-CCI 優於 DRC 及 2D-LI。 接著挑選了四個標準 CIF(352 × 288)格式視訊檔分別為“ Stefan(300. Frames) ＂ 、 “ Dancer(250 Frames) ＂ 、 “ Mother & Daughter(300 Frames)＂、“Table(300 Frames)＂及五個較大格式(640 × 480) × 72Frames 的影片檔來做測試，分別為“尖峰時刻(Rush hour)＂、“星際大戰(Star. Wars)＂、“全民情聖(Hitch)＂、“野蠻遊戲(Jumanji)＂、“龍貓(Totoro)＂ 的影片片段進行實驗，實驗方式以壓縮率為 1/2、壓縮率為 1/4 及壓縮率 為 1/8 三種進行編碼及重建。表 5-3 透過 PSNR 值呈現壓縮率為 1/2 時之. 1D-CCI 及 1D-LI 兩種演算法於標準 CIF(352 × 288)格式視訊檔之重建影像 -45-.
(60) 品質的差異。表 5-4 透過 PSNR 值呈現壓縮率為 1/4 時之 2D-CCI、DRC 二種演算法於標準 CIF(352 × 288)格式視訊檔之重建影像品質差異。表 5-5 透過 PSNR 值呈現壓縮率為 1/8 時之 3D 演算法於標準 CIF(352 × 288)格式 視訊檔之重建影像品質。表 5-6 透過 PSNR 值呈現壓縮率為 1/2 時之. 1D-CCI 及 1D-LI 兩種演算法於視訊檔 (640 × 480) 之重建影像品質的差 異。表 5-7 透過 PSNR 值呈現壓縮率為 1/4 時之 2D-CCI、DRC 二種演算 法於視訊檔(640 × 480)之重建影像品質差異。表 5-8 透過 PSNR 值呈現壓 縮率為 1/8 時之 3D 演算法於視訊檔(640 × 480)之重建影像品質。由表 5-3 可得知於標準 CIF(352 × 288) 格式視訊檔實驗時，可看出 1D-CCI 優於. 1D-LI；表 5-4 可得知於標準 CIF(352 × 288)格式視訊檔實驗時，可看出 2D-CCI 明顯優於 DRC 及 2D-LI。由表 5-6 可得知於視訊檔(640 × 480)實 驗時，可看出 1D-CCI 優於 1D-LI；表 5-7 可得知於視訊檔(640 × 480)實驗 時，可看出 2D-CC 亦明顯優於 DRC 及 2D-LI。圖 5-1 至圖 5-3 顯示為. "Mother&Daughter"(352 × 288) 的一維視訊編碼重建後影像畫面品質的比 較圖。由這些結果可得知 1D+MP4 的效能於低位元傳輸時明顯優於. LI+MP4 及 MP4 兩 種 演 算 法 。 圖 5-4 至 圖 5-6 顯 示 為 "Mother&Daughter"(352 × 288) 的二維視訊編碼重建後影像畫面品質的比 較圖。由這些結果可得知 2D+MP4 的效能於低位元傳輸時明顯優於. DRC+MP4(此為 MPEG-4 DRC 簡稱)及 MP4 兩種演算法。圖 5-7 至圖 5-9 顯示為 "Mother&Daughter"(352 × 288) 的三維視訊編碼重建後影像畫面品 質的比較圖。由這些結果可得知 3D+MP4 在傳輸位元率低於 75Kbps 時明 顯 優 於 MP4 處 理 之 影 像 畫 面 品 質 。 圖 5-10 至 圖 5-12 顯 示 為. "Dancer"(352 × 288)的一維視訊編碼重建後影像畫面品質的比較圖。由這 些結果可得知 1D+MP4 的效能於低位元傳輸時略優於 LI+MP4 演算法但 明顯優於 MP4 演算法。圖 5-13 至圖 5-15 顯示為"Dancer"(352 × 288)的二 -46-.
(61) 維視訊編碼重建後影像畫面品質的比較圖。由圖 5-13 的結果可得知. 2D+MP4 的效能於低位元(250kbps)傳輸時明顯優於 DRC+MP4 及 MP4 兩 種演算法。圖 5-16 至圖 5-18 顯示為"Dancer"(352 × 288)的三維視訊編碼重 建後影像畫面品質的比較圖。由圖 5-16 得知 MP4 顯然已無法在傳輸位 元率低於 200Kbps 提供視訊，但 3D+MP4 卻依然還可以提供可接受之影 像畫面品質。圖 5-19 至圖 5-21 顯示為"尖峰時刻(Rush hour)" (640 × 480) 的一維視訊編碼重建後影像畫面品質的比較圖。由這些結果可得知. 1D+MP4 的效能於低位元傳輸時略優於 LI+MP4 演算法但明顯優於 MP4 演算法。圖 5-22 至圖 5-24 顯示為"尖峰時刻(Rush hour)" (640 × 480)的二維 視訊編碼重建後影像畫面品質的比較圖。由這些結果可得知 2D+MP4 的 效能明顯優於 DRC+MP4 及 MP4 兩種演算法。圖 5-25 至圖 5-27 顯示為" 尖峰時刻(Rush hour)" (640 × 480)的三維視訊編碼重建後影像畫面品質的 比較圖。由這些結果可得知 3D+MP4 在傳輸位元率低於 300Kbps 時明顯 優於 MP4 處理之影像畫面品質。圖 5-28 至圖 5-30 顯示為"星際大戰(Star. Wars)" (640 × 480)的一維視訊編碼重建後影像畫面品質的比較圖。由這些 結果可得知 1D+MP4 的效能於低位元傳輸時略優於 LI+MP4 演算法但明 顯優於 MP4 演算法。圖 5-31 至圖 5-33 顯示為"星際大戰(Star Wars)". (640 × 480)的二維視訊編碼重建後影像畫面品質的比較圖。由這些結果可 得知 2D+MP4 的效能明顯優於 DRC+MP4 及 MP4 兩種演算法。圖 5-34 至圖 5-36 顯示為"星際大戰(Star Wars)" (640 × 480)的三維視訊編碼重建後 影像畫面品質的比較圖。由這些結果可得知 3D+MP4 在傳輸位元率低於. 300Kbps 時明顯優於 MP4 處理之影像畫面品質。. -47-.
數據
+7
相關文件
In this paper, we provide new decidability and undecidability results for classes of linear hybrid systems, and we show that some algorithms for the analysis of timed automata can
6 《中論·觀因緣品》，《佛藏要籍選刊》第 9 冊，上海古籍出版社 1994 年版，第 1
In Section 3, we propose a GPU-accelerated discrete particle swarm optimization (DPSO) algorithm to find the optimal designs over irregular experimental regions in terms of the
Robinson Crusoe is an Englishman from the 1) t_______ of York in the seventeenth century, the youngest son of a merchant of German origin. This trip is financially successful,
fostering independent application of reading strategies Strategy 7: Provide opportunities for students to track, reflect on, and share their learning progress (destination). •
Strategy 3: Offer descriptive feedback during the learning process (enabling strategy). Where the
• Thresholded image gradients are sampled over 16x16 array of locations in scale space. • Create array of
In accordance with the analysis of relevant experimental results carried in this research, it proves that the writing mechanism and its functions may improve the learning
