攤其工作又不影響 Load-after-store 的瓶頸實為本項技術的困難之處。基本上，我們會將 所有的迴圈除區塊的工作完全由可程式化的繪圖晶片負責，之後利用平行處理的方式將 迴圈除區塊後的結果將資料送回一般處理器供其作為下次運動區塊補償的參考。下圖(a) 表示其多媒體解碼動作的流程，圖(b)以粗體標示出可程式繪圖晶片的模組。
VLD IQ IT
MC
Frame Buffer De-blocking +
VLD IQ IT
MC
Frame Buffer De-blocking +
(a)
(b)
圖 十六 (a)原始解碼流程 (b)結合繪圖晶片之模組應用於迴圈除區塊
[6] 實驗結果
為了顯示我們的實做成果，我們分別使用兩則五秒的 CIF 影像當作測試的基礎並由下 表看出加速前後的差別。
表 七 各個工具模組時間佔用表，以加速前後之比較，測試串流包括 5 秒鐘 650 Kbps 低頻寬及 5 秒鐘 2M bps 高頻寬之視訊
同時經由下圖我們呈現了加速前後各個工具模組所佔的時間比例 :
圖 十七 H.264/AVC 解壓縮動作之各個模組佔用時間圓餅圖(a)加速前高頻寬各模組佔用時間圖(b)加速 後高頻寬各模組佔用時間圖(c)加速前低頻寬各模組佔用時間圖(a)加速後低頻寬各模組佔用時間圖。
[7] 結論
我們實做出一個有效率解 H.264/AVC 壓縮的解碼引擎，我們研究其各個模組間的特 性，並利用指令集間的平行處理演算法及現有平台所提供的 VLIW 機器架構用來達到 降低所需指令個數的目的，我們實做的部分包括運動區塊補償，空間獨立預測，反轉 換及反量化，熵函數以及迴圈內除區塊，實做結果在與參考軟體比較後均正確無誤。
除了實做外，我們分別對各模組做了一基本的加速動作並為未來再加速奠立基礎。
四、預期完成之工作項目及具體成果
A、 第一年完成工作及其具體成果之摘要
在使用者注意模型之初步呈現中，我們實做了一個以使用者注意模型為基礎之多媒體 文件調適系統，並提出了兩個相關的應用。該系統依據所開發之使用者注意模型找出 興趣區並萃取出視訊重點物件，接著利用場景空間分析、區域分割與影像填補技術，
對原始文件進行適當調適。並整合了使用者注意、視訊特性與媒體美學的知識，使該 系統可廣泛應用於不同種類的影片。在實驗結果中，可看出觀察者對萃取出之多媒體 文件精華具有高度滿意性，而已調適文件更顯示出本系統在文件精簡化、摘要化及維 持資訊完整性之有效性。
在美學特性之初步粹取中，我們研發了可偵測影像節奏（video tempo）和音樂情緒
（music mood）兩模組。其中音樂情緒的模組中，我們根據音色（timbre），旋律（rhythm）
和音量（intensity），將音樂的情緒分成高度張力（high-tension）和低度張力
（low-tension），並藉由鏡頭長度（shot length）和動作活動率（motion activity）， 偵測出影片節奏。藉由這兩個模組，我們可以了解音樂帶有的情緒並更進一步發展出 三個應用：音樂事件偵測（music event detection），情緒事件偵測（emotional event detection）和原聲帶視覺化（Original Sound Tracks (OST) visualization）。最 後於主觀測試（subjective test）中，這些實驗都表現出不錯的結果。
我們實做出一個有效率解 H.264/AVC 壓縮的解碼引擎於先進視訊壓縮工具之呈現，我 們研究其各個模組間的特性，並利用指令集間的平行處理演算法及現有平台所提供的 VLIW 機器架構用來達到降低所需指令個數的目的，在實做結果與參考軟體比較均正 確無誤後，分別對各模組，包括運動區塊補償，空間獨立預測，反轉換及反量化，熵 函數以及迴圈內除區塊，做了基本的加速動作並為未來再加速奠立基礎。最後我們的 先進視訊壓縮工具與子計畫一中的共享虛擬環境初步整合於同一平台上。
除國際學術期刊與國際會議論文外(詳見相關論文著述部分)，共計四篇碩士論文:1) 藉由音樂情緒與視訊節奏偵測電影中具強烈情感之事件（Music Mood and Video Tempo based Movie Emotional Event Detection），2)整合前處理機制與具感知能力去方 塊效應濾波器之 H.264/AVC 壓縮效能提升方法 (H.264/AVC coding performance enhancement via incorporating pre-process with perceptual-based in-loop deblocking filters) ， 3) 以 動 態 畫 面 省 略 及 可 靠 移 動 向 量 提 升 框 速 轉 換 之 視 訊 畫 質 (Quality Enhancement of Frame Rate Up-Converted Video by Adaptive Frame Skip and Reliable Motion Extraction)，4)以全域移動補償為基礎之視訊編碼方式及其在提高視訊解析度 上 之 應 用 (A Global-Motion-Compensation Based Video Coding Scheme and Its Application to Video Resolution Enhancement)。一篇博士論文: 以矩陣為基礎之離散 餘弦轉換分割與合併方法及其在多媒體處理上之應用 (An Efficient Matrix-Based DCT Splitter/Merger and Its Applications in Multimedia Processing) 以及一專利:分割 與合併型式二離散餘弦轉換方塊的方法，於本年度計畫產出。
B、 第一年預期成果與具體成果之比較表詳列於下：
預期成果 實際成果 說明
使用者注意模型之初步 呈現
完成以使用者注意模型 為基礎之多媒體文件調 適之系統
符合。
美學特性之初步粹取 完成藉由音樂情緒與視 訊節奏偵測電影中具強 烈情感之事件之系統
符合。
先進視訊壓縮工具之呈 現
完成 H.264/AVC 解碼呈 現引擎
符合且部分進度超前。
與其他子計畫整合，實 將先進視訊壓縮工具整 符合。
做出總計畫第一年之應 用系統
合於子計畫一的共享虛 擬環境(Collaborative Virtual Environment)中 相關論文完成
[1] 陳宇皓：藉由音樂情緒與視訊節奏偵測電影中具強烈情感之事件 （Music Mood and Video Tempo based Movie Emotional Event Detection）- 碩士論文 [2] 莊玉如：以矩陣為基礎之離散餘弦轉換分割與合併方法及其在多媒體處理上之應
用 (An Efficient Matrix-Based DCT Splitter/Merger and Its Applications in Multimedia Processing) – 博士論文
[3] 王盛禾：整合前處理機制與具感知能力去方塊效應濾波器之 H.264/AVC 壓縮效能 提升方法 (H.264/AVC coding performance enhancement via incorporating
pre-process with perceptual-based in-loop deblocking filters) – 碩士論文 [4] 楊雅婷：以動態畫面省略及可靠移動向量提升框速轉換之視訊畫質 (Quality
Enhancement of Frame Rate Up-Converted Video by Adaptive Frame Skip and Reliable Motion Extraction) – 碩士論文
[5] 李佳穎：以全域移動補償為基礎之視訊編碼方式及其在提高視訊解析度上之應用 (A Global-Motion-Compensation Based Video Coding Scheme and Its Application to Video Resolution Enhancement) – 碩士論文
四、專利申請與相關專利調查
[1] 專利名稱: 分割與合併型式二離散餘弦轉換方塊的方法 [2] 專利申請人: 莊玉如
[3] 預計申請日期: 民國94年9月30日 [4] 專利申請進度詳見七.附件
[5] 相關專利調查:
與本發明有關之美國專利說明如下：
專利編號：6868188
專利名稱：Efficient down-scaling of DCT compressed images
與本發明之比較：上述專利提出一個利用前 N/2 點及後 N/2 點的型式二之離散餘弦轉換 係數(Type-II DCT coefficients) 快速計算 N 點離散餘弦轉換係數的方法，並可利用此方 法來作影像的放大及縮小，其概念與本發明相似，但由於 AVC/H.264 所採用的轉換核 心並非標準型式二之離散餘弦轉換，因此 6868188 號專利與本發明所提出的 MPEG-2 與 AVC/H.264 的離散餘弦轉換格式轉換並不相同。
專利編號：6577767
專利名稱：Transcoding using block-based motion vectors
與本發明之比較：此專利主要是針對 Motion JPEG 與 MPEG 及 DV (Digital Video) 與 MPEG-2 之間的格式轉換，由於 AVC/H.264 所採用的轉換核心與 Motion JPEG 及 DV 均 不相同，因此 6577767 號專利所提出之 Transcoding 工作與無法適用本發明所提出之 AVC/H.264 與 MPEG-2 間的格式轉換。
專利編號：6898241
專利名稱：Video transcoder with up-sampling
與本發明之比較：此專利針對 MPEG 影片，提出一個可以在離散餘弦轉換域下將影片解 析度放大的方法。由於 AVC/H.264 所採用的轉換核心並非標準型式二之離散餘弦轉 換，因此，689824 號專利所提出之方法也無法解決本發明所專注之 MPEG-2 與 AVC/H.264 間格式互換的問題。
專利編號：6671332
專利名稱：Video transcoder with spatial resolution reduction
與本發明之比較：此專利提出一個在離散餘弦轉換域下改變影片解析度的方法，由於 AVC/H.264 所採用的轉換核心並非標準型式二之離散餘弦轉換，因此，6671332 號專利 無法解決本發明所解決之 MPEG-2 與 AVC/H.264 間格式互換的問題。
專利編號：6647061
專利名稱：Video size conversion and transcoding from MPEG-2 to MPEG-4
與本發明之比較：此專利目的在解決影片解析度及影片格式 MPEG-2 與 MPEG-4 之間的 轉換，但無法解決本發明所提及之 MPEG-2 與 AVC/H.264 間格式互換的問題。
五、國際期刊與國際會議論文 國際期刊論文
[1] Chia-Wei Lin and Ja-Ling Wu, "On Error Detection and Error Synchronization of Reversible Variable-Length Codes," IEEE TRANSACTIONS ON COMMUNICATIONS, VOL. 53, NO. 5, pp. 826-832, MAY 2005
[2] Yuh-Jue Chuang and Ja-Ling Wu, “An Efficient Matrix-Based 2-D DCT Splitter and Merger for SIMD Instructions”, accepted by IEICE Special Issue on Recent Advances in Circuits and Systems, 2005
[3] Yi-Shin Tung, Sung-Wen Wang, Chien-Wu Tsai, Ya-Ting Yang and Ja-Ling Wu,
"DSP-Based Multi-Format Video Decoding Engine for Media Adapter Applications,"
IEEE Transaction on Consumer Electronics, pp. 273-280, Vol 51(1), Feb 2005. (SCI, EI)
[4] Chia-Chiang Ho, Ja-Ling Wu, and Wen-Huang Cheng, "A Practical Foveation-based Rate Shaping Mechanism for MPEG Videos," accepted by the IEEE Transaction on Circuits and Systems for Video Technology, 2005. (SCI, EI)
[5] Wei-Ta Chu, Wen-Huang Cheng, Sheng-Fang He, Chia-Wei Wang, and Ja-Ling Wu, "A Unified Framework Using Spatial Color Descriptor and Motion-based Post Refinement for Shot Boundary Detection," GESTS International Transaction on Computer Science and Engineering, vol. 2, no. 1, pp. 133-143, March 2005.
[6] Wen-Huang Cheng, Wei-Ta Chu, and Ja-Ling Wu, "A Visual Attention based Region-of-Interest Determination Framework for Video Sequences," accepted by the IEICE Transactions on Information and Systems Journal, 2005. (SCIE, EI)
[7] Wei-Ta Chu, Wen-Huang Cheng, and Ja-Ling Wu, "Semantic Context Detection Using Audio Event Fusion," accepted by the EURASIP Journal on Applied Signal Processing, 2005. (SCI, EI)
[8] Wei-Ta Chu, Wen-Huang Cheng, Jane Yung-Jen Hsu, and Ja-Ling Wu, "Towards Semantic Indexing and Retrieval Using Hierarchical Audio Models," accepted by the ACM Multimedia Systems Journal, 2005. (SCI, EI)
國際會議論文
[1] Wen-Huang Cheng, Chun-Wei Hsieh, Sheng-Kai Lin, Chia-Wei Wang, and Ja-Ling Wu,
"Robust Algorithm for Exemplar-based Image Inpainting," accepted by The
July-29 July, 2005, Beijing, China. (EI)
[2] Wen-Huang Cheng, Wei-Ta Chu, Jin-Hau Kuo, and Ja-Ling Wu, "Automatic Video Region-of-Interest Determination Based on User Attention Model," The 2005 IEEE International Symposium on Circuits and Systems (ISCAS 2005), 23-26 May, 2005, Kobe, Japan, pp. 3219-3222. (EI)
[3] Chih-Hao Liang, Wei-Ta Chu, Jin-Hau Kuo, Ja-Ling Wu, and Wen-Huang Cheng,
"Baseball Event Detection Using Game-Specific Feature Sets and Rules," The 2005 IEEE International Symposium on Circuits and Systems (ISCAS 2005), 23-26 May, 2005, Kobe, Japan, pp. 3829-3832. (EI)
[4] Wei-Ta Chu, Wen-Huang Cheng, and Ja-Ling Wu, "Generative and Discriminative Modeling toward Semantic Context Detection in Audio Tracks," The 2005 International Multi-Media Modeling Conference (MMM 2005), 12-14 January, 2005, Melbourne, Australia. (EI)
[5] Yuh-Jue Chuang, Yi-Chin Huang and Ja-Ling Wu, “An Efficient Algorithm for Splitting an 8 ´ 8 DCT into Four 4 ´ 4 Modified DCTs Used in AVC/H.264”, the 5th EURASIP Conference Focused on Speech and Image Processing, Multimedia Communications and Services, (EC-SIP-M 2005), Jun. 2005, Smolenice, Slovak
[6] Chia-Ying Li, Wen-Huang Cheng, Yi-Shin Tung, Sung-Wen Wang, Ja-Ling Wu,
"Global-Motion-Compensation Based Super-Resolution Image Reconstruction for Video Decoding Applications," to appear in Proc. of 5th EURASIP Conference focused on Speech and Image Processing, Multimedia Communications and Services, 2005.
[7] Ya-Ting Yang, Sung-Wen Wang, Yi-Shin Tung, Yi-Chin Huang, Ja-Ling Wu, "Low Bitrate and Full Frame Rate Video Communication by Motion-Compensated Frame Interpolation," to appear in Proc. of 5th EURASIP Conference focused on Speech and Image Processing, Multimedia Communications and Services, 2005.
[7] Ya-Ting Yang, Sung-Wen Wang, Yi-Shin Tung, Yi-Chin Huang, Ja-Ling Wu, "Low Bitrate and Full Frame Rate Video Communication by Motion-Compensated Frame Interpolation," to appear in Proc. of 5th EURASIP Conference focused on Speech and Image Processing, Multimedia Communications and Services, 2005.