過去數年間，由於多媒體通訊突飛猛進，網際網路迅速普及，以多媒體物件製作、處 理、編輯及傳輸為目標的 MPEG-4/MPEG-21 標準活動受到大家的關注。我們在此研究 計畫的目的為(1)深入研究並模擬 MPEG-4 IPMP 延伸系統，並將其概念實作於 MPEG-21 Test Bed 上，以及(2)畫面間小波視訊編碼（Interframe Wavelet）之開發與研究，利用 AVC 中之移動估測方法改善移動補償時間濾波，並提出一個適用於 AVC 移動估測之可調式 移動向量技術。
(1) MPEG-4 IPMP 系統的研究
由 1997 年開始，MPEG 組織開始嘗試為 IPMP 訂立標準的公用介面和相關協定，
以解決數位化媒體在網路上交易所衍生的問題，目標是把 IPMP 整合到現有的 MPEG 標 準之中。其中利用密碼方法或數位浮水印的技術以有效的提高非法剽竊的困難度。目 前，類似但簡化之技術已被應用在數位電視系統中。截至本論文撰寫時，MPEG-4 和
MPEG-2 標準中的 IPMP 訂定已經完成，而 MPEG 組織也開始投入更多的資源訂定 MPEG-21 IPMP 標準。
A. IPMP 標準與架構
我們的研究承續之前對於 MPEG-4 系統的了解，本期專注於 MPEG-4 標準 (ISO/IEC 14496-1) 中所提供的 IPMP 架構，並輔以部分 MPEG-21 IPMP 及 MPEG-21 Test Bed，
以期對 MPEG IPMP 之運作有更前瞻的認識。IPMPX 架構觀念為虛擬終端機(Virtual Terminal)，與既有的 MPEG-4 系統以 Message 互相溝通。IPMP 虛擬終端主要由兩大概 念合成，一為 Message Router (MR)，另一為 Tool Manager (TM)。Message Router 負責將 所有的 IPMP Message 傳送至對應的 IPMP Tool 或終端機本身，而接收 message 的一方則 根據 Message 內容負責串流的資料處理或控制，例如解碼或是權限控管。Tool Manager 負責 Tool 的建立、消滅、與關聯等功能，當需要時，可由 MPEG-4 系統或 Message Router 發出管理需求。
B. 模擬與實驗
軟體模組的設計上，我們盡可能保留 MPEG 文件上所描述的概念性物件，例如 MessageRouter 與 ToolManager 等等(圖 6-1)。而在 API 的設計上，我們則參考 IM1 IPMPX 的設計，並稍加延伸，例如加上 timestamp 參數以利 terminal 傳遞系統時間給 tool。在 實作上，為求與標準格式相容，我們採用 PSL MPEG-2 IPMPX 錯誤! 找不到參照來源。
中的 MessageInterface 函式庫產生與解析 ToolMessage。較為特別的是 context 的設計，
ToolMessage 利用 context ID 決定 routing 方式，但 IPMPX 標準中並未定義 context 的實 際結構，因此我們根據可能的使用情況，將 context 設計成樹狀結構，依照 top、object、
elementary stream、IPMPTool 四個階層加以關聯，並自動給予各 context 識別編號。另一 個標準中沒有定義的物件為 IPMPFilter，根據相關描述，我們歸納出 IPMPFilter 應該是 一個 container，允許至多 256 個 IPMPTool 串接，而資料串流則依序通過各 Tool。
圖 6-1 重新設計的 IPMPX 模組關係圖
最後，我們用一個加密傳送影像的系統展示我們的研究與實作成果。圖 6-2 所示 client 端程式啟動 IPMPX 子系統，並週期性換 key 進行 DES 解密的過程，就使用者而言，這 些動作都是隱藏在 virtual terminal 完成，只會看到播放程式播放短片。接著我們刻意在 某個時間區間給定錯誤的 key，對 decoder 而言，因為無法經由解密過程取得正確的影
片資料，所以解碼過程發生錯誤，如圖 6-3 左側照片所示。
圖 6-2 程式啟動 IPMPX 與正常解密 圖 6-3 解密用的 key 錯誤造成解碼錯誤
(2) 視訊畫面間小波編碼技術的研究
視訊畫面間小波編碼技術(Interframe Wavelet)是近幾年被提出的壓縮演算法，其優點 就在於全可調層次性(Full Scalability) — 同時兼具三種可調層次性(空間可調層次性 (Spatial Scalability)，時間可調層次性(Temporal Scalability)，位元率可調層次性(Bit Rate Scalability))，所以利用一次壓縮好的視訊，就可以提供給各種應用。而其壓縮效能在高 位元率時跟目前標準制定的先進視訊編碼技術(ISO/IEC 14496-10 Advanced Video Cod-ing, AVC)十分接近。
A. 移動補償時間濾波之改良
本計畫利用 AVC 中之移動估測方法對移動補償時間濾波改善在此移動搜尋的過程 中，為了增加搜尋的精確度，我們將參考畫面經填補濾波器(interpolation filter)，進行 1/2 像素與 1/4 像素精確度的移動搜尋。由於搜尋方塊切割較為細緻，也造成了移動向量之 位元率過高，因此我們利用相鄰方塊移動向量的相關性，進行預測。我們用被預測方塊 的左方、左上方、上方及右上方進行被預測方塊的移動向量預測。藉由細緻的搜尋方塊 切割與移動向量預測，我們可以精確有效率的將畫面切割成適當的搜尋方塊，並找到對 應的移動向量。圖 6-4 為經過移動搜尋之後的畫面切割圖例。
B. 可調式移動資訊
在傳統的小波轉換中，擁有空間軸、時間軸及畫質之可調式設計，移動資訊在空間 軸與畫質可調式設計中是無法切割的。當可允許傳送之位元率太低時，抽取器(Extractor or Puller)很可能會因移動資訊過大，而沒有足夠可分配的位元率進行小波係數切割而失 敗。此外，在非常低位元率的情況下，我們會希望在省去部份的移動資訊將較多的位元 率分配給小波係數，以換取較好的畫質。因此，在移動估測之後，我們對移動資訊進行 切割。
圖 6-4: 經過移動搜尋之後的畫面切割
在 AVC 的畫面間預測中，基本的處理大小為 16x16 之 macroblock。每一個 macroblock 可再細分為 16x16, 16x8, 8x16, 8x8 ,8x4, 4x8 及 4x4，並且所對應到的移動向量具有 1/4 像素之精確度。我們依下列步驟將移動向量做切割。
第一步：進行 16x16 大小之整數像素精確度之移動搜尋，所產生之移動向量為“基本層”。
第二步：進行 16x16 與 8x8 大小之 1/2 像素精確度之移動搜尋。與基本層之差值將被保 留編碼，稱“第一加強層”。
第三步：進行所有搜尋方塊大小之 1/4 像素精確度之移動搜尋。將其與基本層與第一加 強層之和的差值將被保留編碼,稱“第二加強層”。
第四步：將所有的移動向量階層分別利用 CABAC 編碼。
(3) 成果
這部分成果分成兩部分，其中 IPMP System 在 2004 年 7 月加入 MPEG-21 Multimedia Test Bed 中，已成為 Test Bed 軟體的一部份。Interframe Wavelet 則在 2004 年 3 月與 7 月提案 MPEG 標準組織。3 月之提案為參加 scalable video coding Call-for-Proposal 競賽，
在 14 個提案中經視覺主觀評審，成績中等。在國際大企業競爭下，此結果似乎尚可。7 月之提案為參加 Core Experiments，改善目前的 Reference Model。