我們在此研究計畫的目的為(1)深入研究並模擬 MPEG-4 系統，主要為 MPEG-4 IPMP 延伸系統，以及(2)研讀模擬 MPEG-7 系統與製作 MPEG-7 發展平台。
(1) MPEG-4 系統的研究
我們的研究承續之前對於 MPEG-4 系統的了解，本期專注於 MPEG-4 標準 (ISO/IEC 14496-1) 中所提供的 IPMP 架構，並輔以部分 MPEG-21 IPMP，以期對 MPEG IPMP 有 更前瞻的認識。
MPEG-4 Systems ver.1 中所定義的 IPMP 架構提供了一個標準化的介面讓 MPEG-4 players 可以使用不同的 IPMP System。 MPEG-4/AMD3 提出後，為了區別兩個版本中 差異頗大的 IPMP 子系統，前者稱 IPMP Hook，而後者稱為 IPMP Extension (IPMPX)。
IPMP Hook 架構的最大不足之處在於工具間的溝通方式並沒有正式定義，這使得各 工具的實作者無法利用他人的實作成果。有鑑於此，IPMPX 架構觀念改為虛擬終端機 (Virtual Terminal)，與既有的 MPEG-4 系統以 Message 互相溝通。如圖十三，IPMP 虛擬 終端主要由兩大概念合成，一為 Message Router (MR)，另一為 Tool Manager (TM)。
Message Router 負責將所有的 IPMP Message 傳送至對應的 IPMP Tool，而各 Tool 則根據 Message 內容負責串流的處理，例如解碼或是權限控制。Tool Manager 負責 Tool 的建立、
消滅、與關聯等功能，當需要時，可由 MPEG-4 系統或 Message Router 發出管理需求。
本模擬重點為 IPMPX，相關的參考軟體不多，一為 Craig A. Schultz 所作，另一個為 MOSES。兩者皆利用 IM1 為 MPEG-4 player。IM1 軟體包括了所有 MPEG-4 System 中 標準化的部分。我們分析了 IM1 Core 中有關 IPMPX 的部分，了解 IPMPX 系統的操作 模式，並據此設計三個程式，以循序漸進的方式，展示 IPMPX 的運作。圖十四為本展 示程式的資料流程圖，包含 IPMP 資訊的 MPEG-4 串流到達後，先經過 Demultiplex 影 像資料流往 player 的 control point。而 IPMP 資料則流向 IPMPX 模組，啟動對應的 IPMP Tool 並開始對流經 control point 的影像資料作處理。
圖十三、IPMPX 與 MPEG-4 系統
Demux Control Point Player
.TRIF bitstream video stream
1. IPMP Tool List Descriptor 2. IPMP Tool Descriptor 3. IPMP message
1. Function call from IPMP module 2. IPMP message
1. Function call from Control Point 2. video stream meta-data格式都是XML的Application。參與MPEG-7的專家們除了規範各式各樣的基 本descriptor（簡稱D）及description scheme（簡稱DS），同時也提供一套參考軟體供大 家驗證其可行性。Reference Software簡稱XM，為eXperimentation Model的縮寫。主要 提供一套C++軟體，展示各D及DS的可行性與搜尋準確度。
Data：觀察或處理的主體，可能是媒體資料或meta-data。
DataAlg：與Data關聯的演算法，就媒體資料而言，為編碼與解碼。若作用主體為 meta-data，則除了編解碼之外，還包括抽取與比對演算法。
Viewer：用來觀察Data的圖形化介面，或是轉換Data型式的演算法。
在這個測試平台中，以Data為中心，允許有零至多個DataAlg或Viewer與其相關，
因此設計 Component Management Unit 用來維護元件間的關聯性。有了 framework 與 Component Management Unit後，我們就可依此架構實作不同的媒體、D、DS、以及相
對應的顯示元件。目前在此平台中，我們完成了 Scalable Color、Color Layout、Dominant Color、Edge Histogram 等 meta-data 相關元件，也完成 image 相關元件。
最後，設計一個影像特徵抓取與搜尋原型程式，除了展示基本的 MPEG-7 應用方式 (特徵抓取、儲存、比對、整合)，並提供使用者檢視 descriptor 內容的介面。圖十五所示 為利用此軟體平台開發出來的原型程式，在這個程式中，我們除了展示了 Histogram、
Color Layout、Edge Histogram、Scalable Color 相關的 feature extraction、feature matching、
以及 image/feature viewer，並利用設計的 Component Management 單元展示如何在不更 動程式下，新增或移除 Concrete Components。
此外，我們在應用程式層次加上額外兩種 matching 方式，稱為 weighted matching 及 multi-step matching，前者可用 weighting factor 方式組合多個 D 或 DS 作為搜尋條件，後 者則是進一步將搜尋分成多級，每級皆為 weighted matching，且每級的搜尋範圍限制在 前一級的搜尋結果中。實驗結果發現，適當安排各級搜尋條件不僅可以得到較令人滿意 的結果，而且搜尋速度與 weighted matching 相差不會太多。除了 weighted matching 類型 外，我們也實作了以集合運算結合多種特徵的比對方式，實驗結果顯示在某些狀況下的 確可以得到比較好的結果，但缺點是如果集合不夠大，可能無法取到共同交集。
圖十五、軟體平台程式展示