本計畫從事兩方面之研究：其一是比例式視訊編碼法，主要為物件域之比例式編碼 相關技術；其二是視訊通訊終端機技術，主要為國際標準視訊編解碼器之實現與相關網 際網路視訊通訊終端系統之實作。在物件域之比例式編碼方面，我們主要研究視訊內容 分割法，迄今已提出數項技術。模擬結果顯示：萃取得之物件符合人類常態知覺。現亦 在繼續研究改進視訊分割技術。在視訊通訊終端機方面，我們過去已發展了一個以個人 電腦及數位信號處理器為平台的點對點視訊編碼與傳輸系統，其中的視訊編碼採用 H.263 標準。在本計畫中，我們繼續改進此系統之功能，並採用相似的平台進行 MPEG-4 simple profile 及 fine-granularity scalable 即時編解碼之實作。
(1) 視訊分割
要達成物件比例式視訊編碼(object-scalable video coding)，一個很重要的課題就是視 訊分割，這對自然景像視訊(natural scenes)的編碼而言，尤其為然。由於 MPEG-4 標準 中對於物件的定義及視訊分割的方式均無明確的規範，因此就留給研究者極大的餘裕。
如前述，我們在此專注於採用直覺的運動與紋理分析來做視訊分割。此類分割方法，通 常包括四個基本功能方塊，即紋理分析、運動分析(運動估計)、初始分割、及區域追蹤。
圖九呈示我們最近提出的一個方法，其中 Edge Analysis 及 Change Detection 屬紋理分 析，Forward Tracking 及 Backward Validation 用到運動分析，Mask Refinement 則完成初 始分割與區域追蹤。在視訊分割的研究中，兩大議題是物件邊界的精確認定及運算量的 降低。此方法在這兩方面都有特別的設計。以下我們就概略介紹此方法。
此方法中的 Edge Detection 目的在於較精確的找到物件的邊界位置。這是因為一般而 言，物件的邊界有較大的亮度或色彩變化。我們所用的 Edge Detection 方法為 Canny edge detector。Change Detection 常被用來獲得移動物件的大致位置。我們所使用的 Change Detection 方法與近來若干學術論文所用的方法相似，就是透過 interframe difference 的分 析來估計視訊畫面中的攝影機雜訊大小，然後設定一個門檻值，以檢驗 interframe
dif-ference。大於此門檻值的畫面位置就算是 changed，所有算是 changed 之像素就形成移 動物件位置的一個粗估。
Forward Tracking, Backward Validation, 及 Mask Refinement 是此方法主要創新之所 在，其中又尤以 Mask Refinement 為然。Forward Tracking 是用以估計已分割出來的物件 的運動並做粗略的追蹤。由於後續的 Backward Validation 及 Mask Refinement 會更精確 的確認物件邊界的位置，所以 Forward Tracking 中的運動估計不必非常精確，也因此可 以降低其運算量。我們為此設計了一個特別的運動估計法。Forward Tracking 在跟據所 估計得的運動作過初步的物件追蹤後，將其結果與 Change Detection 的結果相結合，作 為 Forward Tracking 方塊的輸出。Backward Validation 是將 Forward Tracking 的輸出中，
屬於 Change Detection 的結果而不屬於初步物件運動追蹤結果的像素，做反向運動估 計，並檢測其是否屬於或鄰接於前張畫面中所分割出來的運動物件。若是，則保留，否 則刪去。Mask Refinement 的主要精神，是假設 Backward Validation 的結果中，最外緣的 edge 像素，大多應是物件的邊界所在。透過一些 morphological 處理步驟，我們確認這 些邊界像素的位置、針對其斷裂不連續的部分做內插以連接之、並填滿物件的內部。
MASK REFINEMENT
FRAME MEMORY DETECTION
CHANGE ANALYSIS
EDGE FRAME n
TRACKING
BACKWARD VALIDATION INPUT
VIDEO FORWARD
FRAME n−1 FRAME n−p
圖九、直覺分析視訊分割法
實驗顯示此方法可得相當符合主觀視覺的分割結果。圖十呈示對 Mother and Daughter 影像序列進行分割的部分結果。
50 95 120 圖十、對 Mother and Daughter 影像序列做分割的部分結果。頂排為原始畫面，中排為分 割出之移動前景物件，底排為畫面序號
(2) 視訊通訊終端系統實作之研究
本部分研究主要係使用個人電腦及其上裝置之數位訊號處理器插板來進行軟體視訊 編解碼器及視訊壓縮與網路傳輸終端系統之實作。本項研究分兩子題，一是既有 H.263 編解碼與傳輸系統的改進，二是 MPEG-4 軟體視訊編解碼器的實作。以下分別討論之，
但重點在第二項，因其為本部分研究之主要項目。
我們之前已經完成一個簡單的 H.263 視訊編解碼與網路傳輸系統。該系統結構如圖 十一所示。傳輸端的個人電腦是 server，接收端的則為 client。接收端不須數位訊號處理 器，由個人電腦逕行做視聲訊的解碼與播放。傳輸端的個人電腦，其視訊輸入經個人電 腦轉交數位訊號處理器插板做編碼。
Receiver
Adapter Adapter
Video Input
Audio Input
PC Internet
Network Network
Transmitter DSP
PC
圖十一、H.263 視訊編解碼與網路傳輸系統架構
本年的工作主要為系統功能的改進。為免大幅更動系統架構導致意想不到的問題，
我們沿用之前使用的數位訊號處理器插板，即 Blue Wave Systems 的 PCI/C6600，其上裝 置 Texas Instruments 的 TMS320C6201 定點數位訊號處理器二顆，工作速率為 200 MHz。
但我們的視訊編碼器僅用其中一顆。編碼方法為 H.263，但沒有配置所有的功能，使其 簡化以利即時實現。聲訊部分，未做壓縮，僅由個人電腦將之與壓縮後的視訊組成封包，
交由網路卡透過 UDP 規約傳出。原始之實現係針對 subQCIF (128x96)之畫面，上年度 已改為可處理 QCIF (176x144)畫面，本年則改進為可處理 CIF (352x288)畫面，但編碼速 率則成比例下降：subQCIF 每秒約可編 20 張畫面，CIF 則僅 2-3 張。經分析程式，發現
其資料輸出入部分可做一些改進，但對程式加速的幫助極有限。其他改進則尚須做更多 分析，才能確定其效用。不過以上經驗將有助於新年度(下年度)之 MPEG-4 研究。
在 MPEG-4 軟體視訊編解碼器部分，我們考慮了其 simple profile 及 FGS 編碼器二者，
並分別使用一個數位訊號處理器平台(含個人電腦及數位訊號處理器插板)來實現。所用 的數位訊號處理器仍是 TMS320C6201，但插板則為 Innovative Integration 公司的 Quatro62。該插板共裝置四顆 TMS320C6201，但我們的二種編碼器實現則各使用二顆。
(i) MPEG-4 Simple Profile 視訊編碼器
MPEG-4 simple profile 視訊編碼器的實現，係以 MoMuSys C 語言軟體為本，加以修 改以適數位訊號處理平台之用。主要工作內容可分程式縮小與程式加速兩方面。實驗顯 示編碼速率約為每秒 6-8 張 QCIF 畫面，其 PSNR 值與原始程式相差不遠。
(ii) MPEG-4 FGS 視訊編碼器
我們採用一個既有的 H.263+編碼器為 base layer，而 enhancement layer 則使用 MoMuSys 軟體修改而得。其中 base layer 佔一顆數位訊號處理器，而 enhancement layer 則使用另一顆；整個系統架構如圖十二所示。
圖十二、MPEG-4 FGS 軟體視訊編碼器之架構
實現的結果，在沒有省略任何 bitplanes 之情形下，視比較基礎之不同，約可加速為 原程式的 2.4-2.7 倍，或 6.4-7.6 倍。編碼速率約每秒 11.5-13.5 張 QCIF 畫面。若省略最 後二個 bitplanes，則速率可達每秒 17-19 張畫面。