第一章 緒論
1.1 研究背景
近年來由於硬體以及相關演算法的進步，單一視點視訊技術已達成熟；而隨 著三維顯示技術的發展，多重視點視訊已逐漸成為多媒體領域下一個階段的研究 重心。MPEG 在 2003 年 11 月的會議中，正式制定了 3DAV(3D Audio-Video)文件 [1][2]，其主要目標是擴展現有的視訊標準，其內容包含了三項多重視點視訊的 主要應用：自由視點視訊(Free Viewpoint Video)、全景視訊(Omni-directional Video)、
與互動式立體視訊(Interactive Stereo Video)，其中的自由視點視訊即為本論文主 要研究主題。
自由視點視訊的目是使用有限的影像擷取設備來精確描述三維空間中的場 景資訊，並能有效地壓縮所紀錄的資訊。當呈現時，能夠即時合成出任意視點所 見的畫面。自由視點視訊在娛樂、教育、觀光等領域中有著極大的應用空間，而 目前自由視訊最主要的應用為 Free Viewpoint Television(FTV)[3][4]。
一個典型的自由視點視訊系統包含了五種程序：影像擷取、場景成像
(rendering)、壓縮、資料傳輸、以及顯示。其中場景成像為最複雜的程序，亦是 整個系統的核心。場景成像主要分為兩類：
(1) model-based rendering(MBR)
MBR 主要是利用物體模型投影到成像平面上而成。理想的 MBR 可以達 到完美的自由視點視訊，但是建構精細的物體模型本身就有其難度，因 此成像時容易產生以下問題：
● 模型中各多邊形的紋理不易分析。
● 多邊形數量不足時，成像結果會有瑕疵。
● 精細的模型(即多邊形數量極多)不適合用於即時運算。
2
(2) image-based rendering(IBR)[5]
IBR 是利用台不同位置或角度的攝影機所擷取的影像，依據光學原理內 插出不同視點所見的畫面。相對於分析及計算物體模型，其所需時間大 幅降低。相對的，IBR 則面臨了如何內插的問題。
由以上的比較可以得知 IBR 為實現自由視點視訊較為可行的辦法，因此現有的自 由視點視訊系統中，大部分採用 IBR 的方式來進行場景成像。
1.2 研究動機及目的
傳統的自由視點視訊系統大多使用一維攝影機陣列來擷取影像[6]，這使得視 點位置僅能在一個平面上移動。為了將移動的範圍延伸到立體空間上，我們將一 維攝影機陣列拓展為二維攝影機陣列。
自由視點視訊系統在進行影像內插時，為了增加其準確度會搭配視差 (disparity)資訊作為參考。但是視差資訊的計算具有高度複雜度，並且結果容易 受到遮蔽效應的影響。為了解決以上兩個問題，在本論文中，我們利用二維攝影 機陣列中每台攝影機在空間上的相關性，以及視差資料的特性來減少整體系統計 算影像視差的次數，並設計一套投票機制來取得更精確的視差資訊。
另外，現有的自由視點視訊系統僅能處理同一時間點上的影像，所以不同時 間點的影像都必須重新計算一次視差資訊。這會使得整個系統無法滿足即時運算 的要求。基於連續影像在時間上的相關性，我們利用移動向量來減少視差估測的 時間。為了取得更為精確的移動向量，在進行移動偵測時，我們不僅比較原始影 像之間的差異，同時也會加入已知的視差資訊作為參考。
3
1.3 論文大綱
在本論文中，第二章將介紹核平面圖像和三維空間中的場景彼此之間的關係，
並利用該關係來合成虛擬視點影像。在第三章中，我們將說明本論文所採用的視 差估測方法。第四章將介紹如何利用二維攝影機陣列的空間相關性來提昇視差估 測結果和降低整體系統在視差估測上所花費的時間，以及如何使用視差資訊來合 成不同視點所看見的影像。該章節最後包含為實驗數據與結果比較。在第五章中，
我們將介紹如何利用移動向量減少連續影像在計算視差估測上所花得時間，以及 如何使用已知的視差資訊來提昇移動向量的精確度。該章節最後為不同參數設定 的實驗結果比較。第六章為結論以及未來工作。
4
5