立體影像對編碼技術

多視角視訊[16]：在同一個場景，以不同的視角下拍攝的多組視訊序 列。可分為平行、弧型、聚集、背離四類，如圖 2.8 所示。

圖 2.8 (a)平行 (b)弧型 (c)聚集 (d)背離

多視角攝影機的設定、數量會影響到虛擬視角的影像品質，增加攝影 機的數量與調整攝影機的位置、參數，更能提高 3D 效果的準確度，但是 可想而知這將需要大量的處理資料，造成成本高昂。

2.6.2 2D+depth 資料表示法

3D 場景中的虛擬視角，可在接收端產生，對應的合成方法稱為深度 影像繪圖法(depth-image-based rendering, DIBR) [5][6]在影像合成中具有 高效率傳送和儲存的優點。和彩色視訊相比，使用 2D+depth 編碼方式比 起立體影像對更有效率。 DIBR 只需要 2D 影像+深度圖，而深度圖只是 實際上是用來產生深度值(depth value)的一個 2D 函數，因此較原始 2D 資料並不會增加太多的儲存容量。

DIBR 搭配不同的立體顯示器顯示格式，如圖 2.8 元隔行掃描或線交 錯、行交錯的交錯(Interlace)方式，產生不同視角的影像，在顯示器上產 生立體效果，如圖 2.8 所示。

2D Color Image Depth Map

Stereo Image DIBR

圖 2.8 深度影像繪圖法示意圖

在給予原始 2D 影像和相對應的深度值之後，我們就可以在虛擬影 像平面上根據深度資訊將影像像素重新投影(re-projecting)以產生出相鄰 視角的影像[10]。根據所重新投影的視角影像數目的不同，DIBR 可以用 在戴眼鏡式的顯示器或是多視角裸眼顯示器上。DIBR 流程如圖 2.9 所 示。

2D image

Depth Map

2D image read

Hole Filling

3D image Interlacing

Multi-Views Image

FPGA Implemention

圖 2.9 整體 3D 內容合成流程

圖 2.10 為一台平行擺設的攝影機與立體影像合成之關係示意圖，圖 中^Cl、^Cr各別為左眼與右眼攝影機的光學中心 (optical center)，^Cc 則為 攝影機的拍攝光學中心。Z 為目標深度值，其數值與深度灰階值相反 (即 Z 愈小，深度灰階值愈大)。

圖 2.10 立體影像合成示意圖

輸入影像上座標位置將右移產生左影像，左移產生右影像。將 攝 影機的影像作為左、右眼的中間影像，並計算往左與往右的水平位移後，

便能合成出左、右攝影機所拍攝的影像，推導出公式如下式(7)(8)所示：

由公式(7)(8)可知，深度愈近，視差愈大，我們可以藉由原始影像，

搭配相對的深度圖，來合成左右眼立體影像對。這種合成立體影像對的 方法可以依照觀賞者的觀感來調整基線長度，而觀賞到不同的立體深度 感。

在本篇論文中我們使用連通區域標記已及遮罩的概念來分割右圖圖 像，右圖分割出的物件區域與左圖像相同形狀的區域做相減比對，取得 由右到左的所有相減值與最小的差異值，則計算出此物件區域在左右圖 像間的左右視差值，再將視差值轉換成景深值。我們使用 OpenCV 來進 行測試，方法與結果在下面章節呈現。

(7) (8)