深度線索是當做幫助我們估測畫面深度圖的依據，在本論文中僅憑單一影像我們能 使用的深度線索有材質漸層與大氣透視，而利用前後影像間的關係則是利用動態視差這 項深度線索，以下小節將分別介紹我們使用的各項深度線索。在視訊影像中由於編碼壓 縮方面的考量，因此將影像切割成一塊塊固定大小的 Macroblock(MB)，做為其處理的 每一個元件(element)，而非對每一個 pixel 做處理，在本論文的各項深度線索計算也將 以 MB 做為最小處理單元。
4.1.1 動態視差(motion parallax)
在連續的影像中人眼對於物體移動的變化最為敏感，也就是物體的動態視差愈大距 離我們可能愈近。動態視差的計算方法是計算連續影像中每個 Macroblock(MB)的移動 向量，Block matching 在移動向量的估測上是常被使用的方式，因為其硬體實做複雜度 低，為了提高運算速度也發展出了許多快速的 block matching 演算法[22]，block matching 示意圖如下圖 4.1：
30
圖 4.1 中每個拿來 matching 的 element 是一個 MB，黑點為 macroblock 的中心點，通常 限制一個搜索範圍(searching window)做搜尋，搜索範圍的大小可根據影像性質自由做設 定。匹配函數通常使用 MAD(mean absolutely difference)或 MSE(mean squared error)如下 式(40)(41)： 在有立體感的 2D 影像對中，垂直方向的差異(disparity)會造成人眼觀看的不適以及 增加影像融合的困難度，反之，一範圍內的水平差異是人眼可以接受的並且產生立體感，
為此在單視域影像轉換為立體視域影像時垂直方向上差異的消除將是必行且重要的，消 Frame k
Frame k-1
searching window MB
圖 4.1 Block matching。
31
除的方式是取移動向量的大小(norm)做為該 MB 的水平移動量，如下式：
(43)
其中 u,v 為 MB 的移動向量，用 代表此 MB 的移動量，移動量愈大表示物體深度愈小。
4.1.2 材質漸層(texture gradient)
相同的紋理由遠而近會產生一種漸層感，我們將每個 MB 的 edge 密度當作其深度 線索，密度愈大深度則愈近，edge 則利用 Sobel operator 做偵測如下圖 4.2：
圖 4.2 Sobel operator。
圖 4.2 為 Sobel operator 常用來做邊緣偵測的運算子，(a)可用來偵測水平方向上的 edge，
(b)則用來偵測垂直方向上的 edge。Edge 密度則由下式計算：
(44) 其中 代表 MB 的大小，E 為 edge 點判斷函數，如果是 edge，E 為 1，反之則為 0。
4.1.3 大氣透視(atmospheric perspective)
因為空氣中微小粒子與霧氣的影響，造成遠方的景物較模糊近的景物較清晰，此現 象稱為大氣透視[23]，如下圖 4.3
32
圖 4.3 大氣透視。
我們利用每個 MB 的變異性(variance)和對比度(contrast)來代表此 block 的清晰度，
值愈大，物體距離愈近。變異性和對比度計算如下列式子： 背景圖，接著我們利用相鄰單元標記法(connected component labeling)將相鄰的區塊部分 加上同樣的標記，並計算出區塊的面積大小，並對前景物體內部的空洞做填補的動作 (hole filling)，也移除因為誤判而產生的面積過小的前景區塊。
4.2.1 相鄰單元標記法(connected component labeling)