最遠背景位移

當我們切割出完整的背景區域後，我們利用了簡單的位移，將背景與前景區分開，將背 景位移到最遠的位置，也就是螢幕上，前景皆給予些微的雙眼視差，讓前景浮現於背景之上，

而前景部分也會因為靜態與動態深度圖而有自己的深度變化，整體的場景深度比以前更立

體，更接近真實影片。

圖 4-18 位移示意圖

第5章 實驗與結果

本實驗所採用的測試資料為動畫類的影像，影像檔案大小為 640 x 480 ，整個系統分為 靜態以及動態的方式來估測深度資訊。靜態估測深度資訊使用 CID 方式來計算，之後再經由 光流切割圖更新靜態深度資訊，動態深度資訊則是由光流法來獲得，將兩種方式估測後的深 度圖結合起來，再經由光流深度還原法來產生左右眼立體圖，最後經由 3D 立體螢幕顯示結 果，因為將背景切割後有將前景做額外的移動，播放時有些許的破碎感，但已擁有不錯的立 體感受。

5.1 系統詳細流程

我們將解壓縮後的前後兩張連續影像取出，並將影像的色彩空間轉換到 YCbCr，在原圖 中可以發現物體的移動是從左到右的移動，前方的人物頭與身體都是向右擺動。

(a) (b) 圖 5-1 前後影像

(a)

(b) (c) 圖 5-2 YCbCr

將轉換後的亮度圖切割成數個16×16的區塊，利用之前所介紹的 CID 運算方式來計算出 各區塊的清晰度與銳利度，再經由簡易顏色來整合成粗略的靜態深度圖。

(a) 清晰度 (b) 銳利度

(c) 靜態深度圖 圖 5-3 CID 群組圖

此時產生出的 CID 靜態深度圖是只有靠清晰度和銳利度判斷出的，在胸前所呈現的深度 資訊是非常雜亂的，而且在光流深度還原法中所產生的左右眼視差也是依照 CID 深度資訊而 給予倍數的變化，所以 CID 深度資訊對整體立體效果的影響很大。所以先介紹動態深度計算 與光流的計算，我們利用了光流法計算出前後影像間的亮度變化，計算出 MHI 以及光流值 有效範圍的分布。

(a) 光流梯度圖 (b) 光流差值圖

(c) MHI (d) 光流有效搜尋範圍 圖 5-4 光流結果圖

得到光流的資訊後，我們統計獲得的光流值的分布，因為單一物體在移動的時候，所產 生的光流值會是接近的，所以我們統計光流值的大小分佈，將整體物件依照光流值的大小切 成許多不同的區塊，最後再將光流區塊圖與光流有效範圍的分類圖做合併比較，得到最後整 合的區塊圖。

(a) 光流直方圖 (b) 光流區塊統計圖

(c) 有效範圍 (d) 整合區塊圖 圖 5-5 區塊整合圖

獲得整合之後的區塊之後，我們依照這個區塊來更新原始 CID 值的分布，我們先統計出 區塊 k 內的 CID 總類，將出現頻率最高的 CID 值來代替該區塊內所有的 CID 值S_k。

(a) 原始 CID 區塊 (b)光流區塊切割圖

(c) 更新後 CID 結果圖 圖 5-6 最終靜態深度結果圖

由結果可以看的出來，原本在頭盔的部份，因為清晰與銳利的強度不夠高，所以被判斷 在較遠的深度，更新後解決了原本材質的問題，讓結果更接近原始深度資訊，胸口也是因為 材質較細膩，所以在原本 CID 表現上會產生一個深度的斷層，更新後解決了這個問題。

(a) 原始 CID 結果 (b) 更新後結果 圖 5-7 CID 細部比較圖

取得更新後的 CID 深度資訊後，我們計算有效搜尋範圍內的移動向量，然後將移動向量 導入光流還原法中製作左右眼圖。而在製作左右眼圖同時，我們利用簡單的 RGB 顏色切割，

找出最遠區塊的資訊，並且將光流還原法得到的左右眼圖再進行一次深度的視差位移，將最 遠區塊固定不動，前景部份整體位移，讓整個深度場景更明顯，也更為立體。

(a) 移動向量

(b) 顏色切割 (c) 最遠場景判斷 圖 5-8 背景判斷結果圖

圖 5-9 前景位移示意圖

(a) 左眼 (b) 右眼 圖 5-10 結果圖

測試之後，前景位移量為左右各 4 個像素為最合適的，若位移量過大，在邊緣處會產生 的空洞效應會更大，導致畫面殘破不堪，在前景位移的同時，原本已經有立體感的物件，會 因為再次的位移而產生出更大的立體感，效果更為明顯。

第6章 結論與未來展望

本篇論文利用了 CID 與光流法製作出雙眼立體影像，輸入一段影像後，取出兩張連續影 像後利用影像中的清晰度與銳利度來估測靜態深度資訊，藉由顏色來將清晰度與銳利度的強 度值結合後產生靜態深度圖，另一方面利用了連續影像計算出的光流資訊產生有效搜尋範 圍，並且依照光流的強度將物體切割成數個不同的部份，利用光流切割區塊來強化由 CID 所 產生的靜態深度圖，修改了原本 CID 會因為區塊內紋理的關係而造成不正常的深度跳躍，最 後利用光流深度還原法產生雙眼影像後再利用最遠背景判斷的結果對整個場景位移，拉開整 個場景的深度距離，讓深度感覺更明顯。

研究成果影片在立體顯示器中播放時，可以感覺到物體很明顯的浮出螢幕外，而且整個 場景也具有接近真實場景的深度變化，雖然在物體邊緣會有破碎的現象，但是整體效果是不 錯的。因為最遠背景偵測法只是單純的利用顏色來區分，所以當背景較為複雜的時候，效果 會更破碎，若能找到ㄧ個有效的背景偵測演算法，最終結果會更為出色。整體研究成果是不 錯的，若想要獲得更精確的深度資訊，可以朝下面幾個方面著手：

[1] 由於影片的類型總類太多，所以在這些影片中想要找出共通的深度結構有很大的困難 度，所以若想要更近一步的取得更真實的深度資訊就必須先從場景判斷開始下手，將各 種不同的場景分析出之後，利用各種場景所擁有的深度特色來分別計算深度資訊，對每 個場景都設計一套最佳化的深度計算方式，最後所取得的立體效果也會更完美 。

[2] 移動後補點方面需要有更好的演算法支援，在物體移動後，原本同一位置的像素移動後 讓該位置沒有任何顏色資訊，而產生空洞，這就稱為空洞現象，這個問題在景深越深的 影像中越明顯，若要景深越深，物體位移就必須越大，空洞現象就越明顯，所以需要依

個快速的演算法來解決這個問題，在本論文中使用的補點方式為最基本的方式，在移動 物體邊緣部份會產生殘影，讓立體效果大打折扣，所以若能找到ㄧ個更好的演算法來解 決空洞現象，在移動物體邊緣上就會更加銳利，產生雙眼影像經由大腦融合時，也會因 為邊緣銳利而產生更明顯的效果。

[3] 立體顯示器也有規格上的不同，因為在物體位移的時候單位都是像素，在立體顯示的時 候，影像會被放大成全螢幕，解析度勢必會被更動，所以當初移動的像素是否剛好被整 數的放大也是個重要問題。再播放時也必須經過廠商的特定軟體播放，所以當初產生的 立體影片若能對播放軟體做最佳化，或是自己設計一個播放軟體，如此一來整體的效果 必能大大的提升。

REFERENCES

[1] Tal Hassner, Ronen Basri, “Example Based 3D Reconstruction from Single 2D Images”, Proceedings of the 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW’06), 0-7695-2646-2/06, 2006 IEEE

[2] S.Battiato, S. Curti, M. La Cascia, M. Tortora, E. Scordato, “Depth-Map Generation by Image Classification”, In Proc. SPIE Vol. 5302, Three-Dimensional Image Capture and

Applications VI, pp. 95-104, 2004.

[3] 陳建志，私立中華大學資訊工程研究所 ”二維動態連續影像之 3D 立體顯示技術” 碩士 論文 2006

[4] Seiji Okada, “A Real-Time 2D to 3D Conversion Technique Using Computer Image Depth”, SID Digest of Technique Papers, 32.2,pp.919-922, 1998.

[5] “2D/3D real-time conversion“, SANYO Electric Co., Ltd.

[6] Bainbridge-Smith, A., and Lane, R. G., “Determining Optical Flow Using a Differential Method,” Image and Vision Computing, Vol. 15, pp. 11-22, 1997.

[7] Lai, S. H., and Vemuri, B. C., “Robust and Efficient Algorithm for Optical Flow Computation,” Proceeding of IEEE International Conference on Computer Vision, pp.

455-460, 1995.

[8] Berthold K.P. Horn and Brian G. Schunck. “Determining Optical Flow.” Artificial Intelligence, 17, pp. 185-203, 1981.

[9] 景雅新，國立中山大學 機械與機電工程學所 “光流技術在移動物體影像追尋上之應用”