隨著環場的製作過程簡易、編輯及展示的軟體普及,在虛擬實境中環場成為普遍使用 的媒介。環場可分為圓狀、圓柱狀、四方體。在此計畫中,我們使用的是圓柱狀的環場。
在展示軟體(如:Quick VR)觀看圓柱狀的環場的方式,乃將使用者的視點置於圓柱中心,
允許使用者在單一環場中轉換水平視角、垂直視角及放大的動作,亦可於多個環場間轉換。
但目前的展示軟體在兩環場間轉換時,採用直接跳接,從來源環場直接轉換到目的環場,
圖 5 將環物影片放入場景中
(d) (e) (f) (a) (b) (c)
圖 6 (a)(f)為原始影像,(b)~(e)為程式產生的影像
這樣的處理方式會讓使用者由於畫面的不連續而感到不舒服。因此,我們提出一個產生平 順轉場的方式。在使用者指定的轉場路徑上,分別在來源及目的環場各取一張影像,產生 這兩張影像間的中間影像。當在來源和目的環場間轉場時,連續播放這些中間影像可讓使 用者感受到平順的轉移。
在僅有來源與目的影像的資訊下,我們的方法結合了許多新穎的技術與極少的使用者 介入,可產生令人信服的中間影像。首先分別將場景影像切割成多個區域,並找出來源及 目的影像間的對應區域。在場景表面可以平面來趨近的假設下,可以使用單應性矩陣
(Homography)作為對應影像區域的轉換函式。接下來的圖示將以史博館的兩相鄰場景為 例(圖1,2),及使用者指定的來源影像(圖3)及目的影像(圖4)。
圖 1:來源環場
圖 2:目的環場
圖 3:來源影像 圖 4:目的影像
要使用單應性矩陣作為轉換函式,必須取得對應點及套用區域。對應點的取得乃利用 SIFT分別兩影像中找出特徵點,再使用SIFT產生的描述來尋找點跟點之間的對應關係。在 我們的方法中,場景被分成多個區塊,對於每一個區塊計算其單應性矩陣。區塊有兩種類 型:前景與背景。前景為使用者關注的區域,此區域被認定為必須在中間影像完美呈現;
背景為使用者認為不重要的區域。場景的切割(Segmentation)需要簡易的使用者介入,利 用GrabCut來取出前景,利用我們設計的簡單介面即可切出背景部分。GrabCut利用使用者 輸入的資訊,以GMM(Gaussian Mixture Model)來估計前景跟背景的色彩,再利用graph cut 來取得最適的前景背景分割。再來,背景分割的部分,背景通常可由多邊行來表示,因此 我們設計了簡易介面允許使用者透過依序指定多邊形的頂點來完成背景的切割方式。
圖 5:前景切割的使用者介面
圖 6:背景切割的使用者介面
由於每個區域依照各自的單應性矩陣做轉換,會有破洞出現在產生的中間影像中。因 此,在產生中間影像前,會先把背景區域中被前景佔據部分以其他背景資訊填補起來,如 此一來,此填補的區域在整個視覺轉換的過程中會是一致的,且為使用者預期看到的背景 影像。在此步驟,我們運用了兩影像間的互補資訊來填補並搭配傳統的inpainting技術。接 著 , 進 入 產 生 中 間 影 像 的 階 段 , 在 此 階 段 我 們 引 進 了 兩 個 視 覺 特 效 : 非 寫 實 渲 染
(Non-Photorealistic Rendering)與縮放模糊(Zoom Blur),非寫實渲染之目的在於提供使 用者具有藝術風格的轉場,而縮放模糊可讓此轉場過程更加平順。我們利用單應性矩陣作 為兩對應區域間的轉換函式。欲產生某時間點的中間影像時,我們分別將來源及目的影像 的區塊轉換到這個中間影像,並利用適當的可視性分析(Visibility analysis)解決重疊與破 洞的問題,最後用線性內差(Bilinear Interpolation)將顏色融合。以下為我們的成果:
圖 7:利用來源影像(圖 3)、目的影像(圖 4)產生的中間影像。依上而 下分別為時間點 0.2、0.4、0.6 及 0.8。左欄為原始產生的中間影像,右欄為 搭配縮放模糊後的中間影像。