泛用型動態虛擬實境操控與運動復健輔助系統之研發---子計畫III：動態VR運動復健輔助系統之互動式實景影像設計與研發(II)

行政院國家科學委員會專題研究計畫 期中進度報告

子計畫三：動態 VR 運動復健輔助系統之互動式實景影像設

計與研發(2/3)

計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-107- 執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 林昇甫 報告類型： 精簡報告 處理方式： 本計畫可公開查詢

中 華 民 國 92 年 5 月 28 日

2

泛用型動態虛擬實境操控與運動復健輔助系統

研發期中進度報告(第二年度)

子計劃三: 動態 VR 運動復健輔助系統之互動式實景影像設

計與研發

A Design of Supporting Dynamic System with Interactive

Real-image-based Scenes

計畫編號：NSC 91-2213-E-009-107

執行期限：91 年 8 月 1 日至 92 年 7 月 31 日

主持人：林昇甫 國立交通大學電機與控制研究所

計畫參與人員: 蘇建焜、張家銘

謝育霖、柯贊展 國立交通大學電機與控制研

究所

一、中文摘要 本子計畫主要任務是應用立體實景影 像成像技術和虛擬實境顯像技術，令使用 者有身歷其境和賞心悅目的感受，以增加 使用者的興趣，而達到提昇訓練的目的。 在上一年度當中已經達成配合動態跑 步機系統拍攝製造了兩種場景，分別是(1) 固定路線、固定速率前進、全平面地形之 場景，和(2)固定路線、速率可變、全平面 地形的場景。因為影片是拍攝實際場景， 所以自然地有”真實”的感覺而且也可以 在離線的情況去模擬跑步者速率的改變， 算是可以做到離線狀況的互動，但無法做 到即時的互動。本年度的目標是達成使用 者與場景之間，可以預先在路線、速率、 地形之中擇一互動。最後要能同時對路線 和速率即時地互動。 關鍵詞：虛擬實境、六軸平台、影像系統、 即時性、互動性。 Abstract

a vivid immersing virtual scene, which is synthesized by 3D image-based rendering technologies and virtual reality technologies. This project will last three years.

In last year, two virtual environments that were used for the interactive dynamic jogging machine had been made. One was a

fixed-route constant-speed plane-terrain

virtual environment, and the other was a fixed-route speed-adjustable plane-terrain virtual environment. Since the image sequences were captured from real world, these two virtual environments were surely very real. The jogging speed is adjustable off-line, so we have achieved the goal that is off-line interactive. Based on the result of the first year, the goal of this year is to attain to real-time adjust any one of the three variables which are route, speed, and terrain and finally can simultaneously control the route and speed of the jogger in the virtual environment.

Keywords: Virtual reality, Image-Based,

Steward platform, Interactive, Real-time. 二、本階段研究計劃之目的及成果 本報告的第二部份是敘述這一個階段 研究計畫的目標和目前進度，其次在第三 部份將詳細說明研究發展及進行步驟，最 後的部份則是下年度的展望與規劃。 本研究報告為國科會整合性研究計劃 「泛用型虛擬實境操控與運動復健輔助系 統研發」中之子計劃三「動態 VR 運動復健 輔助系統之互動式實景影像設計與研發」 的第二年期中進度報告。如果以本系統功 能來區分，以下所列是我們按順序逐步要 在三年內達成的: (1) 固定路線，固定速率前進，全平面 地形。(第一年) (2) 固定路線，速率可變，全平面地 形。(第一年、第二年) (3) 路線可變，固定速率，全平面地 形。(第二年) (4) 固定路線，固定速率，非平面地 形。(第二年) (5) 路線可變，速率可變，全平面地 形。(第二年) (6) 路線可變，速率不變，非平面地 形。(第三年) (7) 固定路線，速率可變，非平面地 形。(第三年) (8) 路線可變，速率可變，非平面地 形。(第三年) 在第一年度之內，本計劃巳達成上列 的(1)和(2)二項目標。圖(一)所示是真實影 像擷取系統，為降低成本及符合一般大眾 的真正情形所以採用三台市售的數位攝影 機(SONY TRV 18)架設於汽車頂，而這三台 攝影機之距離和光軸方向是可以測量得知 的，所以事後可以根據這些數據來進行 warping、mosaic、或 view morphing[4]等影 像處理的工作，使得合成的畫面更加逼 真。將數位攝影機架設於汽車之上除了運 動方便之外，亦可利用汽車之避震系統減 少攝影機之震動。 取景之後，再把三台攝影機所錄得的 影像透過 IEEE 1394 介面以 AVI 格式儲存 於電腦硬碟之中成為基本素材。然後使用

AVIedit (網路下載之 share ware )把 AVI 影

片轉為一連串的靜態影像 (BMP 檔)。圖(二) 所示即是左、中、右三台攝影機在某一時 間所攝得的三個畫面。除了剪裁接合之 外，從圖(二)可以看出來，三張影像的亮度 有明顯的差異，所以必需把三張影像的亮 度調成一致，接合之影像才不會有不自然 的亮度變化。圖(三)是經過指定相關點，然 後進行裁剪、調整亮度然後接合而成的廣 角影像。可以明顯看出亮度的變化巳經做 了大幅度的修正。 經過裁剪、調整、 接合等動作，把左、 中、右三張影像接合成一張廣角影像， 重 覆這個動作可以得到一連串的廣角靜態影 像，最後把一連串的廣角靜態影像編輯成 為一個AVI 檔，再使用播放軟體，由 PC 送 出訊號，透過單槍投影機投射於螢幕上， 即可得到以實景為基礎的虛擬實境影像。 關於速度的調整可以從兩方面著手，一種 是在我們產生廣角靜態影像時，另外一種 方是在轉換成 AVI 檔時，透過 Frame rate 的改變可以離線控制速率。上年度本計劃 是採用第二種方法來改變速率。

地形』的場景已於第一年中製作完成，本 年度(第二年)的目標是製作『路線可變、固 定速率、全平面地形』，『固定路線、固 定速率、非平面地形』，和『路線可變、 速率可變、全平面地形』的虛擬實境場景。 達成使用者與場景之間，可以預先在速 率、路線、地形之中擇一互動，最後要能 同時對路線和速率即時地互動。 本年度(第二年度)計劃至此已經初步 (在一個比較小的場景)達成今年所預設的 目標，亦即可以在速率、路線、地形之中 擇一互動，以及可讓使用者與場景同時對 路線和速率即時地互動。而且這種互動不 同於第一年度的離線式互動，是一種線上 即時的互動。這項重大的改進主要是因為 我們揚棄了第一年度使用播放工具播放 AVI 影片的方式，改為將場景以靜態影像 序列(BMP 圖檔)的方式儲存並以動畫的方 式播放。除了已經在較小的場景試驗成功 之外，我們也已經拍攝完成另外一個較大 規模的場景，將以此為素材製作一個較大 範圍、較長時間、可讓使用者在線上即時 與環境進行速率與路徑選擇互動的以實景 為基礎之虛擬實境場景。另外由於對根本 矩陣(fundamental matrix)計算之研究亦產 出一篇論文[7]，將選擇適合之期刊發表。 三、研究發展及進行步驟 本子計劃是採用以真實影像為基礎的 方法，這種方法的優點是影像逼真，其主 要缺點是如果要記錄的環境較複雜，則需 要耗用相當大的記憶體儲存空間才能夠完 全記錄下這個背景。Hirose[1]等人以 8 部 攝影機來拍攝所需的真實影像序列，我們 則決定使用三台一般用途的數位攝影機來 拍攝，如此可以簡化器材，降低成本，當 然如果要達到相同的影像品質，我們需要 使用更多的影像處理技術。在計劃的第一 年度，依照本報告所規劃的進度，拍攝製 造(1)固定路線，固定速率前進全平面地形 之場景和(2)固定路線，速率可變全平面地 形的場景。影像格式採用目前一般的數位 攝影機使用的 AVI [2]格式來儲存動態影 像。取景之後，把三台攝影機所錄得的影 像透過 IEEE 1394 介面以 AVI 格式儲存於 電腦硬碟。然後把 AVI 影片轉為一連串的 靜態影像 (BMP 圖檔) 成為基本素材。接 著給定相關點[5]，然後進行裁剪、調整亮 度接合成為廣角影像。最後把處理所得的 靜態廣角影像序列轉換成為 AVI 影片格 式，使用播放軟體播出並利用單槍投影機 投射於螢幕上營造出虛擬實境場景。 因為受限於 AVI 格式，第一年度計劃 只能達成離線(off line)狀況下的互動，因為 速率、路徑或是地形的改變都必須事先在 離線狀況下做出選擇，無法符合即時的要 求。為此，在計劃的第二年度我們不再使 用播映 AVI 影片的方式來展現虛擬實境場 景，改為以播放動畫的方式直接播放靜態 的影像圖檔序列。如此一來可以避免極耗 費時間的 AVI 編碼過程，二來在播放影片 的過程中有機會可以加入我們所需要的運 算。如果運算的效率夠高、速率夠快，使 用者便感覺不到時間遲滯而達到線上、即 時(on-line, real time)的要求。關於使用者與 環境的互動方式，我們利用鍵盤輸入來模 擬。當使用者對於路線、速率、地形有所 選擇或是變動時，透過電腦的鍵盤輸入來 告知動態互動式虛擬實境影像展現系統， 同時如果有需要，本系統可以把使用者資 訊和相關的虛擬實境環境資訊透過電腦的 輸出、輸入阜傳送給六軸平台進行姿態的 調整。 圖(四)所示是交通大學校園內一隅之 十字路，我們在這個十字路以單機拍攝了 三段影片，分別是直行、右轉彎以及左轉 彎(圖(五)從左至右)。把這三段影片分解成 許多的靜態 BMP 圖檔，然後選出要用的部 分對每一個靜態圖檔檔名加以適當的編碼 來區分是屬於直行或右轉彎還是左轉的靜 態影像序列。這個小型的動態互動式虛擬 實境場景有一個選擇點，使用者在選擇點 之前可以選擇左轉、右轉、直行。其中直 行是內定(Default)模式，若使用者在選擇點 之前未作出任何選擇，則系統會視為選擇 直行。路線的選擇輸入是經由鍵盤上的按 健輸入，輸入 R 表示要右轉，而輸入 L 是 表示選擇左轉。除了路線選擇之外，這個 小型的『動態互動式虛擬實境場景』還可 以藉由改變每張靜態圖檔呈現的時間長短 達到控制使用者在場景中的虛擬速度。圖 (六)是這個小型的『動態互動式虛擬實境場

景』運作流程圖。 在上述的小型場景試驗成功之後，我 們又拍攝了一個較大型的場景(如圖(七)所 示)，目前正在進行這個較大型『動態互動 式虛擬實境場景』的製作。此一場景將製 作成圖(八)所示，包含一條主要路線以及三 個分枝路徑，其中主要路線來回約達三公 里之長。 本年度計劃進行至此除了已經完成一 個可以線上即時進行路線和速率互動的小 型『動態互動式虛擬實境場景』，即將完成 一個較大型的線上即時進行路線和速率互 動之『動態互動式虛擬實境場景』之外， 另外由於對根本矩陣(fundamental matrix) 計算之研究亦產出一篇論文[7]，將選擇適 合之期刊發表。以下為對根本矩陣之簡單 介紹： 1、 根 本 矩 陣 (Fundamental Matrice) 之計算[3] 假設對同一物体在不同角度、位置分 別攝得影像I 和₀ I ，₁ P 是₀ I 上的一點而₀ P₁ 是P 在₀ I 上相對應的點，若₁ F是I 和₀ I 的₁ 根本矩陣，則P ,₀ P 和₁ F滿足下列方程式: 0 1 0 FP  PT , 此處                       1 , 1 1 1 1 0 0 0 y x P y x P 。 (1) 所以根本矩陣隱含了I 和₀ I 內景物的幾何₁ 結構資訊，而這正是電腦視覺的關鍵，所 以計算出相對應兩影像之根本矩陣一直是 許多人研究的重要題目。如果把根本矩陣 F看成是 3 乘 3 的矩陣，則方程式(1)可表 為:





0 1 1 ₁ 1 33 32 31 23 22 21 13 12 11 0 0                      y x f f f f f f f f f y x (2) 或 0 1 11 0 1 21 1 31 0 1 12 0 1 22 1 32 0 13 0 23 33 0 (3) x x f y x f x f x y f y y f y f x f y f f          在理想的情況下我們可以由測量 9 組P 和₁ 0 P 得出一個齊次線性系統，當中包含了 9 個類似方程式(3)的方程式，即方程式(4) (1) (1) (1) (1) (1) (1) (1) (1) 0 1 0 1 1 0 1 1 (9) (9) (9) (9) (9) (9) (9) (9) 0 1 0 1 1 0 1 1 11 21 31 (1) (1) 0 0 12 22 (1) (1) 0 0 32 13 23 33 1 0 , (4) 1 0 x x y x x x y y x x y x x x y y f f f x y f f x y f f f f               _{   } _{  }  _{ }   _{   }               M M M M M M M M 或寫成 (1) (1) (1) (1) (1) (1) (1) (1) 0 1 0 1 1 0 1 1 (8) (8) (8) (8) (8) (8) (8) (8) 0 1 0 1 1 0 1 1 11 21 31 (1) (1) 0 0 12 22 (8) (8) 0 0 32 13 23 1 . (5) 1 x x y x x x y y x x y x x x y y f f f x y f f x y f f f                  _{ }      _{    }            M M M M M M M 方程式(4)要有不為 0 的解，其係數矩 陣之秩數(rank)必需小於 9, 也就是行列式 值為 0。但在實際的測量中由於測量的誤 差，係數矩陣的行列式值不為 0，所以無法 求出有意義的非零解的F。在 f 不為 0 的33 情況下系統(4)可簡化為方程式(5)，此時只 要 8 組 () 1 ) ( 0 i i P P 和 即可解出F。但是當 f33 很小時所求出的根本矩陣就會因誤差太大 而失去參考價值。 正因為根本矩陣如此重要又不易正確 求出，所以一直到今日都有人不斷地提出 更好的方法來估計根本矩陣。我們通常把 這許多求根本矩陣的方法歸納為三大類:(1) 線性的方法(Linear Methods) (2)疊代的方 法( Iterative Methods) 和(3)強健性的方法 ( Robust Methods)。實驗結果顯示出，如果 參考點適當地落在影像當中，而相關性的 問題又獲得解決，則線性的方法可以達到

相當好的效果。疊代法可處理點位置含高 斯雜訊的情形，但這種方法對於不在影像 當中的點會有困難。強健法則可以應付位 置的矛盾與錯誤的配對。一般人的看法是 使用特徵分析( Eigen Analysis)的正交最小 平方法( Orthogonal Least-Square)會比傳統 的最小平方( Least-Square)法有更好的結 果。但當把矩陣限制在 rank 為 2 且移除不 在 兩 影 像 中 的 點 時 最 小 中 間 值 平 方 法 ( Least Median Square)是所有方法中估計 結果最正確的。 在本計劃的情況下，攝影機（照相機） 的 內 部 參 數 或 者 校 正 矩 陣 （ calibration matrix）是可以預先測量得到的，於是我們 就利用這個條件提出一種估算根本矩陣的 方法[7]。這種方法估算出的根本矩陣一般 而言有較好的準確度，而且所得根本矩陣 的秩（rank）為 2，這是大部份傳統根本矩 陣計算法所沒有的特性，將選擇適合之期 刊發表之。 四、結論與未來展望 本 計 劃 按 預 定 進 度 達 成 可 以 在 速 率、路線、地形之中擇一互動，以及可讓 使用者與場景同時對路線和速率即時地互 動。而且這種互動不同於第一年度的離線 式互動，是一種線上即時的互動。這項重 大的改進主要是因為我們揚棄了第一年度 使用播放工具播放 AVI 影片的方式，改為 將場景以靜態影像序列(BMP 圖檔)的方式 儲存並以動畫的方式播放。根據實驗結果 証明這種方法是可行的，可以達到線上及 時互動的要求，但是目前也發現這種『動 態互動式虛擬實境場景』建構方式所面臨 到的一些問題。首先是畫面閃爍的問題： 目前的虛擬實境場景在播放時會出現畫面 閃爍部分反白的情況，雖然不影響即時互 動選擇路徑和速度的功能，但會降低場景 的逼真程度，所以必須要加以克服。這個 問題已經有解決的辦法，就是在撰寫程式 時使用 Double Buffering 的技術。第二是畫 面大小與即時效果之取捨：靜態影像的像 素多寡和所需計算時間長短是有密切關係 的。在相同複雜的計算之下，像素愈多則 耗費時間愈長，甚至會造成動畫播映時的 遲滯現象。以本計劃現有的設備(IBM PC, P4 1.8GHz)大約可以即時處理 640×480 大 小的 VGA 畫面，若要處理更多像素，必需 使用更快速的硬體設備或者使用更有效率 的演算法來進行運算，才可在不造成可察 覺到的遲滯的情況下完成所有計算。 展望未來，明年我們將以去年和今年 的經驗成果為基礎，製作出可以讓使用者 在線上與虛擬環境在路徑、速度、地形三 方面作即時互動的『動態互動式虛擬實境 展示系統』。本年度的靜態影像播放方式 與上年度的影像接合調整技術將可直接用 於第三年總目標的達成。 五、參考文獻

1. Ohta Y. and Tamura H., Mixed Reality- Merging

Real and Virtual Words, Springer-Verlag, pp.

183-197, 1999.

2. McGowan J.F., AVI Overview,

http://www.jmcgowan.com/.

3. Salvi, J., Armangué, X., and Pagès, J.”A survey

addressing the fundamental matrix estimation problem,” In Proceedings of the International

Conference on Image Processing, Vol. 2, 7-10, pp. 209 –212, 2001.

4. Seitz S.M. and Dyer C.R., “View Morphing,”

http://www.cs.wisc.edu/~dyer/

5. Maitre H. and Wu Y., “A Dynamic Programming

Algorithm for Elastic Registration of Distorted Pictures Based on Autoregressive Model,” IEEE

trans on Acoustic, Speech, and Signal Processing, Vol. 37, No. 2, pp. 288-297, February 1989. 6. Armangué, X. and Salvi, J., “Overall view

regarding fundamental matrix estimation,”

Image and Vision Computing, Vol. 21, pp. 205 –220, 2003.

7. Su C.-K. and Lin S.-F., “A Method for Improving

the Accuracy of Fundament Matrix Estimation by Using Camera Calibration Matrices,” 2003.

(This paper will be submitted to the International Journal of Computer Vision.)

圖(一)：影像擷取系統 (a) (b) (c) 圖(二)：(a)左側攝影機影像、(b)中央攝影機影像、(c)右側攝影機影像 圖(三)：接合並做亮度調整之廣角影像 圖(四)：交通大學校園一隅之十字路

8 (a) (b) (c) 圖(五)：(a)直行穿越十字路；(b)右轉；(c)左轉。 開始 初始化 展示設定路線 靜態影像一張 終點 停止 選擇點 讀取使用者選擇 改變路徑設定 加/減速 調整單張影像展 示時間 是 是 否 是 否 否 (設定路徑影像展示時間) 圖(六)：小型『動態互動式虛擬實境場景』運作流程圖。

圖(七)：較大型『動態互動式虛擬實境場景』拍攝環境；新竹縣蓮 花寺。