行 政 院 國 家 科 學 委 員 會 產 學 合 作 研究計 畫
成 果 報告
虛擬實境於外科醫療及教學之應用
Applications of Virtual Reality in Surgical Technology and Education
計畫類別： 產學合作研究計畫（個別型計畫）
計畫編號：NSC 91—2622—B—002—004
執行期間：91 年 8 月 01 日 ~ 92 年 10 月 31 日
計畫主持人：張金堅 教授
執行單位：台大醫學院外科
合作廠商：活躍動感科技股份有限公司
處理方式：可立即對外提供參考
中華民國 93 年 6 月 7 日
中文摘要
數十年來科技的進步改變人類的生活，也進化了醫療的方式。然而，外科教 育和訓練學生的方法卻仍停留在百年前「每次探視一位病患，幫一位病患動手 術，並教導一位學生」的師徒相授模式。在凡事講究成本效益以及病患安全的現 代社會，舊有的教學方式正面臨前所未有的挑戰。此外，手術方式及設備不斷推 陳出新，也迫使醫師必須借助更有效率的方法來訓練自己。虛擬實境模擬訓練器 的出現，使得上述外科醫療及教學的困境出現解決的可能。 虛擬實境是以電腦科技為基礎的模擬訓練系統，長期以來對於軍事及航空工 業的訓練已有令人滿意的成果。透過虛擬實境的模擬訓練，學習者可以在事先預 設好的環境下，反覆練習手術的技巧，探索有興趣的器官及結構，等技巧純熟後 再應用到真實的病患身上。這樣不但可以針對陌生或不熟悉的領域加強實習訓 練，也可有效減少在實際病患身上緊張及熟悉的過程。如此，便可達成縮短病患 的開刀時間，提升每一次手術的成功率，避免因練習用解剖屍體的不足而降低實 際臨摹經驗，以及減少因人為的不當操作而產生的手術失誤。 除了手術技巧及教學的訓練外，虛擬實境在醫療方面的應用還包含解剖學教 學、術前計畫、遠距醫療、以及復健等。隨著電腦計算能力的提升和價格的下降， 虛擬實境將愈來愈逼近真實，對未來人類的生活及外科醫療教育也會有更深遠的 影響。在去年的計畫，本團隊已完成 3D 立體虛擬支氣管鏡檢查系統，並於 92 年台灣外科醫學年會中試用，獲得廣泛回響。英文摘要
Technological advances during the past several decades have dramatically changed the ways in which we conduct our daily activities and practice of medicine. However, our methods of training and teaching remain mired in the 100-year-old apprenticeship model with the principle of “see one, do one, teach one”. This system of surgical education is facing many challenges in terms of time efficiency, costs, and safety of patient. In addition, as new types of operations are developed rapidly, practicing surgeons may find needs for more efficient methods of surgical skill training. One of the solutions to these problems is the development of virtual reality (VR) training simulators. VR means computer-based simulation system, has achieved long and successful use in the fields of military and aerospace industry. With VR training simulators, the learner can practice difficult procedures under a well-controlled situation, explore the structures of interest repeatedly, and then move on to practice in a real patient. In addition to surgical technology and education, computer-based VR simulators were also widely applied in the fields of anatomy education, preoperative planning, telemedicine, and rehabilitation. As the computing power will continue to become faster and cheaper, VR simulator will become more real, and play important roles in our daily life and surgical education.
In the last year, our research team had developed a 3D virtual bronchoscopy examination system. This product was shown on the annual meeting of Taiwan Surgical Association this year, and responded by a lot of attention and appreciation
前言
三度空間(3D)虛擬實境(Virtual Reality, 簡稱 VR)不僅是政府推動之重點科 技，也是學術界、產業界爭相投入研究的主題，所衍生的應用產品更深具市場潛 力，如再配合多角化題材(Contents)的開發，不僅可無限延長既有產品壽期，還 能開發出在此之前無法想像的創意產品。未來發展相當廣泛，應用市場涵蓋娛 樂、教育、軍事、醫療、建築、工業、商業、運動、航空、公路運輸等領域。其 中又以國內學術界、產業界對於教育模擬技術的發展動態十分重視，若能配合將 3D/VR 創意與實務訓練作連結，有效整合，以醫學角度研發具有實質教育功能 之虛擬實境産品，其目的不僅在於訓練與教學之用途，亦可使用於手術前研討或 計畫，可減少新技術手術風險與降低手術死亡率，並可豐富學生的實戰經驗等等。 由於醫療技術日新月異，醫學教學系統亦復繁雜，能夠提供給醫學院學生實 習之實體教材無論數量與功能已不能滿足需求，如此情況只會繼續惡化不見改 善，是故以電腦虛擬實境模擬醫學教學之應用在近幾年逐漸受到重視，於北歐、 北美著名醫學中心陸續成立虛擬實境醫學應用教學部門與研究中心，以滿足醫學 院學生於實習課程中使用，其優點與功能為(一)不受時間、不受地點影響、(二) 互動教學、無限次數使用、(三)各種視角、自由選擇操作、(四)可昇級成立體影 像(stereoscopy)、立體音效(3D sound)、(五)不同器官、自由練習等。 科技的進步改變人類的生活，也進化醫療的方式。早年醫師只憑著聽診器、 一雙手、以及簡陋的器械，來幫病患診治疾病，施行手術。隨著醫療科技的進步， 現今診斷病人的儀器已經轉變為電腦斷層、核磁共振攝影與生物科技晶片，而外 科手術也隨著電腦和視訊系統的發展進化為小傷口，低傷害的內視鏡手術。外科 醫師的雙手不再伸入病患身體，眼睛不再盯著病人的器官，而是在病患體外透過 電視螢幕，利用特殊的內視鏡器械來為病患施行手術。相較於傳統的醫療方式， 科技的進步，固然為病患帶來福祉，但對醫療教學的衝擊及醫師專業能力的挑戰 也非常巨大。新的器械及治療方式不斷推陳出新，醫師也須不斷學習新的技巧。 如何能快速熟悉新的技巧並隨時提供病患最好的醫療服務是現代外科醫師的責 任，卻也是無比的壓力。 科技與時代的進步同樣為醫學教育帶來莫大的改變與衝擊。醫學教育，尤其 是臨床醫學教育，是醫療體系中相當特殊的一個專業。由於醫師執行業務的對象 是和自己一樣有血、有肉、有生命、有感情的人，除了必須注重教學效果及經濟 效益外，最重要的必須兼顧醫學倫理及病患權益。也就是說，不能因為教學忽而 傷害病患的身體或影響醫療的品質。數百年來的醫學教育一直恪遵此原則進行。 早年的醫療行為以問診及處方藥物為主，很少侵入性檢查或治療；而醫學生的人 數也很少，因此一對一的學徒制教學並沒有遭遇太大困難。隨著科技進步，侵襲 性的檢查、治療及外科手術愈來愈多，醫學教育的實施與病患權益的落實也面臨愈來愈大的衝突。臨床教師在幫病患作侵襲性的檢查或手術時，常常必須讓缺乏 經驗的學生操作部分簡單的流程，卻又得時時注重醫療品質及病患權益不會因為 這樣的教學過程遭受損害，可謂左支右絀，心力俱疲。因此，如何讓學生在學習 過程中能有練習侵入性檢查甚至執行手術的機會，但又不致對病患健康及權益造 成影響，一直是臨床醫學難以達成的目標。 就以虛擬實境醫療教學系統而言，內視鏡檢查系統的電腦化不僅對於醫學院 學生及病人有著重大的助益，在電腦化的過程中也十分符合經濟效益，其中最主 要的控制感應器，對醫學院學生在操作練習上以及視覺模擬上皆有莫大幫助；而 以虛擬實境內視鏡手術系統的建立，也可因此讓學員透過反覆及無傷害練習，大 幅減低醫療糾紛情形發生，達到醫生與病人雙贏共榮的最大目的；180 弧型立體 教學系統則是以多人同步互動之沉浸式立體影像劇院型播放系統，它具有虛擬實 境的軟體特點以及視角完全包覆的融入式效果，在教授授課的同時，學員們可透 過弧型銀幕上之立體影像充份了解到具體教學內容，並可在課程中主動參與教材 內容之選擇、瀏覽、視角更換、拼揍等等，完全主動式立體影像教學，突破以往 各類型教學系統，豎立國內虛擬實境教學之典範。 是故，虛擬實境如應用在醫學上必然造成教學上的一大革命，在台灣、甚至 中國大陸普遍缺乏教學屍體之捐獻，因嚴重不足，大部分學生無法實地解剖屍 體，且屍體或器官解剖破壞後無法復原及重覆使用，後續之處理工作更是繁複困 難。為此，電腦化之虛擬實境已迫在眉捷，先進北歐、北美等國皆已進行研究多 年，我國再不急起直追，將遠遠落後，未來勢必花費龐大金錢、更多時間，來向 他國採購與學習。本公司做法即以結合台灣本地出廠之世界知名主機大廠、高階 顯示卡、三維控制器、液晶顯示面板，用以達到降低成本但高品質、高穩定性、 高效能之目標，再搭配我國視訊軟體工程高水準之優秀人才，以虛擬實境為基礎 之科學、教學、娛樂等應用，相信未來將會為我國帶來極大産值與經濟效益。 台大外科歷年來成功完成許多亞洲第一、揚名國際之重大成就。例如民國五 十七年之活體腎臟移植，六十八年之忠仁忠義胸腹坐骨三肢連體嬰分割，民國八 十四年完成心臟手術一萬例，近年來肝癌切除病例及成功率均具世界水準等。關 於二十一世紀頗具前瞻性的移植醫學，台大外科先後完成多例腎臟，心臟，肝臟， 胰臟，肺臟之移植，並已成功完成一人同一天捐出六器官,造福六位病患之移植 手術，己是國內移植醫學之重鎮。 活躍動感科技股份有限公司是由一群來自中科院、資策會等科技精英以創造 高度寓教於樂 VR 産品為理念而結合成立，自成立以來，即秉持一貫的經營方 針，融合創意與科技，研發具有教育、娛樂功能之高附加價值之產品，從創意腳 本、建立模型、貼圖模擬、程式撰寫、系統測試、硬體整合等等，每個環節皆保 持高度製作水準，同時産出之成品亦獲得各界高度的評價。各個成員都具專業經 驗，精良技術及服務的熱忱，結合以上的各項，我們研究發展出專業的技術，並
提供豐富的題材；不僅在 VR 高科技領域裡佔有舉足輕重的地位，亦透過本身的 技術與其它豐富題材結合，更跨足了教育及娛樂的領域，是故不但在休閒娛樂方 面提供滿分的享受，在各方教育領域方面，也提供了良好的題材，充分展現其虛 擬實境研發之實力。 目前活躍動感科技股份有限公司整體研究計畫重點在於：(一)虛擬實境高階 模擬技術研究、(二)180 度弧型單曲面投影技術研究、(三)即時立體視效技術研 究、(四)畫面同步控制技術研究、(五)控制介面感應器硬體開發、(六)連網互動式 虛擬系統、(七)4D 環境特效系統研究開發等等，對於各類型模擬，包括桌上型 虛擬實境、CAVE 系統、弧型單曲面投影系統、球型雙曲面投影系統等，皆有良 好之實績可供參考。而且運用現代最新娛樂科技，將立體影片以 4D 環境效果方 式呈現，配合視覺．聽覺．觸覺．．．等聲光特效，以故事性豐富．趣味的方式 將影片內容的知識藉由娛樂的方式傳達給觀眾，在歡樂．好玩的情境中潛移默化 而達到教育的目的。自 1990 年起，虛擬實境工業應用開發至今已十餘年，各項 技術研究蓬勃發展，對於基本應用與粗糙面之基礎模擬、低解析度圖像貼圖之運 用，在早期已可滿足顯示需求，並且逐漸使用在個人電腦上，以推廣虛擬實境之 實際應用層面；時至今日，硬體技術日新月異，可容納與負荷之承載量亦加倍成 長，相對要求之顯示品質也日益提昇，多種專業雜誌、網頁、討論區、研討會、 論文等，以及各項簡易之開發工具、繪圖程式庫、範例研究、群組合作等等，對 於高階虛擬實境應用要求快速增加，無論在數位模型的精緻度、材質貼圖的真實 度，動作的擬真度、反應的即時度與正確度等等；以醫學角度而言，人體器官的 模擬以及手術情境的顯像，操作工具的真實感受皆為本項計畫的工作重點。
傳統內視鏡（單向式）教學：學生只能聽講及觀察手術進行，毫無操作機會〈臺 大醫院支氣管鏡教學實況〉。
虛擬內視鏡（互動式）教學：學生可親自操作，並與電腦教材互動〈產學合作研 發團隊之研發成果〉。
國內外相關研究之情況
1、國內方面： 尚在萌芽階段。除本研究團隊於民國九十二年研發完成之 3D 立體虛擬支氣 管鏡檢查系統外，並無此方面之研究報告。 2、國外方面： 虛擬實境目前在外科醫療及醫學教育的應用： 醫學訓練及教育方面(http://nii.nist.gov/pub/virt-env-doc) A、手術術前計畫方面： 虛擬實境技術可以作為傳統外科手術計畫的輔助工具。利用電腦斷層及核 磁共振掃描圖像可重組出重要構造的立體結構，對於某些精密的手術，可 以在術前就能夠對一些細微構造有更仔細的了解，有助於手術計畫的擬定 例如一些顱底手術、顱顏手術以及術後面組織變化的模擬。 B、手術與醫學技術的訓練： 手術通常由有經驗的資深醫師執行，然而在外科醫師養成訓練中如果都是 在實際人體上進行，則會使病人面對較高的危險。隨著校園電腦使用的普 遍，為了加強訓練，發展出模擬人體的立體影像，可以提供比解剖屍體更 真實的效果，而且可以重複使用。例如：(1)虛擬腹部：(High Techsplantations, Inc. Woods and D. Hon) 可用於腹腔鏡手 術的訓練，目前已完成內視鏡腹腔淋巴結清除手術的模擬。
(2)模擬心導管手術：(High Techsplantations, Inc. Rockville, MD)可以模擬用心 導管做冠狀動脈血管氣球擴張術，而且有力回饋的模擬。
(3)四肢創傷處理模擬：(MusculoGraphics, Inc., 1995) (4)眼球手術模擬：(Georgia Institute of Technology, Atlanta)
(5)顯微血管手術的模擬：(National Institute for Cancer Research, Genoa, Italy) (6)模擬腦部腫瘤手術：(National Cancer Center, Tokyo)
(7) 局 部 麻 醉 模 擬 訓 練 ： (Ohio State University Hospital and the Ohio Supercomputer Center)研究訓練住院醫師局部麻醉技術的虛擬系統。 C、互動式立體圖像被應用在解剖學教學上，例如：
(1). 探索式解剖學教學：以鳥的視野飛越或飛進器官內探索解剖構造 (2). 旅遊式教學：以旅遊導覽般帶領學生在人體內旅行
(3). 4D 動畫：在 3D 空間象限之外，另外再加上時間象限，例如 Dr. Helen Hoffman (University of California, San Diego)所作的模擬腸胃道，學生可 以飛進胃，看到一個潰瘍然後抓一塊組織做切片，然後就會顯現出切 片的病理報告，配合潰瘍手術的解說，或者是觀察用藥後潰瘍癒合的 過程。
(4). 功 能 解 剖 學 ： 在 University of Pennsylvania 的 ”Center for Human Modeling and Simulation” 首先發展出模擬呼吸生理變化的系統模型， 例如在壓力血流改變下的解剖形態變化，此系統表現出生理系統間交 互作用的影響。
D、解剖實驗的訓練： 許多醫學教育中心都面臨一大問題，就是供教育研究解剖的屍體來源不 足，以致於學生沒有足夠的教材供學習。而事實上解剖屍體與真實的人體 是有很大的差別，即使是實際解剖屍體，有時也無法真正看到各組織的相 互關係，而虛擬實境技術可能可以改善這個問題，強調出希望學生注意的 構造。
研究方法及進行步驟
對於單螢幕式內視鏡虛擬實境檢查系統之發展方向，將著重於內視鏡頭之視 角方位之控制軟體模擬之硬體研究開發，就目前虛擬實境軟體技術所能達到擬真 之狀況及系統所能負載之計算量，以雙 CPU 主控電腦應足以承擔此一顯像工 作，配合 AGP 4X 之 nVIDIA 高速三維顯示卡，對於畫面解析度可達到 XGA 模 式 32 位元，且具備 30FPS 以上之算圖播放水準，外加反鋸齒(ANTIALIASING) 效果將使畫面更加柔和與順暢。 1、採用之方法與採用之原因：將以系統研究方法與醫學角度分別作闡述： A、系統研究方法： 以軟硬架構來說明整個流程與功能，最主要的是介面存取之協定與三維控制 器的使用是否具有人性化考量與即時反應之延遲量是否能降至最低，在大量 計算三角面(POLYGONS)與維持快速之圖形載入速度將決定整個系統之良 窳。 (1)、軟體架構： 以 MICROSOFT DIRECTX 為發展技術核心，在虛擬實境顯像控制上已漸進 成熟之各項組成元素，包括 DIRECT3D、DIRECTINPUT、DIRECTSOUND、 DIRECTMIDI、DIRECTDRAW、DIRECTSHOW 以及 DIRECTPLAY 等等之 API，搭配使用 VISUAL C++之 COMPILER 編譯器，可將程式碼精減至最小(使 用 RELEASE 模式)。
內容 需求確 認 腳 本創意 物件 造型設 計 功能設 計 三維 模型建 立 貼圖 製作 資料蒐 集 場 景建置 動作 設計 三 維模型 輸出與 轉檔 虛擬 實境程 式基底 建置 硬體介 面準備 載入 模型 載入 貼圖 邏輯 建立 除錯 測試 完 成 系 統 整 合 180度 弧 型 虛 擬 教 室 之 軟 體 應 用 製 作 流 程 圖 弧 型 單 曲 面 投 影 技 術 研 究 即 時 立 體 視 效 技 術 研 究 完 成 虛 擬 實 境 軟 體 建 置 畫 面 同 步 控 制 技 術 研 究 連 網 互 動 式 虛 擬 系 統 4D環 境 特 系 統 研 究 開 發 其中分項說明： a.內容需求確認—必須完整瞭解主題內容所需之功能與要求之效果，並配合 展示內容作出具體之查核點。 b.腳本創意—符合需求之畫面呈現、版面設計、過程腳本建立等。 c.功能設計—軟體所希望達成之效果，並考慮使用者介面之操作方便性。 d.物件造型設計—從腳本設計中産生主要之物件視覺呈現設計。 e.資料蒐集—配合專業內容搜尋各方畫面、材質、音效資料。
f.三維模型建立—製作所需之各種數位立體模型檔。 g.貼圖製作—在資料蒐集後建立多項解析度之圖檔。 h.場景建置—於整個數位空間中組合所有三維模型，用以産生空間配置與視 角抓取及定義物件尺寸和比例。 i.動作設計—如有動態物件則需設定動作、變形、路徑、位移量等。 j.三維模型輸出與轉檔—製作完成後之所有物件分別轉檔及輸出作為虛擬 實境程式所需之三維物體。 k.虛擬實境程式基底建置—産生虛擬實境核心引擎部份，及硬體介面溝通協 定準備，並建立視角錐之畫面定。 l.硬體介面準備—事前建立所需之控制介面，如 game port 等。 m.載入模型—將各項三維模型逐一載入程式基底中，並設定比例與大小。 n.載入貼圖—將設計完成之所有圖形檔案載入主記憶體與視訊記憶體中。 o.邏輯建立—製作所有功能設計必須呈現之效果與畫面配置及物件碰撞等。 p.除錯測試—反覆偵測程式完整性與邏輯之正確性，直至符合需求為止。 r.完成虛擬實境軟體建置—以上各項結果即完成互動式虛擬實境軟體程式 開發。 s.弧型單曲面投影技術研究—産生無接縫、單曲面變形之連續畫面及柔邊效 果。 t.畫面同步控制技術研究—完成六台繪圖主機須能保持同步播放。 u.即時立體視效技術研究—完成左右眼視角差之偏光影像。 v.4D 環境特效系統研究開發—完成噴水、風、煙霧、振動等特效。 w.連網互動式虛擬系統—完成多人同時於虛擬場景中互動之效果。 x.完成系統整合—配合硬體將操控性做到最佳化，並完成系統組裝與展示 軟硬體手冊與商品化。
(2)、硬體架構 就內視鏡虛擬檢查系統硬體架構而言，除了支援虛擬實境軟體顯像所應具 備之電腦配備之外，最主要是三維控制器的功能定義與三軸軸向操作便易 性，以及連結主電腦控制端之通訊協定必須能夠穩定、確實、不延遲，並 且在計算三角面與貼圖軸運用時也能即時顯現。以下是連結硬體功能架構 圖： Model
Monitor Main control computer 視角方位與邏輯運算 即時算圖 3D Controller 內視鏡虛擬檢查系統硬體運作流程圖 I/O控制介面 OUT IN 由操作人員使用三維控制器從人體模型內伸入模擬顯微鏡管透過主控電腦之 各項即時運算於螢幕上繪出。其中分項說明如下： a. 螢幕顯像 — 接收主 控電腦計算完成之 影 像，並將畫面以高 解 析度至少 1024*768(含)以上呈現，垂直掃瞄頻率至少 75(含)赫茲。 b.主控電腦—負責主要虛擬實境程式之執行與接收三維控制器送出之訊息， 並計算虛擬顯微鏡所呈現之視角錐內畫面。 c.三維控制器—能控制水平面與垂直面之轉向，以及向前拉伸之距離控制並 考慮使用者介面之操作方便性。 d.人體模型—使用木質或塑膠材料製成內視鏡用人體外觀造型之模型。
就 180 度弧形立體銀幕硬體架構而言，最主要是虛擬實境高階模擬技術、弧型單 曲面投影技術、即時立體視效技術、畫面同步控制技術、控制介面感應器硬體開 發、連網互動式虛擬系統等之研究開發以及三維控制器串接的功能定義與三軸軸 向操作便易性，包括一組虛擬內視鏡與兩組虛擬手術工具之各項設定，以及支援 虛擬實境軟體顯像所應具備之電腦配備。以下是連結硬體功能架構圖： Model 投影機
Main control computer 視角方位與邏輯運算 畫面產生器 3D Controller 180度弧型立體銀幕硬體運作流程圖 I/O控制介面 OUT IN 三維控制器 串接介面 同步控制 畫面產生器 畫面產生器 畫面產生器 畫面產生器 畫面產生器 投影機 投影機 投影機 投影機 投影機 集線器
180度弧型立
體銀幕
由操作人員使用三維控制器從人體模型內伸入模擬顯微鏡管透過主控電腦之各 項即時運算於六台畫面産生器上繪出，使之産生立體影像。其中分項說明如下：a.180 度弧型立體銀幕—以特殊材質塗料之偏光銀幕擴展成半圓形投影專用 屏幕。 b.主控電腦—負責主要虛擬實境程式之執行與接收三維控制器送出之訊息， 並計算虛擬顯微鏡所呈現之視角方位與角度，並傳送資料於六台畫面産生 器以同步控制其畫面順序。 c.三維控制器串接介面—能控制三種控制器之水平面與垂直面轉向，以及向 前拉伸之距離控制並考慮使用者介面之操作方便性。 d.人體模型—使用木質或塑膠材料製成內視鏡用人體外觀造型之模型。 e. 投 影 機 — 接 收 主 控 電 腦 計 算 完 成 之 影 像 ， 並 將 畫 面 以 高 解 析 度 至 少 1024*768(含)以上呈現，垂直掃瞄頻率至少 75(含)赫茲。 f.畫面產生器—接收主控電腦傳來之資料即時算出視角錐畫面。 g.集線器—連結主控電腦與六台畫面産生器之間資料傳送與接收。 B、採用之原因： 以上軟硬體之架構為目前高階個人電腦所能具備之虛擬實境負荷承載量最佳 狀況，對軟體而言，使用 DIRECTX8a 之圖形程式庫為目前視窗介面中效能及功 能最符合需求之 API，並配合 VISUAL C++之編譯器，在同一系列之工具整合上 與穩定性上有較佳之可靠度，加上三維模型設計與建立、二維貼圖製作與蒐集， 場景建置與載入，目前技術已可成功模擬真實情況；對硬體而言，使用高階三維 加速顯示卡至四倍 AGP 模式也是首選項目，三維控制器則必須另行製作，最主 要在於訊號不失真、不延遲、易操控、重量輕等技術上研發，目的要將內視鏡檢 查應用上模擬真實於最佳化之情況。是故，採用上述軟硬體之原因實為滿足虛擬 實境開發應用程式所必須之基本條件。
執行成果
已完成項目：3D 立體虛擬支氣管鏡檢查系統。包含
•支氣管內視鏡影像製作
•支氣管鏡導覽系統
•互動式支氣管鏡檢查系統〈搖桿操作〉
•病患病症模擬系統
•多人互動式 3D 立體弧形銀幕教學系統
•產品之專家評估及學生測試。
1 、執行進度內容 目前執行九十一年度産學合作計畫「虛擬實境在醫療教學上之應用」，主要 目的乃是運用 180 度立體弧形銀幕教學系統，於內視鏡支氣管鏡之虛擬檢查應 用，我們已有相當良好之結果。在去年的計畫，本團隊已完成 3D 立體虛擬支氣 管鏡檢查系統，並於 92 年台灣外科醫學年會中試用，獲得廣泛回響。 圖 1：180 度弧型立體教學系統(本研究團隊所建構) 圖 2：虛擬支氣管鏡檢查系統
2、功能說明 首先將人體胸腔支氣管數位化，建立三維支氣管及貼圖結構，並檢查其空間 方位之正確性，並將內部反光感覺予以動態連結光源，使其能隨視角變化而産生 反光，現已將虛擬鏡頭之前進、後退、旋轉等作用在虛擬産生之三維支氣管內， 且放大顯示至多畫面同步播放之大銀幕上，還可隨時擷取所需畫面於銀幕上排 列，並配合音效與動作産生如咳嗽般的效果，甚至清洗鏡頭的模擬，路徑角度的 控制等，皆能有良好的表現，階段成果展示如下圖所示。 圖 3：支氣管於空間標示部位名稱
圖 4：主支氣管（Upper Airway）構造
圖 6：虛擬實境設備可做為評估學生能力及學習成果的工具
圖 8：利用虛擬實境設備擷取支氣管不同部位照片
3、3D 立體虛擬支氣管鏡檢查系統評估 為證明本虛擬支氣管鏡檢查系統確實對於臨床外科醫療的品質及醫學教育 的提昇具有顯著效果，本實驗透過內視鏡專科醫師的反覆測試來完成原型機種的 初步實用測試，測試完成後再讓毫無實際操作的學生或醫師來練習，看操作模型 所獲得的經驗及技巧對於臨床治療病患能力有無幫助。 A、評估系統之人員： a. 第一階段：系統測試，由資深之內視鏡專科醫師負責，本產品已通過臺大 醫院胸腔內科郭壽雄主任及胸腔外科李元麒主任，以及五位支氣管鏡專科 醫師之評估。第二階段：有效性測試，由不具內視鏡操作經驗之年輕醫師 或醫學生負責。由三十位台大醫學系五、六年級醫學生進行測試，顯示明 顯增進學習興趣及效果。 B、測試方式： a. 系統測試：資深專科醫師將分別針對以下幾點進行測試： 內視鏡模型之逼真度。 螢幕呈現影象之真實度。 系統反應之速度。 系統可模擬真實狀況之比例。 與系統互動之滿意度。 對整體虛擬內視鏡系統之評價。 其中每一項皆須進行 0 分到 100 分之評估，每一個人對每一項目的評分皆要大 於 80 分才算通過測試。未通過測試之項目必須針對缺點再改善，之後再進行 下一次評估。 b.有效性測試：30 位學生，隨機分為二組〈每組 15 人〉，（1）傳統教材組：錄 影帶教學，（2）虛擬實境組：實地操作虛擬支氣管鏡。醫學生操作虛擬支氣管鏡 檢查系統後，回答(1)解剖位置辨認能力(2)病變辨認能力。由資深專科醫師評 分，每項由 1 分到 10 分(10 分為滿分)評等。
圖 10：支氣管鏡專家評估結果 圖 11：醫學生評估結果。除對正常解剖構造之了解(p = 0.148)外，其餘均有明 顯差別 (p < 0.05)。
50
60
70
80
90
100
整 體評 價 互 動滿 意度 模 擬病 患擬 真度 系 統反 應速 度 影 像擬 真度 解 剖構 造空 間感 0 1 2 3 4 5 6 正常解剖構造之了解 病變之辨識 教材滿意度 教材增加學習興趣 傳統教材組 虛擬實境組遭遇之因難與解決之途徑
對目前虛擬實境應用程式的缺點及困難處應是在於質感逼真程度上之差異 與模型任意變形上之運用，在歐美各國先例上，質感逼真程度之問題除大量使用 貼圖外，實無他法，也造成系統負荷過大，針對此一方法，我們則採用類似技巧， 根據距離遠近更換同一材質、不同解析度之貼圖，使用霧化效果，讓遠處柔化與 柔焦，或使用燈光分別明暗，以追求效能與質感之平衡點。至於模型任意變形之 問題，則考慮以事前腳本來解決，事先定義變形種類與數量，製作出不同造型之 模組，配合程式應用與事件之産生，呈現出不同之造型，並且使用內插法來減緩 變形跳動之不自然感。 此外，除了對目前虛擬實境應用程式的缺點及困難處應是在於質感逼真程度 上之差異與模型任意變形上之運用，解決之道乃採用類似技巧，跟據距離遠近更 換同一材質、不同解析度之貼圖，使用霧化效果，讓遠處柔化與柔焦，或使用燈 光分別明暗，以追求效能與質感之平衡點。至於模型任意變形之問題，則考慮以 事前腳本來解決，事先定義變形種類與數量，製作出不同造型之模組，配合程式 應用與事件之産生，呈現出不同之造型，並且使用內插法來減緩變形跳動之不自 然感。再者，三種三維控制器之運用方式，設定各繁複控制鈕功能，可能在同步 問題上有延遲現像，解決之道在於，則必須使用串接方式，以萬像序列匯流排來 作串連接合，嘗試降低傳輸流量，以提高系統穩定性並提昇速度與效能。重要參考文獻
1. Uli BOCKHOLT, Alexander BISLER, Mario BECKER, Wolfgang MULLER-WITTIG Gerrit VOSS. Augmented Reality for Enhancement of Endoscopic Interventions, March 2003
2. Marco Agus, Andrea Giachetti, Enrico Gobbetti, Gianluigi Zanetti, Antonio Zorcolo.Adaptive techniques for real-time haptic and visual simulation of bone dissection, March 2003
3. Kok-Lim Low, Adrian llie, Greg Welch, Anselmo Lastra.Combining Head-Mounted and Projector-Based Displays for Surgical Training, March 2003 4. Emanuele Neri, Patrizia Giusti, Luigi Battola, Poala Vagli, Piero Boraschi,
Riccardo Lencioni, Davide Caramella, and Carlo Bartolozzi. Colorectal Cancer:Role of CT Colonograhpy in preoperative Evaluation after Incomplete Colonoscopy Radiology 2002: 223: 615-619
5. Ferlitsch A, Glauninger P, Guppper A, Schillinger M, Haefner M, Gangl A, Schoefl R. Evaluation of a virtual endoscopy simulator for training gastrointestinal endoscopy. Endoscopy 2002: 34: 698-702
6. Rosen J. Hannaford B. Richards CG. Sinanan MN. Markov modeling of minimally invasive surgery based on tool/tissue interaction and force/torque signatures for evaluating surgical skills. IEEE Transactions on Biomedical Engineering. 48(5):579-91, 2001 May.
7. Dunnington GL. DaRosa DA. Changing surgical education strategies in an environment of changing health care delivery systems. [Review] [15 refs] World Journal of Surgery. 18(5):734-7; discussion 733, 1994 Sep-Oct. 95066160
8. Rovetta A. Bejczy AK. Sala R. Telerobotic surgery: applications on human patients and training with virtual reality. Studies in Health Technology & Informatics. 39:508-17, 1997.
9. Vanchieri C. Virtual reality: will practice make perfect?. Journal of the National Cancer Institute. 91(3):207-9, 1999 Feb 3.
10. Raibert M. Playter R. Krummel TM. The use of a virtual reality haptic device in surgical training. Academic Medicine. 73(5):596-7, 1998 May. 98305382
11. O'Toole RV. Playter RR. Krummel TM. Blank WC. Cornelius NH. Roberts WR. Bell WJ. Raibert M. Measuring and developing suturing technique with a virtual reality surgical simulator. [see comments]. Journal of the American College of
Surgeons. 189(1):114-27, 1999 Jul.
12. Prystowsky JB. Regehr G. Rogers DA. Loan JP. Hiemenz LL. Smith KM. A virtual reality module for intravenous catheter placement. American Journal of Surgery. 177(2):171-5, 1999 Feb.
13. Stenzl A. Frank R. Eder R. Recheis W. Knapp R. zur Nedden D. Bartsch G. 3-Dimensional computerized tomography and virtual reality endoscopy of the reconstructed lower urinary tract. Journal of Urology. 159(3):741-6, 1998 Mar. 14. Rosser J. CD-ROM multimedia. The step before virtual reality. Surgical
Endoscopy. 10(10):1033-5, 1996 Oct.
15. Rosenberg LB. Stredney D. A haptic interface for virtual simulation of endoscopic surgery. Studies in Health Technology & Informatics. 29:371-87, 1996.
16. Muller WK. Ziegler R. Bauer A. Soldner EH. Virtual reality in surgical arthroscopic training. Journal of Image Guided Surgery. 1(5):288-94, 1995.
17. Gorman PJ. Meier AH. Krummel TM. Computer-assisted training and learning in surgery. Computer Aided Surgery. 5(2):120-30, 2000.
18. Torkington J. Smith SG. Rees BI. Darzi A. The role of simulation in surgical training. [Review] [49 refs] Annals of the Royal College of Surgeons of England. 82(2):88-94, 2000 Mar.
19. Lange T. Indelicato DJ. Rosen JM. Virtual reality in surgical training. [Review] [51 refs] Surgical Oncology Clinics of North America. 9(1):61-79, vii, 2000 Jan. 20. Jakimowicz JJ. The European Association for Endoscopic Surgery
recommendations for training in laparoscopic surgery. Annales Chirurgiae et Gynaecologiae. 83(2):137-41, 1994.
21. Wilson MS. Middlebrook A. Sutton C. Stone R. McCloy RF. MIST VR: a virtual reality trainer for laparoscopic surgery assesses performance. Annals of the Royal College of Surgeons of England. 79(6):403-4, 1997 Nov.
22. Sutton C. McCloy R. Middlebrook A. Chater P. Wilson M. Stone R. MIST VR. A laparoscopic surgery procedures trainer and evaluator. Studies in Health Technology & Informatics. 39:598-607, 1997.
23. Gallagher AG. McClure N. McGuigan J. Crothers I. Browning J. Virtual reality training in laparoscopic surgery: a preliminary assessment of minimally invasive surgical trainer virtual reality (MIST VR). Endoscopy. 31(4):310-3, 1999 May. 24. Chaudhry A. Sutton C. Wood J. Stone R. McCloy R. Learning rate for
laparoscopic surgical skills on MIST VR, a virtual reality simulator: quality of human-computer interface. Annals of the Royal College of Surgeons of England.
81(4):281-6, 1999 Jul.
25. Haluck RS. Webster RW. Snyder AJ. Melkonian MG. Mohler BJ. Dise ML. Lefever A. A virtual reality surgical trainer for navigation in laparoscopic surgery. Studies in Health Technology & Informatics. 81:171-6, 2001.
26. Wickham JE. Minimally invasive surgery. Future developments. BMJ.
