虛擬之自動化半導體廠－子計畫六：虛擬半導體廠之智慧型3D瀏覽系統(3/3)

行政院國家科學委員會

尖端型專題研究計畫年度成果報告

虛擬之自動化半導體廠-子計畫六：

虛擬半導體廠之智慧型3D瀏覽系統(3/3)

Virtual Fab: Intelligent 3D Navigation System

計畫編號：NSC 90-2218-E-004-009

報告期限：89年8月1日至90年7月31日

主持人：李蔡彥 Email: [email protected]

執行機構及單位名稱：國立政治大學資訊科學系

一、中英文摘要 （一）、中文摘要 本子計畫的目標在為虛擬半導體廠之 類的虛擬工廠，建立一套智慧型的3D瀏覽 系統。在第一年的研究中，我們已發展出 一套自動導覽系統；而在第二年的研究 裡，除了延展導覽系統的功能外，我們也 發展了能管理大型場景的網路虛擬實境系 統。在第三年的研究裡，我們的研究重點 放在延展前兩年的研究成果，以使智慧型 瀏覽的功能更加完備。一般而言，智慧型 瀏覽系統包含兩類人機介面：代理人式的 自動導覽系統及直接操控式的瀏覽輔助介 面。在本年度本子計畫對這兩類介面均有 進一步的研究，所獲致的具體成果包含以 下幾項：第一、設計出一個融合運動計畫 及虛擬力場的智慧型瀏覽介面；第二、將 以運動計畫為主的智慧型瀏覽介面擴展至 大型場景中；第三、將智慧型觀察者的研 究擴展至一般三維空間中。其中第一項及 第二項屬於直接操控式的瀏覽輔助介面， 而第三項屬於自動導覽系統的延伸。綜言 之，本子計畫已依計畫時程完成研究目 標，並已將初步的研究成果整理發表於國 際學術研討會。 （二）、英文摘要

The purpose of this research is to build an intelligent 3D navigation system for vir-tual factories such as virvir-tual fab. In the first

two years, we have developed an auto-navigation system and extended the sys-tem to handle dynamic data management for large environments. In this year, our research focuses on enhancing the functionalities of the 3D navigation system. Generally speaking, intelligent navigation system includes two categories of user interface designs: agent-based auto-navigation system and di-rect manipulation based navigation assistance. We have addressed both approaches this year and obtained the following results. First, we have developed an intelligent navigation in-terface incorporating both virtual force field and motion planning techniques. Second, we have extended the motion planning approach of intelligent navigation interface to consider large virtual environments. Third, we have also extended the intelligent observer module in the auto-navigation system to 3D work-space. The first and second researches use direct manipulation as the main metaphor while the third result adopts agent-based delegation approach. In sum, we have en-hanced the functions of several intelligent software modules for 3D navigation and we are in the process of publishing the work in international conferences.

二、緣由與目的

建立虛擬半導體廠的目的，在於藉由 一個軟體模擬系統，讓使用者透過簡易的 操作，便能達到資訊擷取、製程模擬、物

件追蹤、及教育訓練等目的。而本子計畫 的主要研究目標便是在建立一個能提供3D 瀏覽的智慧型人機介面，以支援上述目 的。以現今的軟體技術及一般桌上型個人 電腦的配備而言，要讓一般使用者能以互 動的方式直接操控3D人機介面，並非易 事。而本子計畫的目的，便是希望能在開 放式的架構上，以運動計畫演算法為核心 技術[1][2][4]，透過智慧型瀏覽模組的研 發，提升3D人機介面的易用及有效程度。 一般而言，人機介面的設計方式分為 兩類：直接操控法(Direct Manipulation)及代 理人機制法(Agent-Based Intelligent UI)。[12] [14]直接操控法是以第一人稱的方式控制 所欲操控的物件，而使用者可以透過即時 的介面，得到控制結果的回饋。這種設計 法已普遍應用在現有的視窗介面設計中。 另一方面，代理人機制法讓使用者以少量 的高階輸入，交由代理人程式完成所欲達 到的目標。在3D人機介面的設計方法上， 傳統都是採用直接操控法。但對初學者而 言，現今的3D操控介面往往過於繁複，這 也是3D人機介面推廣上的一大阻力。本計 畫的研究目的之一，便是希望分別針對這 兩種控制方式，透過智慧型計畫模組的設 計，增加人機介面使用的效率及方便性。 在第一年的研究裡，本子計畫已為固 定場景建立一個具有智慧型瀏覽功能的3D 自動導覽系統。這類導覽系統是屬於以代 理人機制為基礎的智慧型人機介面。這是 一個以VRML網路虛擬實境架構為發展平 台的自動導覽系統[13][16]。這個系統能由 使用者在所欲參觀場景的平面圖上，點選 所欲前往的參觀點，系統便會透過本計畫 開發的導覽路徑計畫器及智慧型觀察者運 動計畫器，即時計算出個人化的瀏覽路 徑，並由具有即時動畫模擬功能的虛擬導 覽員帶領，前往所要參觀的地點。在參觀 的過程中，虛擬攝影機除了能保證看得到 導覽員外，還能由使用者以參數設定跟隨 導覽員的方式，以產生其偏好的運動。 [8][10] 在第二年的研究裡，我們將重點放在 設計以直接操控法為基礎的智慧型人機介 面及大型場景的資料管理上。例如，我們 允許使用者在自動導覽進行時能主動改變 視點位置，而由系統確保這些改變是合法 的。[11]又如我們以街圖式(Roadmap)運動 計畫演算法融入互動式人機介面的控制迴 圈中，以主動解決並排除因視點碰撞障礙 物而窒礙難行的情形。[9]這兩個研究成果 都是試圖改善直接操控法在3D介面設計上 的缺點。另外，我們也設計了一個能動態 產生及有效維護大型3D場景的資料管理模 組，以使導覽的適用範圍及彈性變大。[6] 在第三年的研究裡，我們將重點放在 延展第一年及第二年的研究成果，以使智 慧型瀏覽系統的功能更加完備。而這些功 能設計的目的都是針對上述兩種人機介面 的設計方法所分別提出的。其主要目的有 三個，分述如下。第一、尋求更有效的瀏 覽輔助方式，以減少使用者碰撞障礙物的 機會，以達治本的目的；第二、讓輔助使 用者瀏覽的運動計畫模組能適用於大型場 景中，以增強智慧型介面的適用性；第三、 將自動導覽系統中智慧型觀察者的運動， 由2D工作空間延伸至3D空間，以使智慧型 觀察者的觀察模式更加彈性。 三、研究結果： 針對以上三個研究目標，我們將研究 的成果描述如後。 （一）以虛擬力場輔助3D瀏覽：在第二年 的研究裡，我們以實驗證明運動計畫演算 法能有效性輔助3D瀏覽介面。此類方法是 以有效率的運動計畫演算法，在使用者視 點與障礙物碰撞時，自動產生避碰路徑。 然而，這是解決與障礙物碰撞的治標方 法；其治本方法還在於如何避免與障礙物 碰撞。本研究嘗試以虛擬力場，影響使用 者控制視點的方式，以減少碰撞環境中障 礙物的機會。虛擬力場的概念曾以位能場 的方式被用於機器人避碰的應用；亦曾有 研究提出以類似的方法改善人機介面。[17]

然而，此類虛擬力場的有效性及被接受的 程度，在於如何將力場中的力融入使用者 的控制指令中，而不會讓使用者覺得不自 然。更重要的是，融合的結果不應與使用 者的意向相違背，否則使用者將無法接 受。本研究以多點取樣及與障礙物距離平 方成反比的方式計算虛擬力場。力場的範 例如圖一所示。為考慮使用者的意向，在 使用者執行過程中，我們以使用者的執行 歷史動態調整力的大小，以減少可能的不 自然感覺。為證明此方法的有效性，我們 以十個使用者實驗對象，分別使用原介 面、使用運動計畫器輔助、使用虛擬力場 輔助、及兩種輔助兼用的3D瀏覽器。實驗 的內容則是以如圖二的3D瀏覽器，完成特 定目標瀏覽工作所需花的時間。實驗結果 的摘要如表一所示。針對實驗的場景平均 而言，使用計畫器及虛擬力場輔助分別可 減少執行的時間23%及29%。如果兩者並 用，則可改進執行效率達49%。 （二）適合大型場景的瀏覽輔助系統：如 前段所述，運動計畫器能用來改善使用者 操控3D瀏覽介面的效率。然而，之前的研 究是建立在固定小型場景的假設下。當環 境變大或變複雜，則所需的計算時間將使 即時線上計算變成不可能，而儲存空間亦 將超過一般系統的負荷。文獻中大部分的 運動計畫器都假設環境是已知且固定大小 的工作空間。因此本計畫的研究重點之一 便是設計出一個具擴展性(Scalability)的運 動計畫器，以適用於大型場景中。用於輔 助瀏覽的路徑計畫問題，其起點與終點由 於瀏覽速度的限制，通常不會相距太遠。 因此我們可以利用這個特性，將街圖的建 立侷限在以視點（viewpoint）所在位置為 中心的視窗內，並隨著視點的移動，更新 街圖的正確性（如圖三所示）。我們定義兩 個視窗：焦點視窗（Focus Window）及有 效視窗（Valid Window）。焦點視窗定義我 們街圖建立的範圍而有效視窗則定義了何 時該移動焦點視窗及更新其內部的街圖。 由於我們必須在瀏覽執行過程中即時更新 街圖，因此我們選擇了一種建構時間較少 且允許漸進更新的資料結構 -- RRT (Rap-idly Exploring Random Tree)[3]以做為我們 的街圖表示法。如圖四所示，隨著焦點視 (a) (b) 圖一：虛擬力場的範例。(a) 灰階代表力場 的強度（深灰代表障礙物）(b) 箭頭代表力 場的中力的方向 表一：使用虛擬力場與運動計畫的實驗結果

Neither Planner Force Field

Force Field & Planner Met hod User Time Colli-sion Time Colli-sion Time Colli-sion Time Colli-sion Avg. 160 219 130 310 125 102 107 135 + 0% 23% 29% 49% 圖二：瀏覽實驗所使用的 3D 迷宮一景 (a) (b) 圖三：(a) 隨視點位置在局部視窗中建立街 圖 (b) 圖(a)中視窗的放大及 valid window 和 focus window 的定義 focus window valid window robot

窗的移動，我們僅更新新舊視窗差異的區 域，而此更新可能造成RRT由一棵樹的結構 分裂成數棵樹的森林結構或數棵樹合成一 棵的結果。由於所要更新的區域有限，因 此線上更新的效率能滿足即時互動的需 求。 （三）三維空間的智慧型觀察者：本研究 的另一重點在於將第一年自動導覽系統中 的智慧型觀察者的研究擴展到三維工作空 間。自動導覽系統中所要追蹤的目標物如 果是導覽員，則可合理地假設其運動都在 於某一平面上，因此智慧型觀察者的運動 計畫也可以假設是在二維的工作空間中進 行。然而，如果所要追蹤的目標物是一般 的物體（如工作件），則智慧型觀察者的計 畫軟體必須能產生真正三維空間中的運動 計畫。但是，三維空間中自由移動的物體 有六維的自由度，因此此計畫問題的組態 空間過大，並不適合於線上計算，而且計 畫的完整性（Completeness）因空間過大亦 將無法兼顧。 我們提議首先以攝影的法則合理地將攝影 機（觀察者）的部分自由度凍結，以減少 問題的複雜度。例如我們假設攝影機的方 位一定保持水平，並將目標物暫固定在視 窗的中央位置。如此一來，如圖五所示， 我們就可以球形座標系統中的一個點代表 觀察者的位置。但由於目標物的軌跡是時 間的函數，因此這個計畫問題將是一個定 義 在 組 態 時 間 空 間 （ Configuration-Time Space, CT-space ） 中 的 搜 尋 問 題 。 這 個 CT-space是一個四維(l, α, β, t)的空間，而一 般在四維空間中的搜尋時間通常無法滿足 線上的即時需求，且所需的記憶體空間亦 相當龐大。但是，我們希望能藉助追蹤問 題的特性，設計一個能以三維空間儲存四 維空間資料的計畫演算法。這個演算法主 要是利用距離維度越短越容易的特性，在 其他參數組態中記錄距離參數的合法最大 值。在搜尋的過程中，我們在相鄰距離必 須連續的前提下，可以增加或減少某一參 數的距離值。此演算法的搜尋結果是完整 的。換言之，如果問題有解則計畫器必可 傳回答案；但如無解亦會忠實回報。圖六 是此計畫器的實驗範例所產生的螢幕畫 面。搜尋時間多在次秒與數秒之間。 四、成果自評 在第三個年度的研究計畫裡，我們所 獲致的成果包括： 1. 以人工虛擬力場製作智慧型人機介面， 輔助3D瀏覽操控，並以運動計畫輔助法 相輔相成，有效改進瀏覽效率。 圖五： 以球型座標系統表示三維空間中觀 察者相對於目標物的位置 (a) (b) (c) (d) 圖四：當 focus window 移動時，RRT 街圖 被更新的示意圖 α β

l

目標物 觀察者 D A

2. 將運動計畫輔助瀏覽的成果，透過有效 資料結構及演算法的設計，擴展至大型 場景中。 3. 將自動導覽系統中的智慧型觀察者的研 究，透過問題的特性分析與有效演算法 的設計，延伸至真正的三度工作空間中。 這些成果強化了前兩年的研究成果， 也使智慧型瀏覽系統的適用範圍更為寬 廣。另外，本子計畫的初步成果，亦已整 理發表於知名國際學術研討會。[5][7][15] 五、參考文獻

[1] J.E. Hopcroft, J.T. Schwartz, and M. Sharir, “On the Complexity of Motion Planning for Multiple Independent Objects: PSPACE-Hardness of the Warehouseman's Problem,” Intl. J. of Robotics

Research, 3(4): 76-88, 1984.

[2] L. Kavraki, P.Svestka, J. Latombe, and M. Over-mars, “Probabilistic Roadmaps for Fast Path Planning in High-Dimensional Configuration Spaces,” IEEE Trans. on Robotics and

Automa-tion, 12:566-580, 1996.

[3] J. Kuffner, and S. LaValle, “RRT-Connect: An Efficient Approach to Single-Query Path

Plan-ning,” Proc. of 2000 IEEE Intl. Conf. on Robotics

and Automation, May 2000.

[4] J.C. Latombe, “Robot Motion Planning,” Kluwer Academic Publishers, 1991.

[5] T.Y. Li and C.C. Chang, “Path Planning with In-cremental Roadmap Update for Large Environ-ments,” Proc of the IEEE Intl. Conf. on Robotics

and Automation (ICRA2001), Korea, 2001.

[6] T.Y. Li, and C.W. Chiang, “Data Management for Visualizing Large Virtual Environments,” Proc.

of the 1999 Intl. Symp. on Multimedia Informa-tion Processing, P163-168, Taipei, Taiwan, 1999.

[7] T.Y. Li, H.C. Chou, “Improving Navigation Effi-ciency with Artificial Force Field,” Proc. of 2001

14th IPPR Conf. on Computer Vision, Graphics, and Image Processing, Taiwan, 2001.

[8] T.Y. Li, J.M. Lien, S.Y. Chiu, and T.H. Yu, “Automatically Generating Virtual Guided Tours,” Proc. of the Computer Animation '99

Conf., Geneva, Switzerland, May 1999.

[9] T.Y. Li and H.K. Ting, “An Intelligent User In-terface with Motion Planning for 3D Navigation,”

Proc. of the IEEE Virtual Reality 2000 Conf.,

P177-184, New Jersey, 2000.

[10] T.Y. Li and T.H. Yu, “Planning Tracking Motions for an Intelligent Virtual Camera,” Proc. of the

1999 IEEE Intl. Conf. on Robotics and Automa-tion, 1999.

[11] T.Y. Li and T.H. Yu, “Incorporating User Interac-tion in the Planning of Intelligent Tracking Mo-tions,” Proc. of the Sixth Intl. Conf. on

Automa-tion Technology, P1185-1192, Taipei, Taiwan,

2000.

[12] H. Lieberman, “Integrating User Interface Agents with Conventional Applications,” Proc. of ACM

Conf. on Intelligent User Interfaces, San

Fran-cisco, January 1998.

[13] S. Resseler, A. Godil, Q. Wang, G. Seidman, “A VRML Integration Methodology for Manufac-turing Applications”, Proc. of Virtual Reality

Modeling Language (VRML99), 1999.

[14] B. Shneiderman and P. Maes, “Direct Manipula-tion vs. Interface Agents,” InteracManipula-tions, 4(6): 42-61, Nov./Dec. 1997.

[15] T.H. Yu and T.Y. Li, “Motion Tracking Planning for an Intelligent Observer in 3D Workspace,”

Proc. of the Seventh Conf. on Automation Tech-nology, Taiwan, 2001.

[16] VRML97 Specification,

http://www.vrml.org/Specifications/VRML97 [17] D. Xiao, R. Hubbold, “Navigation Guided by

Artificial Force Fields, “ Proc. of the ACM

CHI’98 Conf., pp179-186, 1999.

(a) (b)

(c) (d)

圖六：智慧型觀察者追蹤正方體目標物的過 程（部分畫面的擷取）