虛擬之自動化半導體廠－子計畫六：虛擬半導體廠之智慧型3D瀏覽系統(2/3)

行政院國家科學委員會

尖端型專題研究計畫年度進度報告

虛擬之自動化半導體廠-子計畫六：

虛擬半導體廠之智慧型3D瀏覽系統(2/3)

Vir tual Fab: Intelligent 3D Navigation System

計畫編號：NSC 89-2218-E-004-001

報告期限：87年8月1日至88年7月31日

主持人：李蔡彥

Email: [email protected]

執行機構及單位名稱：國立政治大學資訊科學系

一、中文摘要 本子計畫於第一年的研究中已順利發 展出一套智慧型的自動導覽系統。而第二 年度的研究目標有二：第一、延展第一年 自動導覽系統的功能；第二、發展能動態 產生並處 理大型 場景的 網路虛擬實境 系 統。以第一個目標而言，我們的具體成果 包括一個能讓使用者於線上安全地修改視 點運動路徑的智慧型觀察者模組，及改善 使用者瀏覽效率的智慧型人機介面模組。 而在第二個目標上，我們設計了一個虛擬 場景的編輯工具，以有效管理虛擬環境中 的模型，並能依據線上的組態動態產生虛 擬場景。另外，我們也針對大型場景設計 了一個線上場景管理軟體模組，以根據使 用者視點的運動型態，動態載入所需的幾 何模型。我們並以合作半導體廠的模型為 例，測試此一軟體系統的有效性。綜言之， 本子計畫 目前的 進度已 依照預定計畫 完 成。 二、緣由與目的 虛擬半導體廠的目的，在建立一個模 擬的軟體系統， 讓使用 者透過 簡易的 操 作，便能達到資訊擷取、製程模擬、效能 評估、物件追蹤、及教育訓練等目的。而 本子計畫的主要研究目標便是在提供一個 智慧型的 圖形人機介面，以支 援上述 目 的。然而，以一般桌上型個人電腦的配備 而言，要讓一般使用者能以互動的方式直 接操控 3D的人機介面，並非易事。而本子 計畫的目的，便是希望能在開放式的架構 上，以運動計畫演算法為核心技術[5]，透 過智慧型瀏覽模組的研發，提升3D人機介 面的易用及有效程度。 本子計畫在第一年的研究裡，已為固 定場景建立一個具有智慧型瀏覽功能的3D 自動導覽系統。這是一個以VRML網路虛擬 實境架構為主的自動導覽系統。[12][14] 這個系統讓使用者在所欲參觀場景的平面 圖上，點選所欲前往的參觀點，系統便會 透過本計畫開發的導覽路徑計畫器及智慧 型觀察者運動計畫器[1][2]，即時計算出 個人化的瀏覽路徑，並由具有即時動畫模 擬功能的虛擬導覽員帶領，前往所要參觀 的地點。在參觀的過程中，虛擬攝影機除 了能保證看得到導覽員外，還能由使用者 以參數設定跟隨導覽員的方式。[8][10] 在第二年的研究目標裡，我們根據第 一年的研 究經驗，對所 發掘的 延伸性 問 題，作了進一步的研究。目前的自動導覽 系統，雖然能根據使用者的意願來產生個 人化的導覽路徑，並自動帶領參觀虛擬工 廠，毋須使用者介入控制3D介面；但是參 觀時攝影機的運動仍有許多變化的空間， 系統選定的運動軌跡不見得能讓使用者完 全滿意。因此，如何以線上互動的方式讓

使用者進一步影響瀏覽的過程，是本年度 的研究重點之一。另外，一般虛擬半導體 廠的規模龐大，如要將整個虛擬場景同時 載入，勢難達到即時互動的顯示效果。因 此如何根 據使用 者的操 控模式及瀏覽 過 程，有效地管理大型虛擬場景的資料流， 以提升互動式顯示的效率，亦是本年度研 究的重點之一。 三、研究結果 （一）線上瀏覽輔助：此研究的目的是希 望在瀏覽的過程中，使用者能以即時互動 的方式，控制或改變瀏覽的結果。根據原 始運動路徑的產生方式，我們設計了兩種 型態的智慧型瀏覽輔助模式。 第一種是以自動導覽系統所產生的導覽路 徑為基礎[10]，在導覽執行的過程中，我 們允許使用者以滑鼠拖曳的方式，任意修 改視點的路徑；而此路徑藉由線上計畫器 的輔助，將仍能保證維持智慧型觀察者的 限制特性（即與導覽員之間一直保持清楚 的 視 線 ）。 換 言 之 ， 以 圖 一 所 示 的 「Configuration-Time, CT」空間裡，R_f 代表在最大速度限制下由啟始組態能到得 了的區域，R_b代表能到得了目標組態的區 域；兩者的交集(Rc)帶表示我們希望限制路 徑(τ)所能通過的區域。由於線上計畫必須 在每一個控制迴圈內計算一次，因此所允 許的計畫時間非常有限。而運動計畫的問 題已知是計算複雜度很高的問題[3]，因此 增加了這個線上問題的挑戰性。我們所使 用 的 計 畫 方 式 是 以 漸 進 式 的 倒 退 搜 尋 (Incremental Backward Search)法則，重 複使用先前已搜尋過的空間，以將搜尋所 需花費的時間分散到各個控制迴圈中。實 驗的結果（如圖二所示）顯示，每一控制 迴 圈 所 需 的 平 均 線 上 計 畫 時 間 不 超 過 60ms，因此此線上運動計畫器可以平順地 融入使用者的控制迴圈中，它不但讓使用 者能即時修改參觀路徑，亦能將瀏覽路徑 規範在原計畫路徑的四周。 圖一：線上修改路徑所允許的區域(Rc)之示意 圖。（τ為原計畫攝影機路徑，τ’為使用者修改 後的路徑） (a) (b) 圖二：線上修改視點規劃路徑的範例。圖(a) 為運動計畫器計算出之路徑，圖(b)為使用者 以互動方式修改的結果。（實心圓為目標物， 空心圓為觀察者） 圖三：瀏覽實驗所使用的 3D 迷宮一景 表一：智慧型瀏覽輔助模組的實驗結果

w/ planning w/o planning total execution time(sec) 243 421 no of navigation steps 2498 3941 Preprocessing time (sec) 2.5 0 avg. time for computing

the next step (ms) 18.9 7.4

tf t0 t CTB CTB CTB qi qg CT” τ q’(tc) q(tc) τ’ Rf Rb Rc q(l, α) tc

第二種瀏覽輔助模式是以運動計畫軟體於 3D瀏覽可能發生困難的地方，自動產生輔 助性的避碰路徑，以使瀏覽更加平順。此 類瀏覽控制方式與傳統的控制相近，但傳 統以2D滑鼠操控3D場景的控制方式，常因 更新頻率的不足，而無法精確的在狹窄的 通道上順利的前進。這也是3D虛擬環境一 直無法普及的根本問題之一。我們所提議 的方法，是在使用者介面的控制迴圈中， 攔截滑鼠的拖曳事件，以估算使用者的運 動意圖（即希望前往的位置及方向）。如果 此運動過程將與環境中的障礙物碰撞，系 統就會自動呼叫運動計畫器，以計算出一 個可行的避碰路徑，帶領使用者避開障礙 物。由於此運動計畫必須整合在使用者的 控制迴圈中，因此計畫器的效率將是此方 法的成敗關鍵。 我們所使用的「隨機化街圖運動計畫器」 是在環境固定的前提下，先在搜尋空間中 以前處理的方式分析自由空間的連接性， 建立代表性的街圖，以作為後續多次路徑 計畫查詢的依據。[4]在線上做路徑計畫查 詢時，我們先將啟始及目標組態先連上這 個街圖後，再於街圖中搜尋一條可行的路 徑。由於搜尋街圖時無須作耗時的碰撞偵 測，因此計算效率可以達到即時的效果。 在實作方面，我們將此運動計畫器整合入 一個以Java3D實作的VRML瀏覽器中（如圖 三所示），並完成了使用者的使用分析。實 驗是由十個具有不同電腦使用經驗的使用 者進行測試，內容則是計算完成特定目標 瀏覽工作所需花的時間。實驗結果如表一 所示。使用者的瀏覽效率，在有運動計畫 輔助的情況下，平均可加快73%。 （二）大型場景線上管理：大型虛擬場景 的管理，是虛擬實境系統普及後必將面臨 的重要課題。我們所提議的網路式虛擬實 境系統，將虛擬場景中的幾何模型及場景 組態儲存在資料庫中，而在使用者需要瀏 覽時，才自資料庫中查詢出所需的模型， 送至使用者端的機器上顯示。但是由於場 景的規模龐大，而使用者一次能看得到的 區域有限，並且顯示用的記憶體亦有限， 因 此 如 何 利 用 空 間 與 時 間 的 區 域 性 （locality），有效的將最需要的資料即時 傳至使用者機器，是本項研究所欲達到的 目標。 目前的此研究的成果大致可區分為兩項。 第一、我們開發了一套場景設計及管理的 工具軟體（圖形介面如圖四所示）。虛擬工 圖四：設計軟體的圖形化使用者介面 圖五：大型虛擬場景及使用者瀏覽路徑範例

廠的設計者，可以透過這個以Java語言實 作的工具軟體，產生3D模型與場景平面圖 的關係，並將所設計的虛擬場景透過JDBC 的介面存入關連式資料庫中。這個工具軟 體提供了物件導向的設計觀念，並支援一 般2D向量繪圖軟體常用的功能，例如群組 (Grouping)、剪貼、自動產生VRML 3D模型、 及插入特定VRML模型等功能。另外，此工 具軟體配套輸出2D及3D的格式，因此無需 經由額外的編輯，便可直接於自動導覽系 統中使用。 第二、我們設計了一個使用者的運動預測 及線上模型管理的軟體模組。這個模組包 含三個部分：可見度的分析、模型快取機 制的建立、及運 動預測 及模型 先取的 機 制。[13]此模組開發的目的，除了漸進式 的依照使用者的位置取出必須的幾何模型 外，更希望透過先取(Prefetch)的機制， 將網路存 取的負 載平均 分配到各個畫 格 裡，以達到平順顯示的目的。在可見度分 析方面，我們採用前處理的方式，計算出 視點在任 一位置時，所 能看見 的物件 集 合，以於線上迅速地計算出所需載入的模 型。另外，在模型管理方面，由於這些模 型 具 有 空 間 上 的 區 域 性 (Spatial Locality)，因此我們根據優先度設計了有 效的快取(Cache)機制，將常用的模型留在 有限的快取緩衝記憶體裡。然後，再根據 使用者操控滑鼠的形式，預測未來可能的 位置，在時間許可的情況下，進行模型先 取（Prefetch）的動作，以減低轉換場景 及動態載 入模型 所帶來 的介面不流暢 問 題。大型場景及瀏覽路徑的實驗範例如圖 五所示。我們以模擬的方式進行模型管理 的實驗，結果顯示有快取及先取的機制， 將有效減少載入模型所需的平均時間及變 化的標準差。 四、成果自評 在第二個年度的研究計畫裡，我們所 獲致的成果包括： 1. 可依照使用者意願而產生或改變導覽路 徑的自動導覽系統。 2. 輔助使用者進行3D瀏覽的運動計畫模 組。 3. 能供使用者設計並管理虛擬場景的軟體 工具。 4. 虛擬半導體廠的實體模型及線上瀏覽範 例。 5. 大型場景動態產生及資料流管理的軟體 模組。 另外，本子計畫的初步成果，亦已整 理 發 表 於 知 名 國 際 學 術 研 討 會 。 [7][9][11] 五、參考文獻

[1] C. Becker, H. Gonzalez-Banos, J.-C. Latombe, and C. Tomasi, “An Intelligent Observer,” in Pro-ceedings of International Symposium on Experi-mental Robotics, pp. 94-99, 1995.

[2] S. Drucker and D. Zelter, “Intelligent Camera Control in a Virtual Environment,” in

Proceed-圖六：3D 虛擬半導體廠及自動導覽路徑的範 例

ings of Graphics Interface’94, 1994.

[3] J.E. Hopcroft, J.T. Schwartz, and M. Sharir, “On the Complexity of Motion Planning for Multiple Independent Objects: PSPACE-Hardness of the Warehouseman's Problem”, International. Jour-nal of Robotics Research, 3(4): 76-88, 1984. [4] L. Kavraki, P.Svestka, J. Latombe, and M.

Over-mars, “Probabilistic Roadmaps for Fast Path Planning in High-Dimensional Configuration Spaces,” in IEEE Transaction on Robotics and Automation, 12:566-580, 1996.

[5] J.C. Latombe, “Robot Motion Planning,” Kluwer Academic Publishers, 1991.

[6] S. M. LaValle, H. H. Gonzalez-Banos, C. Becker, J.-C. Latombe, “Motion Strategies for Maintain-ing Visibility of a MovMaintain-ing Target,” in Proceed-ings of the 1997 IEEE International Conference on Robotics and Automation, 1997.

[7] T.Y. Li, and C.W. Chiang, “Data Management for Visualizing Large Virtual Environments,” in Pro-ceedings of the 1999 International symposium on Multimedia Information Processing, P163-168, Taipei, Taiwan, 1999.

[8] T.Y. Li, J.M. Lien, S.Y. Chiu, and T.H. Yu, “Automatically Generating Virtual Guided Tours,” in Proceedings of the Computer

Anima-tion '99 Conference, Geneva, Switzerland, May 1999.

[9] T.Y. Li and Hung-Kai Ting, “An Intelligent User Interface with Motion Planning for 3D Naviga-tion,” in Proceedings of the IEEE Virtual Reality 2000 Conference, P177-184, New Jersey, 2000. [10] T.Y. Li and T.H. Yu, “Planning Tracking Motions

for an Intelligent Virtual Camera,” in Proceedings of the 1999 IEEE International Conference on Robotics and Automation, 1999.

[11] T.Y. Li and T.H. Yu, “Incorporating User Interac-tion in the Planning of Intelligent Tracking Mo-tions,” in the Proceeding of the Sixth Internation-al Conference on Automation Technology, P1185-1192, Taipei, Taiwan, 2000.

[12] S. Resseler, A. Godil, Q. Wang, G. Seidman, “A VRML Integration Methodology for Manufac-turing Applications”, in Proceedings of Virtual Reality Modeling Language (VRML99), 1999. [13] S. Teller, and C. Sequin, “Visibility Preprocessing

For Interactive Walkthroughs,” in ACM Com-puter Graphics (Proc. of SIGGRAPH’91), 25(4):61-69, 1991.

[14] VRML97 Specification,