• 沒有找到結果。

言進行互動,以及 Cavaza[4]等人以感測語音的情緒作為輸入來與虛擬角色進行互動,

影響故事中動畫角色的情緒,發展出不同的故事結局。以自然語言作為輸入包含許多爭 議,需要提高準確度,就必須建立起龐大的資料庫,另外受到各個國家語言的不同而有 所限制,也是個艱難的議題。除了以自然語言作為輸入的 3D 互動數位敘事,Kistler[3]

等人為了進行以體感作為輸入的 3D 互動數位敘事,他們使用現有的 3D 互動敘事作品,

2.3 虛擬實境(Virtual Reality)

虛擬實境是由電腦產生的 3D 立體空間,使用者可以依個人的意志自由的在這個空間中 移動,並且可以與這個空間裡的物件進行互動,讓使用者有強烈的融入感及參與感,達 到身歷其境的感覺。

Burdea 與 Coiffet[16]在 2003 年提出虛擬實境主要有三大要素,簡稱 3I:Imagination、

Interaction、Immersion,依序是想像力、互動性與沉浸性。

(1) 想像力(Imagination):

虛擬實境是由電腦所模擬出來的影像,為了要讓使用者想像自己身處在這個虛擬空

(2) 互動性(Interaction):

在虛擬實境中,使用者可以即時的與 3D 空間中的物件互動,也可以與虛擬角色進 因。心理學家 Csikszentmihalyi[17]是第一個提出沉浸理論的學者,認為當人們在進行活 動時如果完全的投入情境當中並且集中注意力,同時過濾掉所有不相關的知覺,即進入

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

事系統中控制故事角色的移動、動作或指令,我們希望使用者透過手勢表演與虛擬角色 進行互動,不只如此,作者也能簡單的設定使用者進行哪些手勢表演會影響故事的路 線,增加使用者的沉浸感,也增加故事的趣味性。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

第3章 手勢動作的分類

我們的平台透過我們所設計的 Script Engine 即時地建立故事腳本中的場景、角色動畫、

攝影機位置,並針對使用者互動選項的輸入作對應的輸出。我們嘗試以 Leap-Motion 作 為我們的輸入裝置,建立使用者定義的手勢集,並將手勢進行分類,透過不同的手勢對 應到不同的指令。

手勢能夠分類的方法有很多種, Thiago 與 Sergio[18]的手勢分類方法是將手勢分成 6 種狀態,張開(Open)、勝利(Victory)、槍(Gun)、食指(Pointing)、拇指(Thumb)、握拳(Close),

這些都是我們常用的手勢。Thang [19]等人的手勢分類方法則是將英文 24 個字母作手勢 分類,如圖 3。

圖 3. 美國手語基本手勢[19]

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

3.1 裝置的偵測範圍

Leap Motion 的偵測範圍大概在感測器上方 150 度大約 8 立方英尺的空間,如圖 4。

可偵測到的高度約為 60 公分,它可以偵測到從手臂、手掌到手指共 29 個關節(如圖 5) 的座標位置,並可以透過這些座標位置資訊在虛擬空間中模擬出手部模型與動畫,除了 關節的座標位置,每隻手還可以檢測到手掌的中心位置、手掌移動的速度以及手掌朝向 的方向。

圖 4. Leap Motion 偵測範圍

但在設計使用者手勢集前,我們必須考慮輸入裝置所能偵測到的手勢範圍,以 Leap Motion 的限制來說,它是使用雙紅外線偵測追蹤手指的動作,因此它無法偵測到被遮蔽 的範圍。例如假設平擺 Leap Motion 的裝置,手掌若是豎立在裝置的上方,會無法偵測 到使用者各手指的座標。考慮到 Leap Motion 的裝置限制後,會被遮蔽到的手勢我們就 不能放到手勢集中,像是圖 3 中美國手語的基本手勢,Leap Motion 是無法分辨手勢 S 和手勢 T 的。

約 60cm

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

圖 5. 在 Unity3D 中模擬出的手部骨架架構

3.2 使用者手勢集的分類與設計

為了確保使用者能夠順利地與系統進行互動表演,我們希望能設計出一組能準確偵 測到的手勢姿勢集讓故事創作者使用,我們參考 Kistler[3]將動作分為兩種狀態來辨識:

靜態與動態,因此我們也建立了兩種手勢輸入集:靜態手勢集與動態手勢集,靜態手勢 是一種手勢姿勢狀態,使用者在做出手勢姿勢後最後維持停止的狀態。而動態手勢是一 種在進行手勢姿勢轉變時的狀態,像是手勢在進行位移動作時或是改變手指伸出數量的 動作都算是動態手勢。

透過評估手勢實際偵測的準確度以及改善後,分析與統整出我們的手勢集,並且建

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

第4章 系統架構與實作

Unity3D[20]是一款強大的遊戲引擎軟體,我們希望運用 Unity3D 透過讀取 xml 語法的方 式載入故事創作者所寫的故事腳本並建立故事場景、角色與動畫,再配合利用 Leap Motion 作為手勢姿勢的輸入設備,以及麥克風來記錄使用者表演的語音資訊,設計出以 體感方式作為主要輸入的 3D 互動數位敘事系統。

圖 6. 系統架構圖

式,呈現最佳的使用者介面。因此我們的系統將著重於五大階段, Authoring Process、

Story Engine、Script Engine、Hand Gesture Classification、User Interface,分別為作者創 作階段、故事引擎的建立、語法引擎的建立、分析手勢姿勢後作分類,最後完成我們的 使用者介面。

相關文件