章節說明

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

到貼近創作者的思考意向，更能符合互動敘事創作的精神。

1.4 章節說明

本文其餘結構如下:第二章將會討論數位媒體傳播方法、互動敘事平台與社群網絡等的 相關研究。第三章將詳細說明該回憶敘事創作平台資料分析與系統設計，而第四章則是 利用第三章的系統設計實作下的系統架構說明；並在第五章中描述實驗設計與最後結果 分析。在第六章中將得出結論與探討未來展望。

5

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

第二章 相關研究

因為擁有相機功能的手持式裝置愈來愈普及，大量的數位內容也因此產生。各式的多媒 體檢索、傳播方法與互動敘事的議題在近年來成為大家討論的議題。在本章我們會介紹 與探討資料檢索、多媒體檢索、互動檢索、互動敘事以及多媒體社群網絡傳播等相關研 究。最後則會說明本論文所設計的敘事回憶平台是如何結合上述的方法所構思出來的系 統架構。

2.1 多媒體檢索

所謂的多媒體資料是指由數位裝置所產生的內容，例如：數位相片、影片等資料。隨著 數位媒體技術和應用的發展，像是小型的數位相機、專業的數位單眼相機，手持式攝影 機等硬體設備的產生，加上價格平實的驅使，讓使用數位裝置的人愈來愈多，因此產生 大量的數位多媒體資料。一旦資料大量產生後，人們就會有儲存以及檢索需求。就好比 資料庫就是將大量資料以結構化的方式儲存，並配合其結構所發展的檢索方法。而多媒 體資料檢索的方式大致可分為二種，一種是內容本位檢索(content-based retrieval)，另一 種是關鍵字本位檢索(keyword-based retrieval)。所謂內容本位檢索(content-based retrieval) 最早是由 Kato 在 1992 提出[8]，是指用來形容他的實驗中，自動從資料庫裡擷取圖片中 的顏色與形狀數據，並藉由顏色和形狀特徵的圖像檢索。後來被廣泛使用在描述多媒體 檢索的過程中，可以自動從多媒體圖像本身的一個大集合中提取基礎上特徵（如顏色，

紋理和形狀）。而關鍵字本位檢索(keyword-based retrieval)是利用檢索多媒體物件中的 後設資料(metadata)來達成檢索的目的。而後設資料(metadata)的定義是指在多媒體物件 中，通常會用關鍵字來表達此多媒體物件的本身對於使用者/擁有者的個人意義，例如:

6

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

產生的日期、位置、主題、個人對於此物件的關鍵詞(term)定義，而這些有語意的資訊 通常被簡稱為後設資料(metadata)[9] 。而本論文中使用數位相片做為敘事創作的素材，

而數位相片也是多媒體物件之一。本研究在檢索方法的評估中認為 A. Kuchinsky et al.[9]

提出的後設資料定義能符合使用者對於相片在於語意上特徵的定義，所以本文所提出的 回憶敘事創作平台是以後設資料裡的關鍵字做為相片分類描述，並以關鍵字本位檢索方 法做為本研究的檢索方式。

2.2 資訊檢索與互動檢索

當人們處於大量資料爆炸的時代，如何尋找有用的資料開始為人們所重視。而電腦的發 展，讓資料產生的非常迅速，所以早在 1950 年代即有討論資訊檢索(Information Retrieval) 的議題，但最重要的發展因素則是於網路開始發展以及應用後，由於網頁是使用文字的 方式組成，而大量的非結構化文字資料充斥於網路上，人們開始有了資訊檢索的需求。

根據上述的說明，資訊檢索主要的觀點在於當使用者檢索關鍵字詞時，如何有效率的在 大量的文本資料中找到使用者「想要的資料」(Recall)以及「正確的資料」(Precision)。

而資訊檢索(Information Retrieval)的相關研究則是在探討如何將這兩個條件的聯集做到 最大化。根據 A. Singhal 在 2001 年發表的現代資訊檢索模型概觀的論文中[10]得知，為 了達到資訊檢索的準確度，在資訊檢索的技術中，有三種主要的資訊檢索模型，一種是 向量空間模型，一種是機率模型，另一種是推論網路模型。第一種模型是利用向量空間 的記錄方式，將文本中的詞彙建立於向量空間的維度中。再藉由相似度的計算來找到適 合的回饋結果。而機率模型是將文本的資料當作集合為一系列的關聯原則，藉由機率模 型的計算方法，以機率的排名原則做為關聯的相似度排名，並回饋結果。一般會稱這樣 的模型為 PRP(Probabilistic Ranking Principle)[11]。而第三種推論網路模型(Semantic Information Retrieval)是結合上述兩種模型定義，再加上長期使用者的反饋與字詞權重的

7

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

計算設定，藉由機器學習的方式，使得準確度經由回饋累積的方式提高，而非由固定模 型演算法定義出的計算方式來回饋給使用者資訊檢索的結果[12]。其中如 google 的搜尋 引擎就是藉由這種方式來實現資訊檢索的技術。而互動檢索(Interactive Retrieval)的技術 是建立於資訊檢索(Information Retrieval)的基礎上，資訊檢索是透過字詞的頻率來作為 文件與使用者查詢之間的相關程度的檢索技術[13]。而互動檢索大多是用在特定的檢索 面向，例如:電子商務或是主題式的網頁檢索的需求上。由於大量的文本資料充斥於網路 上，如果只是利用傳統的資訊檢索技術，一來是檢索結果不見得為真正人們所想得到的 結果，二來是如何下正確的關鍵字來進行檢索問題也困擾著使用者。為了提供更有效的 檢索方式，因而有了互動檢索的理論。互動檢索起源於 1960 年代開始提出的關聯式回 饋想法，這樣的構想來自於若能根據使用者的回饋，重新調整檢索的方法，就能更精確 的達到使用者的需求資訊。因此，開始有相關的研究是致力於個別型態的檢索，根據使 用者反饋不同的面向或感興趣的資訊，來加強檢索結果的穩合度。例如，在[14]中提出 一個用於電子商務上的檢索，其方法為文本中利用關鍵字代號與值的配對(facted-value pair)格式，加註成後設資料(metadata)，讓使用者利用作者設定的布林模型(boolean model) 進行面向的檢索，再經由使用者的回饋，根據作者提出的軟性模型(soft model)，調整權 重進行檢索結果的調整，以達到互動檢索的目的。從上述的互動檢索的研究中發現一個 主要的重點：權重。權重的加權調整，可以讓靜態的模型根據回饋資訊而產生不同的結 果變化，例如：J. Schuman et al的論文[15]研究中，說明如何利用調整權重的方式，去 改良 TREC Genomics 2006 的資訊檢索系統。由此可知，在互動檢索的方法中，權重的 比例是動態的資訊檢索的關鍵。由於本研究所提出的是互動敘事創作平台，在創作的過 程中，我們藉由檢索的結果來進行相片的推薦，所以在推薦檢索的演算法設計裡，憑著 與使用者互動的回饋，進行屬性的權重比例變化，調整推薦說故事的相片方向。我們也 期望此方法能幫助使用者在說故事的創作上能有結構性的感覺。

8

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

2.3 多媒體與互動敘事探討

由於電腦技術的快速發展，多媒體與互動敘事研究也已有多年，在微軟研究中心，有一 系列的MyLifeBits的相關研究。這系列的研究主題以個人的多媒體倉儲為主，其中一篇 將個人生活照片轉化成一個照片商店，再將照片的metadata儲存在資料庫中，並實作一 套ISBQ(Interactive story By Query)的演算法，利用query的方式檢索照片並支援slide和 time sheet展示方法來做為日常生活的敘事方式。而N. Lin et al.[16]提到，以往對於互動 敘事的研究中有2種不同的方式，各有不同的重點，一種是協助故事生成方法(generative approach)，此方法偏重於討論電腦系統能根據一些敘事結構下的規則，自動化或半自動 化的協助使用者生成故事。例如，C.-H. Chen et al.[17]提出利用使用者與虛擬系統進行 互動的環境，針對互動敘事的進展進行虛擬攝影機的規劃，就傾向於第一種研究方法。

另一種則是溝通方法(communications approach)，此方法偏重於是為了人與人之間的傳播 /分享訊息而產生的互動式電腦系統。例如:M. Balabanović et al. [18]提出，把存放在可 攜式裝置的照片，利用故事結構的方式組織相片，使它可以很容易地觀看且對不同的使 用者可傳遞不同的對話焦點。而多媒體檔案要與敘事結合，必須要能定義出能提供敘事 的結構，而且多媒體(例如相片)本身並無文字的說明，若讓使用者和系統之間達成互動 敘事的目的，就必需要有一些連結性，K. M. Brooks[19]在論文裡引用Goldman-Segall et al.

提出的一個簡單的互動敘事系統架構(Simple artist-story-audience structure, with

feedback )裡面提到互動敘事中許多重要的關鍵因子，編輯者與觀眾的連結在於電腦系統 的解讀與觀眾的回饋，進而延伸出一套敘事代理架構，將電腦系統與觀眾的反饋結合，

再加入story framework的機制，使得敘事者可以藉由framework建立基礎故事版型，再藉 由代理架構將編輯者與觀眾之間的互動產生出故事，如圖 2.1所示。

9

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

圖 2.1 透過代理機制的故事創作產出架構(K. M. Brooks,1997)

在2004年時，P. Appan et al.[5]於論文中提出一個多重事件模組(Multi-Event Model)。

此模型定義相片的字詞以建立相片事件與時間的關聯性，並提出敘事關聯結構演算法，

也是透過代理機制協同故事創作的方法。而本論文雖然與P. Appan [5]一樣是使用相片來 進行敘事的研究，但在Appan的研究中，著重於藉由使用者對於相片定義的關聯性來自 動化組成相片故事。而本論文中所定義的相似度演算法說故事代理架構機制，則是著重 於利用故事版型對於屬性的設定，將相片檢索出一組故事框架推薦給使用者，再透過與 使用者互動，即時進行推薦，來幫助使用者進行敘事創作。

2.4 互動敘事與電腦系統之探討

根據2.3小節中我們了解到互動敘事的創作需要一個所謂的「代理機制」，而這個「代理 機制」我們根據相關研究將他定義成輔助創作的電腦系統。在Y.-T. Chang [20]的論文中

Story Framework

Audience Artist(s)

Story Agent Reasoning

Story Agent Reasoning