以相片為基礎的互動敘事創作平台 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學. 以相片為基礎的互動敘事創作平台 Photograph-based Interactive Storytelling Platform. ‧ er. io. sit. y. Nat. n. a l 研究生：林珮珊i v n Ch U engchi 指導教授：李蔡彥. 中華民國一百零二年七月 July 2013.

(2) 誌謝辭這篇論文，終於寫到謝辭的地方了，回顧這三年的研究所生涯，發現自己獲得了很多。在考上研究所前，我從來沒想過自己能擁有碩士學歷。甚至，在考上研究所後，總覺得自己無法寫出一篇屬於自己的論文。回首這段日子，就像做了一場夢一樣，酸甜苦辣都歷歷在目。所幸，這段日子在老師、同學、朋友與家人的各種幫助下，真的完成了我的碩士論文。. 政治大不吝付出他的家庭時間，與只能在晚上 meeting 的我開會(因為白天我要上班)；並不厭立. 首先，我想感謝的是我的指導老師李蔡彥教授，即使他身兼學校繁忙的行政職務，依舊. ‧ 國. 學. 其煩的聽我各式各樣的想法，為我解決論文上的疑惑。我在李教授身上獲得最大的啟發就是：我漸漸了解研究的意義。也更了解自己應加強的地方在哪裡。. ‧ sit. y. Nat. 再來，我要感謝的是 lab 的同學，歡樂的相處與不吝相互幫助的氣氛，讓我又重新獲得. al. er. io. 當學生的樂趣。尤其要感謝 Helen、小蜜蜂和小顧，這三位同學在我最後的論文衝刺與. v. n. 口試階段給我很大的協助，讓我能順利的完成我人生中的大事。接著，我想感謝一下我. Ch. engchi. i n U. 的同學：Mini、奕慶、宏軍、國獻等同學以及我大學同學在政大變成我學姐的瑋鈴對我的支持與鼓勵。尤其是 Mini、奕慶與瑋鈴。Mini 是個很可愛的小妹妹，是班上年紀最小，但能力很好。我們一起努力完成我們的碩論，也一起度過了最艱辛的一刻。而奕慶是在我工作與學業間的貴人，在我思考如何轉換就業跑道也要能兼顧學業的時候，將公司寶貴的職缺介紹給我；很高興我能受到趨勢科技的賞識，也很謝謝我職場上的同仁們對我的體貼。而瑋鈴，則是我不能漏掉感謝的一位同學。大學時，由於我們是轉學生，自然成為不錯的朋友，大學生活雖然短暫，但畢業後，雖然大家忙碌，但她還是常常的與我們連繫，重要的是，當她知道我也要考政大碩專班時，提供了我很多幫助，在最後寫論文的期間，她也給了我很多的鼓勵。她的真誠與親切，讓我感覺到溫暖。所以，在.

(3) 這致謝的一刻，當然不能漏掉她囉!. 在碩班這三年的期間，後二年我住在宿舍，也因此認識了二位可愛的室友，一位是趴趴、一位靖芝。二位妹妹都很好相處，也讓我各自打擾了一年的早晨鬧鐘。碩班生活因為有她們的陪伴，讓我自在且不孤單的完成我的學業。. 當然，能完成這篇碩論還有一群很重要的功臣，就是我的實驗受測者。寫故事不是件容. 政治大. 易的事，但受測同學都很盡心的幫我測試，超過時間也可以體諒，我真心的感謝他們。. 立. 最後，我要感謝的是我的家人與男友，我的家人在我決定要念書時對我的支持與常不在. ‧ 國. 學. 家的體諒。而我的男友應該算是在我碩班就讀期間承受最大壓力的人吧!因為每當我有. ‧. 挫折或是壓力時，常常都會把壓力轉換到他身上，也很感謝他這一路來對我的支持與鼓. y. Nat. 勵，並且在我有瓶頸時，給我很多的建議，沒有他，這個學位恐怕不會這麼順利的完成，. er. io. sit. 謝謝你，我最深愛的未來老公。. al. n. v i n 最後的最後，我要感謝我生命中最重要的兩個女人，一個是我媽媽，雖然，她在上天無 Ch engchi U 法陪著我完成我人生中的每項大事，但感謝她把我養育為一個獨立堅強的人；另一個則為我的阿嬤，感謝她為了我們全家的付出，甚至代替我的母親照顧我們。雖然我的脾氣不好，常惹她生氣，但她還是持續的為我們奉獻，這個碩士學位得來不易，也希望獲得這個學位的我，能讓他們感到驕傲。這一路上要感謝的人真的很多，還有很多沒提到的老師與同學，不是不感謝，是真的太多太多的人了，無法一一說出(我終於懂謝天的意義了)，希望在未來的人生旅途上，我也能像這些人一樣的幫助到別人。再次，衷心的感謝每位幫助我的人，謝謝。珮珊 2013.07. i.

(4) 以相片為基礎的互動敘事創作平台. 摘要. 由於數位化時代的來臨，人們擁有大量的數位相片，如能將這些照片回憶與互動敘事結合，不僅可以改善使用者在觀看大量相片所需的時間，也可. 政治大以幫助使用者述說故事，增加照片的價值。我們發現過去以照片為主題的立. ‧ 國. 學. 相關研究，重點皆在於如何自動化的產生標籤[3]以及影像分析，但以相片. ‧. 做為互動敘事的研究很少。本研究主要目的在於提出一套利用數位相片為. sit. y. Nat. 素材，設計以回憶及相片進行敘事的創作平台，讓不同使用者在敘事創作. er. io. 的過程中，可以回憶過往，也可激發創意思考，讓相片瀏覽有不同的體驗. n. a. v. l C 和感受。此平台的架構是利用拍攝者對於相片加註的關鍵字做為分析，提 ni. hengchi U. 出一套分析資料庫中所有照片相似度的演算法，做為回憶敘事的範本，再根據與使用者的互動，產生新的相片故事本，以達到每次進入系統時都可得到不同的體驗。我們邀請了受測者對該平台進行實驗，並設計三種(1)隨機(2)靜態(3)動態參考點挑選法做為驗證演算法的可行性分析，最後藉由問卷訪問回饋，以量化方式評估及驗證該回憶創作平台的有效性與易用性。本研究發現受測者在「關鍵字型態」的故事版型與動態參考點挑選法的組. i.

(5) 合下較能達成輔助創作的目的。因為明確的故事版型定義才能帶給使用者產生故事版型的認同感，系統所推薦的敘事照片方較能達到使用者的預期，而照片中的時間與地理資訊只能做為輔助檢索的元素。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i. i n U. v.

(6) Photograph-based Interactive Storytelling Platform. Abstract. With the advent of the digital era, there is an exponential growth of digital photos and images. By combining photo memories and interactive storytelling,. 政治大. we can not only reduce the amount of time needed for exhaustively browsing. 立. large photo collections, but also help a user narrate a story and value up the. ‧ 國. 學. existing photos. We observe that most of previous photo-based researches focus on the topics of automatically generating photo tags and doing image analysis,. ‧. but rarely dedicate their efforts to photo-based interactive storytelling. In this. sit. y. Nat. work, a creation platform for narrating stories based on memories and photos is. er. io. proposed. The system allows a user to reminisce the past and stimulates creative. n. a of story creation, which thinking during the process v turns traditional photo browsing into a. i l C n h e nand totally different h i U experience. g cpleasant. In the proposed. platform, keywords annotated in photos are used for similarity comparison, and similar photos are then extracted for serving the templates of narrative memory. A new story- or event-based photo album is eventually generated based on the interaction between the system and the user. Therefore, every use of the system is a whole new experience for a user since the system always dynamically delivers related content to users according to their responses and feedbacks.. We invited users to participate in the platform experiment with different content iv.

(7) delivery methods, including 1) random, 2) static, and 3) dynamic, to verify the feasibility of the proposed algorithm. Based on the interviews and questionnaires collected from the users, a quantitative analysis is conducted to verify the effectiveness and usability of the proposed platform. Through the experiment, we observe that the proposed system can evidently help user in story creation under the setting of the keyword-based story layout and the method of dynamically adjustive selection. The reason could be that an explicit. 政治大 suggested by the proposed platform can better match user's expectation. In 立 story layout can be relatively easier to acquire user's recognition, and the photos. ‧ 國. 學. contrast, time and location information in a photo can only be used for supplementary retrieval filter only.. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. v. i n U. v.

(8) 目錄第一章導論 ......................................................................................................................... 1 1.1 研究動機 ............................................................................................................ 1 1.2 研究背景與目標 ................................................................................................ 2 1.3 研究貢獻 ............................................................................................................ 3 1.4 章節說明 ............................................................................................................ 5 第二章相關研究 ................................................................................................................. 6 2.1 多媒體檢索 ........................................................................................................ 6 2.2 資訊檢索與互動檢索 ........................................................................................ 7 2.3 多媒體與互動敘事探討..................................................................................... 9 2.4 互動敘事與電腦系統之探討 ........................................................................... 10 2.5 資訊科技的評估探討 ...................................................................................... 11 第三章系統平台與分析 .................................................................................................... 14 3.1 相片資訊的萃取方法 ...................................................................................... 14 3.2 敘事特徵分析與數位相片標記屬性定義........................................................ 14 3.3 相似度模型分析 .............................................................................................. 16 3.4 圖型化網絡分析 .............................................................................................. 20 3.4.1 簡化分析-資料過濾 ................................................................................... 21 3.4.2 相似度模組驗證 ......................................................................................... 22 3.5 系統設計 .......................................................................................................... 27 3.5.1 故事版型與故事型態 ................................................................................. 28 3.5.2 相片檢索方法 ............................................................................................ 28 3.6 互動敘事創作方法設計................................................................................... 32 3.7 小結 ................................................................................................................. 37 第四章系統架構與建置 .................................................................................................... 38 4.1 故事版型定義 .................................................................................................. 38 4.2 故事版型參數定義 (config.XML) .................................................................. 40 4.3 敘事創作回憶平台架構................................................................................... 45 4.3.1 模組介紹 ..................................................................................................... 47 4.3.2 系統功能介紹 ............................................................................................. 47 4.4 實作系統環境配置與介紹 ............................................................................... 57 4.4.1 系統環境與工具環境介紹 ......................................................................... 57 4.4.2 系統平台介紹 ............................................................................................ 58 4.5 小結 ................................................................................................................. 65 第五章實驗設計與結果分析 ............................................................................................ 66 5.1 演算法有效性評估設計................................................................................... 66. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vi. i n U. v.

(9) 實驗故事版型 .................................................................................................. 69 5.2.1 關鍵字型態-城市光廊 ................................................................................ 69 5.2.2 日期型態-大時代 ........................................................................................ 70 5.2.3 空間型態-亞洲實況 .................................................................................... 71 5.3 實驗流程 .......................................................................................................... 71 5.4 實驗評估 .......................................................................................................... 73 5.4.1 問卷設計 .................................................................................................... 73 5.5 實驗結果與分析 .............................................................................................. 79 5.5.1 問卷回饋信度分析..................................................................................... 79 5.5.2 描述性統計分析 ........................................................................................ 82 5.5.3 實驗方法顯著分析..................................................................................... 88 5.6 小結 ................................................................................................................. 99 第六章結論與未來展望 .................................................................................................. 101 6.1 結論 ............................................................................................................... 101 6.2 未來展望 ........................................................................................................ 101 參考文獻 ........................................................................................................................... 103 [附錄一] ............................................................................................................................ 105 [附錄二] ............................................................................................................................ 106 5.2. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.

(10) 圖目錄 2.1 透過代理機制的故事創作產出架構(K. M. Brooks,1997) ...................................... 10 3.1 數據圖型化的網絡分析工具介面 .......................................................................... 21 3.2 簡化分析 ................................................................................................................ 22 3.3 關鍵字模型-相似度分析 ........................................................................................ 23 3.4 相似度的群聚性 ..................................................................................................... 26 3.5 gephi’s modularity class(網絡模組分類)與本研究中定義的相似度模型比較 ..... 27 3.6 相片檢索設計概念圖 ............................................................................................. 29 3.7 各相片遞減函數示意圖 ......................................................................................... 32 3.8 互動動態參考點示意圖 ......................................................................................... 34 3.9 故事轉折點示意圖 ................................................................................................. 35 4.1 照片庫的網絡圖 ..................................................................................................... 39 4.2 經過故事版型過濾後的網絡圖 .............................................................................. 39 4.3 風景照相關的故事版型 ......................................................................................... 40 4.4 故事版型定義格式(config.xml) .............................................................................. 40 4.5 敘事回憶平台架構圖 ............................................................................................. 46 4.6 敘事回憶平台系統功能圖...................................................................................... 48 4.7 關鍵字型態故事版型結果-城市主題 ..................................................................... 52 4.8 時間型態故事版型結果(2010/1/1~2012/1/1) ......................................................... 53 4.9 以地點型態的故事版型結果-(35.700802,139.690361) .......................................... 54 4.10 動態檢索循環模型 ............................................................................................... 55 4.11 skip 的變換效果.................................................................................................. 56 4.12 MEMOTORY 系統操作流程圖 .......................................................................... 59 4.13 故事版型選擇介面 ............................................................................................... 60 4.14 敘事相片推薦介面 ............................................................................................... 61 4.15 推薦敘事相片區操作方法.................................................................................... 62 4.16 敘事編輯區........................................................................................................... 63 4.17 敘事編輯區-內容編輯 .......................................................................................... 63 4.18 輔助敘事變化功能區 ........................................................................................... 64 4.19 敘事結果介面 ....................................................................................................... 65 5.1 隨機挑選法............................................................................................................. 67 5.2 靜態挑選法............................................................................................................. 68 5.3 動態參考點挑選法 ................................................................................................. 69 5.4 實驗流程 ................................................................................................................ 72 5.5 使用者對於數位相片處理習慣調查 ...................................................................... 83 5.6 數位相片於敘事創作的接受程度 .......................................................................... 84. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖. Ch. engchi. viii. i n U. v.

(11) 圖 5.7 系統有用性整體表現 ............................................................................................. 86 圖 5.8 易用性統計分數 ..................................................................................................... 87. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. ix. i n U. v.

(12) 表目錄 3-1 相片屬性定義(包含關鍵字、空間、時間分類模型) ............................................ 15 3-2 相似度群聚性實例說明 ......................................................................................... 24 4-1 XML 標籤元素基本定義 ........................................................................................ 41 4-2 正負向條件屬性定義 ............................................................................................. 42 4-3 關鍵字特徵標籤定義 ............................................................................................. 44 4-4 關鍵字故事版型設定範例 ..................................................................................... 50 5-1 城市光廊故事版型設定表 ..................................................................................... 69 5-2 第一階段-使用者背景調查問卷說明..................................................................... 74 5-3 第二階段-認知有用性問題 .................................................................................... 76 5-4 第三階段-認知易用性問題 .................................................................................... 78 5-5 信度量表 ................................................................................................................ 79 5-6 有用性-可靠性統計量............................................................................................ 80 5-7 有用性-項目整體統計量 ........................................................................................ 80 5-8 易用性-可靠性統計量............................................................................................ 81 5-9 易用性-項目整體統計量 ........................................................................................ 81 5-10 面向 A:該系統對於使用者是有用的 ................................................................... 84 5-11 面向 B:改善使用者工作效率分析 ....................................................................... 85 5-12 面向 C:增加該操作行為的熱情 ........................................................................... 86 5-13 該平台的實用性評估 ........................................................................................... 87 5-14 第二階段問卷-有效性分析(面向 A)-城市光廊(描述性統計).............................. 89 5-15 第二階段問卷-有效性分析(面向 A)-城市光廊(ANOVA) ................................... 90 5-16 第二階段問卷-有效性分析(面向 A)-城市光廊(Post Hoc 檢定) .......................... 91 5-17 第二階段問卷-有效性分析(面向 A)-大時代(描述性統計) .................................. 92 5-18 第二階段問卷-有效性分析(面向 A)-大時代(ANOVA) ....................................... 93 5-19 第二階段問卷-有效性分析(面向 A)-大時代(Post Hoc 檢定) .............................. 93 5-20 第二階段問卷-有效性分析(面向 A)-亞洲實況(描述性統計).............................. 96 5-21 第二階段問卷-有效性分析(面向 A)-亞洲實況(ANOVA) ................................... 96 5-22 第二階段問卷-有效性分析(面向 A)-亞洲實況(Post Hoc 檢定) .......................... 97 5-23 第二階段問卷-有效性分析(面向 A)-動態調整挑選法(描述性統計) .................. 98 5-24 第二階段問卷-有效性分析(面向 A)-動態調整挑選法(ANOVA) ........................ 98 5-25 第二階段問卷-有效性分析(面向 A)-動態調整挑選法(Post Hoc 檢定)............... 99. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表. Ch. engchi. x. i n U. v.

(13) 公式目錄 3-1) ............................................................................................................................... 17 3-2) ............................................................................................................................... 17 3-3) ............................................................................................................................... 18 3-4) ............................................................................................................................... 18 3-5) ............................................................................................................................... 18 3-6) ............................................................................................................................... 19 3-7) ............................................................................................................................... 19 3-8) ............................................................................................................................... 20 3-9) ............................................................................................................................... 30 3-10) ............................................................................................................................. 30 3-11) ............................................................................................................................. 30 3-12) ............................................................................................................................. 31 3-13) ............................................................................................................................. 33 3-14) ............................................................................................................................. 34 3-15) ............................................................................................................................. 34 3-16) ............................................................................................................................. 36 3-17) ............................................................................................................................. 36 3-18) ............................................................................................................................. 36 4-1) ............................................................................................................................... 49 4-2) ............................................................................................................................... 51 4-3) ............................................................................................................................... 51. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式 (式. Ch. engchi. xi. i n U. v.

(14) 第一章導論 1.1 研究動機還記得多年前，收藏相片的方式皆將相片沖洗出來放進一本本的相簿裡收藏，而要回憶時則是將一本本的相簿拿出來觀看的年代嗎?近幾年由於數位科技的發展迅速，拍照的工具愈來愈多元，從傳統的相機發展到數位相機，到現在任何的手持式裝置皆能擁有拍. 治政照的功能。由於設備的普及，產生了許多的數位相片，而人們收藏及回憶照片的方式也大立不同了。有些人是購買數位相框，放置於生活中替代傳統相本，有些人則是上傳至線上 ‧ 國. 學. 數位相簿(flickr 1, picasa 2…)收藏分享，而有些人則是放置社群網站 (Yahoo!奇摩部落格3,. ‧. facebook4, google plus 5…)以分享經驗的方式展示。台灣在使用網路平台分享生活點滴的使用者也日漸上升。根據CTIMES雜誌在2012/12/13報導，comScore Media Metrix 6於2012. y. Nat. io. sit. 年10月數據顯示，1,141萬名不重複使用者在10月曾造訪社群類型網站，佔台灣全體網. n. al. er. 路使用者96.8%[1]。由此可知人們對於分享數位相片的工具需求量極大，而人們需求不. Ch. i n U. v. 光是只是將照片分享於網路上，也是記憶的典藏。因為拍攝者在捕捉畫面瞬間的同時，. engchi. 每張照片也都代表著不同的回憶產生；就如同婚禮上新人會將雙方的照片設計成一套有意義的幻燈片，裡面包含了倆人成長以及相知相守的故事，以便可以分享並傳播相片裡的情感故事。換言之，以照片說故事(Storytelling)是一直以來人們經常進行的活動，但如何從數以萬計的個人數位相片中挑選出適合創作主題故事，且能根據使用者回饋改變故事主軸。藉由非線性的敘事方法，透過電腦系統的輔助，讓使用者創造唯一又多變的. 1 2 3 4 5 6. "Flickr," in http://www.flickr.com/ "Picasa," in http://picasa.google.com/ "Yahoo!奇摩部落格," in http://tw.blog.yahoo.com/ "facebook," in https://www.facebook.com/ "google plus," in https://plus.google.com/up/search "comScore Media Metrix," in http://www.comscore.com/Products/Audience_Analytics/Media_Metrixs 1.

(15) 故事文本，就成了本文的研究重點。. 1.2 研究背景與目標本論文主要在探討如何透過個人數位相片(而非專業的劇照或宣傳照)中的EXIF數位資訊(標記、相片日期、相片位置)做關鍵字(tag[2])屬性分析，並為屬性定義事件模型，建立一套協助使用者回憶的互動敘事創作平台。目前有許多線上分享照片的工具提供關鍵. 政治大. 字標記功能，目的在於為數位相片提供具有提示或提醒的描述，因而有論文探討如何運. 立. 用語意分析建立推薦的標籤[3]。當然，在數位相片添加關鍵字是重要的行為，因為關鍵. ‧ 國. 學. 字是相片意義的聯結，而位置與時間則是開啓記憶重要的關鍵[4]，但本論文不在討論如何有效率的為相片建立標籤，而是利用照片標籤的意義性，做為回憶敘事創作的構想，. ‧. 並通過互動的方式，讓相片的故事活起來。. Nat. sit. y. 現今，許多社會學研究指出社群網絡蓬勃發展的關鍵，是因人與人之間分享而連結. n. al. er. io. 起來[2]，而本論文想利用說故事的方式來展示相片則是希望能提升觀賞者的參與感。再. i n U. v. 者，以相片說故事，不應被侷限於相同的人說相同的故事，甚至為不同的觀眾以相同相. Ch. engchi. 片說不同的故事，應是動態取決於說書者與觀眾之間的關係[2]。所以本論文的構想來源是，每當要分享相片時，如果把相片當成敘事創作的素材，而在每次創作時如能因地制宜，那相片敘事創作出來的結果便是獨一無二的。且照片不只是在於分享，有時也會是有自行回憶行為產生；當人們想要回憶過去，找出某個主題的照片時，往往會耗費很多的時間在搜尋過往的照片，而且如果只是平淡的看完所有的照片，也很枯燥乏味。本文中提出的回憶敘事創作平台是為了分享照片故事，透過演算法構成的推薦方法，不僅帶給照片擁有者一些不一樣的回憶靈感來源，也讓此系統也成為一個互動式的自身回憶創作平台。. 2.

(16) 本論文的研究目標希望能利用互動敘事創作平台為人們解決瀏覽大量數位相片時的枯燥感，並改善檢索及瀏覽大量相片所花費的時間，希望能透過此平台帶來不同的創意激發，尤其是讓非專業的創作者也可以透過相片說故事的方式來自行創作屬於自己的回憶故事書。為了建立本論文提出的互動敘事創作回憶平台，我們將每張照片都當作是說故事中的一片拼圖，並以相片的標籤來當作描述相片的主要條件，為了使相片標籤的分類能達到故事拼圖的效果，我們根據Rabiger(2000)所提出的， CLOSAT(Character,Location,Object,Situation,Action,Theme)以及[5][6]提出的Event Model，. 政治大. 將該回憶敘事創作平台裡的相片標籤分別定義六種主要屬性"人"、"事"、"時"、"地"、". 立. 物"、"情感"為相片的事件的分析條件，其中提供"人"、"事"、"物"、"情感"這四種屬性. ‧ 國. 學. 的關鍵字(tag)讓使用者給予標記在EXIF[7]相片資訊中(而時間、GPS資訊在相片的 EXIF[7]本身就存在著)。接下來系統的演算法是分別以3種不同模型(1)關鍵字模型、(2). ‧. 空間模型、(3)時間模型的相似度計算方式，加上與使用者的互動，系統動態調整個別關. Nat. sit. y. 鍵字的條件權重，以找出推薦給使用者的候選照片。我們設計了互動創作平台的實驗，. n. al. er. io. 目的在於評量本論文所設計的屬性模型是否達到相片拼圖的效果，以及相似度演算法是. i n U. v. 否能帶給使用者在創作上的幫助。在實驗的過程中，我們以相片屬性設計不同的故事版. Ch. engchi. 型當作檢索的方法，也在每個故事版型給予3種挑選法(1)隨機挑選法(Random selection)、 (2)靜態挑選法(Static template selection)、(3)動態參考點挑選法(Dynamically adjustive selection)進行測試，並讓受試者以統計問卷的方式回饋結果，以驗證該回憶敘事創作平台的可用性及易用性。. 1.3 研究貢獻本論文的貢獻包含： . 互動敘事回憶創作平台 3.

(17) 本論文所設計的互動敘事回憶平台致力於如何引起相片擁有者在不花費大量的時間下，主動回憶瀏覽過往的照片。並在回憶瀏覽照片的同時，達到不枯燥又有獨特性。此平台一方面可以提供使用者利用故事框架過濾出大量相片中的一部分相片，解決瀏覽者想要搜尋特定照片的需求。另一方面，利用敘事創作來增加瀏覽相片的興趣以及激發作者的想像力。使得瀏覽者不只是單純的看照片，而是在瀏覽相片的過程中，也成為一個說故事的創作者。. . 故事版型檢索方法. 立. 政治大. 在相片檢索的方法，本論文提出一個故事版型檢索的概念。本研究將相片的後設資. ‧ 國. 學. 料設計成五大特徵人、事、時、地、物、感情，並在人、事、物、感情的四項特徵. ‧. 裡訂立不同的屬性做為相片的關鍵字描述，且利用不同的屬性組合作為故事版型的. sit. y. Nat. 設定。在此故事版型的組合裡，我們為每個屬性設定比重，並利用三種相似度模型. io. er. -關鍵字模型、空間模型、時間模型定義故事版型演算法。本研究利用上述的方法，以該版型的故事框架做為相片的檢索方法。此種檢索方式好處是讓檢索設定可以保. al. n. v i n Ch 持彈性且容易變動。這樣的故事版型檢索概念在互動敘事應用領域中是一種創新的 engchi U 嘗試。. . 推薦相片的靜/動態參考點方法在敘事創作的過程中，本論文提出靜態、動態參考點的方法，推薦敘事創作的相片。我們利用每張相片裡記錄的後設資料，將其轉換為座標點；並將故事版型設定轉換為靜態參考點，並利用相似度公式計算出相似度高的相片做為推薦相片。在互動敘事的過程中，可以自動調整參考點，以改變推薦敘事方向。這樣的方式不僅可以達. 4.

(18) 到貼近創作者的思考意向，更能符合互動敘事創作的精神。. 1.4 章節說明本文其餘結構如下:第二章將會討論數位媒體傳播方法、互動敘事平台與社群網絡等的相關研究。第三章將詳細說明該回憶敘事創作平台資料分析與系統設計，而第四章則是利用第三章的系統設計實作下的系統架構說明；並在第五章中描述實驗設計與最後結果. 政治大. 分析。在第六章中將得出結論與探討未來展望。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 5. i n U. v.

(19) 第二章相關研究因為擁有相機功能的手持式裝置愈來愈普及，大量的數位內容也因此產生。各式的多媒體檢索、傳播方法與互動敘事的議題在近年來成為大家討論的議題。在本章我們會介紹與探討資料檢索、多媒體檢索、互動檢索、互動敘事以及多媒體社群網絡傳播等相關研究。最後則會說明本論文所設計的敘事回憶平台是如何結合上述的方法所構思出來的系統架構。. 立. 政治大. ‧ 國. 學. 2.1 多媒體檢索. ‧. 所謂的多媒體資料是指由數位裝置所產生的內容，例如：數位相片、影片等資料。隨著數位媒體技術和應用的發展，像是小型的數位相機、專業的數位單眼相機，手持式攝影. y. Nat. io. sit. 機等硬體設備的產生，加上價格平實的驅使，讓使用數位裝置的人愈來愈多，因此產生. n. al. er. 大量的數位多媒體資料。一旦資料大量產生後，人們就會有儲存以及檢索需求。就好比. Ch. i n U. v. 資料庫就是將大量資料以結構化的方式儲存，並配合其結構所發展的檢索方法。而多媒. engchi. 體資料檢索的方式大致可分為二種，一種是內容本位檢索(content-based retrieval)，另一種是關鍵字本位檢索(keyword-based retrieval)。所謂內容本位檢索(content-based retrieval) 最早是由 Kato 在 1992 提出[8]，是指用來形容他的實驗中，自動從資料庫裡擷取圖片中的顏色與形狀數據，並藉由顏色和形狀特徵的圖像檢索。後來被廣泛使用在描述多媒體檢索的過程中，可以自動從多媒體圖像本身的一個大集合中提取基礎上特徵（如顏色，紋理和形狀）。而關鍵字本位檢索(keyword-based retrieval)是利用檢索多媒體物件中的後設資料(metadata)來達成檢索的目的。而後設資料(metadata)的定義是指在多媒體物件中，通常會用關鍵字來表達此多媒體物件的本身對於使用者/擁有者的個人意義，例如:. 6.

(20) 產生的日期、位置、主題、個人對於此物件的關鍵詞(term)定義，而這些有語意的資訊通常被簡稱為後設資料(metadata)[9] 。而本論文中使用數位相片做為敘事創作的素材，而數位相片也是多媒體物件之一。本研究在檢索方法的評估中認為 A. Kuchinsky et al.[9] 提出的後設資料定義能符合使用者對於相片在於語意上特徵的定義，所以本文所提出的回憶敘事創作平台是以後設資料裡的關鍵字做為相片分類描述，並以關鍵字本位檢索方法做為本研究的檢索方式。. 2.2 資訊檢索與互動檢索. 立. 政治大. 當人們處於大量資料爆炸的時代，如何尋找有用的資料開始為人們所重視。而電腦的發. ‧ 國. 學. 展，讓資料產生的非常迅速，所以早在 1950 年代即有討論資訊檢索(Information Retrieval). ‧. 的議題，但最重要的發展因素則是於網路開始發展以及應用後，由於網頁是使用文字的. sit. y. Nat. 方式組成，而大量的非結構化文字資料充斥於網路上，人們開始有了資訊檢索的需求。. io. er. 根據上述的說明，資訊檢索主要的觀點在於當使用者檢索關鍵字詞時，如何有效率的在大量的文本資料中找到使用者「想要的資料」(Recall)以及「正確的資料」(Precision)。. al. n. v i n Ch 而資訊檢索(Information Retrieval)的相關研究則是在探討如何將這兩個條件的聯集做到 engchi U. 最大化。根據 A. Singhal 在 2001 年發表的現代資訊檢索模型概觀的論文中[10]得知，為了達到資訊檢索的準確度，在資訊檢索的技術中，有三種主要的資訊檢索模型，一種是向量空間模型，一種是機率模型，另一種是推論網路模型。第一種模型是利用向量空間的記錄方式，將文本中的詞彙建立於向量空間的維度中。再藉由相似度的計算來找到適合的回饋結果。而機率模型是將文本的資料當作集合為一系列的關聯原則，藉由機率模型的計算方法，以機率的排名原則做為關聯的相似度排名，並回饋結果。一般會稱這樣的模型為 PRP(Probabilistic Ranking Principle)[11]。而第三種推論網路模型(Semantic Information Retrieval)是結合上述兩種模型定義，再加上長期使用者的反饋與字詞權重的. 7.

(21) 計算設定，藉由機器學習的方式，使得準確度經由回饋累積的方式提高，而非由固定模型演算法定義出的計算方式來回饋給使用者資訊檢索的結果[12]。其中如 google 的搜尋引擎就是藉由這種方式來實現資訊檢索的技術。而互動檢索(Interactive Retrieval)的技術是建立於資訊檢索(Information Retrieval)的基礎上，資訊檢索是透過字詞的頻率來作為文件與使用者查詢之間的相關程度的檢索技術[13]。而互動檢索大多是用在特定的檢索面向，例如:電子商務或是主題式的網頁檢索的需求上。由於大量的文本資料充斥於網路上，如果只是利用傳統的資訊檢索技術，一來是檢索結果不見得為真正人們所想得到的. 政治大. 結果，二來是如何下正確的關鍵字來進行檢索問題也困擾著使用者。為了提供更有效的. 立. 檢索方式，因而有了互動檢索的理論。互動檢索起源於 1960 年代開始提出的關聯式回. ‧ 國. 學. 饋想法，這樣的構想來自於若能根據使用者的回饋，重新調整檢索的方法，就能更精確的達到使用者的需求資訊。因此，開始有相關的研究是致力於個別型態的檢索，根據使. ‧. 用者反饋不同的面向或感興趣的資訊，來加強檢索結果的穩合度。例如，在[14]中提出. Nat. sit. y. 一個用於電子商務上的檢索，其方法為文本中利用關鍵字代號與值的配對(facted-value. n. al. er. io. pair)格式，加註成後設資料(metadata)，讓使用者利用作者設定的布林模型(boolean model). i n U. v. 進行面向的檢索，再經由使用者的回饋，根據作者提出的軟性模型(soft model)，調整權. Ch. engchi. 重進行檢索結果的調整，以達到互動檢索的目的。從上述的互動檢索的研究中發現一個主要的重點：權重。權重的加權調整，可以讓靜態的模型根據回饋資訊而產生不同的結果變化，例如：J. Schuman et al 的論文[15]研究中，說明如何利用調整權重的方式，去改良 TREC Genomics 2006 的資訊檢索系統。由此可知，在互動檢索的方法中，權重的比例是動態的資訊檢索的關鍵。由於本研究所提出的是互動敘事創作平台，在創作的過程中，我們藉由檢索的結果來進行相片的推薦，所以在推薦檢索的演算法設計裡，憑著與使用者互動的回饋，進行屬性的權重比例變化，調整推薦說故事的相片方向。我們也期望此方法能幫助使用者在說故事的創作上能有結構性的感覺。. 8.

(22) 2.3 多媒體與互動敘事探討由於電腦技術的快速發展，多媒體與互動敘事研究也已有多年，在微軟研究中心，有一系列的MyLifeBits的相關研究。這系列的研究主題以個人的多媒體倉儲為主，其中一篇將個人生活照片轉化成一個照片商店，再將照片的metadata儲存在資料庫中，並實作一套ISBQ(Interactive story By Query)的演算法，利用query的方式檢索照片並支援slide和 time sheet展示方法來做為日常生活的敘事方式。而N. Lin et al.[16]提到，以往對於互動. 政治大 approach)，此方法偏重於討論電腦系統能根據一些敘事結構下的規則，自動化或半自動立敘事的研究中有2種不同的方式，各有不同的重點，一種是協助故事生成方法(generative. 化的協助使用者生成故事。例如，C.-H. Chen et al.[17]提出利用使用者與虛擬系統進行. ‧ 國. 學. 互動的環境，針對互動敘事的進展進行虛擬攝影機的規劃，就傾向於第一種研究方法。. ‧. 另一種則是溝通方法(communications approach)，此方法偏重於是為了人與人之間的傳播. sit. y. Nat. /分享訊息而產生的互動式電腦系統。例如: M. Balabanović et al. [18]提出，把存放在可. io. er. 攜式裝置的照片，利用故事結構的方式組織相片，使它可以很容易地觀看且對不同的使用者可傳遞不同的對話焦點。而多媒體檔案要與敘事結合，必須要能定義出能提供敘事. al. n. v i n Ch 的結構，而且多媒體(例如相片)本身並無文字的說明，若讓使用者和系統之間達成互動 engchi U. 敘事的目的，就必需要有一些連結性，K. M. Brooks[19]在論文裡引用Goldman-Segall et al. 提出的一個簡單的互動敘事系統架構(Simple artist-story-audience structure, with feedback )裡面提到互動敘事中許多重要的關鍵因子，編輯者與觀眾的連結在於電腦系統的解讀與觀眾的回饋，進而延伸出一套敘事代理架構，將電腦系統與觀眾的反饋結合，再加入story framework的機制，使得敘事者可以藉由framework建立基礎故事版型，再藉由代理架構將編輯者與觀眾之間的互動產生出故事，如圖 2.1所示。. 9.

(23) Story Framework. Reasoning Feedback. Artist(s). Audience Feedback. Agent Presentation. Reasoning. 立. Audience. 政治大 Story. ‧ 國. 學. 圖 2.1 透過代理機制的故事創作產出架構(K. M. Brooks,1997). ‧. sit. y. Nat. 在2004年時，P. Appan et al.[5]於論文中提出一個多重事件模組(Multi-Event Model)。. io. er. 此模型定義相片的字詞以建立相片事件與時間的關聯性，並提出敘事關聯結構演算法，也是透過代理機制協同故事創作的方法。而本論文雖然與P. Appan [5]一樣是使用相片來. al. n. v i n Ch 進行敘事的研究，但在Appan的研究中，著重於藉由使用者對於相片定義的關聯性來自 engchi U. 動化組成相片故事。而本論文中所定義的相似度演算法說故事代理架構機制，則是著重於利用故事版型對於屬性的設定，將相片檢索出一組故事框架推薦給使用者，再透過與使用者互動，即時進行推薦，來幫助使用者進行敘事創作。. 2.4 互動敘事與電腦系統之探討根據2.3小節中我們了解到互動敘事的創作需要一個所謂的「代理機制」，而這個「代理機制」我們根據相關研究將他定義成輔助創作的電腦系統。在Y.-T. Chang [20]的論文中. 10.

(24) 針對敘事創作提出一個Picture-Attribute-Note(PAN)架構的電腦輔助系統，其目的在於激發使用者的敘事創意並協助創作者完成故事創作。而在過去幾年，由於網路蓬勃發展，大家見證了人們數位媒體使用的快速轉型，各式的線上系統(線上相本、社群網絡…)提供了創新的介面，讓非專業用戶可藉著上傳及評論，分享他們的多媒體，並成為數位內容的生產者[21]。這些線上系統藉由人與人之間的連結，讓數位內容的傳播更為快速。而這所謂的連結包含人際關系、事件、位置、時間等都可以成為社群之間重要的關聯。 C.-T. Ho et al. [22]提出一個construct influence trees的model，裡面提到社群網絡的傳播裡. 政治大. 有三種主要角色-使用者、發文者與推文者(Users, Posts, and Replies of posts)，這三種角. 立. 色的相互作用，會讓傳播速度變的更快。但互動敘事應用在電腦系統層面的，不只是傳. ‧ 國. 學. 播與代理機制的關系，還有一個重要的部分就是回憶，例如 N. A. Van House [2]提及的 MMM2的系統，或是J. Gemmell [4]的MyLifeBits以及P. Appan [5]提出的Spatio-Temporal. ‧. Evolution System都是藉著個人的數位相片當作媒介，在電腦系統中以使用者的回憶為基. Nat. sit. y. 礎製造互動敘事的效果。而在上一節有提到，在敘事模型裡，觀眾的反饋也是敘事過程. n. al. er. io. 的一部分，因此，我們認為在電腦網路的世界中，蓬勃的社群網絡回饋與傳播的發展方. i n U. v. 式，間接證明了我們提出的電腦輔助式的互動敘事回憶創作方法以及利用網路進行分享的可行性。. Ch. engchi. 2.5 資訊科技的評估探討一個研究要符合科學的原則，必須具備科學的精神，並使用科學的方法。想要合理的測量系統，就必須做量化研究。F. D. Davis [23]提出，評估一個網站系統的感受，可以由2 個方向測量，認知有用性(Perceived Usefulness)以及認知易用性(Perceived Ease of Use)。因為使用者對於網站的感受往往是從主觀的使用感覺、對於網站正面和負面的想法，以及使用網站的意願所構成。對於網站的認知有用性(Perceived Usefulness)以及認知易用. 11.

(25) 性(Perceived Ease of Use)可以定義成使用者認為使用這個網站易學易懂，且不需要花太多努力就可以增加其工作績效(Lin & Lu, 2000)；使用者對於網站的喜好程度就是使用這對於網站具有多大的興趣；而使用意向(Intention)則是使用者未來再度使用網站意願的程度有多少。而「使用態度」會受到「認知有用性」(Perceived Usefulness)與「認知易用性」(Perceived Ease of Use)兩個動機所影響，並且「認知易用性」會影響「認知有用性」進而間接影響「使用態度」。F. D. Davis [23]將認知有用性定義為「使用者認同採用資訊系統可以增. 政治大. 加工作效率」；定義認知易用性為「使用者認同使用此資訊系統的易學程度」。科技接. 立. 受模式以精簡並且具彈性的理論模式，讓後續研究能夠利用科技接受模式廣泛預測資訊. ‧ 國. 學. 科技相關的使用，都驗證了科技接受模式的有效性。本研究中所提出的互動敘事回憶平台在驗證系統可行性評估設計時，是以F. D. Davis在[23]的設計問卷方法分別以有效性. ‧. 及易用性的面向做不同問題評估設計。希望以量化的方法證明我們所提出的互動敘事回. y. Nat. n. al. er. io. 方法。. sit. 憶平台是一個具有創新的激發創意代理機制輔助創作系統與改善數位相片應用的一個. Ch. engchi. i n U. v. 根據上述的相關研究，可以了解到現今大量多媒體資料的產生，不只是專業的人才能製造。而當人們開始有大量的數位資料在電腦裡時，就會開始思考如何組織這些多媒體資料，尤其是數位相片。所以，本論文提出一個平台，是讓使用者在創作的過程中與系統互動創作，不只可以協助使用者組識說故事的結構，將創作分享給不同觀眾的心情，更可激發敘事創作的靈感，藉此達到回憶相片的樂趣。本論文中實作平台是採用網站的方式讓使用者以回憶創作為中心。所以在建構此敘事回憶平台時，訂定了三個主要的目標，第一個是提供相片檢索方法，第二個是互動式的敘事創作，第三個則是驗證該系統平台的有效性。而該平台的互動敘事架構方法包含. 12.

(26) 了協助故事生成方法(generative approach)與溝通方法(communications approach)[18]。為了使相片與敘事結合，本研究採取了關鍵字本位檢索(keyword-based retrieval)的方法做為檢索的方式，因為內容本位檢索(content-based retrieval)主要是以相片本身的顏色或紋理做為特徵，但這對於使用者較無語意上的特徵。而在下一章中，將會提出如何定義出關鍵字的屬性，事件的分類、以及相似度模型等系統設計方法。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 13. i n U. v.

(27) 第三章系統平台分析與設計本系統主要是採用個人相片中的後設資料(metadata)來進行關鍵字標記、相片拍攝日期以及相片拍攝位置等資訊的建立，再根據本章節中定義的三種相似度模型進行系統設計。由於本系統的目的在於如何創造「有用的」、「敘事創作」、「回憶」平台，因此，在設計此平台時有二個主要的目標，(1)提供相片故事版型檢索方法、(2)藉由電腦與使用. 政治大方法，以達成此平台的設計目標。立. 者互動輔助敘事創作。在此章節中，我們將會分析說明此回憶敘事創作平台架構與設計. ‧ 國. 學 ‧. 3.1 相片資訊的萃取方法. sit. y. Nat. 由於系統需要相片資訊來建立分類的模型，而EXIF(EXchangeable Image File format)是專. io. er. 門為數位照片設定的，可以記錄數位照片的屬性信息和拍攝數據[7]，所以，在EXIF包. al. 含了標記、拍攝日期以及GPS(緯度,經度)的資訊，且EXIF可附加於JPEG、TIFF、RIFF. n. v i n Ch 等文件中，與本系統中所使用的實驗相片是相同的格式(JPEG)。我們以程式將標記在相 engchi U 片裡標記的關鍵字(tag)、相片日期、相片GPS位置萃取出來，記錄於資料庫中，以便於後續分類模型的分析與建立。. 3.2 敘事特徵分析與數位相片標記屬性定義在建立個人經驗與敘事規則連結時，本研究利用在[5][6]所提到event model建立多媒體的事件描述，所以將本研究中的相片屬性分為”人”、”事”、”時”、”地”、”物” ，這五種特徵建立個人經驗的事件。”人”代表相片中的人物，”事”代表相片中發生的事件，”時”. 14.

(28) 代表相片的拍攝日期，”地”代表相片的發生地點，”物”代表相片中的代表性的物品或景像。為了使相片回憶與敘事情感做連結，本系統則再多加入認知照片的”情感”特徵，希望可以利用此屬性的設定協助使用者表達對於照片的感情意向，也使每張照片更能符合未來互動敘事創作的推薦分析。在表 3-1 中，根據上述的六種特徵，定義關鍵字(tag)的字詞以提供建立相片標記，並於範例相片的 EXIF[7]中進行標記。在標記時，為了符合實際的標記情況，我們將假設是不限定一種特徵只能有一種關鍵字的標記，也不限定一張相片中需包含所有的特徵，. 政治大. 但是時間和地點除外。目前照片標記屬性的方式是採用手動的標記方式而非自動化標記。. 立. 手動標記可以表現出個人對於照片的想法與準確性，開始進行敘事創作時，對於照片的. ‧ 國. 學. 認知會更為明確。自動化標記雖然可以省除使用者自行標記所花費的時間，但自動化標記的方式通常使用”顏色特徵”、”影像辨識”的方式來達成自動化標記的效果，比較無法. ‧. 標記出照片的感情意向且自動化標記的方式也非為本論文所討論的議題，所以本研究的. y. Nat. sit. 假設條件將照片標記設定為手動標記相片屬性。. (No.). (feature). 1. 人(who). al. er. 特徵. iv n (tag) C (type) (Chinese h e n g c h i Utag). 關鍵字. n. 編號. io. 表 3-1 相片屬性定義(包含關鍵字、空間、時間分類模型) 型態. 中文屬性. 模型分類. 備註. (Model). (PS). family. Boolean. 家人. 關鍵字模型. 2. friend. Boolean. 朋友. (keyword). 3. child. Boolean. 小孩. 4. someone. Boolean. 有人物存在. tour. Boolean. 旅遊. 6. visit. Boolean. 參觀. 7. urban_activity. Boolean. 都市活動. 8. dining. Boolean. 聚餐. 9. party. Boolean. 聚會. advertise. Boolean. 廣告. 5. 10. 事(what). 15.

(29) 11. outdoor_activity Boolean. 戶外活動. 12. rest. Boolean. 休息相關. pets. Boolean. 寵物/小動物. 14. wildlife. Boolean. 野生動物. 15. herb. Boolean. 花草. 16. forest. Boolean. 樹林/森林. 17. religion. Boolean. 宗教建築. 18. design. Boolean. 設計建築. 19. artwork. Boolean. 藝術品/藝術表演. 20. food. 21. scenery. Boolean. 風景. street. Boolean. 街景. delight. Boolean. 喜. anger. Boolean. 怒. sadness. Boolean. 哀. happy. Boolean. 樂. 27. amazement. Boolean. 驚豔的. 28. peaceful. n. Boolean. 29. serious. 物(which). 23. 情感. 立. 學. 22. 政治大 Boolean 美食. ‧ 國. 13. 26. io. al. 30 地(Where) latitude 31 32. 時(When). 平靜的. y. sit. Nat. 25. er. 24. ‧. (Emotion). i n C h Boolean 嚴肅的 i U e n g c h 緯度. v. Double. 空間模型. longitude. Double. 經度. (Location). datetime. Datetime. 照片時間. 時間模型 (Datetime). yyyy/M M/dd HH:mm: ss. 3.3 相似度模型分析在 3.2 小節我們定義了六種相片特徵，目的在於我們將為每張照片定義其物件定義，當物件定義完畢後，當使用者在進行說故事時，我們希望給予相對應的推薦方法。本研究. 16.

(30) 係根據資訊檢索的相關研究，將照片進行相似度分析，根據特徵屬性型別，分別出三種相似度計算模型，並利用模型來設計不同的故事版型，為使用者進行說故事拼圖推薦。下列則是本研究中定義的三種相似度模型說明。.  關鍵字模型此相似度模型是以”人”、”事”、”物”、”情感”這四種特徵的標記屬性為相片做定義。所以在計算相似度時，我們會先將這四種特徵設定故事版型所需的參數，再與其. 政治大. 他的相片做相似度的計算，以此計算方法作為使用者推薦說故事相片的依據。其. 立. 公式定義如下：. (式 3-1). 𝑁𝑁𝑆𝑆𝑎𝑎 = 正規化後的關鍵字特徵相似度. sit. Nat. y. ‧. ‧ 國. 學. 𝑁𝑁𝑆𝑆𝑎𝑎 = S𝑎𝑎 ⁄(𝑆𝑆𝑎𝑎−𝑚𝑎𝑎𝑥 − 𝑆𝑆𝑎𝑎−𝑚𝑎𝑎𝑛𝑛 ). io. er. (1) 首先，將相片的屬性關鍵字特徵轉換成一個空間向量，其中關鍵字特徵屬性包含”人”(4)、”事”(8)、”物”(10)、”情感”(7)，總共 29 個屬性，將這 29. al. n. v i n Ch 個屬性各視為一個維度，則每張照片總共有 29 個維度，即每張照片可用 1 engchi U 個 29 維的向量做為特徵屬性的代表(𝑝𝑝𝑎𝑎𝑎𝑎 )。. (2) 將每張照片轉換為 29 維的向量時，再利用向量內積公式，計算 2 個向量的夾角計算(式 3-2)其相似度。計算出角度愈大，表示 2 張照片之間愈不相似。角度愈小，表示愈相似。 S𝑎𝑎 =. 𝑝𝑝𝑎𝑎𝑎𝑎 ∙ 𝑝𝑝𝑎𝑎𝑗𝑗 |𝑝𝑝𝑎𝑎𝑎𝑎 |�𝑝𝑝𝑎𝑎𝑗𝑗 �. 𝑝𝑝𝑎𝑎i = (𝑣1 , 𝑣2 , 𝑣3 … 𝑣29 ), 第 i 張相片的關鍵字屬性向量維度. 𝑝𝑝𝑎𝑎j = (𝑣 ′ 1 , 𝑣 ′ 2 , 𝑣 ′ 3 … 𝑣 ′ 29 ), 第 j 張相片的關鍵字屬性向量維度 17. (式 3-2).

(31) S𝑎𝑎 = 𝑝𝑝𝑎𝑎𝑎𝑎 與𝑝𝑝𝑎𝑎𝑗𝑗 之間的屬性關鍵字相似度. (3) 最後，我們將相似度做正規化的計算。將計算出來的關鍵字特徵的相似度 (S𝑎𝑎 )的範圍正規化於 0 到 1 之間(𝑁𝑁𝑆𝑆𝑎𝑎 )，以利於與其他相似度模型比較判斷。.  空間模型此相似度模型是藉由GPS的經緯度資訊，可比較相片間的距離，利用距離與相似度轉換公式，來計算出相片與相片的相似度數值。此模型可以讓使用者用空間的角. 政治大. 度來定義其故事版型，也可鎖定使用者利用空間限制來建立故事場地。其公式定. 立. 義如下:. ‧ 國. 學. 𝑁𝑁𝑆𝑆𝑔𝑔 = S𝑔𝑔 ⁄�𝑆𝑆𝑔𝑔−𝑚𝑎𝑎𝑥 − 𝑆𝑆𝑔𝑔−𝑚𝑎𝑎𝑛𝑛 �. (式 3-3). ‧. y. sit. Nat. 𝑁𝑁𝑆𝑆𝑔𝑔 = 正規化後的空間特徵相似度. n. al. er. io. (1) 首先，我們取出每張照片的經緯度，將其定義為一個 2 維的向量(𝑝𝑝𝑔𝑔𝑎𝑎 ). Ch. 𝑝𝑝𝑔𝑔𝑎𝑎 = (𝛼𝛼𝑎𝑎 , 𝛽𝛽𝑎𝑎 ). engchi. i n U. v. (式 3-4). 𝛼𝛼𝑎𝑎 = 第 i 張照片的緯度 𝛽𝛽𝑎𝑎 = 第 i 張照片的經度. (2) 利用 GPS 距離公式(Great-Circle Distance) 7算出大圓距離。 𝑑𝑑𝑔𝑔 = 𝑅 ∗ arccos�sin 𝛼𝛼𝑎𝑎 sin 𝛼𝛼𝑗𝑗 + cos 𝛼𝛼𝑎𝑎 cos 𝛼𝛼𝑗𝑗 cos�𝛽𝛽𝑗𝑗 − 𝛽𝛽𝑎𝑎 ��. 7. R = 地球半徑. "Great-circle_distance," in http://en.wikipedia.org/wiki/Great-circle_distance. 18. (式 3-5).

(32) 𝑝𝑝𝑔𝑔𝑎𝑎 = (𝛼𝛼i , 𝛽𝛽𝑎𝑎 ),. 𝑝𝑝𝑔𝑔𝑗𝑗 = �𝛼𝛼𝑗𝑗 , 𝛽𝛽𝑗𝑗 �. 𝑝𝑝𝑔𝑔𝑎𝑎 , 𝑝𝑝𝑔𝑔𝑗𝑗 為 i 與 j 2 張照片的緯經度. 𝑑𝑑𝑔𝑔 = 大圓距離. (3) 由於照片的空間模型是以大圓距離來計算，所以當照片分佈於不同地區(洲) 或是南北極時，兩兩相比後，其距離值差異會非常的極端，所以我們將大. 政治大. 圓距離�𝑑𝑑𝑔𝑔 �利用 log 函式，讓差異趨緩。當距離愈大，表示相似度愈低，. 立. S𝑔𝑔 = �. 1,. 𝑑𝑑𝑔𝑔 > 0. (式 3-6). Nat. 𝑆𝑆𝑔𝑔 = 𝑝𝑝𝑔𝑔1 與𝑝𝑝𝑔𝑔2 之間的位罝相似度. ‧. 1⁄log�𝑑𝑑𝑔𝑔 � ,. 𝑑𝑑𝑔𝑔 = 0. 學. ‧ 國. 所以我們將其數值以倒數方式轉換成其空間模型下的相似度。. sit. y. (4) 同樣的，我們將上面的相似度進行正規化的計算，使得相似度(𝑆𝑆𝑔𝑔 )數值區. n. al. er. io. 間可以落在0~1之間(𝑁𝑁𝑆𝑆𝑔𝑔 )。.  時間模型. Ch. engchi. i n U. v. 此相似度模型主要是以時間區間做為相片檢索的條件限制，與空間模型一樣，目的在於可讓使用者選擇所需的時間範圍下的相片做為故事的內容。所以我們會先將每張相片的日期取出，比對出屬於檢索的時間區間內的照片，再以這些照片進行相似度的計算，這個模型的目的希望達到使用者對於某個時期的相片進行故事的創作，讓互動敘事與回憶之間結合更為貼近。其相似度公式定義如下: 𝑁𝑁𝑆𝑆t = S𝑡𝑡 ⁄(𝑆𝑆𝑡𝑡−𝑚𝑎𝑎𝑥 − 𝑆𝑆𝑡𝑡−𝑚𝑎𝑎𝑛𝑛 ). 19. (式 3-7).

(33) 𝑁𝑁𝑆𝑆𝑡𝑡 = 正規化後的時間特徵相似度 (1) 我們先將兩兩照片的日期換算成毫秒(ms)，相減後即為 2 張照片的時間距離(D𝑡𝑡 )。但時間距離愈近，表示照片與照片之間的時間相似度愈小，所以，我們將其距離再以倒數計算，當作照片與照片之間的相似度(𝑆𝑆𝑡𝑡 )。 𝐷𝐷𝑡𝑡 = �𝑃𝑃𝑃𝑃𝑃𝑃𝑖𝑖 − 𝑃𝑃𝑃𝑃𝑃𝑃𝑗𝑗 �. 第 i 與 j 照片的時間距離 𝑡𝑡. 𝑡𝑡. 第 i, j 照片之間的相似度. 學. ‧ 國. 立. 1 政 𝑆𝑆 治 = 大 𝐷𝐷. y. Nat. 𝑃𝑃𝑃𝑃𝑃𝑃𝑗𝑗 第 j 張照片的日期毫秒. ‧. 𝑃𝑃𝑃𝑃𝑃𝑃𝑖𝑖 第 i 張照片的日期毫秒. (式 3-8). sit. io. (2) 同樣，我們將照片之間的相似度(𝑆𝑆𝑡𝑡 )進行正規化的轉換，將數值區間轉換. n. al. er. 為 0 到 1 之間(𝑁𝑁𝑆𝑆t )，以便於我們後續相似度之間的比較。. 3.4 圖型化網絡分析. Ch. engchi. i n U. v. 根據上述的特徵定義，我們先將相片屬性資訊匯出，利用Gephi 8這一個數據圖型化的網絡分析工具將資料做相似度分析如圖 3.1，並藉由此工具產出的圖型來說明在設定特定的特徵值為參考點時，數據中所呈現的群聚性是否達到系統設定的目標。. 8. "Gephi," in https://gephi.org/. 20.

(34) 學. 圖 3.1 數據圖型化的網絡分析工具介面. ‧. ‧ 國. 立. 政治大. 3.4.1 簡化分析-資料過濾. y. Nat. sit. 我們希望利用資料檢索的方法，將符合使用者需求的相關照片群從資料庫裡挑選出來。. n. al. er. io. 所以，本系統在設計檢索照片時，希望利用簡化的方式，將小於某個數值下的相似度照. i n U. v. 片進行排除，再將剩下的照片進行相似度的分組，當作此檢索條件下產生的故事群組。. Ch. engchi. 這樣的設計，是為了將資訊過濾，以達成資訊檢索的目的。所以在gephi中進行過濾設定時，我們先假設以相似度的平均當作過濾變數(α)，將相似度小於α的邊進行過濾，檢測當系統設定這樣的過濾條件，所產生的故事群組是否會太多或太少，以做為未來系統實作時參考標準。以圖 3.2中為例，總節點約240個，只取大於平均數的邊，每個節點至少會有7個以上的節點可相連接。這表示相似度大於”平均數”(α)這樣的過濾條件下，在240節點中，至少有7種達到相似度為平均以上的故事群組可以產生。所以，未來在實作系統上，我們可以考慮使用平均數當作過濾變數的標準之一。. 21.

(35) 立. 政治大圖 3.2 簡化分析. ‧ 國. 學. 3.4.2 相似度模組驗證. ‧. 為了確認3.3小節中相似度公式定義的準確性。我們設定一個以風景照為主關鍵字模型. sit. y. Nat. 做為檢索條件的參考點，利用3.3小節定義的關鍵字相似度模組的公式計算每張相片與. io. er. 參考點的相似度，以及計算相片與相片之間的相似度，當作點與點之間的邊的分數。接著將資料匯入Gephi後，經由設定產生網絡分析圖型。下列則為相似度圖型的設定與說. n. al. 明。. Ch. engchi. i n U. v. 3.4.2.1 群聚分析在進行圖型分析前，我們先定義圖型的意義。一般的網絡圖中，有節點(Node)與連接節點的邊(Edge)，以下為圖 3.3 中節點與邊的定義及圖型說明。. 22.

(36) 立. n. al. er. io. sit. y. ‧. ‧ 國. 學圖 3.3 關鍵字模型-相似度分析. Nat.  節點(Node). 政治大. i n U. v. 節點(Node)的大小與顏色代表著該照片與照片和照片與參考點的相似度之間的關. Ch. engchi. 系。照片與參考點相似度愈高，節點愈大。顏色愈深，表示其他點與該點相似的點愈多。如圖 3.3所示，節點愈大且顏色愈偏綠色，其相似度與參考點愈相似；節點愈小，則相似度愈低。. . 邊(Edge). 網絡圖的邊可定義節點與節點間的方向性及權重。而在圖 3.3中的節點與節點的相連邊(Edge)的權重，是取自相片與相片之間的相似度，而由於相片之間是並無方向性，所以在圖 3.3的邊無方向性。 23.

(37) . 圖型分析. 在圖 3.3中，我們可以觀察到圖型上方有許多較大的節點，且顏色為偏綠色。這些節點由於是用照片與參考點和照片與照片之間計算出來相似度數值來產生圖型。每個點都代表著一張照片，節點愈大，表示與參考點愈相似，顏色愈深，表示該點與其他點的連結性愈多。顏色愈相近，表示點與點之間的相似性愈高，可作為是同組的照片。因此，我們利用節點的大小、不同顏色、同顏色的深淺，可表示出照片之. 治政間的群聚性與參考點之間的相似性。在圖 3.4中，我們將參考點設定在只有”scenery” 大立這個屬性，以及排除urban_activity這個屬性的相片參考點，並選擇2個顏色、大小 ‧ 國. 學. 相近的2個節點的照片做驗證。在DSCF2603.jpg與45493501.jpg同是綠色節點且大小. ‧. 相當的節點，我們將這2個節點的屬性列出表 3-2比對後發現，在這2個節點上的標籤屬性皆只有設定風景屬性的照片。. al. n. 維度編號. 屬性. er. io. sit. y. Nat. 表 3-2 相似度群聚性實例說明參考點. Ch. i n U. v. DSCF2603.jpg. i engch 0. 45493501.jpg. 1. family. 2. friend. 0. 0. 0. 3. child. 0. 0. 0. 4. someone. 0. 0. 0. 5. tour. 0. 0. 0. 6. visit. 0. 0. 0. 7. urban_activity. -1. 0. 0. 0. 24. 0.

(38) 8. dining. 0. 0. 0. 9. party. 0. 0. 0. 10. advertise. 0. 0. 0. 11. outdoor_activity. 0. 0. 0. 12. rest. 0. 0. 0. 13. pets. 0. 0. 14. wildlife. 治政 0 0 大. 0. 15. herb. 0. 0. 0. 16. forest. 0. 0. 17. religion. 0. 0. 18. design. 0. 0. 19. artwork. 0. 0. 20. food. 21. scenery. 22. n. y. sit er. io. C0h. 0. ‧. Nat. al. 學. ‧ 國. 立. 0. n U engchi. iv. 0 0 0. 0. 0. 1. 1. 1. street. 0. 0. 0. 23. delight. 0. 0. 0. 24. anger. 0. 0. 0. 25. sadness. 0. 0. 0. 26. happy. 0. 0. 0. 25.

(39) 27. amazement. 0. 0. 0. 28. peaceful. 0. 0. 0. 29. serious. 0. 0. 0. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.4 相似度的群聚性. 3.4.2.2 可信度分析為了驗證本系統的相似度演算法是否合理，在圖 3.4 中，左邊圖片是利用 gephi 工具中提供的 modularity class 做分析出來的結果。此模組方法是由 V. Nicosia et al.[24]提出，主要用來做網絡拓撲的分析。此種模組分類方式通常被稱為社會結構，在該結構中，描述了如何劃分成子網絡中的網絡。這些子網絡（或人類社會中的”社區”）已被證明具有. 26.

(40) 顯著的現實世界中的意義 9。並根據圖 3.5 顯示，我們利用在 gephi 中提供了排序(Ranking) 功能將本論文所設計的相似度演算法計算出來的數值進行排序，該功能可以將每個節點的分數做排序分類，再利用 gephi 中提供的網絡模組演算法(modularity class)將我們的資料分類後，進行分隔(Partition)比較。發現兩者之間，除了在模組(module)間的分類後所產生的數量有所差異，但在節點的分佈上，相似度非常的接近。由此可知，本系統設計的相似度模組的演算法與目前常用的網絡演算法相當一致。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 圖 3.5. Ch. engchi. i n U. v. gephi’s modularity class(網絡模組分類)與本研究中定義的相似度模型比較. 3.5 系統設計在上一章節中，說明了資料分析方法，也定義了相似度模型計算公式。接下來，則是針對本研究目標(1)提供相片故事版型檢索方法、(2)藉由電腦與使用者互動輔助敘事創作，說明系統設計方式。. 9. http://wiki.gephi.org/index.php/Modularity. 27.

(41) 3.5.1 故事版型與故事型態因為本論文所提出的應用是將相片與互動敘事創作結合，所以我們參考 Brooks[19]所提到的故事框架(Story Framework)的概念，此概念是為使用者提供一個典型的故事架構，讓使用者可以在故事創作時的輔助，不需要憑空創作。所以本論文提出以”故事版型”的概念作為輔助使用者創作以及檢索相片。故事版型是指我們將標籤屬性做不同的組合，組出一個特定主題的相片故事框架，協助使用者利用此框架中所推薦的主題相片，來進. 政治大區分；而我們設定特徵方向是為了與相似度模型演算法之間做結合。當故事版型的主題立. 行一連串的敘事創作。故事型態的概念是根據故事版型所設定的故事主題的特徵方向來. ‧ 國. 學. 傾向於用關鍵字描述所需的故事框架時，我們會將故事型態設定為關鍵字型態，系統根據此設定，就會將故事版型以關鍵字相似度模型做為主要的計算方法。因此，我們將故. ‧. 事型態以相似度模組設成互相對應的型態。這樣的設計方式可以達到多樣化的故事版型. sit er. io. 3.5.2 相片檢索方法. y. Nat. 設計，也可以讓系統可以判斷每個故事版型所對應的模組計算方法。. al. n. v i n Ch 本系統是利用相似度模型比較進行相片檢索，為了讓故事版型能設定以哪種相似度模型 engchi U. 做為主要的計算方法，我們提供給使用者的檢索故事版型分成三種型態：關鍵字型態、空間型態、時間型態。根據 3.5.1 小節的說明，故事版型與故事型態是多對一的關係，即可以有多個故事版型設定為相同的故事型態。而故事型態與相似度模型則是權重大小的關係。所謂的權重大小是指該故事型態與三種相似度之間的相依性(式 3-12)。例如，故事型態為關鍵字型態，則在 3.3 小節中所提到關鍵字模型中的相似度(式 3-1)相依性很高。所以給予這個模型的相似度比重較高，也較能突顯該型態所希望過濾的相片屬性。如圖 3.6 中，各種型態下與各種相似度模型連結的箭頭粗細不同，粗箭頭所指的模組代表權重較高，虛線箭頭則是代表其他兩個相似度模型所計算出來的相似度的權重較低。. 28.

(42) 所以當不同的故事版型(檢索條件)進入系統檢索時，系統會根據該故事版型的型態，給予不同的相似度模組權重以進行資料檢索，推薦適合說故事的相片。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. v i n C h3.6 相片檢索設計概念圖圖 engchi U. 接著，我們利用下面四個步驟說明系統如何定義上述的相片檢索設計。步驟1.. 首先，將每張照片的特徵屬性定義為空間向量，相當於高維空中的一個點的座. 標。在圖 3.6中有個照片屬性向量資料庫(Photos Attribute Vector)，裡面儲存的是我們根據每張照片的特徵屬性所定義的座標。但基於特徵定義的型別不同，我們根據3.3小節中定義的3個相似度模型，將每張照片依照模型定義點座標，並將這些座標儲存於資料庫中。下列分別是三種模型對於每張照片的點座標定義。. 29.

(43) . 關鍵字模型此模型總共有29個關鍵字(人、事、物、感情四個特徵中的屬性)，順序為表 3-1 中編號1到29個關鍵字，每個關鍵字代表1個維度，維度型別為布林，0代號無此屬性，1代表有此屬性。 𝑉𝑉𝑘𝑘 = (a1 , a2 , … , a𝑛𝑛−1 , a𝑛𝑛 ). 空間模型. 𝑛𝑛 = 29. 政a =治 0 or 1 大 𝑛𝑛. ‧ 國. 學. . 立. (式 3-9). 此模型將每張照片的GPS的位置記錄成二維向量。維度型別為double，經緯度以. y. a l 𝑙𝑙1 = Latitude, 𝑙𝑙2 = Longitude v i n Ch engchi U. n 時間模型. sit. io. . (式 3-10). er. Nat. V𝑡𝑡 = (𝑙𝑙1 , 𝑙𝑙2 ). ‧. 十進位的度數表示(－49.50;-123.50)10. 此模型是將每張照片的拍攝時間的維度型別設為datetime，日期格式為 yyyy/MM/dd HH:mm:ss(西元年/月/日時:分:秒) V𝑡𝑡 = (𝑡𝑡) 𝑡𝑡 = 照片拍攝時間 "Geograpic coordinate system zh-wiki," in http://zh.wikipedia.org/wiki/%E7%B6%93%E7%B7%AF%E5%BA%A6. 10. 30. (式 3-11).