以情境與行為意向分析為基礎之持續性概念重構個人化影像標籤系統 - 政大學術集成

全文

(1) . 國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 政治大以情境與行為意向分析為基礎立立. •‧ 國. ㈻㊫學. 之. •‧. 持續性概念重構個人化影像標籤系統 io. sit. y. Nat. Continuous Reconceptualization of Personalized n. er. Photograph Tagging iSystem al v Based on. n i U e h n c g Contextuality and Ch. 研究生：李俊輝指導教授：郭正佩楊立行. 中華民國一百零四年一月 January 2015. I . Intention.

(2) . 以情境與行為意向分析為基礎之持續性概念重構個人化影像標籤系統 Continuous Reconceptualization of Personalized Photograph Tagging System Based on Contextuality and Intention 研究生：李俊輝 Student：Chun-Hui Li 指導教授：郭正佩楊立行 Advisor：Pei-Jeng 政Kuo治/ Lee-Xieng Yang. 大. 立立. •‧ 國. ㈻㊫學. 國立政治大學資訊科學系. •‧. 碩士論文 n. er. io. sit. y. Nat al. Ch. A eThesis ngchi. i Un. v. Submitted to Department of Computer Science National Chengchi University For the degree of Master In Computer Science 中華民國一百零四年一月 January 2015. II .

(3) . 誌謝「人生就是個圓。」當思緒從兩年前的回憶拉回至眼前的論文口試時，校外口委鄧怡莘老師已經把強弱人工智慧問題問到一半了。在郭正佩老師與楊立行老師指導初期，老師們曾建議我閱讀 Penrose 教授所著的皇帝新腦專書，在初識強弱人工智慧議題後，除了在心中烙下疑問外，也同時影響了我這兩年來的規劃。在口試當天，在鄧老師提問了這類型的問題時，心裡卻不斷勾起兩年前筆下所寫的皇帝新腦這四個字。如同巧合般，這些圓會以未知的圓心與半徑劃入我們人生時間軸上的兩點，我們總只能恍然大悟於它連結成圓的那一刻。以第一志願推甄至政大資科所、獨自來台北 EZTABLE 實習、跟隨著 PARIS Lab 成. 政治大員們一同研究、參與 X-Mind 數位人文計劃、進入中研院資科所實習、參加吳大猷科學立立. •‧ 國. ㈻㊫學. 營，甚至後來延畢修讀語言認知與大腦學程，這些任性選擇下的成長，在現在看來似乎特別感到榮耀以及渺小。榮耀於身在異中求同的潮流裡，政大的多元氛圍使我更專注於. •‧. 觀察、反思以及嘗試描述異質，不斷地思索個體存在之價值，同時也告訴自己唯有渺小，. y. Nat. er. io. sit. 才能感同身受於主流裡微小且必然的異質。異質性始終吸引著我去深究它。 . n. al 單一段落、首行不空兩格、一點五倍行高，以不加標點符號方式把人生旅途上幫助 iv. Un i e h n c g 過我的朋友名字行列而出，沒有任何文字描述只會有名字。不想拘泥於「誌謝」的既定 Ch. 印象，在我初版論文完稿時，心中萌起上述對於誌謝調皮又趣味的寫法。不過除了懶散之餘，理性仍是戰勝一切的主因。對於過往的廣泛事件回憶，我最後決定以輕描淡寫方式撰寫，期望在字句及筆觸映入眼廉時，勾起的是我們相處的片刻回憶，透過這些獨有回憶的沉釀，讓正在閱讀的你感受在我心裡你的獨特性，以及對你的致謝之意。文末，謝謝自己。已經不再是少年，你仍舊李俊輝。繼續為那份異質性的交集努力吧。李俊輝謹誌於木柵住處中華民國一○三年二月十一日清晨 . i .

(4) . 以情境與行為意向分析為基礎之持續性概念重構個人化影像標籤系統摘要生活於數位時代，巨量的個人生命記憶使得人們難以輕易解讀，必須經過檢索或標籤化才可以進一步瞭解背後的意涵。本研究著力個人記憶裡繁瑣及週期性的廣泛事件，進行於「情節記憶語意化」以及「何以權衡大眾與個人資訊」兩議題之探討。透過生命記憶平台裡影像標籤自動化功能，我. 政治大們以時空資訊為索引提出持續性概念重構模型，整合共同知識、個人近況立立. •‧ 國. ㈻㊫學. 以及個人偏好三項因素，模擬人們對每張照片下標籤時的認知歷程，改善. •‧. 其廣泛事件上註釋困難。在實驗設計上，實作大眾資訊模型、個人資訊模. io. sit. y. Nat. 型以及本研究持續性概念重構模型，並招收九位受試者來剖析其認知歷程. n. al. er. 以及註釋效率。實驗結果顯示持續性概念重構模型解決了上述大眾與個人. i Un. Ch. v. 兩模型上的極限，即舊地重遊、季節性活動、非延續性活動性質以及資訊 engchi 邊界註釋上的問題，因此本研究達成其個人生命記憶在廣泛事件之語意標籤自動化示範。關鍵字：個人生命記憶典藏、影像標籤自動化、階層式貝氏網路、認知模擬 . ii .

(5) . Continuous Reconceptualization of Personalized Photograph Tagging System Based on Contextuality and Intention Abstract. •‧. •‧ 國. ㈻㊫學. In the digital era, labeling and retrieving are ways to understand the meaning behind a huge amount of lifetime archive. Foucusing on tedious and periodic general events, this study will discuss two issues: (1) the semantics of episodic memory (2) the trade-off between common and 治 image-tagging technique of personal knowledge. Using the政 automatic 大 lifelong digital archiving 立立system, we propose the Coutinuous Reconceptualization Model which models the cognitive processing of examplar categorization based on temporal-spatial information. Integrating the common knowlegde, current personal life and hobby, the Continuous Reconceptualization Model improves the tagging efficiency. In this experiment, we compare the accuracy of cognitive modeling and al i v the common knowledge tagging efficiency of the three models: n Cdistinct he gchi U model, personal knowledge model nand Coutinuous Reconceptualization Model. Nine participants were recruited to label the photos. The results show that the Continous Reconceptualization Model overcomes the limitations inherent in other models, including the auto-tagging problems of modeling certain situations, such as re-visiting places, seasonal activities, noncontinuous activities and information boundary. Consequently, the Continuous Reconceptualization Model demonstrated the efficiency of the automatic image-tagging technique used in the semantic labeling of the general event of personal memory.. n. er. io. sit. y. Nat. Keywords: personal archiving, automatic image-tagging, hierarchical bayesian network, cognitive modeling. iii .

(6) . 目錄. •‧. •‧ 國. ㈻㊫學. 第一章緒論 ................................................................................................................. 1 1.1 研究背景與動機 ................................................................................................. 1 1.2 研究問題與目的 ................................................................................................. 2 1.3 論文結構 ............................................................................................................ 5 第二章生命記憶之文獻回顧 ........................................................................................ 6 2.1 長期記憶及其特性 ............................................................................................. 7 2.1.1 長期記憶 .................................................................................................. 7 2.1.2 脈絡、長期記憶與自傳性記憶 ................................................................. 9 2.1.3 小結 ....................................................................................................... 14 2.2 記憶數位化 ...................................................................................................... 15 2.2.1 個人生命典藏 ........................................................................................ 15 2.2.2 從記憶朝向回憶 ..................................................................................... 17 2.2.3 生命記憶之數位模擬與應用 ................................................................... 18 2.2.4 小結 ....................................................................................................... 21 政治大 2.3 影像標籤自動化 ............................................................................................... 22 立立 2.3.1 記憶的表達 ............................................................................................ 22 2.3.2 影像記憶與檢索 ..................................................................................... 23 2.3.3 以廣泛或個人知識之描述標籤推薦 ........................................................ 25 2.3.4 小結 ....................................................................................................... 26 2.4 總結 ................................................................................................................. 27 第三章持續性概念重構個人化影像標籤系統 ............................................................ 29 3.1 基於空間與時間知識本體 ................................................................................. 29 al iv 3.2 持續性概念重構模型 ........................................................................................ 32 n Ch U i engch 3.3 系統架構 .......................................................................................................... 37 3.4 系統功能與介面 ............................................................................................... 38 第四章實驗與評估 .................................................................................................... 40 4.1 實驗模型說明 ................................................................................................... 40 4.2 實驗環境 .......................................................................................................... 41 4.3 受試者與指導語 ............................................................................................... 41 4.4 評估方式 .......................................................................................................... 42 第五章結果與討論 .................................................................................................... 44 5.1 基本資訊 .......................................................................................................... 44 5.2 認知歷程評估 ................................................................................................... 45 5.3 標籤註釋效率的評估 ........................................................................................ 49 5.4 跨事件之間標籤相似性評估 ............................................................................. 51 5.5 時間與地理相依性標籤相似性評估 .................................................................. 53 5.5 綜合討論 .......................................................................................................... 53 第六章結論與展望 .................................................................................................... 56. n. er. io. sit. y. Nat. iv .

(7) . 參考文獻 .................................................................................................................... 58 附錄 1 系統介面 ........................................................................................................ 63 附錄 2 地理相依性效率統計表 ................................................................................... 66 附錄 3 時間相依性效率統計表 ................................................................................... 70 附錄 4 地理相依性標籤相似性詳細表格 .................................................................... 77 附錄 5 時間相依性標籤相似性詳細表格 .................................................................... 82 附錄 6 時間與地理相依性標籤相似性詳細表格.......................................................... 91. 立立. 政治大. •‧. •‧ 國. ㈻㊫學. n. er. io. sit. y. Nat al. Ch. engchi. v . i Un. v.

(8) . 圖目錄. •‧. •‧ 國. ㈻㊫學. 1 Dan McAdams 生命故事認同模型資料來源：Dan McAdam 原文，1987 年 ..... 10 2 自傳性記憶知識結構體資料來源：Conway 原文 ............................................................. 12 3 直接與間接存取自傳性記憶模型資料來源：Conway 原文 .......................................... 13 4 空間與時間知識本體資料來源：Kuo 原文 ........................................................................... 30 5 關聯式地理標籤知識本體資料來源：Chen 原文 ............................................................. 31 6 模型之共同知識概念圖 ..................................................................................................................... 33 7 模型之個人近況概念圖 ..................................................................................................................... 33 8 模型之個人習性概念圖 ..................................................................................................................... 34 9 持續性概念重構模型之概念圖 ...................................................................................................... 35 10 持續性概念重構模型結構 ............................................................................................................. 36 11 系統架構圖 .......................................................................................................................................... 37 12 系統功能圖 .......................................................................................................................................... 38 13 - 受試者 C1 地理相依性點擊數及平均準確度 .................................................................... 66 14 - 受試者 C3 地理相依性點擊數及平均準確度 .................................................................... 66 政治大 15 - 受試者 R1 地理相依性點擊數及平均準確度 .................................................................... 67 立立 16 - 受試者 R2 地理相依性點擊數及平均準確度 .................................................................... 67 17 - 受試者 R3 地理相依性點擊數及平均準確度 .................................................................... 68 18 - 受試者 B1 地理相依性點擊數及平均準確度 .................................................................... 68 19 - 受試者 B2 地理相依性點擊數及平均準確度 .................................................................... 69 20 - 受試者 B3 地理相依性點擊數及平均準確度 .................................................................... 69 21 - 受試者 C1 時間相依性點擊數 ................................................................................................. 70 22 - 受試者 C1 時間相依性平均準確度 ........................................................................................ 70 a l ................................................................................................. 71 iv 23 - 受試者 C2 時間相依性點擊數 n Ch engchi U 24 - 受試者 C2 時間相依性平均準確度 ........................................................................................ 71 25 - 受試者 C3 時間相依性點擊數 ................................................................................................. 72 26 - 受試者 C3 時間相依性平均準確度 ........................................................................................ 72 27 - 受試者 R1 時間相依性點擊數 ................................................................................................. 72 28 - 受試者 R1 時間相依性平均準確度 ........................................................................................ 73 29 - 受試者 R2 時間相依性點擊數 ................................................................................................. 73 30 - 受試者 R2 時間相依性平均準確度 ........................................................................................ 73 31 - 受試者 R3 時間相依性點擊數 ................................................................................................. 74 32 - 受試者 R3 時間相依性平均準確度 ........................................................................................ 74 33 - 受試者 B1 時間相依性點擊數 .................................................................................................. 74 34 - 受試者 B1 時間相依性平均準確度 ........................................................................................ 75 35 - 受試者 B2 時間相依性點擊數 .................................................................................................. 75 36 - 受試者 B2 時間相依性平均準確度 ........................................................................................ 75 37 - 受試者 B3 時間相依性點擊數 .................................................................................................. 76 38 - 受試者 B3 時間相依性平均準確度 ........................................................................................ 76. n. er. io. sit. y. Nat. 圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖. vi .

(9) . 表目錄. •‧. •‧ 國. ㈻㊫學. 1 系統伺服器規格 ................................................................................................................................... 38 2 受試者照片基本資訊 .......................................................................................................................... 44 3 模型綜合比較圖 ................................................................................................................................... 55 4 受試者 C1 地點 A ............................................................................................................................... 77 5 受試者 C1 地點 B ............................................................................................................................... 77 6 受試者 C1 地點 C .............................................................................................................................. 77 7 受試者 C1 地點 D .............................................................................................................................. 78 8 受試者 C3 地點 A ............................................................................................................................... 78 9 受試者 C3 地點 B ............................................................................................................................... 78 10 受試者 C3 地點 C ............................................................................................................................ 78 11 受試者 R1 地點 A ............................................................................................................................ 78 12 受試者 R1 地點 B ............................................................................................................................ 78 13 受試者 R1 地點 C ............................................................................................................................ 79 14 受試者 R2 地點 A ............................................................................................................................ 79 政治大 15 受試者 R2 地點 B ............................................................................................................................ 79 立立 16 受試者 R3 地點 A ............................................................................................................................ 80 17 受試者 R3 地點 B ............................................................................................................................ 80 18 受試者 B1 地點 A ............................................................................................................................ 80 19 受試者 B1 地點 B ............................................................................................................................ 80 20 受試者 B2 地點 A ............................................................................................................................ 80 21 受試者 B3 地點 A ............................................................................................................................ 80 22 受試者 B3 地點 B ............................................................................................................................ 81 al iv 23 受試者 B3 地點 C ............................................................................................................................ 81 n Ch engchi U 24 受試者 C1 ............................................................................................................................................. 82 25 受試者 C2 ............................................................................................................................................. 82 26 受試者 C3 ............................................................................................................................................. 84 27 受試者 R1 ............................................................................................................................................. 85 28 受試者 R2 ............................................................................................................................................. 85 29 受試者 R3 ............................................................................................................................................. 87 30 受試者 B1 ............................................................................................................................................. 88 31 受試者 B2 ............................................................................................................................................. 89 32 受試者 B3 ............................................................................................................................................. 90 33 受試者 C1 ............................................................................................................................................. 91 34 受試者 C3 ............................................................................................................................................. 91 35 受試者 R1 ............................................................................................................................................. 92 36 受試者 R2 ............................................................................................................................................. 92 37 受試者 R3 ............................................................................................................................................. 93 38 受試者 B1 ............................................................................................................................................. 93 . n. er. io. sit. y. Nat. 表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表表. vii .

(10) . 表 39 受試者 B2 ............................................................................................................................................. 94 表 40 受試者 B3 ............................................................................................................................................. 94 . 立立. 政治大. •‧. •‧ 國. ㈻㊫學. n. er. io. sit. y. Nat al. Ch. engchi. viii . i Un. v.

(11) . 第一章緒論 1.1 研究背景與動機個人記憶，在我們手上反覆地逝去以及重生。從短期記憶著手編碼及運算外在知覺，到長佇於長期記憶之中，每一個儲存細節都是精細且脆弱。生理本質上的缺陷使得記憶受到健忘、錯認、扭曲等因素影響，畢生研究記憶的 Dr. Schacter 藉著實驗及腦傷病人案例，把這些現象分類為七種記憶原罪，不禁思考起我們賴以為生的記憶系統是否仍值得信賴[1]。面對不確定的記憶，人們從遠古時代開始透過圖畫、書寫等方式，傾力於記錄下眼前的事實與感受。十八世紀起，工業革命將機械性思維普及於學術與平民之間，. 政治. 大照相機及留聲機即誕生於當時，人們在機器操作之間，事實已真實地被呈現於媒介裡，. 立立. •‧ 國. ㈻㊫學. 也間接減輕人們記憶的負荷。. •‧. 爾後，人們漸漸由主動的類比記憶，進入一種被動連續的形式紀錄生活，並儲放至. sit. y. Nat. 數位編碼之中。數位時代的快速演進，不論是在價錢或是效能，各種基礎設備或是平台. er. io. 工具皆不斷推陳出新。數位記憶也隨著資訊載具進步，貼近人們生活的 userlog 記錄已. n. a l 在 Total Recall 一書中描繪著不無可能。2001 年，Gorden Bell Lifelong Logging， iv. n i U e h n c g 他指出不論在工作、學習或是個人生活中，隨著人們逐漸融入數位世界，身邊事物也會 Ch. 漸漸由類比型態的實體轉換為數位化資訊[2]。微軟也在 2006 年提議 MyLifeBits 研究計劃中，以 Memex 為藍圖，實現 Vannevar Bush 與 Gorden Bell 的想法，讓生命記憶的瀏覽與搜尋不再是枯燥瑣碎的事[3]。. 1 .

(12) . 簡而言之，個人記憶從持續地書寫、圖畫、數位紀錄等方法之中被延伸而出，但數位化使得個人記憶的特性漸漸被消磨而去。Gorden Bell 為生命記憶開創了記憶數位典藏的可能性，隨著時代的演進，漫無頭緒的儲存已不敷人們重新回憶亦記憶的提取。因此，我們需要關注在如何模擬人類的記憶標籤化歷程，不只是單純的廣泛知識表達或是連結，更期望數位記憶可以如書寫般，輕易地詮譯著我們個性化的情節記憶，這也是本論文探討的主題。. 1.2 研究問題與目的量化自我時代的來臨，生命記憶典藏逐漸成為產學界熱門的議題。眾多感測器及第三方服務的蓬勃發展，人們漸漸習慣於被動地收集個人資訊，不論是手繪的筆記文件或. 治. 政是持續監測的心跳血壓，如海納百川般盡收至個人的生命記憶平台裡。然而，龐大資料大. 立立. 的背後仍然仰賴人們手動整理，個人生命記憶平台才能得以永續運作，但往往後設資料. •‧ 國. ㈻㊫學. 建置的議題卻乏人研究。面對個人巨量的資料，習慣於關鍵字搜尋的人們仍然難以使用. •‧. 內容為主來搜尋項目，生命記憶語意化無疑地成為記憶典藏的關鍵。因此，個人生命記. sit. y. Nat. 憶典藏系統的後設標籤自動化，尤其是照片管理系統，所須考量的是知識化及個人化兩. n. al. er. io. 種因素，而這勾勒出本研究提出持續性概念重構模型的輪廓。. i Un. Ch. v. engchi 知識化，除了廣泛知識的範疇之外，我們生命記憶裡也富涵著個人經驗。就像小朋友學習每一隻動物名字一樣，我們開始在心中建構出動物的知識體，透過特徵統計來詮譯分類這些混亂資訊，知識的輪廓即在內在概念與外在事實持續地相互修正裡逐漸形成。分類是人們的天性，知識在任何時空下都是人們探討的問題，遠至哲學家笛卡爾開始懷疑起生活經驗所得的知識，近到 IBM 華生電腦(Watson)在益智問答節目中，面對其他人類參賽者仍贏得最後的冠軍，知識形成、表達以及推理似乎在哲學、心理學、語言學及電腦科學裡，像解密般漸漸被探索而出。生命記憶的運作不只是廣泛知識支撐著，它同時也仰賴著個人主動的涉入才能形成自傳性記憶(Autobiographical Memory)。. 2 .

(13) . 自傳性記憶，是一種富涵個人經驗的知識性記憶。當人們回憶起每一次經驗時，「自我」都會深植於每段故事裡。因此，以自我概念組織自我認同的記憶方法，錯綜著兩種截然不同的長期記憶 –- 知識性與情節性記憶結構 -- 語意記憶(Semantic Memory)以及情節記憶(Episodic Memory)[4]。以數位相片隱喻情節記憶的方式，認知臨床科學家 Emma Berry 等人，讓記憶障礙病人透過數位紀錄來重建自傳性記憶，以此減輕他們的記憶負擔[5]。然而，情節記憶雖可以透過自傳性記憶結構化設計進行數位典藏，但何以利用語意記憶來組織化其意涵仍然是值得深入探討。高異質性記憶之知識化，即是持續性概念重構模型的核心之一，透過時空資訊下伴隨的脈絡知識，模擬出人們對於記憶標籤化的認知歷程。生命記憶除了知識化外，個人化是個人記憶不須懷疑的第二因素。然而，伴隨著網. 政治大路無際資料而來的群眾智慧(Crowdsourcing)金礦熱潮，混亂的個人化定義及應用使人立立. •‧ 國. ㈻㊫學. 們疑惑起，個人與群眾的差異是否只在一個點擊之間。明顯地，生命記憶系統並不只是表面的系統規格可以解決，這背後其實更點出未來個人知識與廣泛知識該如何平衡，這. •‧. 是需要我們共同面對的本質問題。回顧近年電腦科學，「個人化」是一個我們不陌生的. y. Nat. er. io. sit. 研究議題，身旁不乏有相關的應用工具。Google 紀錄使用者點擊連結行為，透過貝式. n. 網路預測使用者感興趣的內容[6]。Paul Maglio 及 Rob Barrett 描述 Yahoo 新聞每接受 a v. l C ni U h i engch 到新的訊息時，其媒介工具會透過特定計算機制來決定這則新聞類別、承現方式，並整合其他相關的資訊，由此媒介工具便可預測人們閱讀習性，提供高度客製化的內容於廣泛的受眾[7]。有關個人化研究已累積出相當成果，其中特別重視在分析使用者提供個人資訊、行為等資料，藉以推測使用者興趣，讓系統以重新計算內容權重，微調龐大的資訊，優先傳達使用者偏好的項目。. 3 .

(14) . 此外，群眾智慧(Crowdsourcing)的研究議題也漸漸影響個人化的應用。群眾智慧一詞出現於 Web2.0 時代，網際網路從原本單向資訊傳播轉變為雙向資訊交流，人們除了接受資訊外，更可以反饋個人想法至網路上。研究人員則透過群眾力量來幫助電腦學習無法輕易解決的問題，例如 Luis Von Ahn 提出文字驗證碼(reCAPTCHA)影像辨識，藉由使用者持續輸入，讓電腦學習解決無法辨識的影像問題，也幫助了書本數位化[8]。協同過濾(Collaborative Filtering)即是群眾智慧概念的個人化推薦演算法，經由探勘和加權群眾行為、興趣及軌跡來預測使用者感興趣的項目，最常運用於新聞及電子商務網站。然而，上述個人化的演算法多是針對單一案例設計，在長期使用下即會發生演算法僵固化、資訊偏食現象。像是 Google 會根據使用者過去搜尋行為微調結果，於是，當. 政治大電腦領域使用者心血來潮想瞭解生物病毒構造時，搜尋病毒關鍵字只會帶來電腦相關的立立. •‧ 國. ㈻㊫學. 病毒資訊；如此缺乏平衡性的行為分析，將無法瞭解人們行為背後的隱含意義，更不可能精準推薦使用者資訊。然而群眾智慧雖然以共同知識概念，解決了電腦無法計算人類. •‧. 可以簡單分辨的基本認知問題，但面對個人生命記憶平台的標籤化，勢必興起個人智慧. er. io. sit. y. Nat. 與群眾智慧的衡量議題。. n. al Jaron Lanier 描述群眾智慧的概念是將每個人可能的失誤彼此抵消，因為人們答案 iv. n i U e h n c g 都會在正確答案附近徘迴，透過這種重覆驗證後，即可推測出可能的正確答案，但作者 Ch. 點出這個概念背後的核心其實是個人智慧，當以齊頭式比較分析行為後，是不可能反過來稱為個人智慧，因為它已經喪失個人獨特性[9]。然而，群體認同的知識仍然是個體疊加而成緣故，個體智慧範圍仍然不會脫離群體甚多，因此，在推薦模型上如何權衡群體與個體議題，這也是本研究第二研究問題。. 4 .

(15) . 綜觀而言，知識化與個人化即為標籤化重要因素。Gordon Bell 描述將一生經歷數位化，得消耗 Terabyte 硬碟容量單位才能完成[2], [3], [10]，資訊膨脹現象勢必會有許多生命記憶典藏平台及工具幫助我們記錄及存取身邊一切，但龐大的資訊如何貼切地推薦後設資料給予使用者將是個問題。因此，本研究從個人照片管理系統出發，以持續性概念重構模型試著揉合群眾與個人知識，尋找個人化記憶的語意化意義及可能性，成為本研究傾力探討的核心問題，從中試著釐清以下幾點： 1.. 在個人影像的脈絡化標籤裡，以時間與地點標籤探討廣泛事件語意化的可行性。. 2.. 在相片標籤推薦裡，以階層式貝氏模型模擬人們在標籤化認知歷程，嘗試整合個人偏好、近況與共同知識為推薦基礎。. 3. 隨著照片註釋完善，以使用者行為歸納其註釋推薦在個人與群眾間的利弊，並觀察. 治. 政本研究之持續性概念重構模型是否能解決之間的權衡。大. 立立. •‧ 國. ㈻㊫學. 1.3 論文結構. •‧. 本論文分為五大章節，第一章節為建立研究背景、定義問題及方向。第二章即回顧. sit. y. Nat. 先前相關領域學者的成果，從長期記憶的特質出發，至建立生命記憶平台的經驗，並以. er. io. 標籤自動化來結尾，最後針對文獻回顧做總結。第三章即介紹本研究之系統架構及模型. n. a. v. l C 說明。第四章則說明實驗細節與評估限制，接著第五章針對研究模型進行使用者行為分 ni hengchi U. 析，以觀察出使用者在不同標籤推薦下的差異。最後一章即回顧本研究之問題、成果及貢獻的發現，以此做為論文之總結。. 5 .

(16) . 第二章生命記憶之文獻回顧我們都知道記憶並非永恆不變，我們透過圖畫、書寫、拍攝，以記下稍縱即逝的情節感受。科技的演進漸漸提供不同以往的記錄方式，無線通訊、行動裝置等使我們可以被動地量化自我，微至生理訊號，廣至生活軌跡，無所不在的感測器幫助我們收集各種個人生命記憶。本章節我們將瞭解長期記憶之特性，自傳性記憶裡語意與情節記憶間的交織互動，並瞭解脈絡對於記憶認知上重要的角色，並非單純以資訊系統裡絕對時間與地點典藏即可。從生命記憶發想以來，已有不少研究討論並實作。數十年前，生命記憶多半為可行性評估，針對生命數位化的感測、儲存及應用的想法來討論，近年以來生命記憶平台的實踐，不論在學術界或是產業界都有許多建置及應用的經驗。然而，面對量政治. 大. 立立化資料的爆炸，這些資料記錄往往已經超乎我們記憶的認知能力，唯有資訊檢索才有能. •‧ 國. ㈻㊫學. 力從數位記憶裡找到我們想要的資料，後設資料即成為生命記憶平台的關鍵。在過往的. •‧. 生命記憶平台當中，不同類型的資料格式多半皆為使用者輸入語意標籤以利往後檢索，. sit. y. Nat. 但是面對個人的巨量資料，這些瑣碎的輸入動作將會擊退人們整理資料的意願。因此，. n. al. er. io. 我們將會針對長期記憶、記憶數位化以及標籤自動化三個議題分別進行討論。. Ch. engchi. 6 . i Un. v.

(17) . 2.1 長期記憶及其特性 2.1.1 長期記憶直到現在，我們仍然不會忘記三角形的畢氏定理，甚至仍然可以向別人解釋它的涵意。而這種所謂的記憶，即是經過反覆練習而深植於長期記憶，像是個無盡的圖書館，讓我們一生都能持續提取。但卻會發現有些記憶我們確實記住了，但卻無法向另一個人分享這些知識，像是如何在腳踏車上平衡等，這也就是長期記憶難以定義出明確的特徵。 1991 年，Squire 與同事們即發現這個特性，並整理了過往長期記憶的研究，分類出內隱及外顯記憶[11]。如同當被人問起如何拿筷子、為什麼你綁鞋帶先綁完右邊再綁左邊？這些個人默會的知識，難以與別人解釋的記憶即是內隱記憶，也稱非可陳述性記憶另一方面，像是數學定理、經驗分享，這些可以透過口頭或書寫與大家分享的記憶，都是被治. 政. 大. 分類為外顯記憶，亦稱可陳述性記憶。而這些可陳述性的記憶，可以依外在事實及個人立立. •‧ 國. y sit. 內隱記憶. Nat. l. •‧. 這三個分類的細節：. ㈻㊫學. 經驗，區分為語意記憶與情節記憶。以下即分別探究內隱記憶、語意記憶以及情節記憶. n. al. er. io. 無目的性的記憶喚回(Recollection)都屬於內隱記憶，我們可以從每天的行為之. iv. Ch 中發現它們，像是個人習慣、職業技能、走在回家的路上等，我們毫無意識到它們 Un engchi. 正被執行著，透過環境脈絡訊息，記憶自然而然執行下一個步驟。在 1980 與 1990 之間，心理學家開始透過許多行為實驗證實內隱記憶的存在，像是聯想實驗 (Priming)、古典制約實驗(Pavlovian Conditioning)以及記憶受試患者在人造文法學習實驗等，Squire 則將這些無需耗費認知能力、無法言語的記憶歸納在一起，成為非可陳述性記憶。. 7 .

(18) . l. 語意記憶我們輕易的可以說出，長頸鹿有四條腿、太陽從東邊出來，甚至斜率可以透過. 微分計算出，像這種廣泛知識的概念、規則、文字、符號及事物等，都是屬於語意記憶。儘管語意記憶反映著我們身處的外在事實，但專注的事物總是會依不同的專長、職業，對於語意記憶的知識內容也會不一樣。尤其是在 Chase 與 Simon 的西洋棋實驗裡，當面對一般散亂無規則的棋局擺位，專家與新手之間皆沒辦法記住整個棋勢。但如果是從棋譜裡擺出的棋局，專家則會因為齊全的背景知識，而使得每個棋子在各位子上產生意義，讓他可以快速記住著個棋勢。這實驗也證實了人們在記憶裡，有一部分是透過組織嚴密的規則，來記憶外面已知的事實。 l. 情節記憶. 政治大讓我們開始回想，第一次學腳踏車的那段回憶，什麼是從記憶裡被喚起的？微立立. •‧ 國. ㈻㊫學. 風徐徐的傍晚時分、在你家前面的空地、你的家人…，這些都是所回憶的那些過往，最重要的是，你實際回憶的是那段重溫舊夢的情緒感受。1972 年，當時大家認為. •‧. 語意記憶即長期記憶的時代裡，Endel Tulving 提出了兩個概念：知道(Knowing)以. y. Nat. er. io. sit. 及記得(Remembering)，知道即是一種語意記憶上對事實的瞭解，而記得指的是你. n. 在過去所感受的記憶，以此區分出情節記憶以及語意記憶[12]。因此，如先前不斷 a v. l C ni U h i engch 提起的途述，情節記憶是以個人感受為中心去記憶身邊一切，讓時間、地點及週遭脈絡當作索引，成為你個人獨一無二的自傳性質的事件記憶。. 8 .

(19) . 2.1.2 脈絡、長期記憶與自傳性記憶時間是人們記憶裡看不見的度量尺，人在回憶時總是脫離不了時間認知。或許也可以這樣形容時間，眾多生物體內心中物理變化所共構出的一種規律。因此，人們在感官能力開始運作時，自我開始與外在環境建立連結，物理性的脈絡運作也間接在內心形成一種計時空間，而這種默認知識也在群體間共同享有著，例如：焚香、日晷或時鐘等。儘管如此，在客觀時間知識下，時間對於人們並不是與生俱來的能力。James William 認為，時間就像一種生物體心靈間的共有容器，讓彼此之間瞭解先後以及共存的關係，但是，如果生體個體心靈一旦脫離時間，也就是喪失接受外在環境任何感知資訊，內心就會產生時間混亂的現象[13]。手術即是我們可以想像的例子，病患在全身麻醉時，所有感知能力即會全部暫時關閉，在甦醒的共同經驗就是先確認目前的時間，以此穩定內. 治. 政心的不安感。這也隱涵著一個重要的訊息，時間的概念是源於個體內心之中，脈絡的規大律變化逐漸幫助時間感的形成。. 立立. •‧ 國. ㈻㊫學. 哲學家 Jean-Marie Guyau，在探討時間的主觀性上有許多研究，內在光學(Internal. •‧. Optics)即是他提出的重要概念[14]。他認為時間並不能透過客觀實驗裡測量而來，是必. y. Nat. io. sit. 須透過個體內省的觀察才能察覺，透過內心主動地發號內省指令，個體會在不同內心時. er. 間裡切換，例如與他人交談時回憶其過往、上課打瞌睡等。雖然內在光學與 James a. n. iv l C n hengchi U William 的概念發表的年份相同，但是內在光學進一步說明了影響時間的主觀性包含了個體思想、注意力、情感等[13]。Jean-Marie Guyan 舉回顧過去來描述主觀性如何影響時間的測量，假若過去一年裡發了許多重大或是變故的事件，你會發現你重新想像身處於事件之中的那種時間感受，會比你佇於現在單純回想那件事件來的漫長難熬。因此，時間軸的定義已不如我們心中所想像是個刻度分明的直線。Theodule Ribot 試圖著在他的生活裡加註各種標註，其中包含了明確時間，但他發現我們並不會主動的挑選時間來紀錄，反倒是像把這些事情標記於自己的時間認知流當中，而這些時間認知流都會是個人發生的所有生活所組成[15]。而 Theodule Ribot 也提及標記的意義如同路標，路標間雖然是相關地區而彼此緊湊，但隨著路標卻會指引去不同的方向，而一系列的事件即是承襲如此特性，得以在人生裡並置對照。而 Theodule Ribot 的研究也使得往. 9 .

(20) . 後的自傳式記憶核心著力點之一，例如 Martin Conway 的自我參照點(Self-Referential Information)、Dan McAdam 的生命情節(Nuclear Episodes)或是 M. S. Shum 的時間理程碑(Milestones in Time)等。不難想像上述時間標記的概念，當我們回想過去某段事件時，然而我們已忘記明確時間點時，我們會開始搜索起個人的生活標記：「我還在讀小學四年級時…⋯」、「印象中那時候鄰居家的小狗還沒有死去…⋯」、「弟弟才剛回到家沒多久」等，透過標記間的聯想激盪，事件總是會在指引之間被找到。我們可以用「個人編年史」來形容自傳性記憶，當你緩緩道著你國中的回憶，第一天開學、你的班導種種事蹟….。在自傳性回憶裡，每個事物都是以靜止形態存在回憶裡，每一個人物細節、當下的感受，都是具目標性的存放在自傳性記憶當中。雖然 Elizabeth Loftus 在目擊者記憶研究裡，告訴我們目擊者在事件後，自我記憶如何在提. 政治. 大取及提取線索中被修改[16]。但是 Dan McAdams 這樣描述著自傳性記憶：「我們都在人. 立立. •‧ 國. ㈻㊫學. 生路程上經歷許多這樣的時刻，並且將它們編織到我們自己的故事之中。」，他認為我們習慣從回憶中編撰為一個具自我邏輯的連續故事情節，從故事之中建立起我們的自我，. •‧. 並以四大元素形塑出自傳性記憶(如圖 1)[17], [18]：. n. er. io. sit. y. Nat al. Ch. engchi. i Un. v. 圖 1 Dan McAdams 生命故事認同模型資料來源：Dan McAdam 原文，1987 年. 10 .

(21) . (一) Ideological setting：生命故事中自我的責任、個性等。 (二) Characters：生命故事裡角色的設定。 (三) Nuclear episodes：生命故事的情節。 (四) Generativity script：生命故事的敘述。隨著主題軸線(Thematic lines)啟動四項元素，四個元素會與敘事複雜性(Narrative complexity)提取出在此生命故事中，自我個性、角色、情節以及目標敘述，並組織成合理且符合時空邏輯的個人生命故事。相較於 Dan McAdam 著重於生命故事內容的形成，Marilynn Brewer 則在故事形成前的收集階段提出看法，她認為在自傳性記憶裡，自我參照效應(Self-reference Effect). 政治大說明記憶在編碼過程中，個人的主動性涉入比起漫無目的的記憶會記錄更多細節[19]。. 立立. 她認為自我是由經驗性自我、圖示性自我、個人記憶，直至最後與自傳性事實彼此關連，. •‧ 國. ㈻㊫學. 換句話說，從知覺在腦中呈現出知覺網絡，在記憶裡表達出個人概念，最後將這些概念. •‧. 與個人經驗彼此相連，而這些也都在許多文本分析、腦科學研究證實其關聯性。. y. Nat. er. io. sit. 2000 年，Martin Conway 與同事對於自傳性記憶與事物回憶上進行研究，他們從. n. 許多文本分析與腦造影研究中得到些歸納，描繪出自傳性記憶的結構[4]。從 Martin a v. l C ni U h i engch Conway 模型裡，人們對於自己人生閱歷上分為人生階段(Lifetime Periods)、廣泛事件 (General Event)以及 Event-Specific Knowledge(特定事件知識)三種分類(如圖 2-7)。這三個事件彼此是相依的，自傳性記憶的喚回必須要有個主題性才能形成具邏輯性的故事。以下圖為例，在 A 公司工作期間裡面包含了許多細微的事件，包含第一天工作、星期五下班後與同事們一同去喝酒等。而這時你的特定事件知識即會因為這些主軸而喚起某些記憶。以下分別為這三種分類分別解釋：. 11 .

(22) . 立立. 政治大. n. a. y v. l C 人生階段(Lifetime Periods)：對於個人生命記憶裡重大的事件。例如：學生時 ni 期、交往、工作等。. l. sit er. io. l. •‧. •‧ 國. ㈻㊫學. Nat. 圖2 自傳性記憶知識結構體資料來源：Conway 原文. hengchi U. 廣泛事件(General Event)：比人生階段還要更細節，例如第一次約會、在 KTV 過生日的事件。. l. Event-Specific Knowledge(特定事件知識)：存放著所有記憶的知識，像是個記憶池一般，存放著記憶本身及其脈絡於當中。. 這三種事件彼此是相依的，自傳性記憶的喚回必須要有個主題性才能形成具邏輯性的故事。以下圖為例，在 A 公司工作主軸裡面包含了許多細微的事件，包含第一天工作、星期五下班後與同事們一同去喝酒等。而這時你的特定事件知識即會因為這些主軸而喚起某些記憶。. 12 .

(23) . ㈻㊫學 y. er. io. sit. Nat. 圖3 直接與間接存取自傳性記憶模型資料來源：Conway 原文. •‧. •‧ 國. 立立. 政治大. n. 然而，自傳性記憶並非隨時隨地就可以述說而出，它必須在發號指令後，等待短暫 a v. l C ni U h i engch 時間重整組織被喚起的混亂記憶，才能描繪出出具邏輯性的個人敘事。圖 2-8 即是在說明自傳性記憶知識庫(Autobiographical Memory Knowledge Base)如何被提取。經過線索喚起記憶過程分成兩種途徑，第一個為直接檢索(Direct Retrieval)即是在主動地與別人分享自己的過去，心中早已有最適切的標籤去檢索過去的回憶，無需思索更佳的搜尋標籤；第二個為生成檢索(Generative Retrieval)，如同別人與你分享事情時，你腦中其實也正思索著可以與對方分享的自己過往經驗，所以必須從對方給予的線索，在心中重新建構出適切的線索串，再投向自傳性記憶知識庫裡尋找。. 13 .

(24) . 2.1.3 小結我們都可以觀察得到人們在交換經驗，不斷地針對情節記憶進行語意化的過程，角色間的關係、時空背景、子事件順序、故事間的邏輯等，人們的生命記憶即是在這些語意化下重新呈現出來。在情節記憶與語意記意錯綜下，儘管脈絡資訊皆為客觀存在的事實，但透過主觀性的詮釋往往成為回憶的線索，人們不論是主動式或是被動式回憶，接受到零散的線索刺激後，在腦中總是需要耗費一番心力喚回其他回憶片段，才能將完整回憶重新形成知覺地圖。特別的是，這些零散的線索卻又並全然為直覺性的時間或地點，人們也可以憑藉著瑣碎的脈絡氛圍即可回想起久遠的兒時回憶。從文獻回顧裡可以明白脈絡與生命記憶之間相輔相成關係，但何為脈絡資訊卻在記憶研究裡未交代清楚之處，因此，在生命記憶平台中脈絡資訊的角色以及如何依附於數位化的生命記憶上，將會是我們所要深入討論的內容。. 立立. 政治大. •‧. •‧ 國. ㈻㊫學. n. er. io. sit. y. Nat al. Ch. engchi. 14 . i Un. v.

(25) . 2.2 記憶數位化 2.2.1 個人生命典藏生命記憶典藏，科學家於十年前仍然於摸索其可行性，討論的大多為 Memex 概念實行、儲存容量及資料的收集方式等。現今軟硬體的躍進，回顧這幾年的文獻大多為多樣化的感測器、不同來源的整合、生命記憶平台的建置、擬人般的檢索及敘事等。生命記憶平台並非單純的典藏平台，Catherine Marshall 認為建置一個生命記憶平台必須是以數位內容(Digital Content)、權限管理實務(Stewardship Practices)以及個人典藏科技 (Personal Archiving Technology)為綜合評量的框架[20]。也就是等同於對於數位內容的保存、管理以及檢索方式，必須做完整的架構，以達到個人資料永續典藏的目標。. 治. 政同樣地，熟悉科技的人們對於數位內容的保存上也可以看到焦點轉移的現象，從在大. 立立. 早期的檔案格式之變動、硬碟容量等技術議題，研究及教學的討論，話題漸漸轉移為個. •‧ 國. ㈻㊫學. 人數位典藏的分享，包含後設資料的重要性、個人雲端典藏、社群及家族典藏計劃、不. •‧. 同資料來源整合等。從這些話題的變化，可以看出人們對於生命記憶的需求，不再單純. Nat. sit. y. 地想把資料放置於硬碟當中，更進一步地想將這些「個人資訊」成為「生命記憶」。儘. n. al. er. io. 管 Catherine Marshall 著墨於數位內容與權限議題較多，但是對於保存策略上也有許多. iv. Ch 描述，它將內容區分其價值性，分為以下四種型態[20]： Un engchi. （一）高價值項目(Known high value items)：儘管高價值項目因人而有所差異，但此項目為人們有意識地想要將其長期保存，且此項目並不會很多，大多皆是讓使用者輕易地辨識出個人價值所在。許多數位典藏保存策略皆是以此為主。（二）中等價值的子錦集(Medium value subcollections)：針對某些項目，我們很難解釋為何想要保留它，但隨著時間的增長，這些項目的保留將其顯露出高價值。此項目大多為小孩的生活照片、個人旅行照片、軌跡、對話紀錄等。（三）低價值性的子錦集(Low value subcollections)：由於瑣事或階段性目的而過渡暫存的項目，本身具有許多的複製的冗餘檔案，但其價值並非顯而易見，大多是在目的性的意圖時，才會搜尋其項目資料。例如：社群交換檔案、公事性質檔案與信件。（四）已知缺陷的項目(Items of known liability)：人們會選擇將某些項目選擇「遺. 15 .

(26) . 忘」，其行為目的無關於價值問題，而是因為情感或是非具保存意願的資料，因此，無法回復的刪除對於這類型項目的檔案是必須的。從高價值至低價值性項目，我們可以看出其價值性取決於個人情感涉入程度，然而，儘管知道其價值之重要性及策略，我們還是必須花費心力去整理。個人行事曆、信件、文字對話、檔案這些個人資訊管理常常並非是件易事，更何況是量化自我所產生的訊號資訊更加使得我們無所適從。以時間使用性來區分個人資訊與生命典藏，個人資訊導向的偏向於短期、尚無精密的儲存策略，多半為近幾個月的資料；生命典藏則是以長期經營導向，將資料間的脈絡彼此連結以貼近於個人的生活，以理解並幫助使用者檢索回憶過往資訊[21]–[23]。. 政治大儘管後設資料對於兩者皆是不可或缺的資訊，但是卻有不同層次的意涵，個人資料. 立立. 裡的脈絡偏向於資訊導向，例如檔案建立時間、檔案位置、照片地理資訊等。而生命典. •‧ 國. ㈻㊫學. 藏的後設資料則是傾向於脈絡性質功用，讓資料間透過後設資料來緊密關聯，讓座標位. •‧. 置賦於地理名稱、將時間相近的照片群聚為同一事件集合等[24]。後設資料看似理應具. sit. y. Nat. 備於每個檔案之中，但卻受限於機器感測器功能而使得資料間斷不完整，然而現今可以. er. io. 透過許多第三方資源庫得到檔案相對的脈絡資訊，但也必須擁有時間與地理資訊。因此，. n. a. v. l C 關聯於各資訊間後設資料的產生，在生命記憶建置平台上是必須被關注的問題。 ni hengchi U. 從上述後設資料的差異可明白，不論典藏項目價值高低，彼此透過關聯得以日後生命記憶更加緊密，這也與上一小節長期記憶特性相同，脈絡資料伴隨著記憶而生，卻也讓不同記憶間緊密關聯，因此，可以從此推論後設資料其實即可等同於記憶研究裡的脈絡資料，除了典藏項目自身描述的後設資料之外，透過客觀的時空資訊來關聯其他典藏項目，以此達到生命記憶典藏之記憶特性。. 16 .

(27) . 2.2.2 從記憶朝向回憶對於生命記憶平台的建置研究的科學家較為集中，除了早年 Gorden Bell 提出全面回憶(Total Recall)以及我的生活位元計劃(MyLifeBits Project)之外，近期以實務經驗去觀察生命記憶該如何被典藏為主軸的研究者也非多數，儘管如此，在近期研究裡可以看到研究趨勢不再只侷限於概念雛形，甚至嘗試起生命敘事的可行性。承襲 MyLifeBits 在感測器收集生活資訊的研究，GJF Jones 以行動手機(Nokia N95)、微軟感應拍 (SenseCam)、GPS 記錄器以及使用者接觸到的信件、檔案、網頁等，整合其不同來源的生活資料，以匯集至自行建置的生命記憶平台上。其平台除了以時間與地理資訊來關聯資料間，也透過這些資料再去抓取第三方服務的脈絡資訊，例如天氣狀況等[25]。除了上述在保存及搜尋功能外，GJF Jones 也在個人生命記憶敘事上，區分出日常生活與. 治. 政生命事件的差異，但由於在他的研究裡，仍難以透過電腦區分出兩者，因此他僅以日常大. 立立. 出該生命記憶平台裡，應該注意的議題，如下[26]：. ㈻㊫學. •‧ 國. 生活的瀏覽為主[25]。而他的同事 Daragh Byrne 後續也針對此篇研究進行回顧，歸納. •‧. （一）前置工作耗時：生命記憶資料的收集儘管可以自動化的感測，但是仍然需要. sit. y. Nat. 時間一點一滴的累積，並且需要花費心力去整理上傳這些資料。. er. io. （二）早期且頻繁地測試：由於生命記憶平台必須永續運作，但技術與第三方服務. n. a. iv. l 因此必須頻繁且早日測試的支援性我們難以確保他們的運作，，以保在面對突發狀況時， Ch Un 能夠即早修復。. engchi. （三）穩固性以及可靠性設計：如第二點所說明，當技術上的變動觸及系統程式上的設計時，我們不可能系統重新撰寫、停止運作，因此在功能整合上，我們必須考量到彈性且元件間可替換性。（四）人因工程上的緩和：上傳資料與不同裝置間的同步在生命記憶平台是一項頻繁的功能，當不可避免的等待及操作時，人機介面上的設計將會緩和使用者焦慮以及不確定性。（五）定期收集及檢查資料：除了感測器以及行動裝置在儲存容量上的限制，面對大量資料集中匯整也會造成系統一定的負擔，因此必須在電力能源與資料一致性間取得平衡。. 17 .

(28) . （六）支援隱私權功能：面對分享與刪除時，系統必須能夠提供使用者完整的權限控管。近三年來感測器功能頻於推陳出新，Chelsea Dobbins 將生命記憶平台嘗試同時以穿戴裝置當作存取點，讓生命記憶可以脫離桌上型電腦的限制。除了既有的感應拍、地理軌跡、第三方服務資訊溫度等外，Chelsea Dobbins 更把心跳、腦波、生理溫度等生理儀器數值加入生命典藏平台裡，讓資料所呈現的外在事實裡，更加入個人情感資訊於當中[27]–[29]。Chelsea Dobbins 在同時也嘗試將知識本體為基礎的 DigMem 記憶平台實作為網頁應用程式(Web Application)，以智慧型手機來存取其資料，並以 RDF(Resource Description Framework)來對資料進行特徵描述以及資料間的相互連結，除此之外，在收集完一段時間的生命記憶後，他嘗試利用不同搜尋演算法，來評估在回. 政治大憶搜尋上是否能符合使用者預期，儘管實驗資料集較少，但在結果反應出基於語意註記立立. •‧. •‧ 國. ㈻㊫學. 的貝氏網路較能找出正確的回憶資料[29]。. 2.2.3 生命記憶之數位模擬與應用. y. Nat. er. io. sit. 我們已從稍早章節回顧長期記憶與自傳性記憶現有研究，瞭解自傳性記憶在組織記. n. 憶上是採取類似階層式方式支配片段回憶，Aiden R. Doherty 及其同事則思考著，我們 a v. l C ni U h i engch 的知覺就如同 SenseCam 般每天都感知到大量的外在事物回來腦中記憶，該如何藉由. 自傳性記憶的理論讓照片讓自動化分群出適宜的群聚。在照片收集時，Aiden R. Doherty 先以時間區間將照片區分出初始事件，總共從 4 位受試者裡收集到 1,864,149 張照片，並聚合出 22,125 個事件，而每位使用者也必須挑選 50 個事件手動輸入人生事件及其他資訊，籍此當做訓練資料。以 TRECVID 方法將影像色彩內容及使用者搜尋語意字詞做對應(TRECVID)，計算相似度來模擬事件的回憶，在廣泛回憶 P@5(前五個搜尋結果的精準度)搜尋有 0.65，在指定回憶 P@5 搜尋則是 0.30 [30]。然而，雖然 Aiden R. Doherty 的研究裡，我們並不清楚 50 個事件裡照片數量為何，但是全然以手動輸入對於生命記憶平台來說，在使用者的生理及心理上，仍然會是一定程度上的抗拒。同樣也著重於平台設計研究的 Elise van den Hoven，她針對典藏項目. 18 .

(29) . 則是以紀念品(Souvenirs)當做回憶的線索，這個概念最早為 Stevens 等人所建議，主要述說實體物品在情感記憶裡較具有個人意涵，而這種情感連結背後所牽動的影響將不是輕易可以描述。因此，Elise van den Hoven 認為人所經常出現的家裡環境，就是由紀念品所環繞。而這些紀念品在她的平台裡總共分為三種類型：佳節紀念品、傳家寶以及禮物。而平均一個紀念品會被關聯至 24.3 件項目，因此，他認為紀念品會是個強而有力的項目標籤[31]。另一方面，在自傳性敘事模擬上，Daragh Byrne 對於結構議題上也主要著重於事件的說明，典藏項目標籤的構製上則並未解釋，因此也無從得知其標籤資料來源[32]。而在應用面向，也有許多研究者把生命記憶平台拿來做醫療輔助系統，透過自傳式記憶的認知模擬，嘗試幫助阿茲海默病患或是自我審視等，在心理及生理健康都有一定. 政治大的助益。Dana Pavel 與同事透過平台的建置，讓使用者可以記錄的軌跡移動、心跳血立立. •‧ 國. ㈻㊫學. 壓、飲食控管、血糖監測、心理狀態、交友關係、記憶等，並透過互動式的圖呈現，讓使用者可以瞭解自己的生活習性。除此之外，使用者可以輸入事件序列，透過柏克萊大. •‧. 學製作的 BYOB(http://byob.berkeley.edu/)系統創造出敘事的功能[33]。同樣地，Basel. y. Nat. er. io. sit. Kikhia 也在手機上實作類型的記憶支援系統[34]。針對病人的記憶支援工具，Masashi. n. Crete-Nishihata 與同事提供了 12a位阿茲海默病患或是輕微的記憶受損病人使用，從六 v. l C ni U h i engch 個月的實驗觀察裡，受試者對於自我認知與家人間的人際關聯有明顯的幫助，他們認為儘管這個實驗平台為個人數位記憶，但他們反而覺得他是一種人與人互動間一個良好的媒介[35]。. 儘管我們都明白自傳性記憶中，對於生命事件與廣泛事件有完整的描繪，但是其實背後隱藏了語意與情節記憶於當中。Elise van den Hoven 除了回顧了個人記憶研究的過去與現在外，針對生命記憶的未來研究方向提出他的看法，詳細如下[36]：（一）記憶類型(Human memory types)：記憶的類型除了心理學上的分類之外，在其他領域就分成數 5 種至 256 種類型[37], [38]，其自傳性記憶也可以分出自我認同、關係等，但是，該如何抓取這方面的資料則是值得思考的。（二）遺忘其遺忘(Forgetting forgetting)：人們記憶其一特點為遺忘，但是我們並. 19 .

(30) . 非真實遺忘，而是回憶不出那些片段。因此，遺忘議題實作於生命記憶平台也是必然的功能。（三）紀念上的支援(Supporting commemoration)：提到遺忘，但人們總是不會想去忘記死去的親友，因此數位墓園或是數位遺產上的議題，也會隨著時間受到重視。（四）記憶的媒體效應(Media effect on memory)：從著名的 Google 效應得知，人們隨著使用的數位工具，而影響他們記憶上的認知能力，例如記憶容量、方式等。隨著生命記憶平台的普及，該如何適應性地與使用者互動及幫助。（五）懷抱數位(Cherishing the digital)：我們難以抵擋未來全位數位化的趨勢，在人機介面上的研究也蓬勃發展中，例如視覺化、可觸碰介面、唯一卻內隱的記憶線索保存等。. 治 tools)：新科技工具與演算會不停的推政 and （六）新科技與工具(New technologies 大. 立立. 陳出新，面對相關的記憶線索會自動化的標籤進入相片、錄音等典藏項目裡，來幫助使. •‧ 國. ㈻㊫學. 用者找尋相關的回憶。. •‧. （七）嚮往長存(Longing for longevity)：從 Gorden Bell 時已經不斷提及，我們難. sit. y. Nat. 以保證目前所使用的所有檔案格式，在未來仍然可以安然地使用。因此，在未來可能會. er. io. 有第三方的服務幫助使用者轉換格式，甚至提供虛擬環境讓使用者可以重新開啟檔案。. n. a. v. l C （八）反映性記憶(Reflective remembering) ：回憶是互動之中所一點一滴湧現而出。 ni hengchi U. Elise van den Hoven 認為生命記憶必須能在互動間展露出使用者個人經驗於當中，例如檢索、記憶敘事等。（九）具情感的記憶(Emotional memory)：情緒使得記憶重拾生命力，自傳性記憶裡也強調著情感在記憶裡重要的角色，因此如何透過可穿戴式裝置、感測器，甚至其他的社交工具，可以自動化協助記錄下情感方面的資訊，也是值得研究的議題。. 20 .

(31) . 2.2.4 小結後設資料的功用，從單一檔案的描述的個人資訊管理系統，到全面回憶的生命記憶平台，我們可以清楚看到後設資料不再只是附屬於檔案間的資訊，在生命記憶平台裡，任何典藏項目皆可以當做彼此的後設資料，例如天氣、心跳等，這也是長期記憶所講的，脈絡使得記憶間得以關聯。然而，這些富有情感性的項目之中，儘管可以彼此關聯讓其生命記憶可以具感性成份，但是情節記憶的語意化仍然是生命記憶的關鍵，我們無法從單調的感測資料裡交換任何資訊，人們唯獨在語言表達上才能全然瞭解個人對此段記憶上的情感層面。本研究並非全然拒絕情感計算前的生理資訊採集，而是希望能在情節記憶嘗試語意化的可行性。而下個章節，我們將針對記憶的標籤自動化進行更深入的討論。. 立立. 政治大. •‧. •‧ 國. ㈻㊫學. n. er. io. sit. y. Nat al. Ch. engchi. 21 . i Un. v.

(32) . 2.3 影像標籤自動化從過去的研究裡，我們可以輕易的指向一個外在事物進行標籤化，例如我們可以指著石頭，說出灰色、礦物、粗糙等語意概念化標籤。但是，我們卻難以得知我們如何為自身的記憶進行標籤化分類，其情節成份的模糊性使得語意記憶的產生上無法輕易完整地描述，往往我們只能就事實進行陳述，但是在回憶時卻又可以脫離這些事實來想起這些事物。在此章節，我們先探討外在事物在語意層次上，是如何被組織於長期記憶裡。再針對現今影像典藏技術進行討論，並在後設資料上的儲存多所著墨。最後，我們將討論廣泛知識與個人知識對於標籤推薦自動化的可能性。. 2.3.1 記憶的表達. 治. 政當小朋友們開始認識這世界時，外在物件(Referent)與指稱符號(Reference)的學習，大. 立立. 會在內在建立這些的概念(Concept) 連結，把圓形叫做「月亮」這種嘗試與錯誤(Trial and. •‧ 國. ㈻㊫學. Error)的學習，是在小朋友內心之中建立一套分類(Category)規則，往後面對新的事物時，. •‧. 像人類本能一般，我們會嘗試將這未知的物體進行歸類。長期記憶的架構裡，這些概念. Nat. sit. y. 與分類的形成已有許多研究，早期研究從 Aristotle 開始，必須非常明確定義出物件的特. n. al. er. io. 徵，例如三角形的內角總合必須為 180 度，所有的三角形都是彼此共有這樣的定義，不. iv. Ch 符合這些特徵即不會屬於該類別裡。但這個分類方法似乎會有許多盲點，像是對鳥最基 Un engchi. 礎的特徵即是「飛」，但看到鴕鳥、雞時，儘管它不符合「飛」的特質，我們仍然可以很直接把它分類到「鳥」的類別裡。因此，儲放了許多我們內心的概念，我們究竟是怎麼在心裡表達它們呢？以下我們將分別介紹近年討論甚多的兩個理論：原型理論在構成定義氛圍下，Wittgenstein 提出一個悖論，讓學術界引發反思及廣大迴響[39]。 Wittgenstein 認為類別之間應該是由成員之間的相似度來判斷，而不是以嚴謹定義來分類，例如：什麼是遊戲(Game)？我們的確很難找到涵蓋所有遊戲類型的定義，當我們定義了兩人以上才能稱為遊戲，但只需要一個人玩的溜溜球、扯鈴即被排除於遊戲之外嗎？似乎我們不會認同這種分類定義。Eleanor Rosch 也提出相似的看法，她認為類別. 22 .

(33) . 物件之間其實存在著模糊空間，人們其實都是以每位類別成員的平均或是趨勢來詮釋出該類別的原型(Prototype)，類別成員可以允許個體物件些許特徵與其他成員不同，同類別的兩物件之間會形成一種光譜關係，像是傢俱(Furniture)即是個典型的例子。範例理論在認同原型理論的前題下，Edward Smith、Douglas Medin 以及 Brian Ross 則在某些狀況下有著不同的看法：當類別成員間具高度異質性情況下，那如何產生原型呢？以維修工具，在不同職業脈絡之下，對於維修工具將會有不同的物件，例如木工師父之於鐵鎚，電腦維修師之於鉗子。這些情況對於以相似度來辨別時，將會尋覓不找所謂類別的原型。因此，他們在高異質性物件類別裡組成依不同脈絡的群體，稱之為範例理論 [40], [41]。以一種依脈絡持續變化的類別，使得類別可以貼切於真實生活，「出國必帶. 政治大物品」，就可以包含護照、隨身聽、衣物…等，範例理論考慮的不只是物件本身，更納立立. •‧ 國. •‧. 2.3.2 影像記憶與檢索. ㈻㊫學. 入了物件周圍所包含的脈絡資訊。. y. Nat. er. io. sit. 在電腦領域裡，對於影像的標籤化並非件簡單的事。Ritendra Datta 則提到標籤化. n. 的過程，必須經過影像內容的分析其顏色、形狀、紋理等影像特徵，再經由機器學習等 a v. l C ni U h i engch 方式預測出適合的標籤，人臉辨識即是一種應用。而這個過程 Ritendra Datta 將會遇到的問題分為兩種隔閡：（一）感知隔閡：意指如何從影像裡的資訊辨識出其真實物件及位置。（二）語意隔閡：文字資訊與影像資訊間的語意性的關聯[42]。而透過影像處理及特徵的建置，讓一張照片可以切割出不同的真實物件出來，並附上合宜的標籤以描述該張照片。而這些特徵及文字上的描述即可透過以後設資料為基礎的 MPEG-7(Multimedia content description interface)實踐而出。標籤化的過程從上段可以得知是由影像處理與特徵辨識組成，但這兩個步驟都具有相當的複雜度，如果面對影像搜尋問題，如果是即時性處理影像與辨識，必定花費更多. 時間才能得到結果。因此，MPEG-7 即是針對影像內容進行描述，以明確的結構及語法的後設資料讓檢索及典藏上可以更有效率地找到答案[43]。以目前影像描述裡，已有許. 23 .

(34) . 多相似的描述規格，例如 EXIF[44]、XMP[45]與 IPTC Core & Extensions[46]等。與其他規格不同，MPEG-7 考量了不同媒體間的差異，以通用結構整合所有規格的需求，例如低層的顏色、聲音、移動等特徵，高階的內容關聯、事件等描述。以下為 MPEG-7 將進一步介紹其描述類別[47]：（一）描述元(Descriptors)：其為影像描述最基礎的值，例如低階的描述如顏色、聲音等特徵，高階的描述如物件語意、事件等。（二）描述結構(Description Scheme)：用以整合描述元與描述結構間的關係，例如版權管理裡的描述結構即包含製作者、製作時間等欄位。（三）描述定義語言(Description Definition Language, DDL)：MPEG-7 的描述定義語言即定義了多媒體廣泛的描述結構以及其值，是一種 XML 擴充描述語言。. 政治大透過上述 MPEG-7 基本的描述語言，建構出不同多媒體間的關聯，並在跨平台裡. 立立. 仍然可以解讀使用。以下我們將更深入討論其定義語言的細節[47]：. •‧ 國. ㈻㊫學. （一）基本元素(Basic Elements)：其定義最基本的描述元及描述結構的資料型態，. •‧. 透過 Scheme Tools 除了描述基本資訊外，也可以協助驗證語法的正確性。. sit. y. Nat. （二）內容管理(Content Management)：可以針對多媒體本身或是其中片段進行描. n. a. l C Information)以及媒體說明(Media Description)。. hengchi. er. io. 述，主要分為三部分：針對創作本身的資訊(Creation Information)、使用資訊(Usage. i Un. v. （三）內容描述(Content Description)：此即為針對內容描述其結構上的特徵 (Structural aspects)與語意上的標籤關聯(Conceptual aspects)。（四）存取導覽(Navigation and Access)：描述多媒體檔的摘要、視圖模式以及其不同參數下的資訊，例如低解析度、壓縮率等。（五）內容組織(Content Organization)：其定義兩種結構，集合(Collection)與模型 (Model)描述結構。集合即組織不同的多媒體內容、片段、事件等內容描述。而模型則是定義集合裡通用的屬性，並可針對這些屬性進行統計等。（六）使用者互動(User Interaction)：主要紀錄使用者偏好及瀏覽紀錄。. 24 .