帶走一首曲子：結合音樂與敘事之數位繪本創作 ─以《心弦之歌》App為例 - 政大學術集成

全文

(1)國立政治大學數位內容碩士學位學程 Master’s Program in Digital Content & Technologies National Chengchi University. 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學. 帶走一首曲子：結合音樂與敘事之數位繪本創作 ─以《心弦之歌》App 為例. ‧. Bring Back a Piece of Music: A Creative Project of Combining Music and. y. Nat. n. al. er. io. sit. Storytelling in the Interactive Music Picture App－”Song of Heartstrings”. i n C研究生： h e n g c游馨婷 hi U. 指導教授：陳儒修李蔡彥. 中華民國一○七年一月 January 2018. v.

(2) 摘要本創作嘗試發展一套結合音樂與故事元素的數位繪本，以非線性敘事為架構，融入音樂敘事元素，以「帶走一首曲子」的閱讀形式，創造一種新的繪本閱讀經驗。在閱讀繪本的過程中，讀者可以透過選擇場景中的角色，在閱讀完該角色故事後，獲得代表角色的音樂元素。隨著多次選擇互動，背景的音樂元素也慢慢增加，讀完故事的最後，可以得到一首完整的曲子。根據讀者的選擇不同，將得到不同的音樂結果，此結果也詮釋了每一次的故事經驗。本繪本創作以「心弦之歌」為主題，透過主角與城市人物的互動，產生聽覺和視覺的變化。本創作期望創造一個由單一至豐富的閱讀體驗，透過音樂、人物. 政治大. 與故事的結合，加深作品所要傳達的訊息，並結合音樂和繪本的療癒特性，來達到滿足的效果。. 立. ‧ 國. 學. 創作完成後進行作品實測與評估，施測對象根據目標對象及評估目標，由 21-30 歲具繪本閱讀經驗者及潛在讀者、具數位繪本或音樂相關互動 App 使用經驗者、具音樂背景者所組成，分別就內容及形式兩個面向，透過作品實測、問卷. ‧. 和深入訪談的方式來評估是否達成創作目的，並針對問卷及訪談的結果進行歸納. n. al. er. io. sit. y. Nat. 分析，最後提出結論和建議。. i n U. v. 關鍵字：音樂敘事、數位敘事、非線性敘事、音樂繪本、數位繪本. Ch. engchi. I.

(3) Abstract The purpose of this research is to develop an interactive digital picture book app which combines musical and narrative elements by adding musical narration into non-linear narrative structure. This digital project, “Song of Heartstrings”, is aimed at creating a new reading experience of picture book by designing the reading form: “Bring Back a Song”. “Song of Heartstrings” shows auditory and visual changes through the interactions between protagonist and other characters. Through the reading process, audience can select one or more characters among all, and collect corresponding soundtrack after finishing the character’s storyline.. 政治大 in-depth interviews. After that, we use inductive approach to analyze the result of 立 questionnaires and in-depth interviews, and make conclusion and recommendation.. The goal of this app is evaluated by readers’ experiences test, questionnaires and. ‧ 國. 學 ‧. Keywords：musical narration, digital storytelling, non-linear narrative, musical picture books, digital picture books.. n. er. io. sit. y. Nat. al. Ch. engchi. II. i n U. v.

(4) 謝辭這次的創作結合了三個我其實並不太熟悉的領域——音樂、故事及互動介面，對我而言是一個很大的挑戰，回想起來滿不可思議的。在創作的龐雜程度以及時間和預算有限的狀況下，許多不擅長的部分必須要獨自完成，委外製作的部分也無法要求太多，匆忙之下總算是完成了接近創作構想的最低限度版本。雖然已經盡力了，完成的作品還是不夠完美，坦白說並不是一個成熟的作品。儘管如此，在論文創作的過程中，身兼故事企劃、視覺設計及專案管理，讓我學習到很多——故事和文字是繪本的樑柱，必須花更多時間和心力來完成；作為視覺設計必須堅持每一個細節；作為專案管理在與音樂設計和程式設計師溝通. 治政大此都滿意的結果。這次的經驗也讓我學到即使已確立創作方法，在創作執行的過立程中也要不斷反思：這樣做是最好的嗎？有沒有其他更好的作法？期望這次的音. 時必須明確傳達概念，確認彼此想法一致，驗收時也必須仔細調整，努力達成彼. ‧ 國. 學. 樂繪本 App 創作對於未來在此領域的創作者能夠或多或少有所幫助。終於結束了漫長的研究生涯，創作的路上感謝各位老師和朋友的協助。感謝. ‧. 指導教授儒修老師及蔡彥老師的指導，在我陷入瓶頸時提出新的視點和鼓勵，以. y. Nat. 及口委珮淳老師給予了許多寶貴的建議。謝謝幫助我完成論文創作的嘉鼎、晧耘，. io. sit. 協助作品測試的受測者們，以及在寫作過程中互相鼓勵和經常給予幫助的 DCT4. n. al. er. 夥伴們，沒有你們一起度過寫論文的煎熬日子，我想我無法走完這條路。最後感. i n U. v. 謝一直支持、關心我的家人，未來我會在創作之路上繼續努力前進。. Ch. engchi. 寫於二〇一八二月. III.

(5) 目錄第壹章、緒論................................................................................................................ 1. 第一節. 創作動機.................................................................................................... 1. 第二節. 創作背景.................................................................................................... 3. 第三節. 創作媒材與目的........................................................................................ 7. 第四節. 論文架構.................................................................................................... 9. 第貳章、文獻探討...................................................................................................... 10. 第一節. 音樂敘事.................................................................................................. 10. 第二節. 數位敘事.................................................................................................. 18. 第三節. 相關案例探討.......................................................................................... 23. 第二節. 政治大創作概念.................................................................................................. 32 立創作主題.................................................................................................. 33. 第三節. 創作架構.................................................................................................. 35. 第四節. 創作細節規劃.......................................................................................... 38. 第五節. 創作流程.................................................................................................. 49. 第參章、創作計畫...................................................................................................... 32. 學. ‧. ‧ 國. 第一節. 第肆章、設計與實作.................................................................................................. 50. 創作成果.................................................................................................. 50. 第二節. 作品原型測試.......................................................................................... 57. er. io. sit. y. Nat. 第一節. 第伍章、作品實測與評估.......................................................................................... 59. n. al. Ch. i n U. v. 第一節. 實測概要.................................................................................................. 59. 第二節. 受測者背景描述...................................................................................... 63. 第三節. 問卷及訪談結果分析 ............................................................................. 66. 第四節. 小結.......................................................................................................... 97. engchi. 第陸章、結論與建議.................................................................................................. 98. 第一節. 創作貢獻.................................................................................................. 98. 第二節. 創作檢討與反思...................................................................................... 99. 第三節. 後續創作建議........................................................................................ 103. 參考文獻.................................................................................................................... 106 附錄一：《心弦之歌》音樂繪本創作結果............................................................ 108 附錄二：實測問卷.................................................................................................... 129. IV.

(6) 表目錄表 2-1. 音樂表現與故事間的關係 .......................................................................... 14. 表 2-2. 樂器與對應個性類型 .................................................................................. 15. 表 2-3. 八種樂器對應角色形容詞語彙表 .............................................................. 15. 表 2-4. Mak-isan「Design Your Animation Video」網頁流程 ............................. 24. 表 2-5. 「彼得與狼音樂繪本」App ....................................................................... 27. 表 2-6. 「音樂繪本‧人魚公主」App ..................................................................... 29. 表 3-1. 音樂設計架構 .............................................................................................. 39. 表 3-2. 人物音樂形容詞及對應樂器表 .................................................................. 40. 表 3-3. 八條故事線對應的曲目結果 ...................................................................... 41. 表 3-4. 人物角色設定表(A-J) ................................................................................. 43. 表 3-5. 「心弦之歌」音樂繪本開發人員分工表 .................................................. 49. 表 4-1. 互動與介面設計 .......................................................................................... 55. 表 4-2. 音樂輸出格式列表 ...................................................................................... 56. 表 4-3. 作品原型檢測提出問題與解決方法 .......................................................... 58. 表 5-1. 各背景施測對象訪談評估重點 .................................................................. 60. 表 5-2. 受測者背景描述 .......................................................................................... 64. 表 5-3. 受測者繪本操作路線及操作過程觀察 ...................................................... 65. 表 5-4. 整體敘事評估：故事理解程度 .................................................................. 66. 表 5-5. 整體敘事評估：閱讀體驗順暢程度 .......................................................... 67. 表 5-6. 整體敘事評估：對於主角的心境變化感同身受的程度 .......................... 68. 表 5-7. 整體敘事評估：故事長度是否合適 .......................................................... 68. 表 5-8. 背景音樂及序章配樂設計是否合適 .......................................................... 69. 表 5-9. 研究者音樂印象設定（A-主角／都會女上班族） .................................. 70. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 表 5-10 人物角色配樂受訪者回饋（A-主角／都會女上班族） .......................... 70 表 5-11 研究者音樂印象設定（B-街頭音樂家） .................................................. 70 表 5-12 人物角色配樂受訪者回饋（B-街頭音樂家） .......................................... 71 表 5-13 研究者音樂印象設定（C-賣餅乾喜憨兒） .............................................. 71 表 5-14 人物角色配樂受訪者回饋（C-賣餅乾喜憨兒） ...................................... 72 表 5-15 研究者音樂印象設定（D-外國女背包客） .............................................. 72 表 5-16 人物角色配樂受訪者回饋（D-外國女背包客） ...................................... 73 V.

(7) 表 5-17. 研究者音樂印象設定（E-咖啡店老闆） ................................................ 74. 表 5-18. 人物角色配樂受訪者回饋（E-咖啡店老闆） ........................................ 74. 表 5-19. 研究者音樂印象設定（F-劇本作家） .................................................... 75. 表 5-20. 人物角色配樂受訪者回饋（F-劇本作家） ............................................ 76. 表 5-21. 研究者音樂印象設定（G-花店老爺爺） ................................................ 76. 表 5-22. 人物角色配樂受訪者回饋（G-花店老爺爺） ........................................ 77. 表 5-23. 研究者音樂印象設定（H-滑板少年） .................................................... 77. 表 5-24. 人物角色配樂受訪者回饋（H-滑板少年） ............................................ 77. 表 5-25. 研究者音樂印象設定（I-滷味攤阿姨） ................................................. 78. 表 5-26. 人物角色配樂受訪者回饋（I-滷味攤阿姨） ......................................... 78. 表 5-27. 研究者音樂印象設定（J-補習班高中生） ............................................. 79. 表 5-28. 人物角色配樂受訪者回饋（J-補習班高中生） ..................................... 80 第二次操作是否降低閱讀體驗的滿意程度－訪談意見 ........................ 90. 學. ‧. io. sit. y. Nat. n. al. er. 表 5-30. ‧ 國. 表 5-29. 政治大最終曲目操作結果分布及受測者音樂描述 ............................................ 84 立. Ch. engchi. VI. i n U. v.

(8) 圖目錄圖 1-1 「Mibbio」音樂互動繪本 App 畫面............................................................... 4 圖 1-2 「Little Fox music box」音樂互動繪本 App 畫面 ......................................... 5 圖 1-3. 論文架構 ......................................................................................................... 9. 圖 2-1. 情緒的環狀模型及音樂特徵 ....................................................................... 16. 圖 2-2. 一個分枝樹的典型結構 ............................................................................... 19. 圖 2-3. 一個收斂的結構 ........................................................................................... 19. 圖 2-4. 限制的故事架構 ........................................................................................... 20. 圖 2-5. 紙本書與基本、加值型電子書的故事理解程度比較 ............................... 22. 圖 2-6 「Toca Band」音樂互動遊戲 App 畫面 ....................................................... 25. 政治大. 圖 2-7 「My singing monsters」遊戲介面 ............................................................... 26. 立. 圖 2-8 「紀念碑谷」( Monument Valley ) App 畫面 .............................................. 30 創作構想示意圖 ........................................................................................... 32. 圖 3-2. 音樂繪本互動流程 ....................................................................................... 35. 圖 3-3. 讀者單次閱讀體驗故事與音樂對應示意圖 ............................................... 36. 圖 3-4. 音樂繪本 APP 架構圖 .................................................................................. 38. ‧. ‧ 國. 學. 圖 3-1. sit. y. Nat. 圖 3-5 《慾望之翼》電影畫面 ................................................................................. 42 圖 3-6 《Yo! Yes?》繪本中利用背景色彩的改變暗示故事氣氛的變化 .............. 43. io. 創作流程 ....................................................................................................... 49. 圖 5-1. 實驗流程圖 ................................................................................................... 61. 圖 5-2. 實際施測畫面 ............................................................................................... 64. 圖 5-3. 各人物角色配樂合適程度比較 ................................................................... 80. 圖 5-4. 閱讀經驗與最終故事曲目連結程度評估 ................................................... 81. 圖 5-5. 音軌間的和聲效果評估 ............................................................................... 82. 圖 5-6. 背景音樂變化效果評估 ............................................................................... 83. 圖 5-7. 最終故事曲目差異性評估 ........................................................................... 83. 圖 5-8. 整體 App 整體視覺評估 .............................................................................. 85. 圖 5-9. 人物特寫頁的渲染視覺效果 ....................................................................... 85. n. al. er. 圖 3-7. Ch. engchi. i n U. v. 圖 5-10 提示教學頁 ................................................................................................... 86 圖 5-11 整體 App 理解難易程度評估 ...................................................................... 87 圖 5-12 第二次操作是否降低閱讀體驗的滿意程度 ............................................... 89 VII.

(9) 圖 5-13 此繪本吸引人／可再加強要素之比較 ....................................................... 90 圖 5-14 「帶走一首曲子」的音樂繪本形式綜合評估 ........................................... 91 圖 5-15 「帶走一首曲子」的形式是否提升重複閱讀意願評估 ........................... 92 圖 5-16 「帶走一首曲子」的音樂繪本未來發展潛能評估 ................................... 93 圖 5-17 故事線劇情及音樂情緒曲線建議修改方向示意 ..................................... 104. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. VIII. i n U. v.

(10) 第壹章、緒論本創作研究嘗試發展一套音樂與故事內容的結合更有意義的互動式數位繪本，以「帶走一首曲子」的繪本閱讀形式，創造一種新的數位繪本閱讀經驗。期望讀者在閱讀繪本的過程中，透過與故事中角色和其人物主題音樂的互動過程，體會人與音樂的和弦之歌。本章第一、二節說明創作動機與背景；第三節說明創作媒材與目的；第四節則為章節編排。. 第一節. 創作動機. 一、音樂、故事、人. 立. 政治大. 音樂是充滿故事的，每一首曲子背後，都有一個動人的故事。不論對音樂創. ‧ 國. 學. 作者或是聆聽音樂的人來說，音樂如同故事，發生、存在於我們生活中的各個角落。音樂雜誌上的連載漫畫《蟬世代》1裡有句話：「我喜歡音樂。因為它告訴. ‧. 我，每個人雖然都是獨自一人，卻不孤單。」音樂帶給人們許多感動，陪伴人們走過生命中的每個起起落落，與我們的生活密不可分。創作者曾在唱片設計師蕭. Nat. sit. y. 青陽先生的一場演講中聽到一段印象深刻的開場白：「今天在座的每個人的臉都. io. er. 好像一張張的唱片，裝滿了好多故事，每張唱片的故事我都好想聽。」當下非常感動，引發了許多想像，也讓我對於音樂、故事、人之間的關係開啟了濃厚的興. n. al. i n U. v. 趣。另外，同時是音樂評論家的文化學者愛德華‧薩伊德（Edward W. Said）也. Ch. engchi. 曾運用音樂上對位（Counterpoint）2的概念來詮釋東西方文化之間的關係：人類的文化並非單音，應該如同複音音樂（Musical Polyphony），能夠保有個別文化. 1. 黃廷玉譯（2014）。《蟬世代》【原書：戶田誠二（2012）。《音楽と漫画と人》。東京：宙出版。】. 2. 「對位法」(Counterpoint) 最常指用於多聲部的作曲手法，讓各聲部的旋律能獨立存在、進行、. 發展，又能彼此均等，相互交織。（引自鄭琬馨 [2014]，105。） 1.

(11) 的音色旋律，各聲部能夠獨立存在、進行，亦能彼此均等，相互交織產生和聲3。以上兩段運用音樂來詮釋「人」的比喻非常有意思，深深啟發了創作靈感，決定以「音樂、故事和人」為主題來進行創作。二、觸動心弦的時刻. 對人類而言，聲音與感情之間的聯繫是很特別的，而聽覺與情緒激發的關係比視覺與情緒激發的關係來得密切（郭美女，2000）。在人們的日常生活中，音樂也經常扮演著為畫面增添意義與魅力的重要角色。電影 Begin Again 裡，男主角在城市裡和女主角共享隨身聽，看著夜晚的紐約街景，他告訴女主角喜愛音樂的原因：「最平淡無奇的畫面會突然充滿了很多意義；這些所有的平淡無奇，他們會突然變成了美好、充滿魅力的珍珠──一切都源自音樂。」4看著平凡的街. 政治大現。透過音樂語言，其感情的表現要比透過繪畫、雕塑來表達心靈的感受容易（郭立景，因為音樂，一切都有了意義。此外，音樂的作用不只是情感刺激更是情感表美女，2000）。取材自一九九八年為了阪神大地震災後重建舉辦的「千人大提琴. ‧ 國. 學. 演奏會」的繪本作品《1000 把大提琴的合奏》裡寫著：「1000 隻大提琴，訴說著 1000 個故事。／1000 個故事，全都變成了一首曲子。／1000 種聲音，全都變. ‧. 成了同樣的一顆心。」（伊勢英子／林真美譯，2005）藉由大提琴的合奏，音樂. y. Nat. 將每個人的故事連結在一起，撫慰了受傷的心靈。音樂不僅能夠表現故事與情節，. sit. 更能傳達情感，使聆聽者通過聯想、想像等心理過程引起感情的共鳴。因此，本. n. al. er. io. 創作將透過音樂詮釋日常生活中看似平淡無奇的人物故事，發揮音樂的情感作用，為平凡的生活帶來新的感動。. 3. Ch. engchi. i n U. v. 和聲：廣義的和聲（harmony）可以是指任何由超過一個頻率所組合而成的聲音；而和弦（Chord）. 則通常較為狹義地描述同一時間演奏兩個或以上不同音高，但這兩個詞語在許多時候可以通用。本論文統一使用較廣義的「和聲」來表示此意義；作品文字則配合作品名稱使用「和弦」來表達。 4. Begin Again “One of the most banal scenes is suddenly invested...with so much meaning. All these banalities. They’re suddenly turned into these...these beautiful, effervescent pearls. From music.” 2.

(12) 第二節. 創作背景. 本節分為兩個面向來探討，首先闡述音樂與敘事的縱向發展，尋找可能的創作領域；再從整體需求及音樂與敘事媒體的特質來尋找兩者結合的可能性。一、音樂敘事的發展. 1. 過去音樂敘事的應用音樂與故事之間的關係非常密切，音樂與敘事同屬時間的藝術，音樂敘事模式與文學話語表達之間，存在著某種必然的互文性。（王旭青，2010）5。回顧音樂與故事的關係，兩者相互滲透的作品在歷史上屢見不鮮。較為顯著的可追溯自 19 世紀的標題音樂 (Program music)，它是一種以標題文字來隱喻樂曲涵義，. 治政大是人、事、時、地、物產生互文性的關聯。例如古典音樂中，韋瓦第的《四季》立 (Four Seasons)，用音樂表現了宇宙中出生－成長－死亡的循環。除了具有敘事包含描述性與敘事性的作曲方式，通常會以明喻或暗喻的方式和文學藝術作品或. ‧ 國. 學. 性的器樂音樂之外，音樂更與文學、戲劇、舞蹈等其他敘事藝術結合。例如 1892 年柴可夫斯基的芭蕾舞劇音樂《胡桃鉗組曲》(The Nutcracker)，以一系列的音樂. ‧. 組曲，詮釋「胡桃鉗和老鼠王」的故事情節，在現代藝術中，戲劇、電影配樂、動畫等敘事形式也經常採用此種音樂編寫方式，針對角色的性格或情緒創作音樂. y. Nat. sit. 母題 (motif) 或採用特定的歌曲在作品中重複出現，幫助塑造人物形象與強調故. er. io. 事情節。例如在王家衛電影《重慶森林》中，警察 663 與阿菲相遇時，始終伴隨. al. 著”California Dreaming”這首歌，除了與阿菲自由奔放、為愛痴迷的形象相似，. n. v i n Ch 也象徵著自由解放的渴望與對未來的嚮往（黃國榮，2013）。 engchi U 6. 5. 王旭青（2010）。〈音樂敘事學的歷史軌跡〉。出自《黃鐘（中國武漢音樂學報）》第 2 期。. 6. 黃國榮（2013）。〈剖析電影《重慶森林》中的音樂風格〉。出自〈電影文學〉第 24 期。 3.

(13) 2. 音樂應用於數位敘事媒體現況近年來，隨著科技的發展，數位媒體的出現更是打散了以往線性的敘事模式。數位敘事除了具有非線性、互動性、即時性等特性，更結合了文字、圖像及動態影音進行多媒體互動，市面上開始出現了許多形形色色的音樂相關數位內容，而音樂在數位敘事中所扮演的角色也有所不同。具有敘事意圖的數位內容如電子繪本、電子書，音樂多擔任增添氣氛的裝飾角色，通常為單一的背景音樂播放，對故事情節及角色塑造幫助不大。而以音樂為主要互動的數位內容多為針對兒童設計的互動音樂繪本、音樂遊戲等等，內容上較無情節的編排，大多非以敘事為目的。音樂在內容中的角色多為增加娛樂性的伴奏、提示關卡切換或歌謠演唱，例如兒童音樂繪本 App. 政治大面周圍設計可以讓使用者加入合奏的樂器互動，互動形式上比較接近傳統的繪本立遊戲書，音樂並無象徵特定的故事元素或圖像（圖 1-1）。另一款音樂互動繪本. 「mibblio」，特別為兒童編寫朗朗上口的旋律和歌詞，並結合有趣的圖像，在介. ‧ 國. 學. 「Little Fox music box」同樣以童謠為主題，透過與歌曲相關的圖像，讓兒童隨著歌曲和畫面中的圖像互動，並加上錄音功能，讓使用者可以錄製自己的歌曲（圖. ‧. io. sit. y. Nat. n. al. er. 1-2）。. Ch. engchi. i n U. v. 圖 1-1 「Mibbio」音樂互動繪本 App 畫面. 4.

(14) 圖 1-2 「Little Fox music box」音樂互動繪本 App 畫面. 政治大. (上圖歌曲為”London Bridge is Falling Down”). 立. 以音樂為主題的數位內容作品不少，加入數位媒體的互動特性也使得玩音樂. ‧ 國. 學. 這件事變得有趣。但以敘事為主要目的的數位互動作品，音樂的處理通常較簡單且次要，融合音樂與故事的數位敘事內容並不多見。因此，若能結合數位媒體的. ‧. 「互動性」及融合音樂與故事的「敘事性」，是否能讓音樂的呈現更加豐富？是否能夠創造新的音樂／故事體驗？音樂元素與敘事元素的結合是否能傳達更深. Nat. n. al. er. io. sit. y. 的內涵？是本創作嘗試探索的問題。. Ch. 二、數位繪本與現代療癒需求. engchi. i n U. v. 從需求面來看，隨著現代社會的發展，龐大的資訊量與工作壓力下，人們的生活步調愈來愈快，人與人之間的關係變得疏離，造成心理壓力日益累積。根據 2015 年遠見雜誌調查7，有四成七的民眾，壓力在中高以上，其中又以 25~39 歲青壯族感受最深。面對生活的壓力，療癒感的圖文作品成為一種閱讀趨勢，例如近年來暢銷的幾米繪本、《深夜食堂》漫畫等等。提倡「人生三讀繪本」的日本作家柳田邦男曾說「繪本可以使我們的靈魂肥沃，它是我們靈魂的精神食糧。」. 7. 資料來源：2015《遠見》國人生活壓力大調查。取自 https://www.gvm.com.tw/article.html?id=29262 5.

(15) 繪本不僅僅是兒童讀物，大人也可以從閱讀繪本中撫慰心靈，甚至得到人生的解答。另一方面，隨著平板電腦、智慧型手機等數位裝置風行，以往的紙本繪本形式開始發生蛻變，數位繪本（digital picture books）在此背景下誕生。劉佩奇、張瓊穗（2005）指出，數位繪本的概念是運用多媒體方式及非線性閱讀模式，藉由數位媒體的整合性功能，來提供閱讀過程中的情境模擬，使讀者能夠在閱讀的過程中，獲得閱讀理解上的鷹架輔助，並融入新媒體特性及多媒體的聲光效果，彰顯故事的魅力。然而，儘管在紙本出版市場上，具有深度文字內涵且同時富有童趣及藝術價值的圖文書大受成人喜愛，這類型的圖文書的銷量也快速成長，卻尚未反應在數位媒體上，目前國內外 App Store 上的數位互動繪本還是多針對兒. 治政究者認為適合成人閱讀的數位繪本有一定的需求及發展可能。大立. 童設計的童話或教學型遊戲。從紙本閱讀市場的演變及數位媒體的優勢來看，研. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 6. i n U. v.

(16) 第三節. 創作媒材與目的. 綜合以上所述，回顧音樂敘事的演變以及數位繪本的發展潛力，本創作將結合音樂和繪本共同的敘事性與情感特性，以及數位媒體的多媒體整合特色，選擇故事性強但在音樂表現上稍嫌不足的數位繪本作為創作媒材。在創作規劃中，將嘗試音樂敘事應用於數位敘事架構的可能性，以及音樂在數位敘事中不只是配角，而是能加深敘事內涵，傳達更深的意義。本研究將以創作實驗的方式，開發一個以人物主題音樂來設計的互動式音樂繪本。呈現各角色具備各自的音色、旋律與節奏，經過與其他角色的互動產生和諧的音樂，在閱讀的最後會產生一首歌曲，讓讀者得到一首獨特的音樂。本創作目的如下：. 政治大. 一、探索音樂敘事運用於數位繪本上的創作可能性。. 立. 二、結合音樂敘事與數位敘事的互動模式，以帶走一首曲子的繪本閱讀形. ‧ 國. 學. 式，創造新的數位繪本閱讀經驗。. 三、結合音樂與繪本的療癒性，藉由音樂與人物角色特質相互輝映，傳達. ‧. 創作理念。. sit. y. Nat. n. al. er. io. 本作品將呈現以下四個面向：一、各角色的人物音樂設計；. Ch. engchi. 二、角色互動產生的音樂和聲效果；. i n U. v. 三、音樂、視覺、故事由單調至豐富的過程；四、根據閱讀繪本過程中的互動結果，得到一首獨特的音樂。帶走一首曲子，等同於帶走一段回憶。. 7.

(17) 作品評估目標如下：一、內容面：. 1.. 人物特性與音樂的搭配是否合適？. 2.. 完成曲目是否能表達閱讀完故事的心情？. 3.. 不同故事線的曲目是否有明顯差異？. 4.. 音樂是否加深故事所要傳達的理念？. 二、形式面：. 1.. 介面與互動設計是否合適？. 2.. 閱讀過程中產生一首曲子是否能增加繪本閱讀動機？是否提升重複閱讀的慾望？. 立. 最後曲子的呈現方式是否滿意？. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 3.. 政治大. Ch. engchi. 8. i n U. v.

(18) 第四節. 論文架構. 本論文在第一章闡述背景動機及創作目的。第二章為文獻回顧與案例探討，分別討論音樂敘事、表現方法及音樂情緒；接下來進一步討論數位敘事架構與數位繪本；第三節則分析音樂互動相關數位案例。第三章則為作品設計與執行，將呈現創作概念、故事架構、音樂、視覺與互動設計等層面，第四章為創作結果，並於第五章檢視作品的內容與形式面，進行實測與評估。最後針對第五章的實測結果，在第六章提出結論與建議。（如圖 1-3）. 一、動機與背景音樂、故事、人. 音樂敘事應用於數位媒體. 政治大創作媒材與創作目的. 立. ‧ 國. 學. 二、文獻與案例探討數位敘事. 音樂敘事. 相關案例分析. ‧. 三、創作計畫. y. Nat. io. n. al. 音樂設計. 視覺設計. sit. 故事架構與腳本. er. 創作概念. 數位繪本與現代療癒需求. C h 四、設計與實作 engchi. i n U. 五、作品實測與評估. 六、結論. 圖 1-3 論文架構. 9. v. 互動設計.

(19) 第貳章、文獻探討本創作是結合音樂與數位敘事的互動繪本，因此本章第一節先瞭解音樂敘事，探究音樂與敘事的關係、敘事的功能、表現方法及音樂情緒；第二節討論數位敘事的架構與數位繪本；第三節為相關案例分析。. 第一節. 音樂敘事. 在前一章節我們回顧了音樂敘事的歷史發展與概況，本節將更深入闡述音樂與敘事的關係，以及音樂元素如何與故事產生連結。音樂敘事研究經常將音樂與文學、電影、戲劇等敘事形式一起討論，也經常作為作品中的藝術元素互相呼應，因此接下來將援引上述不同領域的文獻來探討（一）音樂與敘事的關係、（二）音樂在敘事上的角色與功能、（三）音樂元素與音樂表現以及（四）音樂的情緒感染力。. 立. 政治大. ‧ 國. 學. 一、音樂與敘事的關係. 音樂作品作為一種敘事形式有極其豐富的潛質，可以借助一定的敘事體系，. ‧. 以特定的音樂語言和音響符號系統，較為直觀地呈現出人物形象、故事情境以及. y. Nat. 情節高潮等。（王旭青，2010）美國音樂學家科恩 (Edward T. Cone)曾在其論著. er. io. 關連性：. sit. 《作曲家的人格聲音》(The Composer’s Voice, 1974)中論及音樂與敘事間的密切. al. n. v i n Ch 感。音樂有自己的語法，自己的修辭，甚至有自己的語義。我們得知音 U i e h n c g 樂是有意義的，盡管對於這意義究竟是什麼，沒有任何兩個權威可以達「音樂是種語言。……音樂在交流著，它作出陳述、傳達信息、傳達情. 成一致。於是便有了大量關於音樂講述了什麼，怎樣講述的討論──的確音樂能夠『講述』任何事情。」 ──(Edward T. Cone The Composer’s Voice, 1974)8 由於音樂顯在的敘事特點，音樂研究者開始以敘事角度來進行探討，試圖通過敘事學來理解音樂。安東尼．紐康曾在〈再思「絕對音樂與標題音樂之間」：. 8. 轉引自王旭青（2010）。〈音樂敘事學的歷史軌跡〉。出自《黃鐘（中國‧武漢音樂學院學報）》。 10.

(20) 舒曼的「第二交響曲」〉一文中提到：「作曲猶如創作小說，彷彿心理上真實的思想過程。」紐鮑爾在探討器樂音樂的敘事性問題時也指出：「儘管器樂音樂不能『講述』(narrating)，但它能上演故事、暗示情節，比如通過主題和主題的展開。」9王旭青（2010）指出，作為兩種完全不同媒介材料建構而成的符號系統，標題音樂與與敘事小說具有共通之處：兩者都以一定的語言媒介（音符或文字）以及讀者的想像、聯想為推動力，借助敘事的感性特質來虛構或者再造一個有別於現實真實世界的虛擬空間。可以說，在音樂敘事模式與文學話語表達之間，存在著某種必然的互文性。除了敘事情節之外，文學敘事與音樂敘事有一個共同的目的，那就是借助情感體現人類最本源的意志。蘇珊朗格(Susanne K. Langer)指出，音樂所反映的是. 治政可以藉此傳達、領悟生命和感覺的過程。在其著作《情感與形式》中提到：「音大立樂可以表現我們沒有感覺過的情感和情緒」，「音樂的最大作用是人的情感概念，. 「情感符號 (morphology of feeling)」。這種情感符號的組成因素有一定的形式，. ‧ 國. 學. 組織成感情的潮動，也就是使我們徹底地了解什麼是真正的情感生命」（Langer， 1991。轉引自郭美女，頁 206，2000）。透過音樂語言的暗示及聯想，其感情的. ‧. 表現要比繪畫、雕塑來表達心靈的感受更加容易。（郭美女，2010）. sit. y. Nat. io. er. 二、音樂在敘事中的功能. al. v i n Ch 幫助作品在敘事上更能夠深刻理解或補足畫面無法表達的情感。在電影音樂相關 engchi U 理論中，伯特 (George Burt, 1994) 將電影音樂對敘事的功能分為三個層次：第 n. 由於音樂的敘事特性與優異的情感表現，音樂經常被運用在電影及戲劇中， 10. 一層次是統合於敘事的結構之中。電影音樂本身具備橫跨不同畫面並提供整體性和動態的特質，因此在許多電影中，適當的音樂結構通常能直接表明電影的戲劇結構；而第二層次為，電影音樂可以創造出敘事體內的情境氛圍，超越「敘事是. 9. 轉引自王旭青（2010）。〈音樂敘事學的歷史軌跡〉。出自《黃鐘（中國‧武漢音樂學院學報）》。. 10. George Burt, The art of film music: special emphasis on Hugo Friedhofer, Alex North, David Raksin, Leonard Rosenman. (1994) 轉引自伍怡亭（2010）。《以柯普蘭的電影音樂作品 The Heiress 論電影音樂的敘事功能》。 11.

(21) 由連續鏡頭所構成」的實相。音樂能夠吸引觀眾的注意力，在需要加以描繪的片段，強調事件即將發生的預兆或暗示故事分歧點，也能運用不和諧音來冷卻觀眾的情緒；在第三層次，電影音樂可以使觀眾深刻理解故事中的角色，影響觀眾對角色的感受和想法。電影配樂大師柯普蘭（2002）則針對電影音樂如何幫助電影的功能，更加細分出以下五個方針：一、音樂能創造更令人信服的時間與地點氣氛；二、音樂可常用來加強或製造心理上的精細度──包括未說出的想法，或是其在螢幕上未出現的暗示情形；三、音樂如同中立的背景填充：在對話或動作本身暫停時，用音樂來填滿. 政治大四、音樂可以助於在電影中建立場景的連續性；立這些令人不安的空隙；. 五、音樂可以為一個場景中逐漸累積的戲劇效果提供支撐、使之結尾有圓. ‧ 國. 學. 滿的感覺。11. ‧. 另外，吳愛芳（2009）在《電視劇音樂敘事研究》中將電視劇音樂的敘述功能分為以下五種：（一）與主題相關的敘事功能：用音樂的形式來凸顯作品的主. Nat. sit. y. 題思想；（二）與人物相關的敘事功能：通過表現人物的情感、性格、命運等面. io. er. 向來塑造人物形象，人物主題音樂一般伴隨著特定人物出現，如此才能夠辨識人物主題音樂。；（三）與情節相關的敘事功能：用音樂來構建或連接故事情節及. n. al. Ch. i n U. v. 戲劇性的表現；（四）與時間相關的敘事功能及（五）與空間相關的敘事功能，. engchi. 則是利用音樂來營造時空氛圍或提示時空的轉換。. 音樂在敘事作品裡，不僅創造了整體的氛圍，更象徵或暗示特定的人事時地物，也藉由音樂的幫助讓敘事更加順暢。可見音樂在敘事作品中，不只是單純的營造氣氛的背景音樂，更能加強或取代影像及文字等其他媒介敘事，並能深刻影響觀眾的情緒，有著一定的重要性。. 11. 轉引自伍怡婷（2010）〈以柯普蘭的電影音樂作品 TheHeiress 論電影音樂的敘事功能〉。碩士論文。台北：國立師範大學音樂研究所。出處：Sally Bick, Copland on Hollywood, ed. Peter Dickinson, Copland connotation － studies and interviews (New York: Boydell Press, 2002), 51. 12.

(22) 三、音樂元素與音樂表現. 音樂能夠暗示情感、喚起聯想，並隱含其他意義，具體體現在模仿、象徵、暗示等表現原則上。音樂表現主要透過某些特定的聲音象徵某種概念或現象，比如，用弱聲象徵安靜的環境，用小號或銅管樂的音色象徵英雄凱旋（王次炤，1997）。音樂的組成可大致分為聲音元素及音樂元素，聲音元素包括音色、音高及力度，音樂元素則包括節奏、旋律和和聲。創作者必須將聲音有系統的組織起來才能形成「音樂」，並透過這些元素的組合來表現音樂內涵。 1. 音色溫柔的音色可以表示抒情、動人的情感，而響亮的音色如銅管樂器等則象徵. 政治大. 著有如英勇般的感受，其他如低音管或雙簧管等音色，在斷奏或跳躍式的吹奏則會有喜劇的效果、令人愉悅的感覺。. 立. 2. 音高. ‧ 國. 學. 一般高音有著自由雀躍而明亮的感覺，而低音則有著害怕、死亡等氣氛。有. 3. 力度. ‧. 時尖銳的高音也會有產生緊張的氣氛，甚至被比喻為一個人害怕的尖叫聲。. y. Nat. al. n. 4. 節奏. Ch. engchi. er. io. 反的則表示平靜、溫柔或克制的情緒。. sit. 力度是關於音樂響度的層級。充滿張力的聲音代表著暴力、緊張、刺激，相. i n U. v. 節奏是音響持續的骨幹，是聲音在時間上規則性，也是現實的運動和運動狀態變化中，呈現出來的過程和秩序；節奏包括音的長短、強弱、快慢、休止等變化交替出現的現象。緩慢的節奏其內涵是平靜放鬆、憂傷的，而非指示殘暴、激烈的。快速的節奏一般而言，則帶有只是激動的情緒，並包含著愉快、高興、不愉快、痛苦、憤怒等內涵。此外，音樂節奏亦可模擬人類在各種活動表現出的動作節奏特徵。. 13.

(23) 5. 旋律指若干樂音有組織地進行，表現出一定的音樂意義。旋律進行時包含了高低、長短、快慢、強弱等聲音變化，使音樂得以流暢，並表現出一定的音樂主題或意義。 6. 和聲和聲是由高低不同的音依照一定的規則相疊並行，或是由聲音的重疊而產生伴奏的效果。音樂研究者把音與音的縱向關係，單獨的叫「和弦」，總稱為「和聲」。和聲可分為和諧音和不和諧音，和諧音是對聽覺來說感覺愉快的各種聲音的混合，不和諧音則是人耳天性上聽起來不愉快和刺耳的聲音，心理上使人感到. 政治大音樂元素的組合與音樂表現有著緊密的關聯，David Sonnenschein（2007）立將音樂元素與電影元素進行比較，以旋律與和聲象徵人物與布景，不和諧音則代緊張與衝突感。（郭美女，2000）. ‧ 國. 學. 表著故事中的衝突，而節奏則表現劇中動作的速度與時間的緊湊，樂句則代表一個鏡頭、場景或段落。（如表 2-1）. al. 布景設計. n. 和聲. 不和諧音. sit. 人物. Ch. e n g衝突 chi. er. 旋律. io. 故事. y. ‧. Nat. 音樂. i n U. v. 速度. 節奏. 鏡頭／場景／段落. 樂句. 表 2-1 音樂表現與故事間的關係（David Sonnenschein∕王旭峰譯，2007）. 此外，彼得．奧斯特瓦爾德（Peter F. Ostwald）曾經將樂器和個性類型進行分類（如表 2-2）：樂器. 個性類型. 鼓 (Drum). 大喊大叫者，喜歡大笑者，公眾場合喜歡以吵鬧吸引注意並會嚇到他的同伴。. 琵琶 (Lute). 細緻可愛，低聲的，公眾場合容易被淹沒。 14.

(24) 喇叭 (Trumpet). 能夠有優美的轉變和變調，受過教育，有教養，但有些淺薄，判斷力不夠。. 小提琴 (Violin). 活潑的，想像力豐富，應答敏銳，挑剔地掃視。. 低音樂器 (Bass). 牢騷，脾氣溫和，粗糙而未經修飾。. 風笛 (Bagpipe). 一些音調的重複，持續的單調嗡聲，乏味的故事者。表 2-2 樂器與對應個性類型. (引自 Peter F. Ostwald, Soundmaking: The Acoustic Communication of Emotion, 1963). 音樂表現於人物上的例子譬如《彼得與狼》(Peter and the Wolf)，《彼得與狼》為 1936 年普羅高菲夫 (Sergey Prokofiev) 的為兒童編寫的交響童話作品，. 政治大. 利用特定的樂器和旋律，以象徵的手法，栩栩如生地表現故事中的角色（如表 2-3），並呈現故事的情節。. io. 狼. 長笛. 輕快的. 雙簧管. 搖搖晃晃的、聒噪的. 單簧管（豎笛）. 鬼鬼祟祟的. 巴松管（低音管）法國號（圓號）. 的、權威的恐怖的. a l木管 v 急忙的、迅速的 i n Ch 鼓（定音鼓與大鼓） e n g c h i U 威嚇的. n. 獵人與槍聲. 年老的、生氣的、古板. y. Nat. 彼得的爺爺. 少年的、欣喜的、勇敢的. sit. 貓. 弦樂四重奏. ‧. 鴨子. 形容詞語彙. er. 鳥. 樂器（音色）. 學. 彼得. 立. ‧ 國. 《彼得與狼》角色. 表 2-3 八種樂器對應角色形容詞語彙表 (陳曉雰，2002). 本創作在進行角色音樂設計階段時，也會採用此種形容詞的條列方式，進而選擇適合的樂器和旋律，在最後的成果測試也會以此來檢視音樂呈現是否適切。四、音樂的情緒感染力. 在前幾節我們針對音樂與敘事的關係，以及各音樂元素的音樂表現進行說明，除此之外，「音樂固然可以描述外在事件，但是音樂的可貴之處在於深刻的情緒感染力。（蔡振家，2013）」古希臘時期，曾出現音樂和身心有關的想法：「音. 15.

(25) 樂生字人心，訴說著心語。因此，具有觸動人心的力量，能浸透魂魄深處。」音樂除了描述故事、表現人物個性、暗示情感等功能之外，也能影響我們的情緒。美國的哲學家蘇珊‧朗格（Susanne Langer）指出，音樂的許多形式結構都類似於人的情緒感受（Langer, 1942）。音樂心理學家曾統整過去的情緒研究，在情緒的環狀模型上標註相應的音樂特徵（Juslin & Timmers, 2010），如圖 2-1 所示，情緒的橫軸為激動水準（arousal level），縱軸則定義為情緒的正負價位（emotional valence），在情緒平面兩個向度的音樂特徵，可以說是音樂情緒、音樂表達的通則。（蔡振家，2013）. 正向. 立. 速度較快、少變化起音較快、音色較亮斷音較多、運音較有變化音量較大、少變化. ‧ 國. ‧ y 憤怒抓狂. 恐懼害怕. n. al. 速度較慢、起音較緩運音變化較少、多為圓滑奏音量較小、結束時漸慢音色較暗、偉音略為下降. Ch. i v音量較大、起音突然 n U 速度較快、少變化. 斷音較多、音色較暗速度偏快且多變音量很小、劇烈變化抖音較多. engchi. 負向. 激動. sit. io. 抑鬱悲傷. Nat. 平靜. 學. 速度較慢、起因較緩音量較小、音量較無變化運音多為圓滑奏音色暗柔、彈性速度在穩定音上面加重音結束時漸慢. er. 安詳溫柔. 政治大快樂雀躍. 音色較尖、較嘈雜斷音、切分音較多附點節奏較多. 圖 2-1 情緒的環狀模型及音樂特徵（Juslin & Timmers, 2010，轉引自蔡振家，2013）. 由上圖所示，例如速度較慢、音量較無變化、音色柔和的音樂容易令人感到安詳溫柔，音量大、速度快、音色較尖且嘈雜的音樂較能感受到憤怒的情緒。透過音樂的情緒表現，進而感染聽眾的心理情緒。. 16.

(26) 而從音樂治療的角度來看，日本音樂治療學者山松質文12則指出，（一）音樂會驅逐形成憂鬱情緒的思想；（二）音樂具有變化情緒的特徵，能將憂鬱的情緒轉換成喜悅明快的情緒；（三）音樂可以消除心中的緊張、煩惱，藉由節奏的刺激，可激起肌肉的活動，將注意力轉移向周遭的事物。山松質文也針對音樂運用於降低憂鬱提出建議：「要消除緊張、不安、抑鬱等狀態，突然聽節奏明快的音樂反而導致反作用，要先聽和心的節奏相符的音樂，給心足夠的緩衝期，例如節奏柔和、富有感情的音樂最適合。等心適應後，再慢慢轉換成節奏明快的曲子。」總結以上對於音樂情緒的描述，本創作將參考音樂的情緒環狀模型，以及上述對於降低憂鬱的建議，整體的音樂情緒正負向度設定為負向至正向，音樂的激動水準則由柔和慢慢轉變為明快。在創作評估中也將留意音樂對觀眾帶來的心理. 政治大. 轉變，將音樂情緒的特徵運用在音樂設計上，帶來更多層次的音樂繪本閱讀經驗。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 12. Ch. engchi. i n U. v. 山松質文（1997）。《音楽療法へのアプローチ―ひとりのサイコセラピストの立場から》. 東京：音樂之友社。轉引自：蔡振家（2013）。《音樂認知心理學》台北市：臺大出版中心。 17.

(27) 第二節. 數位敘事. 數位敘事（Digital Storytelling）指透過超連結、互動性、互動故事等數位媒介特性所創作，帶有敘事意圖及互動性表現的文本（context），例如多媒體敘事、遊戲敘事或是數位藝術作品。藉由新媒體的互動特性，數位敘事開始發展出不同於傳統紙本媒材的敘事類型與結構型態，也為敘事創作帶來了新的可能性。本節將歸納數位敘事的架構，並延伸至數位繪本的互動性，從中思考作品的創作架構及互動設計。一、數位敘事架構. 數位互動敘事將電玩主動參與的特性轉移到電影等線性敘事為主的媒體上，. 政治大. 發展出多線或非線性敘事等想像。李道明（2005）指出，在互動性敘事上，是由許多小故事去建構整個故事，而每個故事都是互動敘事上的分支情節。創作者會. 立. 在每段情節的不同地點及時間安排「節點」（nodel points），用「節點」來串聯. ‧ 國. 學. 所有的「情節點」(plot points)，在與人物或地點有關的「情節點」傳達故事的重要訊息。在電玩中，通過這些情節點可以進到下一個層次，而在互動性電影中，. ‧. 可以由一個小故事跳到下一個小故事。. y. Nat. Crawford （2005）則認為互動故事創作者需要創造的是「互動故事世界」. sit. （interactive story world），而不僅僅是故事。建立一個互動故事的世界，必須把. er. io. 思考重心轉回到一個充滿各種劇情發展可能性的故事世界，選定一個故事大方向. al. v i n Ch 界中的一次完整互動過程，等於創作了一個新的故事，而玩家所經歷的過程，就 engchi U 是故事情節的發展過程。 n. 要進行的方向，然後探索各種可以跟隨大方向前進的可能性。玩家每次在故事世. 根據電玩遊戲結構研究，Crawford 從中歸納出四種情節結構：（1）分枝樹結構、（2）收斂結構、（3）限制的故事、（4）資料庫結構（Crawford∕葉思義譯，2005）。 (1) 分枝樹結構：此結構常有一種古典的開端，並在敘事過程中加入選擇，再從中衍生出另外兩個選項，再衍生出下一層選項（如圖 2-2）。此種結構選項看似很多，但對於玩家而言，仍是單一軸線進行，只是能選擇不同路徑再玩一次；但另一方面，擴張的情節點對創作者而言卻增加了許多工作量。. 18.

(28) 圖 2-2 一個分枝樹的典型結構（資料來源：Crawford/葉思義譯，2005:124）. (2) 收斂結構：為了改善分支樹結構的複雜度，收斂結構將故事導回其他發展路徑上，省去了一些不必要的發展方向。這種方法有效降低創作團隊的工作量，讓玩家「以為」自己做了決定，其實根本沒有任何差異，都是繞回一樣的結果（如圖 2-3）。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. er. io. 圖 2-3 一個收斂的結構（資料來源：Crawford/葉思義譯，2005:126）. al. n. v i n Ch 後，才能獲得下一個故事作為獎賞（如圖 e n g c2-4）。故事情節與解謎的趣味為設計 hi U. (3) 限制的故事：限制的故事是將完整的故事拆成幾個段落，玩家必須克服挑戰. 重點。. 19.

(29) 政治大. 圖 2-4 限制的故事架構（資料來源：Crawford/葉思義譯，2005:130）. 立. (4) 資料庫結構：為了有效建立一個互動性敘事的龐大結構，Crawford 認為首先. ‧ 國. 學. 必須要建立一個角色個性模型（personality model），一個包含定義角色心理變數等資訊的資料結構，並經由程式的演算產生不同的互動模式。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 20. i n U. v.

(30) 二、數位繪本. 數位繪本（e-picture books）也被稱為電子繪本、動態圖畫書或繪本電子書；指以數位科技為媒介展示的繪本，可加入聲音、互動遊戲等功能的影音多媒體，藉由數位化的聲光效果，彰顯故事的魅力（方顥璇，2010）。劉佩奇、張瓊穗（2005）指出，數位繪本的概念是運用多媒體方式及非線性閱讀模式，藉由數位媒體的整合性功能，來提供閱讀過程中的情境模擬，使讀者能夠在閱讀的過程中，獲得閱讀理解上的鷹架輔助。盧詩韻、黃小紋（2013）根據 Rafaeli & Sudweeks（1997）提出的互動層次13，將電子繪本依互動性來分類，將互動類型分為單向式、反應式、全互動式。單向式的電子繪本的互動方式為數位圖像翻閱；反應式的電子繪本例如通過選擇，連. 政治大電子感測等技術的直覺化互動方式。立. 結各個子故事來構築故事的互動方式；而全互動式電子繪本例如利用擴增實境或. ‧ 國. 學. 在一份美國的親子共讀研究報告中，研究者比較紙本書(print books)、基本型電子書 (basic e-books)及高互動、多媒體體驗的加值型電子書(enhanced. ‧. e-books)後發現，互動度較高的電子書雖然就能吸引兒童注意，但會降低親子共讀的閱讀效果（如下頁圖 2-5，The Joan Ganz Cooney Center，2012）。. n. er. io. sit. y. Nat. al. Ch. engchi. 13. i n U. v. Rafaeli & Sudweeks（1997）將互動性這個概念分為三個層次，傳統的電視、廣播等大眾媒介屬於單向式（非互動）傳遞，互動程度最低；一方回應另一方則稱為反應式（半互動）溝通，屬中程度溝通；第三種互動方式是一種媒介系統模擬社會真實的溝通情境，溝通內容是連續且前後相關的，稱為全互動式溝通。 21.

(31) 圖 2-5 紙本書與基本、加值型電子書的故事理解程度比較. 政治大. （資料來源：Print Books vs. E-books, The Joan Ganz Cooney Center, 2012.）. 立. 根據這份報告，出版過許多互動式電子繪本的凱風卡瑪 KKlabs 認為應該將. ‧ 國. 學. App 形式的數位繪本當成一種新的內容媒介，不同於紙本書，但是也不同於動畫故事。數位繪本的互動守則應該「避免干擾閱讀活動」，並充分利用數位媒體的. ‧. 特性，思考「有意義的互動」。14. 經過上述的文獻探討，本創作將會透過故事間的連結達到音樂的互動，屬於. y. Nat. sit. 互動性中等的電子繪本，在設計上會注意多媒體互動的比例，避免干擾閱讀活動。. er. io. 架構上將融合古典敘事及數位敘事架構，整體的大故事架構呈現為（1）枯燥單. al. 調 →（2）奇特旅程：有所收穫與改變 →（3）返回：改變主角心境的敘事形式；. n. v i n Ch 在第二部分則設計為各個小故事的漫遊式非線性敘事，經由多個小故事中的互動 i U e h n c g 得到不同的故事經歷，並影響最後的結果。. 14. 〈數位繪本互動設計守則〉。取自凱風卡瑪 KKlabs 部落格： http://www.kklabs.tw/index.php/zh_TW/2012-09-20-05-35-00/ 2012-09-20-07-53-18 22.

(32) 第三節. 相關案例探討. 本創作為結合音樂與敘事的互動繪本，主要透過音樂的互動來詮釋故事與人物，因此音樂設計在本創作是重要的一環。接下來本節將著重在音樂為主要特色的相關案例，從中探討不同形式中音樂的敘事表現與畫面結合的效果。首先從各種音樂相關數位案例中分析音樂的產生方式，並從療癒風格案例中觀察音樂和視覺如何呈現觸動人心的感受，將成為日後創作的設計參考。. 一、數位案例中的音樂產生方式：. 1. 網路行銷案例：Maki-san「Design Your Animation Video」活動網站──客製. 政治大. 化音樂動畫卡片15. 立. Maki-San 是新加坡第一個完全客製化壽司店，顧客可以自由選擇尺寸、配料、. ‧ 國. 學. 米飯和外皮。為了強調能夠輕鬆地客製化壽司，Maki-san 在官網上推出了 DIY 壽司動畫的網頁互動遊戲，可以在網頁上製作自己的動畫，配上音效，並作成電. Nat. n. al. er. io. sit. y. ‧. 子卡片分享給好友。活動網頁的互動流程如下表 2-4：. Ch. engchi. 1. 選擇喜歡的動態圖片並排序。. i n U. v. 2. 為八張動態圖片配上對應的音樂，共八種樂器的配樂可選擇。. 15. Maki-san「Design Your Animation Video」。取自網站：http://rollwithmakisan.com/ 影片連結：https://vimeo.com/esthergoh/rollwithmakisan 23.

(33) 3. 寫下訊息，分享給朋友／預覽（播放音. 4. 最後的音樂動畫卡片呈現。. 樂及動畫）系統會生成一段網址，可選擇分享至 twitter／facebook 或複製連結。. 政治大. 表 2-4 Mak-isan「Design Your Animation Video」網頁流程圖片來源：Maki-san「Design Your Animation Video」http://rollwithmakisan.com/. 立. 音樂的設計上，Maki-san「Design Your Animation Video」中音樂與畫面的對. ‧ 國. 學. 應方式為一首音樂片段指搭配一張動畫，類似組曲的形式，在音樂和程式設計上相對而言比較容易。在音樂設計上每段音樂片段都很飽滿豐富，使得排列組合的. ‧. 效果有趣好聽，但音樂片段組合切換較不適合表現本創作想要呈現的細膩的情緒鋪陳和起伏變化。. y. Nat. io. sit. 而音樂結果的呈現上，最後使用者可以帶走一段音樂動畫，將它做成電子賀. n. al. er. 卡分享給朋友，不僅有著有趣的視聽效果，且具有社群散播力量。本創作在最後. i n U. v. 「帶走一首曲子」的呈現形式也會參考此作品，考慮以動畫的形式，搭配繪本畫面播放最後的故事曲子。. Ch. engchi. 2. Tocaband 音樂遊戲 App「Toca Band」結合了角色與樂器音色，讓使用者挑選角色在舞台上一起合奏，舞台上最多可放置 8 個角色，一共有 16 種角色可以選擇。每個角色有著特定的音色，在不同階層的旋律會有些微改變，增加合奏的變化性。各角色音樂設計為簡單的相同旋律或節奏，與角色的關聯多取決於視覺造型，與角色較無較深的關聯，重點放在人物造型的樂器合奏效果（圖 2-6）。. 24.

(34) 政治大. 圖 2-6 「Toca Band」音樂互動遊戲 App 畫面. 立. Toca Band 同時最多只有 8 個角色音樂，音樂的豐富性及變化性卻非常足夠，. ‧ 國. 學. 不會無趣。因此本創作在音樂設計上除了旋律性的音樂，也會添加節奏性音樂，讓歌曲更豐富。因為時間及預算的限制，音樂設計上可能無法如 Toca Band 針對. ‧. 單一角色做音樂上的變化，僅能盡量呈現角色間的差異，考量音樂預期的變化性，角色設定及對應音樂都會以多元性為目標來設計。. er. io. sit. y. Nat. n. al. i n CMy 」 3. 音樂怪獸養成遊戲 APP：「 Singing Monsters hengchi U. v. 「My Singing Monsters」是一款結合了音樂元素的養成遊戲，遊戲背景是一個. 怪獸世界，玩家可以飼養各種怪獸，每一種怪獸都會發出自己獨特的歌聲，使用者可以在養成的過程中解鎖其他的怪獸，收集各種不同怪獸來創造出自己世界的獨特音樂。遊戲中有超過 30 種怪獸可以收集，根據遊戲地圖的不同，每個小島各為一首音樂歌曲，擁有不同音色的怪獸們搭配島嶼的主旋律，唱著各自的聲部，形成合唱團般的美妙音樂（如圖 2-7）。音樂設計與前面的 Toca Band 相比較為複雜，音樂的產生的方式同樣為角色樂器－舞台類型，越多怪獸在島嶼上，音樂就越豐富。 25.

(35) 圖 2-7 「My singing monsters」遊戲介面. 政治大過程，並使玩家從中獲得成就感。角色的音樂設計方面，各個怪獸造型設計與搭立「My Singing Monsters」結合音樂與養成兩種元素，來表現和聲漸漸豐富的. 配的歌聲有高度聯想性，例如胖毛怪聲音低沉厚實，手指敲石頭的怪獸則是敲擊. ‧ 國. 學. 樂。每個場景有共同的主旋律，因此即使多隻怪獸同時出現在場景中也不會變得吵雜。. ‧. 此款音樂遊戲以角色為音樂單位，經由多音軌的疊加組合成好聽的歌曲，這. sit. y. Nat. 樣的音樂呈現形式非常適合表現本創作想要表達的單調之豐富的心境變化。為了. io. er. 呈現曲子的多樣性，本創作在一開始並不會如上述兩個例子有明顯的主旋律，而是將旋律性較高的角色配樂放在後面，在故事互動的過程中，隨著加上的角色音. n. al. i n U. v. 樂慢慢改變整體的音樂氛圍，增加讀者在閱讀中體驗音樂變化的趣味性。. Ch. engchi. 2. 《彼得與狼》音樂繪本音樂繪本《彼得與狼》（ピーターとおおかみ）為 ONKAN INC.在 2015 年推出的 App，是一款將普羅高菲夫(Sergey Prokofiev)所寫的交響童話經典「彼得與狼」改編成 App 形式的音樂繪本。繪本中配合故事頁面使用「彼得與狼」的音樂片段，介面設計與紙本繪本類似，在閱讀過程中的互動只有播放對應故事的音樂片段及進入人物音樂介紹頁，互動性不高；音樂也必須以手動播放，讀者較容 26.

(36) 易專注體會音樂和故事間的關係，並提供解題測驗的功能，具有教學意義。（如表 2-5）《彼得與狼》封面頁手繪質感的視覺風格，中央為繪本標題以及開始閱讀、解題遊戲的按鈕。. 立. 政治大繪本內頁為一般靜態圖文繪本，並無互動和動態效果，右上方的兩個圖示. ‧ 國. 頁面檢視。. 學. 分別為播放此頁的故事音樂及人物. ‧. 進入頁面後，並不會自動播放音樂，而是要點擊右上方的音樂圖示才會聽完整段才會翻頁，因此較不需處理. n. al. 音樂間的銜接問題。. er. io. sit. y. Nat. 播放，音樂時間為 18~25 分鐘，讀者. Ch. i n U. v. e n g c點擊上圖中的檢視圖示（ hi. ），會跳. 出各個人物介紹頁，點選角色，會播放代表角色的音樂及彈出樂器介紹視窗，例如左圖的彼得的音樂主題為弦樂四重奏。. 表 2-5 「彼得與狼音樂繪本」App. 27.

(37) 《彼得與狼》是符合音樂敘事應用的音樂繪本，在數位繪本的呈現上，畫面還是以繪本形式為主，不加入動畫及特效，僅以按鈕播放故事音樂。本繪本創作會參考此種音樂呈現方式，在頁面中需點選播放單一人物音樂，再形成故事配樂。介面則會保持繪本的形式，不做過多動畫處理，以內容翻頁和聆聽音樂為主。. 二、療癒風格案例 1. 音樂繪本系列《音樂繪本‧人魚公主》16 《音樂繪本‧人魚公主》（音楽絵本・にんぎょひめ）是日本 takeshi sainen 公司所開發的「以溫柔的感情與想像力為主題」的音樂繪本系列 App 之一，其. 治政大換頁面，並且可以在繪本的最後頁作為安眠曲定時播放。此繪本閱讀對象以大人立為主，文字比例較多，插圖風格也較柔和。此音樂繪本的流程如下表 2-6：特色為根據故事情節特別編寫的配樂，一共有 12 首療癒風格的曲子，可隨時切. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 2. 搭配水彩質感的畫面及故事內容，. 1. 大人為閱讀對象的音樂繪本。. 切換充滿療癒感的配樂。音樂曲目銜接的處理為淡出淡入。. 16. 「音楽絵本・にんぎょひめ」。作・アンデルセン，音楽・久保田恵子，絵・酒井景都。 http://ongaku-ehon.com/ningyohime.html. 28.

(38) 4. 故事最末頁可播放全部的配樂歌曲，並可設定結束時間。. 3. 可任意切換頁面. 政治大. 表 2-6 《音樂繪本‧人魚公主》App. 立. 《音樂繪本‧人魚公主》在音樂與畫面的處理上非常細膩，在聽覺與視覺上. ‧ 國. 學. 皆充滿心靈上的療癒感。此音樂繪本的配樂為隨著畫面翻頁而切換，曲目間以淡入淡出效果銜接，較不突兀。雖然音樂本身互動性不高，但整體所營造的氛圍與. ‧. 本創作希望呈現的感覺類似，在音樂及視覺的設計都會做為參考。. n. er. io. sit. y. Nat. al. Ch. engchi. 29. i n U. v.

(39) 2. 「紀念碑谷」( Monument Valley ). 政治大. 圖 2-8 「紀念碑谷」( Monument Valley ) App 畫面. 立. 「紀念碑谷」( Monument Valley )是一款結合錯視、益智解謎與故事的 App。. ‧ 國. 學. 「公主」艾達為了使什麼東西得到救贖而踏上了一段旅途。玩家在移動平台、觸碰機關的過程中，與遊戲中的環境互動，在錯視和不可能的幾何物體組成的「紀. ‧. 念碑」中行走尋找隱藏的道路，到達關卡的終點。. y. Nat. 此 App 在音效、視覺設計及動畫都表現得非常精彩。精美的視覺設計及動. io. sit. 態呈現，每一幕都像是一件藝術作品。音效的部分，則利用深遠、低沉而持續的. n. al. er. 環境音效來營造氣氛，加上角色音效（不同的腳步聲、烏鴉叫聲）、按鈕音效（改. i n U. v. 變紀念碑發出的音效：不同音色音高的樂器單音）等細節設計，在聽覺體驗上形. Ch. engchi. 成療癒的感受。另外，直覺的互動也讓一切體驗更加順暢，平靜舒緩，讓人沉醉其中。. 「紀念碑谷」具有療癒感的關鍵來自對各方面細節的注重所創造的美感體驗，可歸納出以下幾點：（一）藝術作品般的視覺設計、（二）深遠持續的音效設計、（三）精細的動態效果、（四）直覺的互動、（五）簡單並具有深意故事情節。. 30.

(40) 綜合以上的例子，本創作的音樂生成方式將使用「My Singing Monsters」的音軌疊加模式，來表現音樂漸漸轉變的過程，並提升角色與音樂對應的細膩度，音樂設計上也會考量最終生成曲目的差異性而做調整；而視覺風格及介面設計方面，將會參考「人魚公主」及「彼得與狼」繪本 App，介面則以呈現內容的繪本形式為主，避免過於遊戲化，並思考故事閱讀及音樂體驗間如何取得平衡；整體視覺及音效設計將參考「紀念碑谷」的精緻感，期望能帶給讀者美好的閱讀體驗。創作規劃在下一章節會有更深入的說明。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 31. i n U. v.

(41) 第參章、創作計畫第一節. 創作概念. 每個人有著獨特的個性和生活步調，像是不同的樂器，有著獨特的音色、節奏、旋律，演奏著自己的故事。一個人的時候就像樂器的單音，有些單調無聊；而人與人的相遇，就像音符間的和聲，發生在每個角落，也許衝突或者悅耳，音樂的合奏象徵著人與人之間的關係。單音的主旋律只有經過與其他人的互動，才能交織出美妙的和弦，豐富我們的生命之歌。本創作將以音樂作為人物與故事的象徵（如圖 3-1），用音樂來比喻故事中的三個層次：（一）單一音軌（單一人物）、（二）和聲（人與人之間的關係）. 政治大個多結局（多種曲子結果）的音樂繪本閱讀體驗。期盼讀者能夠從作品中經由與立. 和（三）合奏的曲子（人生片段），並結合互動繪本的非線性敘事架構，創造一. ‧ 國. 學. 故事中人物互動後和聲的疊合，單調的音樂及色彩逐漸豐富的體驗中得到感動，並進而投射至現實生活中，將這些平淡無奇的日常，化為美好的片刻。. y. ‧. Nat. n. er. io. al. Ch. iv n U 的主題音樂及和聲符合單一人物形象. 隨著故事進行，背景音樂逐漸變化. sit. 音樂. engchi 傳達創作理念. 故事. 人物故事中主角與人物互動. 圖 3-1. 創作構想示意圖. 32.

(42) 第二節. 創作主題. 一、故事主題：「觸動心弦」. 確立創作形式後，開始進行繪本內容的發想，承上一節的概念，故事內容必須符合兩個主軸：（一）人與人之間的互動為故事重點、（二）主角和他人互動之後帶來心境上的轉變。而敘事架構方面，最初設定為奇幻旅程模式的三幕劇結構：遭遇困境—逃離（遇到人和事件）—回來（發生轉變），但與指導教授討論後，決定以同一地點為故事場景，並以現代社會為舞台，更能貼近讀者的日常生活，而非只是短暫的特殊經驗。現代都會生活充滿壓力，倫敦精神病學研究學者波伊戴爾（Jane Boydell）表示，統計數據顯示，城市生活會讓人生病。17 城市居民生活在充滿噪音與忙. 政治大. 碌的環境，必須面對更大的精神壓力。社會學家齊格蒙．鮑曼（Zygmunt Bauman）. 立. 也針對現代社會型態提出了「流動的現代性」（Liquid modernity）的概念，在瞬. ‧ 國. 學. 息萬變的當代社會中，所有的關係都是流動的，「數以百計的流動關係讓人應接不暇，使人只能以接觸（connection）而非連繫（relation）來應對人際種種，因. 壓力及人際關係的不安全感成為了現代社會的常態。. Nat. y. ‧. 為接觸隨時可以斷線（disconnect）。18」在都市生活的人們，漸漸變得面無表情，. sit. 創作者生長於台北，習慣了城市的冷漠與疏離，以及必須隨時處於戒備的狀. er. io. 態。偶而打開內心與陌生人交談時，往往是不好的經驗，令人心灰意冷。儘管如. al. v i n Ch 車要小心喔！」都能瞬間溫暖憂鬱的心情。當人與人之間真誠互動的時候，心與 engchi U 心之間的交流會帶來一股暖意，彷彿心弦震動所產生的共鳴，此繪本創作期望能 n. 此，也會遇見溫暖的時刻。當內心沮喪的時候，公車司機隨口一句「慢慢來，下. 將生活中的這些溫暖片刻記錄下來。. 17. 轉引自城市之疾〈知識通訊評論第 121 期〉。出自 http://highscope.ch.ntu.edu.tw/wordpress/?p=41896 18. 高瑟濡譯（2007）。《液態之愛——論人際紐帶的脆弱》。台北：商周出版。【原書：Zygmunt. Bauman(2003). Liquid Love. UK:Polity.】 33.

(43) 此外，本研究第一章提到，音樂非常適合表現人與人心靈交流的一瞬間，相關文獻也有許多運用音樂來描寫情緒及療癒的討論。因此在故事設定上，將以「觸動心弦」的內心感動為故事主軸，結合繪本中的人物、故事與音樂，並採取平淡溫暖的敘事風格，更能貼近真實生活。. 二、故事架構. 本創作主要閱讀對象設定為工作繁忙、面對城市生活時常感到空虛無力的都會女子。並以此形象作為故事主角的設定。場景則以印象中最為單調疏離的城市為舞台，藉以凸顯人與人交流後所產生的變化。故事以「城市漫遊」作為架構，. 政治大. 透過不同場景中角色之間的互動，產生音樂和色彩的變化，讓讀者從中體會不一樣的溫暖感受。. 立. 漫遊者般的敘事案例，例如電影《午夜巴黎》（Midnight in Paris），主角. ‧ 國. 學. 在現代的巴黎觀光，午夜的奇遇讓他突然來到了二○年代的巴黎，並在城市裡與當時的人們互動，發生了一些故事，也漸漸地改變了他的想法。另外，《在天堂. ‧. 遇見的五個人》（The Five People You Meet in Heaven）則是通過與人生中的一些人物的相遇，得到不一樣的人生意義，並修補心中缺憾。此兩種案例的故事模式. y. Nat. 皆為本創作的故事設計參考，在街上漫遊的過程中與不同人物發展故事，並從中. n. er. io. al. sit. 得到一些心靈或物質上的溫暖。. 三、故事大綱與分鏡. Ch. engchi. i n U. v. 一個身心疲憊的女子在夜晚下班的路上，遇見了一個怪異的街頭音樂人，他告訴女子：這城市其實充滿著音樂，仔細聽，跟著音樂走，感受城市的豐富的生命。女子開始在灰色城市裡漫無目的地遊走，途中遇見了形形色色的人與故事，漸漸地，她與這座城市起了一些變化，往常的回家路線變得如此不同……. 34.

(44) 第三節. 創作架構. 本創作以「音樂」為創作主軸，故事配樂的各音軌根據各個人物角色的個性和特色編寫，以「漫遊」的互動敘事模式為原則，在與人物互動的過程加入該人物角色的音軌，一方面在漫遊的過程中得到獨特的故事，一方面建立最終獨特的配樂結果。本數位繪本的互動流程示意如下圖 3-2：. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. 圖 3-2 音樂繪本互動流程. al. n. v i n Ch 的過程隨著敘事內容來體會音樂的變化，視覺則作為輔助功能，在以下三節會做 engchi U 更詳細的說明：在閱讀數位繪本的過程中，讀者將體會到三種層面的變化，期望讀者在閱讀. （一）敘事上：隨著故事的進行改變主角觀看世界的方式及心境變化。（二）音樂上：隨著與故事中人物的互動加入配樂音軌，感受音樂由單調變得豐富的過程，旋律風格也會根據接觸到的人物性格有所變化。（三）視覺上：視覺作為敘事及音樂的輔助，整體顏色為黑白、冷色片段到溫暖、多彩的變化過程，象徵黑白的日常生活和彩色的獨特的城市漫遊經驗。考慮音樂為此繪本重要的因素，因此視覺上的變化僅大略象徵，以不影響閱讀及音樂欣賞的前提來變化。. 35.

(45) 本互動式音樂繪本中故事與音樂皆可分為三部分──描述都市日常的故事序章、人物互動及最終結果呈現，音樂及視覺則隨著故事情節的經歷逐漸轉為明亮豐富。讀者經歷一條故事線的閱讀及音樂體驗示意如下圖 3-3：. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3-3 讀者單次閱讀體驗故事與音樂對應示意圖 36.

(46) （二）音樂繪本 App 互動架構. 由於本創作的音樂互動較為複雜龐大，並考量平板的觸控互動較直覺且適合閱讀，因此選擇以平板作為本互動式音樂繪本的載體，並以 iOS 來編寫程式。 App 架構分為三部分，第一部分為自動播放的黑白都市片段圖像；第二部分則進入城市街景的人物音樂互動部分。在一個場景有兩個角色可選擇，點選角色進入到人物故事頁面，再繼續讀則直接進入到下個場景。第一個公園場景設計為教學頁，因此兩個人物都會點選到，會透過音樂家的對話帶入繪本互動說明；而為了凸顯主角(A)的音樂是經由與音樂家對談後才聽得見，因此主角的配樂會在音樂家(B)之後才會明顯出現。經過四個場景之後，將進入第三部分，為主角逛完城市的心情，在此部分會播放代表讀者走過故事線的曲子。. 政治大. 整體的故事互動架構如下圖 3-4：. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 37. i n U. v.

(47) io. n. Ch engchi. 38. i n U. v y. 圖 3-4 音樂繪本 APP 架構圖. sit. ‧. Nat. al er. 學. ‧ 國立政治大.