第三章 音樂與視覺影像融合的相關案例分析
第一節 動畫
一 幻想曲3
圖3-1是華特迪士尼公司1940年拍攝的一部音樂動畫片—幻想曲，這影片主要由七 部古典音樂組成並以故事化的方式呈現，不僅增⻢了音樂作品的趣味性，又透過各種視 覺元素將音樂主題積極的傳達出來。此部片與一般動畫片不同的地方在於，幻想曲是一 個以音樂為主的動畫片，運用古典音樂裡的旋律、音色與節奏與故事情節相互作用，透 過音樂與動畫的結合，讓觀看者達成視覺與聽覺共感覺的經驗，而成為動畫史裡的里程 碑。
圖3-1 迪士尼幻想曲海報
資料來源：FilmSite, http://www.filmsite.org/fant2.html, (2013/10/12)
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
I! 網站：https://www.youtube.com/watch?v=FcpamvLB2JU!
! FN!
二 春之祭4
音樂家斯蒂芬．馬林諾夫斯基(Stephen Malinowski)為了讓看不懂樂譜或不懂樂理的 人瞭解一首曲子，而研發了一臺「音樂動畫機」(Music Animation Machine)，製作了許 多音樂動畫作品。圖3-2為馬林諾夫斯基其中一部音樂動畫—春之祭，春之祭原是一部 芭蕾舞劇，馬林諾夫斯基特地在首演的一百週年為其創作了一支音樂動畫。
圖3-2 馬林諾夫斯基春之祭影片截圖
資料來源：youtube, https://www.youtube.com/watch?v=02tkp6eeh40, (2013/10/12)
從動畫豐富與鮮豔奪目的效果中，可以看出春之祭的樂器編排以及旋律的交錯互動，
可讓觀看者以視覺輔助聽覺來理解這部經典作品。且樂曲視覺化之後，可發現裡頭有很 多復調性寫法(bitonality)，以及樂器的編排、音質以及音量上都有很多細微的變化。
第二節 裝置設計
一 會動的清明上河圖5
圖 3-3 會動的清明上河圖透過科技的輔助突破時空藩籬，讓現代的人得以親近古代 的生活型態。展覽採用宋代張擇端原作，透過現代科技的3D 繪圖技術，讓張擇端筆下 的古代人物，重現於世人眼前，作品動線設計上，先以明代仇英與清代院本的仿畫作為 開場，讓觀眾感受兩代巨作的精緻與美感差異；接著進入巨幅宋代張擇端版本的畫作，
以放大的模型輔助介紹畫中別具特色與意義的人、事、物與場景。
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
J! 網站：https://www.youtube.com/watch?v=02tkp6eeh40!
K! 網站：$00*QRR6;9-+2+;4-&R6S.$-1R(3STB@U1V#"JV#WF;$0&=!
! FO!
圖3-3 會動的清明上河圖展場
資料來源：LearningLife, http://www.aa-rich.com/ktmllite/images/201106w1, (2014/8/12)
在聲音與動畫的設計上，原本靜止不動的畫面以栩栩如生的動作和熱鬧喧嘩的叫賣 躍然呈現於觀眾面前，此外原本單色調的原作也被賦予了新的色彩，畫中之物更會隨著 時間移動，呈現日夜更迭的景色。轉換過程除了漸變之外，白晝進入夜晚會以暮鼓聲作 為區隔，入夜後的市街還會傳來「天乾物燥、小心火燭」的警語，讓整幅作品擺脫了既 有的畫面空間，產生了全然不同原作的風貌。
二 數位百駿圖6
2006 年由學者朱嘉樺與故宮合作，製作「名畫的當代詮釋」，將郎世寧的百駿圖數 位化，見圖 3-4。現場使用 6 台 Optoma 高流明投影機和無接縫融接技術，投影出一面 與原作比例相同的光牆，雖然畫面僅呈現原圖三分之一的篇幅，但整件畫作活靈活現，
跳脫原本寧靜的空間，賦予百駿生命力，在草原上栩栩如生地活動，也讓觀者對畫作有 產生不同的想像空間與觀賞角度。
圖3-4 數位百駿圖展場
資料來源：古畫動漫, http://i.ytimg.com/vi/DKJLY65iExU/hqdefault.jpg, (2014/8/12)
音樂與動畫的設計上，用一天的晝夜變換、晴雨交替呈現視覺和聽覺體驗，以奚官
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
L! ! 網站：$00*QRR6(3%-=(2%;-,7R6(%1R90X/.YZ[*\8Q3Y!
! IP!
照料馬匹的一天行程作為敘事主軸，展演出晨曦破曉、日間活動、午後雷雨、黃昏夕照、
星夜賦歸等動畫與聲音效果。像日出升起時的動畫背景音樂音量表現慢慢漸強，搭配蟬 鳴和鳥鳴象徵晨間活動的開始，畫中下雨的場景也出現雷聲轟隆作響的音效，而畫中主 要的馬兒也細膩的呈現嬉戲相鬥、遊憩臥立、策馬奔馳、涉水而渡的百變姿態與嘶鳴聲，
讓駿馬英姿宛若活躍眼前。
第三節 應用程式
一 Synse7
Synse是一個互動性的視覺化音樂應用程式，內容共設計三種介面形式，如圖3-5分 別是〔巴黎〕、〔液體〕與〔生活時光〕。三種介面風格各不相同，並展現出不同的創 新音樂互動形式。
圖3-5 (a)〔巴黎〕畫面、(b)〔液體〕畫面、(c)〔生活時光〕畫面
資料來源：synse, http://www.synse.net/, (2014/8/11)
〔巴黎〕的影像畫面中，呈現出華麗的霓虹燈街景與川流不息的車輛，讓使用者觸 碰影像產生變化與對應的音樂，讓傳統的影片成為一個可操控的舞台秀。〔液體〕與〔生 活時光〕須使用者觸碰畫面，才能產生動畫與對應的聲音，不同的處碰點呈現的動畫也 不同，讓使用者不僅能自組聲音還可以創造不同的影像呈現。
二 動物嘉年華8
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
M! 網站：http://www.youtube.com/watch?feature=player_embedded&v=B3OK5Hw8Tus!
]'^! ]5^! ]4^!
! IE!
圖3-6動物嘉年華是Toothy Buddies工作室所推出的互動音樂教育應用程式，讓孩子 隨音樂和動物圖像譜來認識法國聖桑（Saint Saens）的古典名曲〔動物嘉年華〕(Carnival of the Animals)，與不同的音樂元素，包括時值、節拍、旋律線條、樂句和曲式。遊戲 裡不同的故事主題，會有不同的教育內容，像是以袋鼠角色為主的故事，透過遊戲，讓 小朋友感受音樂的元素—音長。樂曲以一連串跳躍的音符模擬袋鼠的快速跳動，讓小朋 友可以在這首簡單的樂曲中感受和對比長與短的時值。此遊戲透過聆聽音樂與圖像譜進 行互動，利用故事中可愛圖案的引導，讓兒童能對典音樂產生興趣，並感受音樂的元素。
圖3-6 動物嘉年華畫面
資料來源：Toothy Buddies, http://www.toothybuddies.com/carnival-of-the-animals,(2014/8/12)
三 Color Band9
由台灣遊戲團隊LND Games自製發行的互動式音樂繪圖遊戲Color Band，是一款適 合小朋友或對畫圖和音樂有一點興趣的大朋友，讓他們能輕鬆的「畫出音樂」，見圖3-7。
Color Band是一款玩法特殊的互動式音樂繪圖遊戲，是繪圖本也是音樂演奏器，遊戲中 每個顏色都有搭配的聲音，可以在空白的畫布上依照自己的喜好來繪圖，或是用遊戲中 預備的著色本來繪圖，也可以切換為單純沒有聲音的顏色，為繪圖增加更多變化。此外，
遊戲還有兩種特殊的畫筆，一個是可錄音的畫筆，隨意錄下自己的聲音，畫在畫布的不 同位置，還有不同的聲調變化；另一個是會循環的節奏跟旋律，搭配上其他的聲音顏色，
可以創作出屬於自己獨一無二的音樂圖畫。
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
N! 網站：https://www.youtube.com/watch?v=tcQQ2uFgX9o!
O! 網站：http://www.youtube.com/watch?v=EI51Pd62vog#t=79!
! IF!
圖3-7 Color Band畫面截圖
資料來源：youtube, http://www.youtube.com/watch?v=EI51Pd62vog#t=79, (2014/8/12)
四 Scape10
圖3-8為音樂家Brian Eno與軟體設計師Peter Chilvers共同打造的應用程式Scape，能 讓使用者透過「作畫」的方式，創作出屬於自己的氛圍音樂。「畫作」中的每一個元素 都代表著不同的聲音，無論是背景、圖形與顏色，都會對最終合成的音樂起到影響，「畫 作」中不同的元素組合在一起也會產生不一樣的動畫效果。此外Scape還內建了錄音與 照相的功能，讓使用者可以錄製自己創作的音樂，以及拍攝呈現的影像畫面。
圖3-8《Scape》畫面
資料來源：CreateDigital, http://createdigitalmusic.com/files/2012/09/scape3, (2014/8/12)
五 Tunetrace11
倫敦大學瑪麗王后學院所支持的創業團隊 QApps，推出一個音樂應用程式 Tunetrace，
能運用程式語法把繪畫的線條「翻譯」成音樂，見圖3-9。使用者只要下載這個免費的
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
EP! 網站：http://www.youtube.com/watch?v=8zNLlKRrUVk!
EE! 網站：http://www.youtube.com/watch?v=C6V4yN6zYjc!
! II!
App，然後照下任何你畫的，或是網路、路上看到的畫，按下播放鍵 App 就能把各種線 條來回傳遞的路徑轉換成各種音符。#+)%0,'4% 運用了兩種電腦視覺技術 0$,%.$-=3()7 以及skeletonisation。前者決定照片中何為圖像線條及背景；後者是將線條細化成一個 點的寬度。等到程式將圖片簡化之後 螢幕上會出現許多小光點 每個光點移動一次都 會發出一個聲音 有的是鼓聲有的是電子音效。雖然轉換出來的音樂大同小異，但也算 一種特別的_樂器；而瑪麗王后學院已經把這個技術拿來做為課堂上輔助的教材，讓所 有會塗鴉的人感受到程式設計有趣之處。!
圖3-9《Tunetrace》畫面
資料來源：appszoom, http://cn.appszoom.com/iphone-apps/tunetrace_gcdsm.html, (2014/8/12)
第四節 小結
透過案例可以看到音樂與不同領域相結合後激盪出的創新，像是音樂動畫中用故事 與視覺形象，將抽象的音樂具體化的呈現，使觀眾能「看見」音樂。裝置藝術案例中的 清明上河圖和數位百駿圖，用音樂的特性結合動畫將古代名畫中的場景、角色活靈活現 的重現在觀者眼前使其彷若置身於畫中，更加親近古代的時空背景、人物與生活形態，
拉近了觀者與繪畫之間的距離。而應用程式的案例中，互動的技術成為音樂教育的一種 方式，透過遊戲性和視覺動畫的刺激讓孩童從中學習，此外互動性也讓使用者能自主參 與創作，透過具象化的物件操控音樂讓彈奏音樂的過程如同在欣賞動畫表演般的充滿趣 味性。
而本創作與裝置藝術中的案例形式最為相近，都是將名畫進行重製，除了效法案例 中將音樂做為幕後增強動畫視覺效果的角色，更將音樂拉向前台成為敘述故事的一部份，
讓音樂與動畫兩者之間相輔相成，再學習應用程式案例中的互動方式，讓使用者能「自 行把玩音樂」，透過繪畫與音樂交互作用並結合互動性的方式，讓使用者沈浸其中得到 知識性、趣味性與創造性。
! IJ!
第四章 創作論述
本章節分為作品設計概念、作品設計流程與架構、互動腳本設計與音樂製作過程來 論述，作品設計概念描述創作的動機與想法，作品設計流程與架構介紹設計流程和介面 架構與功能，互動腳本設計則是詳細說明互動物件產生的動態效果與聲音安排的方式，
最後音樂製作過程，介紹本次作品在音樂上使用的技術與相關工具以及和樂團溝通討論 的過程紀錄。
第一節 作品設計概念
回顧前幾章可以發現數位藝術能讓靜態畫作以動態方式呈現，使繪畫裡的人物鮮活
回顧前幾章可以發現數位藝術能讓靜態畫作以動態方式呈現，使繪畫裡的人物鮮活