視覺文學應用於多媒體新聞報導

（一）數位化的視覺文學與多媒體新聞報導

將視覺文學的表現方式應用於多媒體新聞報導，是一種融合藝術、文學與科 技的新聞呈現。觸控技術的進步，開啟了視覺文學新的呈現模式（ Cultural Services French Embassy in the United States, 2014）。結合數位媒材的呈現，

更全面性改變了視覺文學創作形式的藝術語言與內涵，強調開放性與互動性，打 破以往的定義和認知，依其數位特性生成的超文本文學也進一步影響大眾的思考 模式（范銀霞、賴雯淑，2012; Koenitz,2010）。Wolk（2008）討論視覺文學易

68 家 Roland Barthes 所說的錨定（Anchoring）作用，也就是透過文字使讀者專注 在特定詮釋，而忽略其他詮釋的可能，換句話說是由創作者引導讀者在有限的開

數位化視覺文學作品的創作及呈現，與 Koenitz（2010）整理出的互動式數 位敘事模型（Interactive Digital Narrative Model）有相同邏輯；無論在創作與閱 讀時皆和系統（System）、過程（Process）及產品（Product）的考量息息相關。

需考慮產品呈現時，使用者環境中的行為、規則和內容結構，如可執行的程式語 言和圖像、影音、文字的數位呈現，以及使用者的軟硬體設備等。就 Koenitz 的 分析而言，最終產品的呈現媒介和製作過程，本身就是一種潛在敘事（Potential Narratives），預設了最終作品的敘事邏輯。對多媒體新聞報導來說，新聞內容

仍是數位敘事中最重要的元素，因此對新聞進行數位化內容設計時，應回歸數位 人文（Digital Humanities）的角度思考；Berry & Fagerjord（2017）對數位人文 走向著重數據化的資料分析作出批判，指出數位與人文的結合，其探討範圍不應

Chaplin（2016）在關於新聞內容設計的研究報告中，引用《The Guardian》

數位主任 Aron Pilhofer 的話：「記者需要更積極創製數位化報導，而我認為目 前的方法就是進行新聞內容設計。」不僅是強調報導與閱聽者之間的互動性，而 是現今新聞工作者都在嘗試回答；未來一篇文章或報導會是什麼樣子？觀眾真正 想要的是什麼？什麼樣的網路新聞形式是合理的？應該製作什麼樣的報導？

70

在這樣的思潮下，各家媒體都積極嘗試不同的新聞內容呈現形式，誕生各式 各樣的多媒體作品；例如 Fons Schiedon 與其團隊所創作的動態視覺文學作品

《The Land of the Magic Flute》、BBC 的互動式視覺文學作品《Tell Me Your Secrets》以及 The Washington Post 針對新聞事件，融合動態視覺文學甚至虛 擬實境技術製作的《12 Seconds of Gunfire: The True Story of a School Shooting》

等。

《The Land of the Magic Flute》以著名歌劇《魔笛》為故事藍本，敘述主 角——暢銷作家 Chris 離開簽書會後，因車禍掉入海中展開到魔笛世界的冒險，

再從魔笛世界中的驚險時刻獲救回到原來的世界。此作品曾獲德國設計獎

（German Design Award）特別獎、德國教育媒體獎（ Digita – Deutscher Bildungsmedienpreis）與誇美紐斯數位教育媒體獎（Comenius Edu Media Siegel）等獎項。作品雖是直接以動畫形式呈現，但其中仍然保留框格敘事，讓 框格根據劇情動作性表達的需要在動畫中開展，以連續動作的特寫加強了敘事的 節奏感、吸引閱聽者注意力。隨框格推進故事同時，框格以外之處則是動作發生 的場景，保留原場景也給予閱聽者關於場景變化的想像線索，讓奇幻的故事題材 有更廣闊的想像空間。此外，搭配歌劇魔笛的經典主角歌唱，強化閱聽者與印象 中故事的連結，讓這部改編作品的不同之處明顯突出。

圖（3）：主角 Chris 因車禍掉入海中，被浪沖上魔笛世界的海灘，開啟奇幻冒險；由圖左上至 右下可看出框格編排順序與特寫動作。截取自《The Land of the Magic Flute》片段。

圖（4）：框格沒有固定形式與特定的出現順序，並且能清楚呈現故事人物的動向；由圖左上至 右下可看出此次轉場的處理是由框格開展來掌控。截取自《The Land of the Magic Flute》片段。

雖然其框格的動畫編排限制閱聽者的觀看順序，但同一場景的框格展現完成 後，停留的幾秒時間中給予觀眾再次品味該場景完整動作的時空，是其特別之處。

並且，框格沒有固定形狀與特定順序位置，甚至也有無框的特寫動作，框格中也 有更細微的動畫，像是主角的汗珠、由模糊變清晰的視覺效果、持刀抖動的手等 等，就像引領閱聽眾進入另一個鏡頭，而待同一畫面的框格開展完畢又能綜覽同 場景的連續動作。轉場時，也曾出現多種不同處理方法，可以順著主角行進方向、

可以藉由場景亮度，又或類似卷軸網頁式滑進下一場景等等。

《Tell Me Your Secrets》是 BBC 團隊的互動式視覺文學作品，以二戰真實 事件為背景，當時德國納粹政權突襲波蘭，而後法國淪陷，英國欲以幾個軍事祕 密情報交換，尋求美國盟軍的信任與支持來對抗德國的交涉過程為敘述主線，製 作任務與問答選項，讓閱聽者扮演前往美國溝通的角色——Sir Henry Tizard，自 由選擇不同的敘事線，並且根據閱聽者在問答中的選擇決定交涉的成敗，在敘事 最後對照真實歷史事件，讓閱聽者看看自己的選擇是否改變了歷史。

72

圖（5）：閱聽者可以自由選擇任務來決定故事的敘事線，代表英國向美國進行交涉。由左上至 右下可看到任務與問答的選擇和交涉結果。截取自《Tell Me Your Secrets》片段。

在閱聽者扮演左右戰爭結果的角色過程，給予一定程度的自主性，讓其思緒 隨故事局勢及思考問題的過程運轉，使得作品成功抓住閱聽者注意力。框格安排 上較為規矩，皆以方格由左上至右下的順序為主，隨著動畫進度出現對話框。每 個任務交涉的場景不盡相同，根據閱聽者的選擇就會進入不同場景，轉換時大多 是隨著框格滑移。較為特別的是，此作品在不同場景框格的音效，在聽覺上起到 帶領閱聽者進入情境的作用；如在餐廳時塑造較為輕鬆愉悅的氛圍、在交涉時則 有緊張感、戰爭畫面則有戰機呼嘯而過或炸彈破壞建築的聲音。除了豐富的擬音 效果，整體音效陰暗卻引人入勝，主角在歐洲時有不祥之感，與抵達美國時更明 亮樂觀的爵士樂形成對比，但隨故事走向，即使在立場中立的美國，也逐漸有黑 暗吞噬之感。此作品透過選項讓閱聽者參與並導演劇情走向，並藉由影音效果塑 造出如同觀看電影的體驗。

《12 Seconds of Gunfire: The True Story of a School Shooting》則是 The Washington Post 根據記者 John Woodrow Cox 的報導〈Twelve seconds of gunfire〉，以一位七歲小女孩，經歷其小學遊樂場遭青少年開槍事件後的創傷與 心境為腳本，所製成的八分鐘虛擬實境動畫，另有平面動畫版本。此作品帶閱聽 者進入小女孩 Ava 的世界，從小女孩的眼中看見這次事件所帶來的影響；她經 歷失去好友的衝擊，敘事從她經歷小學槍擊事件的瞬間、參加好友的喪禮、被醫 生診斷為嚴重的創傷後壓力症候群，轉換到她寫信請求總統讓槍枝能遠離孩童的 時刻。

圖（6）：動畫轉場安排；左上畫面為 VR 版本，以文字引導閱聽者的視覺方向進入下一場景。

截取自《Tell Me Your Secrets》片段。

動畫選定幾個具有重要意義的時刻作為主要場景，包含槍擊事件、好友的喪 禮、心理醫生診間、寫信當下；平面動畫版本中，轉換場景的方式是以黑幕，再 顯現出動畫師繪畫過程般地隨著筆畫呈現出下個場景，像是女孩獨自坐在黑暗中 轉換至心理醫生診間，有時則以特寫轉場。在虛擬實境版本中的轉場安排亦同，

但畫面的轉場流動沒有特寫而是多了一項特色，會隨著閱聽者閱讀的敘述文字前 往下個場景；例如從好友在盪鞦韆的遊戲場轉換至女孩房間時，隨著介紹女孩的 文字讓主角出場。在槍擊事件發生時，動畫是以比喻手法表現出轉折，原本充滿 歡笑的遊戲場就像被一場風暴襲捲而走不復存在，原本的畫面被一絲絲拆解散去。

配樂上，隨著槍擊事件發生的氛圍轉變，從一開始的輕快童趣轉換至陰暗沉重，

轉折時則是用槍擊事件發生當下的 911 報案電話真實錄音。敘事中運用了女孩 與總統的信件內容，而動畫最後一句台詞「He did’t say how he could keep kids safe」擲地有聲，作為社會大眾必須重視此議題的呼籲。

進一步探討視覺文學與網頁結合的報導形式，則可參考 SBS 的多媒體新聞 報導《The Boat》。網頁設計與視覺文學的內容其實本質上具有共通性；兩者都 在一個特定的內容布局中策略性地使用文字和圖像組合，都依靠該布局的精心設 計來引導讀者視線在各個組成元素中流轉，且就長篇閱讀來說，更能迎合現今許 多閱聽者注意力短暫的閱讀習性（William Corner, 2016）。

《The Boat》是澳洲得獎作家 Nam Le 所撰寫的小說，SBS 從中挑選出一 則短篇小說，與藝術家 Matt Huynh 合作，改編而成的互動式視覺文學作品。故 事講述一位越南女孩 Mai 從越南搭上一個擁擠著難民的拖網漁船上，被偷渡到

74

澳洲的經歷。作品將故事分為六幕；第一幕〈The Storm〉描繪了暴風雨中難民 船上的驚險經歷，從描述環境的劇烈搖晃和擁擠人群，慢慢沒入 Mai 的所見所思 所想，在這過程中她遇見了一對母子 Quyen 和 Truong。第二幕〈A Good Child〉

講述這一切如何開始的，由一首 Mai 母親以前也常唱給她聽的越南民謠開場，她 循著歌聲找到 Quyen 和 Truong，想起了母親在院子把錢交給她、想起了因對抗 共產主義者從再教育營出來後變成全盲的父親、想起了她踏上難民船旅程的那天，

不斷重複的句子「Child is a good child」貫串全幕，因她是個好孩子所以聽父母 的話獨自搭上了難民船。第三幕〈Relief〉是從 Mai 抵達媽媽交代要與一位陌生

不斷重複的句子「Child is a good child」貫串全幕，因她是個好孩子所以聽父母 的話獨自搭上了難民船。第三幕〈Relief〉是從 Mai 抵達媽媽交代要與一位陌生