結果與應用

5.2.1 聽覺節奏引導視覺注意力

本實驗所得到的結果，聲音節奏可引導觀者的視覺注意力，可將此知覺反 應應用於視聽媒體中聲音與畫面的設計。如第一章緒論所提到的，利用同步節 奏使觀眾將聲音歸結到畫面某一物件，引導視覺注意力。可加強視覺效果，或 引導觀眾的視覺注意力於前後景之間切換(參見 1.2.1 視覺傳播媒體的觀察)。

另外，由補充實驗 (參見 5.1.2)，可知時間一致性的視聽整合屬於意識前的反 應。電影聲音與影像的設計也可利用此特點，使觀眾意識到聲音與畫面的語意 矛盾之前，將節奏同步的聲音與影像整合，整合的訊息經較高層次的理解後，

使觀眾理解與產生情緒，以下舉例說明。

5.2.2 利用節奏將視聽元素整合

電影《萬花嬉春》(Singin'in the rain, 1952)，以 1930 年代有聲電影發展初期為 劇情背景，當時電影的影像與聲音並非記錄於同一磁帶上，而是放映機與留聲 機分開錄製。劇中主角剛完成他的第一部有聲電影，在試映會時由於放映機短 暫故障但留聲機仍繼續播放，使 Lina 與男爵的聲音與畫面恰巧錯置。導演藉由 人物頭部的動作與聲音節奏的一致，使我們將 Lina 略帶撒嬌的聲音與大鬍子男 爵連結，男爵粗獷的聲音與 Lina 連結，他們的頭部動作(搖頭 / 點頭)與對話(yes / no) 是不合邏輯的、語音的辨識與人物形象的連結是矛盾的，如圖 5-6 我們仍 能理解劇情而不認為對話中的低沉聲音(Yes)仍為男爵發出，而同一時間 Lina 做搖頭的動作。此例說明藉由節奏的一致，觀眾不需先分析對白與人物頭部動 作之間的意涵，而能反射性的將節奏同步的視聽刺激整合，待我們理解語意矛 盾的衝突而形成諷刺幽默的心理感受。

圖 5-6《萬花嬉春》。利用同步的節奏，將不合邏輯的頭部動作與對話連結。

另外，也可藉由節奏整合而無語義關聯的視聽元素，如短篇動畫《Super Mario Reloaded》作者將《駭客任務：重裝上陣》(Matrix Reloaded, 2003) 電影 中的人物以動畫表現，畫面如同解析度過低的動畫，人物由極為簡單的方塊組 合而成，人物的肢體動作與細微的面部表情皆以方塊的移動與變形構成，使動 畫看起來像是多個方塊同時在畫面上變動。在這些變化節奏不同的方塊中，如 何讓觀眾了解哪一個角色正在說話？由於對白本身具有節奏，人物嘴巴的方塊 配合此節奏變化，因此畫面雖然以多個動態方塊構成 (如圖 5-7)，但我們還是 能將聲音與變動節奏一致的方塊連結，進而理解人物角色對白的安排。

圖 5-7 《 Super Mario Reloaded 》畫面類似由方塊構成。

總合我們所得到的結果，藉由同步的節奏將視聽訊息整合，可引導觀眾的 視線，而這樣的視聽整合屬於較低層次的知覺連結，是相當基礎的一種跨感官 現象。對於視聽元素之間產生高層次的知覺連結，如色相與音高、亮度與音強 等之間的對應，則有待進一步研究。以下幾點建議，提供對於視聽整合有興趣 的研究者參考。