聽覺節奏對視覺注意力的影響

全文

(1)國立交通大學應用藝術研究所碩士論文. 聽覺節奏對視覺注意力的影響 The Effect of Audio Rhythm on Visual Attention. 研究生：陳雅靖指導教授：陳一平. 博士. 中華民國九十三年八月.

(2) 聲音節奏對視覺注意力的影響學生：陳雅靖. 指導教授：陳一平博士國立交通大學應用藝術研究所視覺傳達組. 摘. 要. 對於接收外在世界的訊息，視覺與聽覺是我們最主要且仰賴的感覺形式。隨著媒體業的蓬勃發展，視覺傳達媒體也逐漸趨向運用結合聲光效果的多媒體形式呈現，聲音可視為視覺設計的要素之一。因此，理解視覺與聽覺整合的知覺現象，以及如何讓聲音與影像能有最佳的配合成為設計者需思考的問題。本研究針對聲音節奏對於視覺注意力的影響進行實徵性的探討，我們假設在視聽刺激節奏一致的條件下，聲音節奏可引導觀者的視線，而將注意力投注在與聲音節奏呼應的影像上。根據上述假設，我們利用心理學實驗將視覺刺激以快速序列性的方式呈現 ( rapid serial visual presentation，RSVP)，測量受視者於螢幕上某定點的視覺注意力，並且於螢幕上同時播放兩個節奏不同的 RSVP 序列形成雙重作業(dual task)。於作業中加入與其中一序列契合的聲音節奏，測量受試者於視聽覺訊息節奏同步與不同步 RSVP 作業的表現。透過操弄視聽覺訊息節奏是否契合的變因，進而測量受試者投注於兩 RSVP 序列的注意力，以分析獲得的結果探討注意力引導與視聽覺整合的問題。實驗結果有兩個主要的發現：1.聽覺節奏能引導受試者注意節奏同步的視覺訊息。2.利用節奏的一致性能將視聽覺刺激整合，屬於基本層次的知覺現象。節奏可運用圖形的明暗、大小和音符的強弱、高低變化而形成。因此實驗結果應用於影音媒體的製作，我們可以思考如何使視覺媒體更富有節奏，並且利用畫面與聲音節奏的設計形成觀眾注意力的動線，或藉由同步的節奏讓語意矛盾、或無語意關聯的視聽覺元素產生連結，待觀者理解後產生諷刺幽默等情緒反應。 i.

(3) 另外，於實驗中發現兩個特徵不同的聲音刺激，對視覺訊息注意力的影響程度不同，隱含視聽覺元素之間是可能存在契合的形式，如聲音的音高、音強與畫面的色相、明度能相互類比。這類更高層次的視聽知覺對應，有待未來更進一步的研究。. 關鍵字：注意力；RSVP；跨官能整合；共感覺。. ii.

(4) The Effect of Audio Rhythm on Visual Attention Student: Ya-Ching Chen. Advisor: I-Ping Chen Institute of Applied Arts National Chiao Tung University ABSTRACT. Vision and audition are the two major modalities we use to receive outside messages. There is evidence indicating that vision and audition do not function independently. A better understanding of the interaction between these two senses is of great value to a designer. The focus of our study is the effect of audio rhythm on visual attention. We hypothesize that if the visual and the auditory stimuli are synchronized, viewer can be cued by the auditory rhythm and would pay more attention to the synchronized visual event. The aim of this study is to test this hypothesis. We used rapid serial visual presentation (RSVP) as a means to probe subjects’ visual spatial attention on a given spot of the screen. Two RSVP streams of different rhythms were presented to the viewer on each trial. One of the RSVP stream is synchronized with an auditory stimulus while another is not. If the viewer’s attention can be guided by the auditory rhythm, one would predict that the performance in the synchronized RSVP be better than that in another stream. The results show that: 1. The auditory rhythm, while being task-irrelevant by itself, does cue subjects’ attention to the synchronized visual event. 2. The power of cueing visual events is critically dependent upon the acoustic properties of the auditory stimulus. 3. Some rhythms are more potent than others in binding visual and auditory events. 4. As most viewers were not aware that one of the RSVP streams was synchronized to the auditory event, we believe the enhancement effect by synchronization occurs at an early, preconscious level. Keywords: attention, RSVP, cross-modal integration, synaesthesia. iii.

(5) 誌. 謝. 寫這篇誌謝時回想起兩年前進入應藝所時的術科題目—誰是我生命中的恩人？我是否真懂得感恩？…還記當時急忙的在考試時間終止前將畫紙塗滿，而現在懷著有點不捨的心情慢慢的寫完這篇誌謝。由於我大學所學的內容與藝術領域交集甚小，因此相當感謝陳一平老師與張恬君老師開放的態度，讓我有機會能進入應藝所學習。謝謝陳老師以廣泛的學識，引領我認識視覺藝術、音樂、心理學與生理學中的知識，並且詳盡的指導我完成這篇論文。感謝張老師在設計思想上的啟發與鼓勵，讓我更加確信對於設計的熱忱。也相當感謝莊明振老師、鄧怡莘老師、及諸位應藝所的老師們的教導，擴展我對設計領域的認識。另外，謝謝孫慶文老師對於論文詳細的指正與建議，使我的論文更加完整。感謝我的父母容忍我大學畢業後不務正業的選擇不同的路。感謝眾姐姐們，雖然我回家次數越來越少，已從妹妹被列為遠房表妹，但每當回家時還是能感受到妳們的熱情與關心。感謝應藝所的同學們，不吝分享你們的設計的經驗與技術，使我從門外漢逐漸能以設計謀生。感謝參與實驗的受試者，花費時間與精神完成實驗之外，也提供我諸多的實驗心得與建議。感謝翠如學姊耐心的當我論文的第一位讀者，細心修正與潤飾文字。感謝 Jimmie 與室友淑茵，與你們聊天是我一天中最輕鬆愉快的時刻。最後，感謝我生命中的恩人……………. 誰是我生命中的恩人？與兩年前進入應藝所時的答案相同……… 在我生命時光中的每個人，謝謝你們。. iv.

(6) 目. 錄. 中文摘要. ………………………………………………………... v. 英文摘要. ………………………………………………………... v. 誌謝. ………………………………………………………... v. 目錄. ………………………………………………………... v. 表目錄. ………………………………………………………... v. 圖目錄. ………………………………………………………... v. 第一章. 緒論…………………………………………………... 1 1.1. 研究動機……………………………………………... 1. 1.1.2. 感覺共通的藝術……………………………………... 1. 1.1.3. 光交響樂與音樂繪畫………………………………... 3. 1.1.4. 時間結構之一---視覺與聽覺的類比………………... 14. 1.1.5. 時間結構之二---節奏………………………………... 19. 1.2. 研究問題………………………………….………….. 20. 1.2.1. 視覺傳播媒體的觀察………………………………... 20. 1.2.2. 問題說明與假設……………………………………... 23. 1.3. 研究架構……………………………………………... 24. 第二章. 文獻探討………………………...…………………… 25 2.1. 感覺訊息傳遞與注意力……………………………... 25. 2.1.1. 短期記憶容量有限…………………………………... 26. 2.1.2. 注意力的分配……………………………...………… 29. 2.1.3. 訊息整合…………………………………………...… 31. 2.2. 視聽覺整合的相關研究……………………………... 33. 2.2.1. 感覺相連症…………………………………………... 33. 2.2.2. 跨感官整合…………………………………………... 34. v.

(7) 第三章. 實驗方法………………………………...…………… 39 3.1. 實驗假設與目的……………………...……………… 39. 3.2. 實驗設計……………………...……………………… 39. 3.2.1. 節奏……………………...…………………………… 39. 3.2.2. 視覺刺激……………………...……………………… 40. 3.2.3. 聽覺刺激……………………...……………………… 41. 3.2.4. 視聽覺刺激的配對方式……………………...……… 41. 3.2.5. RSVP 作業……………………...……………………. 43. 第四章. 實驗…………………………………………………... 45 4.1. 前置實驗……………………………………………... 45. 4.1.1. RSVP 作業節奏速度………………………………… 45. 4.1.2. 實驗結果……………………………………………... 45. 4.1.3. 前測實驗……………………………………………... 46. 4.1.4. 前測結果……………………………………………... 47. 4.1.5. 視覺與聽覺刺激的調整……………………………... 50. 4.1.6. 實驗結果……………………………………………... 51. 4.2. 正式實驗……………………………………………... 53. 4.2.1. 實驗流程……………………………………………... 53. 4.2.2. 實驗結果…………………………………………...… 54. 第五章. 綜合討論……………………………………………... 56 5.1. 實驗結果討論………………………………………... 56. 5.1.1. 聽覺節奏引導視覺注意力…………………………... 56. 5.1.2. 補充實驗……………………………………………... 56. 5.1.3. 聲音樣本比較………………………………………... 58. 5.2. 結果與應用………………………………………….. 61. vi.

(8) 5.2.1. 聽覺節奏引導視覺注意力…………………………... 61. 5.2.2. 利用節奏將視聽元素整合…………………………... 62. 5.3. 後續研究建議………………………………………... 64. 5.3.1. 視聽覺相似的知覺現象……………………………... 65. 5.3.2. 電影中畫面與音樂的結構對應……………………... 69. 參考文獻. ………………………………………………………... 73. 附. ………………………………………………………... 78. 錄. vii.

(9) 表目錄. 附錄表 1. 前測實驗：視聽節奏一致與不致..……………………………………77. 附錄表 2. 前測實驗：視聽節奏一致與聲..………………………………………78. 附錄表 3 前測實驗 RSVP 節奏 1：視聽節奏一致與不一致..……………………79 附錄表 4 前測實驗 RSVP 節奏 1：視聽節奏一致與無聲..………………………80 附錄表 5 前測實驗 RSVP 節奏 2：視聽節奏一致與不一致..……………………81 附錄表 6 前測實驗 RSVP 節奏 2：視聽節奏一致與無聲..………………………82 附錄表 7. 正式實驗：視聽節奏一致與不致..……………………………………83. 附錄表 8 正式實驗 RSVP 節奏 1：視聽節奏一致與不一致..……………………84 附錄表 9 正式實驗 RSVP 節奏 2：視聽節奏一致與不一致..……………………85. viii.

(10) 圖. 目. 錄. 圖 1-1. A. Lentulov 描繪《The Poem of Fire – Prometheus》的情景.…………….4. 圖 1-2. Scriabin 光交響樂音調與色光的對應表…………………………………..5. 圖 1- 3. Scriabin 的《The Poem of Fire – Prometheus》樂譜..………………………6. 圖 1- 4. 初期結構最簡單的色光樂器..…………………………………………….6. 圖 1- 5. Chiurlionis 《Fugue》..……………………………………………………8. 圖 1- 6. Chiurlionis 《The Sun Sonata—Allegro》..………………………………10. 圖 1- 7. Chiurlionis《The Sun Sonata—Andante》..………………………………11. 圖 1- 8. Chiurlionis《The Sun Sonata—Scherzo》..………………………………12. 圖 1- 9. Chiurlionis 《The Sun Sonata—Finale》..………………………………12. 圖 1-10《The Poem of Fire – Prometheus》於美國新天堂演出情景..…………….15 圖 1-11 Judd 《Untitled》..………………………………………………………16 圖 1-12. Louis 《Beta Nu》..………………………………………………………16. 圖 1-13. Philips Glass《One + One》..……………………………………………17. 圖 1-14. Philips Glass 《Music in Similar Motion》..……………………………17. 圖 1-15. La Monte Young 《Composition1960 #7》..……………………………18. 圖 1-16. Newman 《Voice of Fire》..………………………………………………19. 圖 1-17. Chaplin 《大獨裁者》..…………………………………………………21. 圖 1-18 《聲寶家電-殺菌光冷氣-密閉篇》..………………………………………21 圖 1-19. Jacque Tati 《胡洛先生的假期》..………………………………………22. 圖 1-20. 研究架構..…………………………………………………………….…24. 圖 2-1. 以訊息處理系統說明實驗作業..………………………………….……25. 圖 2-2. 多感覺神經元與專化的單一感覺神經元..……………………….….…35. 圖 2-3. 視聽刺激同步時相關反應部位..……………………………….……….37. ix.

(11) 圖 2-4. 腦島、視丘、中腦上丘之間相互聯絡..…………………………………37. 圖 3-1. 將單位時間劃分成 6 個空格………………………………….…………40. 圖 3-2. 節奏類型..………………………………………………………………..40. 圖 3-3. 兩組視覺刺激..…………………………………………………………..41. 圖 3-4. 視聽覺刺激的配對方式...………………………………………….……42. 圖 3-5 RSVP 作業流程圖..………………………………………………………43 圖 3-6. 兩 RSVP 序列形成雙重作業..………………………………………..…44. 圖 4-1. 不同速度的節奏，RSVP 作業答對率..…………………………………46. 圖 4-2. 六位受試者 RSVP 作業的回答的情形..………………………...………48. 圖 4-3 RSVP 序列為節奏 1 時，六位受試者的答對率..………………………49 圖 4-4 RSVP 序列為節奏 2 時，六位受試者的答對率..………………………49 圖 4-5. 試驗 A：單一 RSVP 作業結果..…………………………………………51. 圖 4-6. 試驗 B：兩側序列圖形特徵相同的 RSVP 作業結果..…………………51. 圖 4-7. 試驗 C：延長實驗一 RSVP 序列的結果..………………………………52. 圖 4-8. 上述三組 RSVP 作業結果的比較..………………………………...……52. 圖 4-9. 六位受試者 RSVP 作業的回答的情形..…………………………..……54. 圖 4-10 畫面中 RSVP 序列為節奏 1 時，六位受試者的作業情形..……………55 圖 4-11 畫面中 RSVP 序列為節奏 2 時，六位受試者的作業情形..……………55 圖 5-1. McGurk effect..……………………………………………………………58. 圖 5-2. 前測實驗單音的頻譜圖..……………………………………………..…59. 圖 5-3. 正式實驗單音的頻譜圖..…………………………………………..……60. 圖 5-4. 能量擊發時間對聽知覺影響..……………………………………..……60. 圖 5-5. 前測實驗與正式實驗節奏 1 頻譜圖..………………………………..…61. 圖 5-6 《萬花嬉春》..………………………………………………………………62 圖 5-7 《Super Mario Reloaded 》畫面類似由方塊構成..………………………63 圖 5-8. 多感官的知覺系統..………………………………………………..……65 x.

(12) 圖 5-9. 完形心理學---好的連續性..………………………………………...…...67. 圖 5-10. 完形心理學---接近性..………………………………………………....67. 圖 5-11 各種感官有最契合的外在形式..……………………………….……...68 圖 5-12. 簡單結構與心像的對應..……………………………………………....68. 圖 5-13 《亞歷山大‧涅夫斯基》畫面與聲音結構嚴格的形式對應..……………69 圖 5-14《追殺比爾 2》..……………………………………………………………70 圖 5-15 《鑼鼓喧天》..……………………………………………………………71 圖 5-16 《Permutations》..…………………………………………………………72 圖 5-17. 以相同的鼓聲計算出不同的圖形..……………………………………72. 圖 5-18 《羅生門》...………………………………………………………………72. xi.

(13) 第一章緒論 1.1 研究動機探索過去的藝術發展，不難發現結合聲音與影像的多媒體創作思想一直深植在藝術的各種面貌之中。這種企圖特別是在 19 世紀末、20 世紀初的音樂、繪畫、文學藝術的發展最為明顯，當時各領域的藝術家皆欲跳脫傳統的藝術形式尋求更廣闊的表現空間，而發展出融合各種感官(synaesthesia)的藝術概念，促成結合繪畫、詩與音樂的各種實驗性藝術出現。引人好奇的是，畫家如何將音樂的感受畫出？音樂家如何譜寫出視覺性的樂曲？他們如何結合聽覺與視覺的感受？由於當時藝術媒材的限制，他們結合不同感官的作品中，呈現交互連結的多感官刺激大多需要知識理解或語意連結。由於科技的發展，今日可以運用錄像、錄音媒體、電腦處理…等方式以更直接的視覺、聽覺多感官刺激傳達給觀者。近年來視覺傳達媒體也傾向運用結合聲光效果的多媒體形式表現，聲音可視為視覺設計的要素之一，因此如何將視覺、聽覺做良好的搭配成為視覺傳達設計者需思考的問題，也引發我探究聽覺和視覺如何相互影響的興趣。由於融合視覺與聽覺的藝術表現形式相當廣泛，本文只針對視聽覺節奏的配合，整理相關論文與設計實驗探討。以下分三部分內容說明研究動機與問題： 1. 介紹過去結合多種感官，強調共感覺的藝術作品。 2. 由觀察藝術作品，說明為何探討視覺與聽覺節奏的問題。 3. 藉由電影與廣告視覺傳播媒體的觀察說明本研究問題。 1.1.1 感覺共通的藝術 19 末、20 世紀初的藝術受到當時的社會文化、科學發展、各種藝術、哲學思想的影響，藝術創作的題材由對外部自然的描寫轉向表現人本身內在的自我意識，也強調藝術創作不是來自模仿而必須具有獨創性。相對於古典藝術，現代藝術在各種藝術領域突破涇渭分明的類別概念，使各領域的藝術家打破傳統. 1.

(14) 的藝術思維尋求新的藝術表現，法國詩人Baudelaire著名的詩集《Les Fleurs du mal》中的《Correspondences》討論現代文化的藝術類別與各類藝術融合(fusion) 的觀念。《Correspondences》揭示自然萬物應和關係論述各種美感經驗的交融，包括色、聲、香、觸等感覺，也談論到不同感官知覺間的相互聯結，他認為感官知覺有相互對應的關連。. Nature is a temple of living pillars where often words emerge, confused and dim; and man goes through this forest, with familiar eyes of symbols always watching him. Like prolonged echoes mingling far away in a unity tenebrous and profound, vast as the night and as the limpid day, perfumes, sounds, and colors correspond. 節錄《Correspondences》(Baudelaire, 1857). Baudelaire 的詩作受到浪漫派繪畫與音樂影響，而印象主義畫家 Manet、. Cezanne 與 Gauguin，則深受 Baudelaire 美學的啟發，追求音樂性的色彩與感覺 (Godfrey, 2001)，若以音樂的角度觀看印象派繪畫，畫家力圖表現捕捉瞬間的光線，以色彩展現光的流動。〝瞬間〞與〝流動〞等視覺意象正如同音樂的特性瞬間即逝，並且隨時間的行進恍若音符之間的變化流動。而後，印象主義繪畫也影響了作曲界形成印象派音樂，印象派畫家不著重於具體精細的描繪，而強調光影微妙變化所帶來的主觀感受，Debussy 受印象畫派畫作的影響與啟發，其音樂風格迥異於傳統講究優美的旋律或完整樂曲架構的主要訴求，而追求一種聲音色彩瞬間變化所產生的音響效果。因此他的音樂在旋律架構上強調器樂音色與合聲效果，給人一種朦朧的印象。當時的藝術發展很清楚的看到文學、繪畫與音樂不同感官藝術之間的交互影響。而繪畫與音樂，雖然構成的元素在物理上性質截然不同，但藉由藝術家 2.

(15) 接收各類型官能的感受再抒發，視覺與聽覺之間的感受似乎是互通的，例如印象派音樂家為了表達對於印象派繪畫朦朧的視覺感受，而創作出旋律朦朧的聽覺感受。視覺與聽覺兩種不同的知覺是如何相互影響？以什麼模式相互類比？這是藝術家自身獨有的感覺或是人類共通的感受？以下以俄國作曲家 Scriabin 光交響樂與立陶宛作曲家 Chiurlionis 音樂繪畫，介紹視覺與聽覺相互類比的綜合藝術。. 1.1.2 光交響樂與音樂繪畫 19 世紀末許多藝術家受到Wagner所提倡的總體藝術(Gesamtkunstwerk)的思想所影響，認為音樂、繪畫各種形式的藝術可以結合在同一作品或演出中表現，尤其於俄國此理論被Kandinsky， Rossine等人，稱之為〝Positive Sense〞 ( Vanechkina, 1994)。結合音樂與繪畫的總體藝術中，Scriabin與Chiurlionis經常被比較與討論，這一類研究稱為 Scriabin – Chiurlionis，指Scriabin的光交響樂 (light-symphony)是將音樂視覺化呈現的代表；Chiurlionis的音樂繪畫(musical painting)則為繪畫表現音樂的代表。兩人的表現手法雖然不同，但創作出音樂景象(music vision) 的理念相同。他們的藝術思想、對於外在世界的感受甚至藝術作品皆有許多共同點與相呼應之處，他們的音樂作品都受到Chopin、Bach、以及Wagner的影響。而視覺藝術的表現則明顯可見Wagner的總體藝術概念。 Scriabin 與 Chiurlionis 都是傑出的音樂家，並且擁有多方面的藝術天份。. Scriabin 不只是位作曲家、演奏家也是一位詩人，喜愛將詩的哲學思想融入他的音樂創作，從他的表演方式可將他視為光的畫家。Chiurlionis 畢業於華沙與萊比錫音樂學校和華沙藝術學校，創作出 200 多首樂曲與許多畫作，他同時也是詩人。Scriabin 和 Chiurlionis 都曾強烈的表達出對象徵主義藝術的喜愛，他們的創作概念企圖以音樂藝術表達人類內在精神與宇宙結合的境界。作品表現方法則聯合不同形式的感覺，如呈現音樂的視覺感受，試圖做出可以〝看到〞音樂的形狀和顏色的效果。 3.

(16) 圖 1- 1 1918 年 A. Lentulov 描繪《The Poem of Fire – Prometheus》的情景。. Scriabin利用各種裝置同時演奏音樂與色光，聲與光綜合展現將藝術連成一體。他有意識的設計規劃將音樂視覺化，他的作品《The Poem of Fire – Prometheus》，這首曲子除了有編制龐大的管弦樂、鋼琴獨奏、無詞合唱之外，根據音樂的時間結構使各種色光交織出如圖畫般的美感，可看到與音樂對應的視覺形態。他的創作概念是演奏場所內隨不同音高投射出相應的彩色光芒，而最後的高潮則是由繽紛的彩色合成的強烈白色光芒，以視覺的色光將聽眾帶到如進入神境的音樂體驗境界(參見圖 1-1、圖 1-10)。Scriabin並非隨性的將聲音具體化 (sound embodiment)，將樂譜中和弦與調性與色光有系統的對應，而將音樂中視覺化的呈現 (Bowers, 1995；Galeyev & Vanechkina, 2001 )(參見圖 1-2)。. 4.

(17) 圖 1-2. Scriabin 光交響樂音調與色光的對應表(The Key-Color Scheme)。. 5.

(18) 圖 1- 3 Scriabin 的《The Poem of Fire – Prometheus》樂譜，第一行的 Luce 指〝光〞(Light)。由樂譜也可看出音樂視覺化的光節奏與音樂節奏的一致性。. 圖 1- 4 初期結構最簡單的色光樂器(light instrument)。 Scriabin 藉此裝置發展出新的藝術表現形式。. 另一位將音樂視覺化的音樂家 Chiurlionis，在繪畫與音樂的領域都展露出他的才華，充分的表現出對於兩種藝術的感受，他早期的繪畫作品就可看出他將音樂表現於繪畫中的特點。他將音樂與繪畫兩種藝術形式結合的概念明確地形成後，後期的作品以更一致與適切的方式將音樂以繪畫方式表現出。 Chiurlionis 的綜合藝術概念很明確的從《Fugue》 (參見圖 1-5)這幅作品表 6.

(19) 現出。介紹《Fugue》之前，先簡單的敘述音樂中賦格曲( Fugue)的結構，賦格曲可視為是將一首輪唱曲加以延展。" Fugue "這個詞源自拉丁文 Fuga，意思是 "逃跑"。如同童謠的輪唱一樣，賦格曲裡的各個聲部，不管是人聲或器樂聲，聽起來都好像在互相追逐逃跑，賦格曲的主旋律為主題 (theme)，主題的陳述與再陳述，輪流交替，以一或二個旋律對位而成。賦格曲大致分為三部：呈示部、發展部、再現部。在呈示部時，第一個聲部將整首賦格曲為主題的主旋律清晰而且毫無裝飾地陳述出來，在第一聲部差不多把主題陳述完畢，準備將發展與主題對位的旋律(稱為對句)時，第二個聲部便開始在次呈現主題與對位(稱為答句)，其主題可為一個相關連但不相同的調。當所有的聲部都陳述過之後，賦格曲便進入發展部。這時候各聲部獨立地，也同一時間將原來的主題和對句變奏。在比較複雜的賦格曲裡，作曲者有時會將主題的時間拉長或縮短，或將主題轉位把它倒過來寫。到了再現部，有些作曲家會用密接應和的方法縮短聲部間的間隔距離，讓各聲部聽起來好像一個趕上了另一個(Stein, 1979)。大略瞭解賦格曲結構後，下面以此結構介紹 Chiurlionis 的《Fugue》(參見圖 1-5)。. 7.

(20) 圖 1- 5. Chiurlionis，《Fugue》，1907，蛋彩畫. Chiurlionis 國家紀念館藏. 畫作中可見作者意圖表現出如同音樂般的流動時間感。當視線水平的掃視過這幅畫，自然的形成賦格曲裡的多聲部。而視線由下往上移動時，畫面明確的分成三個部分，類比為賦格曲的呈示部、發展部、再現部。畫面的底部為賦格曲的呈示部，以杉木代表主題，杉木顏色較深、形體較大的使它在畫中最醒目表現出音樂中主題的支配性，杉木後高低起伏層疊的山峰彩度較低的綠色輪廓為賦格曲式中與主題對位的旋律。當視線漸漸往上移動，呈示部的畫面漸漸改變至展開部與呈示部深綠色山峰輪廓相似但色彩明度變高，色調的變化對應出音樂的展開部中通常為加強樂曲的調性將主題所做的轉調。另外，於展開部中可見杉木穿插於其中，如同主題的再敘述，左下方不完整的杉木類比賦格曲式中第一個聲部位主題陳述完以前，第二個聲部主題提前進入與樂曲的特點。視線繼續往上移動，山峰輪廓逐漸隱沒在背景中，Chiurlionis 以大面積畫作與高明度色調細微的變化，營造如音樂般緩慢的流動的影像。畫面的上端如水面. 8.

(21) 的分界線為再現部，其上排列的杉木與山峰和倒影如音樂中多聲部主題與答句之間密集的應和。而杉木的水中倒影與現實生活中不相同，並非垂直鏡射而是位移錯置，如同賦格曲中再現部的結構，作曲者將主題轉位將它倒過來寫，主題與主題轉位的旋律交錯出現，讓各聲部的主題層疊追趕。賦格曲是 Chiurlionis 喜愛的音樂形式，也是深具結構秩序的音樂形式之一，Chiurlionis 將賦格曲的形式轉以繪畫的方式表現，並非形而上的音樂感受抒發，於畫作中可看出音樂曲式與繪畫結構上有密切的關係。除賦格曲外，Chiurlionis 許多作品為奏鳴曲式(Sonata)的繪畫如《The Spring Sonata》、《The Sea Sonata》。在此以 1907 年的《The Sun Sonata》說明 Chiurlionis 的奏鳴曲繪畫，同樣先簡單的介紹奏鳴曲曲式，最初的奏鳴曲曲式只有一個主題，後來作曲家喜歡將主題在不同的調上再現，以求對比；之後，為了增加對比的效果，作曲家將再現的主題逐漸演變為以另一個性格迥異的第二主題，也就形成了奏鳴曲的主題與附屬主題，奏鳴曲曲式是以對比為基本法則確立起來。人們按這個原則寫出一個樂章後，又把這種原則擴張到樂章與樂章之間，形成快、慢、快三個樂章，有些作曲家會在第二與第三樂章插入一段小步舞曲或詼諧曲，使奏鳴曲變成四個樂章的形式(吳斌，1997；修海林等，2002；Stein, 1979)。由於奏鳴曲強調兩個互相衝突的主題，並且可利用聲部之間或樂章之間製造對比的特點，Chiurlionis 喜歡藉此曲式表現出現實情感的矛盾、衝突以及具有更大的緊張、對比度。《The Sun Sonata》包含四幅系列繪畫，標題分別為：快板 (Allegro)、行板(Andante)、詼諧曲 (Scherzo)、終曲 (Finale)。可清楚的看出《The Sun Sonata》類比於四個樂章的奏鳴曲結構，內容也可看出奏鳴曲式的特點，強調主題的對比與調性的對比。. 9.

(22) 圖 1- 6. Chiurlionis，《The Sun Sonata—Allegro》，1907，蛋彩畫，63x58.8 cm Chiurlionis 國家紀念館藏. 第一幅畫《The Sun Sonata—Allegro》(參見圖 1-6)畫中由下往上可分成三各部分，如同奏鳴曲的快板結構分成三個部分—呈示部、發展部、再現部。呈示部描繪兩個主要的影像：太陽與城堡，前者為音樂的主要主題，後者為附屬主題。畫中黃與藍的色相對比如同奏鳴曲兩個主題的調性對比。發展部與再現部於畫面中的比例如同音樂中發展部的樂段為再現部的兩倍。另外，再現部將兩主題再次呈現，兩主題必需統一於同一調上即樂曲的主調，可從畫的中間部分看出兩主題的顏色逐漸融合於黃色的主調中。. 10.

(23) 圖 1- 7 Chiurlionis，《The Sun Sonata—Andante》，1907，蛋彩畫，63.2x58.4 cm Chiurlionis 國家紀念館藏. 第二幅畫《The Sun Sonata—Andante》(參見圖 1-7)，類比為奏鳴曲中的第二樂章，主要與前後兩樂章(在此為第一樂章與第四樂章)在畫面營造的氣氛和色調皆形成對比，如此樂章的黃色調與一、四樂章 (圖 1-6、圖 1-9) 藍色調形成對比。此樂章類似變奏曲的結構，變奏的方法種類繁多其中包括：主題音樂節奏的變換與主題音形的變換，畫中寬闊的光束，如同主題音樂節奏的變換，表現行板較慢的節奏。圖上部以曲線描繪太陽光，不同於第一樂章的直線光束，如同變奏曲中主題音形的變換。. 11.

(24) 圖 1- 8. Chiurlionis，《The Sun Sonata—Scherzo》，1907，蛋彩畫，60.2x56.6 cm Chiurlionis 國家紀念館藏. 第三幅畫《The Sun Sonata—Scherzo》(參見圖 1-8)，如同四樂章奏鳴曲曲式插入的詼諧曲，這幅畫可見詼諧曲講求通常韻律生動、節奏靈活的特點。. 圖 1- 9. Chiurlionis，《The Sun Sonata—Finale》，1907，蛋彩畫，60.2x56.6 cm Chiurlionis 國家紀念館藏. 12.

(25) 第四幅畫《The Sun Sonata—Finale》(參見圖 1-9)，為奏鳴曲中的第四樂章，以迴旋曲(rondo)的形式結尾，畫的中央有一倒置的鐘，鐘舌上纏繞著蜘蛛絲，如同迴旋曲中一個主題重複之間，加上不同的連接段間隔，鐘的邊緣如同奏鳴曲終曲的再現，鐘緣的右方可辨識出第一樂章的太陽、城堡與花括線記號；中間為第二樂章的光束；左邊第三樂章的蜿蜒曲線，隱約可見前三樂章的景象濃縮於此。觀察 Scriabin 與 Chiurlionis 的作品可看出兩者皆是將音樂元素：音高、音強、音色轉化成繪畫的元素：形狀、色彩、材質。如 Scriabin 的《The Poem of Fire – Prometheus》，將音樂中不同的音形、音高、音強以不同形狀、色相、強弱的色光表現；Chiurlionis 將音樂主題的音形以不同的形狀物件表現，如《Fugue》中的杉木、《The Sun Sonata》的太陽與城堡，奏鳴曲中主題與附屬主題對比的陽性調與陰性調以黃與藍對比色調表現。對於如何將音樂感受具象化，Kandinsky 認為藝術家並非無目的描繪出眼見的形，而是描繪物透露出的內容，是一種精神性，而音樂更是可以直接予人精神上的感受。例如如我們形容一幅畫作很莊嚴、很活潑或很沉靜一般，對於音樂也可產生相同感覺 ( Kandinsky, 1952)。 Kandinsky 所說的類似感受是藉由相同的語義將視覺與聽覺聯結，如 Chiurlionis 於《Fugue》中將主題音形的反轉以物體於水中倒影的反轉表現；《The Sun Sonata》以黃色調與藍色調表現音樂中的陽性調與陰性調的對比，如同色彩學上形容這兩個色調為對比色。另外，如詼諧曲式講求靈活的節奏與《The Sun Sonata—Scherzo》畫中予人活潑的韻律感相似。兩種類型的藝術結合，除了語義的連結外也源於作者深厚的音樂知識背景，尤其是 Chiurlionis 的音樂繪畫，若過去無學習樂理或聆聽古典音樂的欣賞者，難以聽出他畫中的聲音。我們也從 Chiurlionis 音樂結構轉化為繪畫結構的概念，推論兩種不同感官的藝術，具有相似的時間結構而類比。. 13.

(26) 1.1.3 時間結構之一---視覺與聽覺的類比 Chiurlionis 的音樂繪畫中的確令人難以直接感受其內含的音樂性，這並非否定 Chiurlionis 的以繪畫表現音樂的手法，相反的我個人相當贊同他的表達概念。繪畫難以直觀其中的音樂性，是由於我們接收靜態視覺訊息的方式與聽覺訊息的方式不同，接收方式在此並非指音樂與繪畫接收訊息的器官不同，而是指接受訊息時序上之平行與序列的不同。我們可以同一時間平行地掃視靜態繪畫中的多個訊息為平行接收，但聽覺只能序列性的接收聽覺訊息。Chiurlionis 的音樂繪畫中，視覺元素不會隨時間轉移而變化，而真正的音樂會隨時間變化或消失，因此難以感受到繪畫的聽覺性。然而，Chiurlionis 有意識的將音樂建構於繪畫中。視覺上，我們雖然可以平行的接收來自畫面各處的視覺訊息，但由於注意力資源有限，我們並不能看到畫面呈現的所有細節。Chiurlionis 的作品正是藉由眼睛掃視畫面空間的過程營造聽覺不可缺的時間向度。如《Fugue》將畫面切分成三個部分，或《The Sun Sonata》分成四幅畫再各切分成若干部分，當序列性的觀看一系列畫作時，畫與畫之間明顯鋪陳出時間的行進方向，再由單幅畫的視覺動線，由下往上觀看畫中的呈示部、發展部、再現部。或凝視某一局部中的兩個影像重疊與對比(如主題與對位的形狀與色彩間的對比)，形成樂曲中多部聲音的重疊與對比，兩對比影像之間的注意力切換如同音樂兩聲部旋律的動勢。由上述分析可知 Chiurlionis 將音樂曲式的時間結構轉化成繪畫的空間結構，利用眼睛對於排列於空間中的視覺元素序列掃視，空間的移動產生聽覺的時間移動，將視覺與聽覺兩種感官連結。眼睛掃視畫面產生的時間感和圖像間的動勢較隱晦，若利用今日的繪畫媒材，Chiurlionis 的概念可用動畫表現，更能呈現《Fugue》表現賦格曲的層疊追趕，與《The Sun Sonata》表現奏鳴曲各樂章對比的概念。而 Scriabin 《The Poem of Fire – Prometheus》視聽覺相似的時間結構可從樂譜(參見圖 1-3) 中色光與音符的同步變化看出，與光繪畫不同點在於《The Poem of Fire – Prometheus》的光為色相動態變化並且會隨時間消失，視聽覺訊息皆以序列的 14.

(27) 方式呈現，1969 年耶魯交響樂團依 Scriabin 編寫曲調與色彩對應的樂譜重新詮釋《The Poem of Fire – Prometheus》受到觀眾熱烈的迴響，於 1971 年再一次演出(如圖 1- 10)可見這樣的表達方式能引起觀眾的共鳴。. 圖 1- 10 1971 年《The Poem of Fire – Prometheus》於美國新天堂(New Heaven) 演出情景。 D. Moserie 指揮耶魯交響樂團，燈光由 R. Gould 演出。. 上述兩位音樂家雖然以不同的方式將音樂視覺化，但他們的作品都可看出視覺元素與聽覺元素安排於相似的時間結構。另外，在極簡主義藝術中也可觀察到相似的透過時間結構將音樂與繪畫作類比的手法。「極簡主義音樂」 (minimalist music)受視覺藝術上「極簡主義」(Minimal Art)表現形態與創作概念的主題影響，「極簡主義音樂」的特色在於固定的節奏脈動、明確的調性以及簡短模型的不斷重複。如極簡主義藝術家Judd的《Untitled》(參見圖 1-11) 和Louis 的《Beta Nu》(見圖 1-12)。《Untitled》以相同規格的塊體為單位形，以固定間距. 排列而成；《Beta Nu》以顏料流動形成相似的線條，他也以顏料的流動表現音樂般的韻律節奏。與上述視覺藝術對應的極簡主義音樂，如Philips Glass的音樂風格，他認. 為西方音樂將時間不斷切分成許多小單位，而相反的印度音樂是由小單位組織、裝飾而成，不同的風格由這些小單位不同的結構形成，因此音樂化簡為由這些基本的小單位重複而成。他的極簡音樂作品可看出這個概念，作品以小的 15.

(28) 旋律細胞 (rhythmic cells) 構成，透過這些小細胞的組合和分離來譜曲，如《One + One》只以兩個旋律細胞組合和分離而成，演奏時依樂譜敲打桌面，以麥克風收音通過擴大機以喇叭播放。另一個作品《Music in Similar Motion》也可見到明確的極簡主義風格，此樂曲只有結構簡單且重複的上行音，從樂譜中約略可以看出極簡主義音樂的的特點 (參見圖 1-13、圖 1-14)( Mertens, 1983)。. 圖 1- 11 Judd，《Untitled》，1985 銅、塑膠玻璃，294 x 66 x 61cm 收藏者不祥. 圖 1- 12 Louis，《Beta Nu》， 1960 壓克力顏料 259 x 701 cm 澳洲國家藝廊藏. 16.

(29) 圖 1- 13 《One + One》。Philips Glass 於 1968 年的作品，此樂曲只以兩個旋律細胞構成，見圖中央的標記 a.)、b.)的音符。. 圖 1- 14 《Music in Similar Motion》。Philips Glass 於 1969 年的作品，樂譜中只有節奏結構簡單，且不斷重複的上行音。. 17.

(30) 「極簡主義音樂」音樂代表人物La Monte Young的作品《Composition1960 #7》(參見圖 1-15)全曲只同時發響相距純五度的音B與 F#，譜上標明「持續很長的時間」(Gann, 1993; Mertens, 1983)，以極簡主義藝術家Barnett Newman的《Voice of Fire》(參見圖 1-16)比較兩種感官的極簡藝術。兩作品構成的元素分別為同時發響相距純五度的音，與紅藍相間的色塊；聽到持續很長的時間如同如持續接受色光刺激。看似無變化的聲音與畫面，在時間行進中我們的心理感受並非一層不變。《Composition1960 #7》同時發響相距純五度的音最初聽起來為單調的音，但持續一段時間後聽者逐漸受環境中聲音的影響，感受到的已不是最初的聲音，在兩音之間產生動勢。《Voice of Fire》中巨大的畫面上平塗強烈鮮明色塊，利用色塊交界的線，引導視線不向中央集中而向外擴充，達到色面更寬廣的效用，形成持續性的動力，觀者感受也隨之變化(Torres & Kamhi, 2000)。上述兩作品元素型態不同，但時間架構式相似，目的都是讓觀者感受最存粹的音與色，極簡主義藝術家的目的並非呈現表象的音與色，而是強調欣賞者在音與色之中產生的心理感受。上述的作品，不僅觀察出音樂與視覺藝術之間有相似的時間結構，也可看出不同型態的藝術不斷地相互影響。. 圖 1- 15 《Composition1960 #7》。La Monte Young 的極簡音樂作品，樂譜只有同時發響相距純五度的音 B 與 F#，並標明「持續很長的時間」。. 18.

(31) 圖 1- 16 Newman，《Voice of Fire》，1967，壓克力顏料，543 x 243 cm. 加拿大國家藝廊藏. 1.1.4 時間結構之二---節奏我們再以音樂結構說明時間結構，音樂最小的結構單位為音形(figure)，其中包含了節奏(rhythm)和音程(interval)，由小的結構逐步構成大的結構，如音形 →樂句→樂段→樂曲、樂章(Stein, 1979)。由音形來看，音樂可視為音符排列於在時間中，形成的架構就是節奏(rhythm)。每個音符具有不同的音高、音強、音色，安排於節奏中的兩聲音元素之間形成了音符的變化。過去音樂心理學曾提出時間與音高、音色、以及響度的知覺皆有關(Butler, 1992)。對於音高，辨識不同音高有其各別的最短時間需求，Meyer-Eppler (1945)的研究顯示能感受到 100Hz 的音高需要的時間約為 45ms，人耳較敏感的音高 2000Hz，需要的時間最短約為 13ms；對於音色，擊發出聲音的快慢對於音色有決定性的影響；對於響度，聲音的出現需要一段時間才能達到我們心理最大音量，感覺聲音衰退至無聲相同也需要時間(Békésy, 1929 ; Steudel, 1933)。由此可知聲音依附於時間之中，而節奏標記了時間的行進。Stein 曾任美國聖保羅大學音樂學院主任，他 19.

(32) 認為節奏是音樂內最基本的要素，缺少它則音樂就不能存在。樂曲或樂節缺乏和聲、對位、甚至沒有曲調(如打擊樂器的演奏)都是可能的，但沒有任何音樂去掉節奏而還能存在 (Stein, 1979)。音樂是時間的藝術，要了解作曲者的意旨需在一段時間內聆聽，和欣賞繪畫藝術不同，一幅畫能在瞬間被理解畫的各個部分也可以用任意的次序觀察，但卻不能以此方法聆聽音樂。藉由他的論述再次說明聽覺在時間上的限制，音樂大體上是隨時間變化與以序列方式呈現，視覺元素如果配合此限制可使視聽元素被解讀的方式較相似。時間結構就是節奏，因此本論文探討的視聽刺激之相似時間結構，亦即同步的視聽節奏呈現。. 1.2 研究問題 1.2.1 視覺傳播媒體的觀察與過去的視覺媒體不同，視覺傳達媒體不再限制於畫布，畫面產生的音效不需經由想像而是真實的呈現，讓觀者更直接聽到畫面中的聲音。視覺傳達媒體的音效也藉由影音同步的設計，引導觀者注意畫面部份物件。以Chaplin的電影為例，在《大獨裁者》(The Great Dictator, 1940)(參見圖 1-17)他飾演一位理髮師，一段替顧客修理鬍子的劇情中，Chaplin肢體動作的節奏，逐漸與背景音樂匈牙利舞曲一致，他的動作與音樂無語意上的連結，藉由動作與音樂節奏的一致性，音樂不再是襯景的音樂，也不會和劇情中被理髮的顧客產生連結，而是引導視覺注意Chaplin的肢體動作，顯得誇張與滑稽，也因此加強了人物的視覺效果。廣告中也有相似的例子，以《聲寶家電-殺菌光冷氣-密閉篇》(參見圖 1-18)為例，廣告主旨是能冷氣能殺死空氣中的細菌，廣告中以不斷跳動的數字譬喻空氣中肉眼看不見的細菌不斷增加。廣告開始播放時，我們的視覺注意力擺放在畫面中比例較大且移動的人物，但隨背景音樂出現快節奏的聲音，我們自然將視線移至畫面較下方快節奏變化的小數字。在上述二例中，Chaplin的動作和廣告中的數字與聲音不具任何語義上的聯結，但為什麼我們能藉由聲音而. 20.

(33) 知其所指？觀察影音的結構，音樂節奏在電影中與人物動作一致，廣告中與數字變化的節奏一致，因此推測我們視覺動線可能與節奏同步的聲音有關。. 圖 1-17 《大獨裁者》。Chaplin 利用音樂節奏加強肢體動作的表現。. 圖 1-18 《聲寶家電-殺菌光冷氣-密閉篇》。隨背景音樂出現快節奏的聲音，我們自然將視線移至畫面較下方快節奏變化的小數字。. 另外，電影中常見以聲音節奏引導觀者視覺注意力的設計手法，在聲音設計上，由於我們的注意力資源有限，因此我們並不會毫無選擇注意到所有的聲音訊息，如在安靜的教室中與人交談，談話結束後〝安靜〞的教室其實充滿著豐富的聲音如走廊的腳步聲、風聲等等，但我們的耳朵只選擇重要的訊息，所以這些聲音在與人交談時被忽略。也因此電影中對於環境聲音處理並非用麥克風收音就完成，由於麥克風缺少了人聽覺路徑上的聲音過濾器，導演通常會依劇情所需選擇性過濾其他不重要的聲音，創造另一個聲音。電影中的聲音都隱含著導演以聲音引導注意力的目的。Jacque Tati 導演的《胡洛先生的假期》(Mr. Hulot’s Holiday, 1953)(參見圖 1-19)，遊客在旅館大廳的片段中，畫面前景是幾位低聲聊天、玩牌的旅客，後景是正在打乒乓球的胡洛先生。導演藉乒乓球的. 21.

(34) 聲音線索，引導觀眾注意到背景的胡洛先生。之後，乒乓球的聲音漸漸消失，觀眾視線又回到畫面前景低聲玩牌的旅客上。此例可見，導演藉由乒乓球規律的節奏與低聲說話的兩種節奏，引導觀眾的視覺注意力於前後景之間切換 ( Bordwell & Thompson, 2001 )。因此胡洛先生雖然在後景，但打球動作與乒乓球聲音節奏一致，讓觀眾很快就能將視線從前景切換至後景。以節奏的形式來看，乒乓球節奏屬於簡單且規律的節奏，容易與其他的聲音節奏區分。若導演改變劇情，讓胡洛先生從事其他節奏細微或節奏不規律的活動，聲音節奏與玩牌者說話的聲音節奏區辨性小，則對於視線引導的效果可能較小。. 圖 1-19《胡洛先生的假期》乒乓球規律的節奏與低聲說話的兩種節奏，引導觀眾的視覺注意力於前後景之間切換。. 22.

(35) 1.2.2 問題說明與假設構成畫面與聲音的元素相當複雜，形成的心理感受也因人而異，因此本論文所討論的視聽覺「整合」，並非過去藝術強調的音樂與繪畫統一的精神性，需要知識的理解或相同的語意連結，而是較狹義的指感官上如何將聲音歸結到畫面某一物件，促使視聽元素整合為一組物件。過去藝術家將共通的心理感覺以不同感官藝術呈現，從分析音樂與繪畫的作品形式，觀察到音樂的時間結構與繪畫的空間結構有密切關係，也發現靜態視覺藝術與音樂難以直觀地產生連結，可能與元素於時間中的是否具有動勢有關。以今日的視覺媒材我們能將視覺藝術同樣的以時間的結構表現，動態序列性播放視覺與聽覺元素，使接收聽覺與視覺訊息的方式較接近。再加入對於影音傳播媒體的觀察與過去視聽覺相關研究(見第二章文獻探討)，本論文假設視覺與和聽覺元素能產生聯結和視聽節奏的一致性有關。總結我們的觀察，本文研究問題為：聲音節奏對於引導視覺注意力的影響。最初以欣賞者的角度觀察過去藝術家對於創作的作品與藝術理念，使我對於視聽覺的共感產生好奇，而後實際參與幾項影音多媒體的製作，再以創作者的角度審視這個問題，開始思考作品如何藉由人類共同的心理知覺，將自我的感受傳達給他人。本文探討視聽覺如何產生聯結，不僅是對於兩種感覺交互影響感到好奇，也是對於自我與人如何感知這個世界感到好奇。達成傳達的目的需基於人類共通的知覺，因此本論文藉由知覺心理學實驗方法進行研究與討論。. 23.

(36) 1.3 研究架構本文主要探討聲音節奏對於視覺注意力的影響，藉由對過去視聽媒體的觀察，我們假設在節奏一致的條件下，聽覺節奏可引導注意力投注在節奏一致的視覺訊息上。對於上述假設主要利用心理學實驗的方法進行探討，並整理相關的文獻支持這項假設。實驗方面，以快速呈現序列視覺刺激( rapid serial visual presentation，RSVP)，測量聲音節奏對視覺注意力的影響。文獻探討方面，整理過去對於訊息處理、注意力、視聽整合等研究說明實驗設計與結果。最後綜合實驗結果與相關文獻進行分析與論述，本論文研究整體架構如圖 1-20 所示。. 圖 1-20 研究架構。. 24.

(37) 第二章文獻探討 2.1 感覺訊息傳遞與注意力實驗目的在測量聽覺節奏使同步的視覺刺激注意力較高，因此利用注意力資源有限的理論實驗設計的理念。參考過去研究者(Card et al., 1983；Kieras & Meyer, 1997)提出人類資訊處理類比電腦系統的模型，說明受試者於本實驗作業的認知處理過程中訊息處理與注意力等相關問題(參見圖 2-1 )。實驗目的在測量聽覺節奏是否能使同步的視覺刺激吸引到較多注意力，因此利用注意力資源有限的理論設計實驗，於下一段落詳加說明。. 圖 2-1 以訊息處理系統說明實驗作業。 1 視覺與聽覺刺激輸入與暫存—短期記憶容量有限問題。 ○ 2 注意力資源有限—視覺選擇性注意力問題。 ○ 3 多種訊息管道的競爭—視聽訊息整合問題。 ○. 整合的訊息使外在刺激較容易偵測，內在訊息處理所需的資源較少，使注意力資源分配產生的效能較未整合的訊息高、實驗作業的表現較佳。實驗假設視聽節奏一致的刺激能整合，則預測受試者在該情況的 RSVP 作業表現較好。. 25.

(38) 2.1.1 短期記憶容量有限視覺與聽覺關於我們如何將外在的聲波與光波轉換成聽覺和視覺的問題，19 世紀初提出三色論的英國學者 Thomas Young 推論色光形成色感覺的機制，他認為網膜中的神經感受粒子有種類不同，各以其固定的方式振動，藉由各種粒子的振動出現適當色光，因此根據哪一粒子的振動，大腦就知道眼睛感受到哪一種色光，他認為藉由外界的光波與聲波的性質傳至大腦，而可以產生我們所謂的感覺。外界的光波與聲波是刺激各神經的誘因，藉由此誘因使得外界的光波與聲波性質完全相異的神經產生興奮感。這種想法到了生理學家 Johannes，他將生理學予以體系化，他的學說被稱為「特殊神經能量論」。根據此理論，之所以會產生視覺或聽覺並非是光波或聲波界神經傳達至中樞，而是個體接受光波或聲波的外在刺激，視覺神經和聽覺神經產生固有的興奮作用，此作用傳達至腦有了感覺。而這種感覺是因產生興奮的神經而有所差異，但並非是因產生神經興奮的誘因種類(光波或音波)不同所致。所謂「能量」是只各神經的固定性質，Johannes 將視、聽、嗅、味、觸的五感官比喻為為五種能量。現今我們進一步瞭解各種感覺是如何形成，光波與聲波為外來的刺激訊息，兩者物理性質完全不同，我們不同感覺的受器(receptors)如網膜上的感光細胞(photo receptors)與耳蝸的毛細胞(hair cells)，它們也各自對不同種類的刺激敏感，看似完全不同的兩種訊息一但進入神經的傳導都化為電脈衝(nerve impulse)。電脈衝為神經細胞膜電位改變產生的少量的電能，也就是 Johannes 所稱的「能量」，但並無視覺與聽覺的類別，也就是我們的感覺器官將不同的訊號(光波、聲波)轉化成為大腦可以處理的相同訊號(電脈衝)。所有的感覺進入大腦，都是透過神經細胞激發釋放神經傳導物(neurotransmitter)，像骨牌效應一樣地傳遞神經衝動，形成何種感覺則視哪一些神經元(neurons)被刺激。在正常的大腦中，傳進來的電脈衝遵循著熟習的舊路，從感覺器官走到大 26.

(39) 腦某個專化的皮質區。當刺激經過大腦時，分成許多不同的支流，被大腦中不同的神經迴路組織進行平行的處理。有些迴路將訊號傳入皮質，另一些迴路將訊號傳入邊緣系統。進入視覺皮質區則形成視覺，進入聽覺皮質區則形成聽覺。每一種感官的皮質區由許多更小的區域所構成，例如視覺皮質有不同的專區處理顏色、線條、動作；聽覺皮質處理音高、音強等等。一但訊息裝配完成，便送往較大的視覺聯合皮質(visual association cortex)或聽覺聯合皮質(auditory association cortex)使感覺訊息與適當的認知訊息訊息相結合，視覺與聽覺在聯合皮質組合進入意識界；另外，傳入邊緣系統(limbic system)的訊號會帶出一種情緒，將聽覺元素轉變成音樂、視覺元素轉變成繪畫 (Carter, 1998) 。由各種專化感覺的路徑我們可知，視覺與聽覺為各種特徵的訊息群化(group)而成，如觀看一幅畫是將各種視覺特徵，如形狀、色彩、以及紋理組合成我們可辨識的整體。完形心理學對於視覺元素如何比為物件的群化有相當大量的研究，也有學者將音樂的形成類比為視覺物件的組合，以完形理論說明知覺現象 (Scholl, 2001) 。另外，由神經生理學與解剖學的研究，視覺與聽覺之間有相互聯絡訊息的管道(見 2.2 視聽覺整合相關研究)，視覺與聽覺並非完全區隔開來的感覺，因此我們假設外在的視覺元素與聽覺元素，雖然轉變為不同型態的感覺訊息，但依舊具有能整合成組的可能。短期記憶容量有限由訊息傳遞的過程來看，外在刺激經由各個受器傳至大腦，再由大腦詮釋產生辨識的作用。過去許多研究探討我們如何接收、保存與傳遞訊息，圍繞在我們四周的外界刺激並非等我們知覺分析完畢後才消失。若許多刺激與事件在我們還來不及處理他們之前就消失了，我們如何知覺外在的世界？過去的學者提出兩種可能性：其一，尚未完成的訊息處理因刺激的消失而中止，留下無數殘破部全的訊息處理。另一個可能性為刺激雖然很快的出現又消失，但邊緣器官仍能暫時保留這些訊息一段時間，以提供中央系統能進一步分析其意義。為了探討這兩種可能性，在過去視覺注意力的研究以速示器(tachistoscope)呈現時 27.

(40) 間(exposure duration)在 50 毫秒或更短的時間，觀察網膜本身在消失後能保留多少訊息。於 Sperling(1960) 的研究裡中混雜字母與數字 3×3 矩陣排列，每次刺激出現 50 毫秒呈現給觀者，請受試者報告全部的項目或指定項目，觀察視網膜訊息的保留量，受試者在刺激消失後若馬上回答，幾乎能報告出 9 個項目，實驗結果認為視覺的訊息能暫時保留於網膜，Neisser(1967)稱之為影像記憶(iconic memory)。Darwin、Turvey 與 Crowder(1972) 於聽覺系統重複 Sperling 的研究，將視覺矩陣以三個聲道分別序列播放三組字母與數字，請受試者報告所看到的項目或指定項目，得到的結果與視覺有一致的發現，受試者於刺激消失時能報告出刺激項目，Neisser 稱之為回聲記憶(echoic memory)。上述實驗說明了邊緣器官將這些快速出現又消失訊息暫時保留一段時間，這個階段稱為訊息登錄 (sensory register)，這類訊息稱為感覺訊息(sensory information)，感覺訊息保留的時間相當短暫，只有幾秒或幾毫秒，進入短期記憶(short-term memory)後，感覺訊息訊息可保留較長一段時間幾秒至 1、2 分鐘提供我們作業，然而短期記憶的容量是有限的 (Anderson et al.,1997)，我們的感器官所接收到的刺激並不全部轉化成知覺，這個選擇的過程為注意力。Broadbent(1958)提出，他認為來自外界的訊息是大量的，而人的神經中樞處理能力則是有限的，於是出現瓶頸 (bottleneck)，為避免系統超載，需要過濾器加以調節，選擇少量訊息進入分析階段，再進一步被辨識和儲存，此過濾器模型說明了注意的選擇功能。本論文以聽覺節奏影響視覺注意力的實驗設計，參考過去的實驗，將視覺刺激以快速序列性的方式呈現 (RSVP)，每一刺激持續時間(duration)為 50ms，畫面中兩序列各 9 個物件，受試者必須於 3.6 秒內呈現的 18 個物件中辨識目標物出現的次數 (參見 4.1.5)，短時間大量的視覺訊息輸入並且呈現於視野左右兩側，造成注意力資源的競爭。早期注意力的理論著重於討論選擇的機制在知覺分析之前或之後，但不論何種注意力模型，都是以認知系統的處理能力或資源有限作為出發點，這種想法最早由 Broadbent 提出，他的濾器模型也充分表現出資源有限的思想，但早期注意力的理論傾向於討論注意過濾器在訊息處理系 28.

(41) 統中物體辨識之前或之後，並未對有限的訊息處理資源具體說明。因此從 1970 年代開始，心理學家已開始避開選擇過濾器於訊息處理系統的位置，而著重於注意力能量有限當作注意機制解釋注意力。. 2.1.2 注意力的分配注意力的選擇性本論文實驗利用左右兩側序列呈現視覺訊息，造成注意力視覺空間選擇性，因此注意力需分配於畫面兩側。由過去解剖學與生理學上的研究，讓我們知道眼睛只能看清楚視野中投射於視網膜中央小窩附近的區域，稱為有效的視野範圍(useful field of view 簡稱 UFOV)，光刺激視神經而興奮產生化學的變化，經由視覺神經路徑傳至視丘最後才到達視覺皮質，於視覺皮質中形成我們所見的畫面。然而，我們不能同時各別對焦於左右兩側的物體上，為了提供各種視覺細胞訊息，我們的眼睛會不斷的移動，掃視(scan)所見的物體。視網膜中央小窩以外的視覺細胞，接收刺激的敏銳度逐漸下降，但這些細胞對於周圍視野 (peripheral vision)很重要，他們容易偵測移動的物體或光線而轉移注意力 (Pettersson,1999)。由上述可知對於注意到某物可能有兩種情形：1.我們的視線先移動凝視某物，而提高我們的注意。2.某物先引起我們的注意，而使我們轉移視線。無論何種情形，於訊息處理的過程中眼睛的移動與注意力分配有密切的關聯。本論文實驗藉此概念，將需要注意力的兩 RSVP 作業，分置於畫面左右兩側，造成注意力必須分配的情況，其中一序列節奏與聲音節奏同步，進而比較視聽節奏同步與不同步作業注意力分配情形。注意力分配整體的效益過去的研究者將有限的注意力概念化一種可分配的處理能量，依照作業的需求靈活的分配到訊息處理的過程中。Norman 與 Bobrow(Norman & Bobrow, 1975)有限能量分配至作業的處理過程分為二類：1.受限於資源 (resource-limited process) ：此「資源」指心力(psychological effort)，如短期記憶容量，訊息處 29.

(42) 理時理解、組塊(chunk)能力、訊息傳遞管道(channels)等運作來源(圖 2-1 黑色虛線箭頭)。當作業受到資源分配的限制，獲得較多的資源作業的表現較好。另外，對於資源需求小的作業，分配少量資源即可有好的表現。2.受限於資料 (data-limited) ：「資料」指外在的訊息(圖 2-1 黑色實線箭頭)，當作業受到資料的限制，如訊息的凸顯程度過低或是難以記憶，即使分配到較多的注意力資源，也難以偵測。若訊息的凸顯性越高，分配少量注意力即可偵測到，反之亦然。由上述可知注意力的高低除了與人內在投注資源的程度有關之外，也與外在資料之特性有關。因此提高對某訊息的注意力，並非只從人主動分配資源的多寡來評斷，也包括少量資源即可偵測到訊息，因此注意力高低應以注意力分配整體的效能來評估，注意力整體的效能可從作業的表現觀察。以上述綜合二類作業處理過程，來說明本論文實驗設計： 1. 資源限定方面：本論文實驗作業藉由視覺與聽覺訊息的輸入造成傳遞管道資源的競爭，與受試者需從大量短暫序列訊息辨識出目標物，造成短期記憶容量的問題，也因此需要分配資源有限的資源。若兩 RSVP 作業相比，作業表現較好者，表示獲得較多注意力資源，或對於注意力資源耗費較小。 2. 資料限定方面：本實驗避免資料限定，使受試者受限於資料不易辨識呈現的訊息，投注再多的注意力也無法提高作業的表現，而測量不出受試者注意力分配的情形 (亦即發生地板效應)。因此於實驗前測先測量 RSVP 作業中，視覺刺激適當的呈現時間 (duration)和序列的節奏，以避免刺激出現的時間過短、序列節奏過快，造成作業困難度過高，而測量不出節奏同步與不同步時注意力能量分配的差異性。視聽節奏同步與不同步 RSVP 作業中，作業表現較佳者，表示資料凸顯性高，花費少量的注意力即可辨識。本實驗假設基於訊息的整合，使作業處理的注意力能量分配效能較未整合的訊息高。因此也藉由注意力作業的表現來討論節奏一致的視覺與與聽覺訊息整合的可能性。 30.

(43) 2.1.3 訊息整合本論文實驗設計中，我們假設在聲音節奏的影響下，視覺上節奏與其同步與節奏不同步的 RSVP 作業，前者視聽訊息有類似的時間結構，而可整合為一組，對於訊息處理的過程注意力能量分配的效益高，較容易辨識 RSVP 序列中的視覺刺激是否為目標物，因此作業表現較佳。也就是若視聽節奏同步刺激能整合為一組，處理整合過的視聽訊息，注意力分配的整體效能較高，以下說明整合訊息與處理效能的關係，與視聽訊息整合的推論：. 一.處理整合的訊息，注意力分配的整體效能較高訊息處理作業中，內在資源需求較少，與外在資料容易被注意，都使分配到的注意力效益較高，也因此作業的表現較好。下面以注意力能量中的資源限定與資料限定，說明本論文實驗兩 RSVP 序列中視聽訊息整合的一方，作業表現較好的推論(參見圖 2-1)： 1. 資源限定方面：在作業的處理過程中，視覺與聽覺刺激為整合的訊息與不整合的訊息相比，前者無不同訊息管道競爭的問題，作業時需暫存的短期記憶容量需求也較小，整體來看對於有限資源需求較少。因此實驗中兩序列中整合的視聽訊息，作業表現較好。 2. 資料限定方面：視覺與聽覺刺激為整合的訊息與不整合的訊息相比，前者視覺與聽覺刺激互為線索，因此整合的訊息花費較少注意力即可偵測到，因此作業表現較好。二.節奏同步視覺與聽覺刺激能整合為一組先前對於感覺訊息的形成的說明，我們可知視覺與聽覺訊息並非以其物理性區分為完全不同的物件，二者都是以電脈衝的形式傳遞，因此兩種刺激有整合的可能性。而外在的訊息也多以複合的感覺存在，如一朵花就包含了視覺與 31.

(44) 嗅覺的訊息。視聽覺刺激的整合可譬喻為複合視覺與聽覺的物件。過去完形心理學家將以視覺訊息以物件群化原則，說明視知覺如何結構而成，近期一些心理學家也將看不見的聲音類比為物件，如 Bregman 將聲音以物件結構的方式，說明我們所對聲音得知覺現象，和一些聽覺與視覺相似的心理感受(Bregman, 1990)。我們藉此概念將視覺序列與聽覺序列皆視為有結構的物件，並且推論因時間結構的相似，將序列拆解成多個時間切分點，節奏一致的視覺與聽覺具有時間的一致性，節奏不一致則否。節奏一致的視覺元素與聽覺元素群化為一體，而能減少注意力所花費的資源。將外部世界不同形式的感覺整合形成聯合的感覺，使各種不同形態的感覺線索整合成為同一知覺事件，是大腦基本且重要的功能，促進我們處理訊息的能力。日常生活中，多種感覺訊息的事件與一個物體包含了多種感覺訊息在時間和空間上同時發生，藉由時間的一致性或空間的一致性，形成感覺交互作用和整合的機制，並且整合的機制較依賴時間的一致性做為判斷(Bushara et al., 2001)。例如：腹語效應(ventriloquist effect)，觀看腹語表演時觀眾對於聲音來源的方向，受到同步的戲偶嘴形變化影響，因此觀者不認為聲音源自說話者的方向，而認為是方向完全不同的戲偶發出來的，因此。由於處理訊息的資源有限，神經整合不同通訊管道(channel)的訊息，而允許一些空間矛盾的感覺線索形成來自同一事件的知覺(Bertelson & Radeau, 1981)。戲偶嘴形變化的視覺刺激與聲音同步，因此觀者將聲音組合於戲偶上，也引導觀者視覺注意力於戲偶的方向，由此例子可看出雖然視覺與聽覺訊息來自不一致的空間方位。但在時間一致的條件下仍被視為同一事件，如同本實驗假設一致的視聽覺節奏影響視覺空間注意力。腹語作用的效應與本實驗對於視聽覺整合的假設相同：1. 由於處理訊息的資源有限，將時間一致不同視聽管道的的訊息整合。2. 同步的聲音影響視覺注意力的方向。. 32.