視聽覺相似的知覺現象

過去心理學實驗曾將視覺與聽覺類似的知覺現象作相互類比，如 Shu 等人 (1993)等人探討視覺的後效反應(After effect)在聽覺上是否也具有類似的情況。

一般常見的視覺後效如互補色的現象，如眼睛盯著紅色的圓點，持續一段時間 後看白色的牆壁，會出現綠色的圓點。他們的實驗中，首先給予受試者 1000 Hz

→2000Hz 頻率上升變化的聽覺刺激每秒 2 次，持續一段時間使受試者聽覺疲 勞，再給予一段各包含各頻率無音高變化的白色噪音，請受試者判斷於白色噪 音中聽到的聲音為上升或下降音，受試者皆表示聽到得到頻率下降的音。另外，

他們也以 2000Hz→1000 Hz 下降音做實驗得到一致的結果，受試者皆表示聽到 得到頻率上升的音。此實驗支持聽覺有類似視覺後效的結果，可知視聽覺有相 似的知覺現象。另外，後效反應在不同類型的視覺現象都可觀察到，如運動後

效：眼睛持續看往某一方向移動的物體，之後再看一個靜止物體，形成物體往 反方向移動的知覺，其他類似的視覺後效包括：視覺深度、曲線、斜線、明度 等。若音高的聽覺後效與多種視覺後效產生的知覺相似，則可說明視聽覺之間 的類比並非視聽元素直接類比，而是結構的類比。

對於知覺組織的形成，完形心理學對於我們如何將視覺元素組織成圖形、

聽覺元素組織成聲音均有豐富的研究。因此也許可藉由兩種感官相似的群化法 則找出視聽覺外在結構與內在感覺的關係。如完形理論中提到是我們辨識物件 (objects)的特徵、重複性與遮蔽物(occlusion)形成好的連續，使我們能追蹤移動 的物件，即使物件消失一段時間或是改變某些特徵我們仍能辨識出物件，而不 致於認為移動的物件是出現時間與空間不同的兩個物件。如圖 5-9 我們藉由辨 識白色方塊的顏色與形狀，即使方塊被遮蔽一段時間或改變大小 (參見圖 5-9 右圖)，我們能將小方塊視為同一移動的物件 ( Scholl & Pylyshyn, 1999 )。此理 論也可說明聽覺現象，例如我們聽音樂時突然出現巨大噪音，即使噪音掩蓋音 樂一段時間，噪音消失後旋律的音高已改變，由於我們可辨識出遮蔽物(噪音)，

並且能區分旋律與噪音的音色不同，所以我們不會認為消失一段時間的旋律是 中斷的，並且能將噪音前後的聲音組織成連續的旋律。類比兩種感官知覺現象，

我們可知對於特徵、重複性、與遮蔽物等屬於結構性的知覺，才是使我們將視 覺物件與聽覺物件對應的因素。

圖 5-9 圖 5-10

圖 5-9 完形心理學---好的連續性。為連續的動畫，我們能將圖中的白色方塊視為一個移動的 物件，即使如第三格動畫消失一段時間，或是如右圖改變方塊大小，而不會將時間空間不同的 方塊視為兩個不同的物件。(摘自 Scholl & Pylyshyn, 1999)

圖 5-10 完形心理學---接近性。將視覺空間對應頻率空間，如右圖空間距離的點接近性群化為 兩群；在聲音上，頻率接近的音群化為兩群。(摘自 Bregman, 1990)

對於視覺與聽覺形式結構的類比，Bregman 於《Auditory Scene Analysis》

(Bregman, 1990)有深入且合理的論述，其中以視覺的完形法則分析音樂的知覺 現象，例如距離相近的物體群化成組，他運用此群化法則將視覺空間比擬為聲 音的頻率空間，說明聲音頻率接近性的群化，如慢速彈奏音符形成斷續的音符，

但相同音符快速彈奏則音頻率的接近性使音符群化為兩組，形成音高不同的兩 條旋律線 (參見圖 5-10)。我們從 Bregman 的論述也可觀察結構對應的視聽元 素是否具有類比的視聽知覺？如圖 5-10 左圖分散的點與斷續出現的音符，圖 5-10 右圖距離相近的點群化兩條線與頻率相近的音符群化兩旋律，相似的結構 是否與相似的知覺有關。

另外，在視覺上簡單的結構與主觀複雜的心象也有對應性，如圖 5-11 的 結構在 David Lean 導演的《齊瓦哥醫生》(Doctor Zhivago, 1965)可見到類似的 結構運用，片中音樂為進行曲時鏡頭的設計上大多以直線構圖，出現主題曲

《Somewhere my love》的華爾滋舞曲時畫面以雪地上蜿蜒的軌跡構圖 (參見圖 5-12)。畫面的構圖如同將圖 5-11 簡單的線結構複雜化。電影的聲音與畫面的 結構映射導演的心象，也因此我們可以反過來分析電影的聲音與畫面，探討是 否視覺與聽覺具有互通的知覺結構。

圖 5-11 各種感官有最契合的外在形式。圖中兩種線結構可對應於聽覺上的華爾滋舞曲與進行 曲，也可類比為觸覺上的柔軟與尖硬，並且大多數人有相同的對應。(摘自 Galeyev , 1993)

(a) (b)

圖 5-12 簡單結構與心象的對應。《齊瓦哥醫生》(a) 華爾滋舞曲出現時，畫面為曲線構圖；

(b)進行曲出現時，畫面為直線構圖。如同將圖 5-11 的簡單結構複雜化。