電影中畫面與音樂的結構對應

Eisenstein 的電影理論中，認為同時呈現結構相似的聲音與畫面可加強劇情 的張力，於《亞歷山大‧涅夫斯基》(Alexander Nevsky,1938)(參見圖 5-13)可見 到嚴格的形式對應，他利用人大多由左向右的動態掃視畫面的特點，請

Prokofiev 根據預先設計好的鏡頭編寫電影配樂，電影冰上戰役的場景中，單音 配合旗子或人物而出現；旋律配合背景的輪廓；音調配合色調由明到暗。於第 5 個畫面急遽下降的旋律與畫面險峻的山崖有交融對應之感，也引發戰前的令 人恐懼緊張的張力。但其他的畫面這樣的形式契合並不奏效。他忽略了是觀眾 並非絕對由左向右掃視畫面，而也並非等速的掃視畫面，也因此聲音與畫面的 節奏並不契合。雖然如此，大部分的評論者都贊同 Eisenstein 於《亞歷山大‧

涅夫斯基》中，對於畫面具有音樂結構與節奏的分析，也可觀察到他對於聲音 與影像具有契合形式的理念 ( Prendergast, 1992)。

圖 5-13 《亞歷山大‧涅夫斯基》畫面與聲音結構嚴格的形式對應。

( 摘自 Prendergast, 1992)

聲音與畫面外在形式契合度是否與加成或減弱視聽感受有關？由近期上映 的兩部電影《追殺比爾 2》(Kill Bill Vol.2, 2004)與《鑼鼓喧天》(Drumline, 2002) 來說明。兩部電影不約而同的使用了Rimsky Korsakov的《大黃蜂進行曲》( Flight of the bumblebee)，這首曲子以快節奏的半音階模仿大黃蜂飛行時嗡嗡的振翅 聲，以大小音量的變化形成有如一群蜜蜂不斷在身旁盤旋的視覺效果。從兩部 片運用此音樂的目的不同，可比較出形式不同的聲音與畫面搭配，可造成感官 上加成與減弱的效果。在《追殺比爾 2》中鄔瑪舒曼爲復仇，遠從美國至東京 追殺黑色會老大，場景為鄔瑪的重型機車與黑色會老大的禮車飛馳於公路上，

以大黃蜂進行曲為配樂帶有進攻之意，配合《大黃蜂進行曲》急速彈奏的 16 分音符，導演以設計路燈投射於黑色禮車形成急速流洩的光點，與路面上不斷 變動的放射線營造出聲音與畫面速度感 (圖 5-14)。而同一首曲目於《鑼鼓喧天》

中，劇中亞特蘭大學樂隊在年度校際競賽，指導老師爲展現技巧選擇《大黃蜂 進行曲》做為競賽曲目，但並未引起觀眾與評審熱烈的迴響，導演為了表現這 是個不出色的演出而需削弱音樂張力，在畫面的形式上以固定的長鏡頭運鏡，

雖然表現了樂隊的龐大，但整個畫面無明顯動勢 (圖 5-15)。《大黃蜂進行曲》

的音樂結構形成聽覺上的速度感，電影的畫面結構如何加成或減弱聲音的效 果？分析電影音樂與畫面結構也許我們能找出兩種感官外在形式結構的關係。

圖 5-14 《追殺比爾 2》以燈光和線條快速的變化營造《大黃蜂進行曲》的速度感。

圖 5-15《鑼鼓喧天》畫面構成的元素 2 動勢不大，削弱《大黃蜂進行曲》的速度感。

1968 年Whitney 曾以音樂結構與平面結構形式作量化的轉換，製作 10 分鐘的電影

《Permutations》(圖 5-16)。參考他的概念應用於影像與聲音的結構的分析，電影的畫面 可以利用輔助線找出簡化的結構，而聲音可以利用程式設計，將聲音的振幅、頻率

與圖形的色相、形狀等特徵相互對應，不同的對應方式與參數調整計算出不同 型態的頻譜圖(圖 5-17)，連續的運算可看到聲音的動態結構，電影畫面簡化的 結構與聲音運算出圖形相比較，雖然我們對於構成聲音和影像的知覺並非如此 簡化，聽覺與視覺的關係也並非如頻譜圖，直接將音波與光波物理性質的轉化。

但這些量化的結構，也許能分析出兩種感官的形式是否有對應之處。以下以黑 澤民的《羅生門》(1950)為例，這部電影以陽光穿射森林、暴風、閃電、鼓音 及歌聲交織而成，片中描述樵夫進入森的片段中，陽光穿透樹葉形成閃爍的光 點，此時音樂搭配節奏契合的鼓點 (參見圖 5-18)，閃爍的光點與鼓點是否有結 構對應的關係？若將鼓聲計算出的圖形與《羅生門》的畫面構圖相互對照，聲 音與畫面之間是否有相似的形式結構 (圖 5-17、圖 5-18)。電影中根據畫面設 計配樂，或根據音樂設計畫面的例子相當豐富，並且電影也是導演、配樂師、

攝影師、剪接師…眾人的心象映射，可藉此分析視覺與聽覺是否具有對應的知 覺結構。

找出視覺與聽覺形式的關係，並非建立一個法則，而是我們若能找出視覺 與聽覺的對應形式與外在結構與內在感覺之間的軸度，則可藉由視覺與聽覺之 間一致、和諧、對比的關係創作反映出心象的作品。

圖 5-16《Permutations》。音樂結構與平面結構形式作量化的轉換，製作 10 分鐘的電影。

(a) (b) (c) 圖 5-17 以相同的鼓聲計算出不同的圖形。

圖 5-18 《羅生門》。光點形成節奏與鼓聲對應，光點的形式與圖 5-17 (b)運算鼓聲的圖形有相 似的結構。

參考文獻

中文部分

Barr M.L. & Kiernan J.A. (1972) The Human Nervous System An Anatomical Viewpoint, 6th., USA: J.B. Lippincott Company. 徐淑媛、陳金山譯

(1995)，巴氏神經解剖學 第六版 ，台北：藝軒出版社。

Carter, R. (1998) Mapping the Mind. 洪蘭譯(2002)，大腦的秘密檔案，台北：遠 流出版社。

Baudelaire (1857) Les Fleurs du mal. 莫渝譯 (1985)，惡之華，台北：志文出版社。

Kandinsky (1952) Über das Geistige in der Kunst. Germany: Gerd Hatje, Stuttgart.

吳瑪悧譯 (1955)，藝術家的精神性，台灣：藝術家出版社。

王署君 (1998) 宋秉文等著，神經生物學淺談，台北：台灣書店。

吳斌 (1997) 陳朗主編，世界藝術三百題，台北：建宏出版社。

修海林等著 (2002) 西方音樂欣賞，台北：五南出版社。

參考文獻

英文部分

Allman, J.M. (2000) Evolving Brains. NY: Scientific American Library.

Anderson, J.R., Matessa, M., & Lebiere, C. (1997) ACT-R: A theory of higher-level cognition and its relation to visual attention. Human-Computer Interaction 12: 439-462.

Békésy, G.V. (1929) Zur Theorie des Hörens. Physikalische Zeitung, 30, 118ff.

Bertelson, P. & Radeau, M. (1981) Cross-modal bias and perceptual fusion with auditory-visual spatial discordance. Percept Psychophys 29:578-584

Bordwell, D. & Thompson, K. (2001) Film art :an introduction. 6th ed. NY: McGraw Hill.

Bowers, F. (1995) Poem of Ecstasy and Prometheus: Poem of Fire, in full score. A.. Scriabin. New York: Dover Publ., Inc., 1995, p.114

Bregman, A.S. (1990) Auditory scene analysis: the perceptual organization of sound. Cambridge, MA: MIT Press.

Broadbent, D.E. (1958) Perception and Communication. London: Pergamon Press.

Bushara, K.O., Grafmanand J., & Hallett, M. (2001) Neural correlates of auditory-visual stimulus onset asynchrony detection. The Journal of Neuroscience, January 1, 21(1):300-304

Butler, D. (1992) The Musician’s Guide to Perception and Cognition. NY: Schirmer Books.

Card, S.K., Moran, T.P., & Newell, A. (1983) The Psychology of Human-Computer Interaction.

Lawrence Erlbaum Associates, Hillsdale, NJ.

Cytowic, R.E. (1989) Synesthesia: A Union of the Senses. NY: Springer Verlag.

Darwin, C.J., Turvey, M.T., & Crowder, R.G. (1972). An auditory analogue of the Sperling partial report procedur: Evidence for brief auditory storage. Cognitive psychology, 3,255-267.

Ettlinger, G. & Wilson, W.A. (1990) Cross-modal performance: behavioral process, phylogenetic cosiderations and neural machannisms.Behav Brain Res, 40:169-192.

Galeyev, B. & Vanechkina, I. (2001) Was Scriabin a synaesthete? Leonardo, V. 34, No. 4, pp.

357-361.

Galeyev, B. (1993) Synanesthesia and musical space. Leonardo, V.26, No. 1, pp.76-78.

Gann, K. (1993) La Monte Young's the well-tuned piano, Perspectives of New Music, V. 31, No. 1 Godfrey, S. (2001). Strangers in the park: Manet, Baudelaire, and Lamusique aux Tuileries, in

Bauderlaire and the poetics of modernity, ed. by Ward P.A., USA: Vanderbilt University

Press.

Hillstrom, A.P. & Yantis, S. (1994). Visual attention and motion capture. Perception and Psychophysics 55(4): 399-411.

Kieras, D.E. & Meyer, D.E. (1997) An overview of EPIC architecture for cognition and performance with application to human-computer interaction. Human-Computer Interaction 12:

391-438.

King, A.J. & Calvert, G. A. (2001) Multisensory integration: perceptual grouping by eye and ear.

Current Biology, 11: R322-R325.

King, A.J. & Hartline, P.H. (1999) Multisensory convergence. in Encyclopedia of Neuronscience.

Edited by Adelman G, smith BH. 2nd edition. Amsterdam: Elsevier Science, 1236-1240.

King, A.J. & Palmer, A.R. (1985) Integration of visual and auditory information in bimodal neurons in the guinea-pig superior colliculus. Exp Brain Res, 60:492-500.

Lewkowicz, D.J. (2000) The development of intersensory temporal perception: epigenic systems / limitations view. Psychol Bull, 126:281-308.

McGurk, H. & MacDonald, J. (1976) Hearing lips and seeing voice. Nature 264: 764- 784.

Meredith, M.A. & Stein, B.E. (1996) Spatial determinants of multisensory integration in cat superior colliculus neurons. J Neurophysiol, 75:1843-1857.

Meredith, M.A., Nemitz, J.W., & Stein, B.E. (1987): Determination of multisensory integration in superior colliculus neurons. I. Temporal factors. J Neuronsci, 7:3215-3229.

Mertens, W. (1983) American minimal music:La Monte Young, Terry Riley, Steve Reich, Philip Glass

& trans. by Hautekiet, J., London :Kahn & Averill.

Meyer-Eppler, W. (1954) Mathematische-akustische Grundlagen der elektrischen Klang- Komposition. Technische Hausmitteilungen des Nordweatdeutschen Rundfunks, 6, 29-39. English trans. By H.A.G. Nathan, The Mathematical-Acoustical Fundamentals of Electrical Sound Composition, Technical Translation TT-608, Nation Reserch Council of Canada.

Neisser, U. (1967) Cognitive psychology, New York: Appleton-Century-Crofts.

Norman, D.A. & Bobrow, D.G. (1975) On data-limited and resource-limited Process. Cognitive Psychology ,7, 44-64.

Pettersson, R. (1999) Attention –an information design perspective. International Institute for Information Design (IIID), Vienna, Austria, 1999.

Prendergast, R.M. (1992) Film music: a neglected art: a critical study of music in films. NY: Norton

& Company.

Roskies, A.L. (1999) The binding problem. Neuron 1999,24:7-9.

Scholl, B.J. & Pylyshyn, Z.W. (1999) Tracking multiple items through occlusion: cules to visual objecthood. Cognitive Psychology, 38, 259-290.

Scholl, B.J. (2001) Objects and attention: the state of the art. Cognition, 80, 1- 46.

Sperling, G. (1960) The information available in brief visual perception. Psychological Monographs, 74, No.498.

Stanley S.S. & Hallowell D. (1983) Hearing its psychology and physiology, pp. 155-159. USA:

American institute of physics.

Stein, L. (1979) Structure & style: the study and analysis of musical forms. Princeton, NJ:

Summy-Birchard Music.

Steudel, U. (1933)Über Empfindungen und Messung der Lautstärke. Zeitschrift für Hochfrequenz Technik und Electrotechnik, 41,116ff.

Shu, Z. J., Swindale, N. V., & Cynader M.S. (1993) Spectral motion produces an auditory after-effect.

Nature, Vol.364: 721-723.

Torres, L. & Kamhi, M.M. (2000) What Art Is: The Esthetic Theory of Ayn Rand. UAS: Open Court Publishing Company.

Vanechkina, I. (1994) Musical graphics as an instrument for musicologists and educators. Leonardo, Vol.27, No. 5, pp. 437-439.

Ware, C. (2000) Information visualization: perception for design. San Francisco: Morgan Kaufman.

附 錄

列 5563.833 11 505.803 3.388449 0.027243 2.817927 欄 384 1 384 2.572473 0.137041 4.844338

錯誤 1642 11 149.2727

總和 7589.833 23

附錄表 2 前測實驗：視聽節奏一致與無聲

列 8486.833 11 771.5303 31.31673 1.07E-06 2.817927 欄 6 1 6 0.243542 0.631364 4.844338 錯誤 271 11 24.63636

總和 8763.833 23

附錄表 3 前測實驗 RSVP 節奏 1：視聽節奏一致與不一致

摘要 個數 總和 平均 變異數

JI 2 644 322 242

KU 2 583 291.5 180.5

MU 2 598 299 578

MO 2 651 325.5 84.5

SH 2 578 289 128

VI 2 608 304 392

視聽節奏一致 6 1897 316.1667 226.9667 視聽節奏不一致 6 1765 294.1667 277.3667

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 2368.667 5 473.7333 15.48148 0.00461 5.050339 欄 1452 1 1452 47.45098 0.000987 6.607877

錯誤 153 5 30.6

總和 3973.667 11

附錄表 4 前測實驗 RSVP 節奏 1：視聽節奏一致與無聲

摘要 個數 總和 平均 變異數

JI 2 680 340 98

KU 2 596 298 18

MU 2 623 311.5 40.5

MO 2 664 332 0

SH 2 596 298 2

VI 2 635 317.5 0.5

視聽節奏一致 6 1897 316.1667 226.9667 無聲 6 1897 316.1667 405.7667

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 3004.667 5 600.9333 18.89727 0.002912 5.050339

欄 0 1 0 0 1 6.607877

錯誤 159 5 31.8

總和 3163.667 11

附錄表 5 前測實驗 RSVP 節奏 2：視聽節奏一致與不一致

摘要 個數 總和 平均 變異數

JI 2 645 322.5 24.5

KU 2 576 288 2

MU 2 582 291 200

MO 2 649 324.5 0.5

SH 2 568 284 32

VI 2 604 302 162

視聽節奏一致 6 1794 299 445.2

視聽節奏不一致 6 1830 305 244.4

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 3135 5 627 10.01597 0.012199 5.050339 欄 108 1 108 1.72524 0.24606 6.607877

錯誤 313 5 62.6

總和 3556 11

附錄表 6 前測實驗 RSVP 節奏 2：視聽節奏一致與無聲

摘要 個數 總和 平均 變異數

JI 2 643 321.5 40.5

KU 2 576 288 2

MU 2 565 282.5 4.5

MO 2 656 328 18

SH 2 569 284.5 40.5

VI 2 591 295.5 12.5

視聽節奏一致 6 1794 299 445.2

無聲 6 1806 301 358.8

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 3914 5 782.8 36.92453 0.000596 5.050339 欄 12 1 12 0.566038 0.485727 6.607877

錯誤 106 5 21.2

總和 4032 11

附錄表 7 正式實驗：視聽節奏一致與不一致 視聽節奏不一致 12 2704 225.3333 1883.879

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 15136.5 11 1376.045 1.793885 0.173382 2.817927 欄 36348.17 1 36348.17 47.38537 2.64E-05 4.844338 錯誤 8437.833 11 767.0758

總和 59922.5 23

附錄表 8 正式實驗 RSVP 節奏 1：視聽節奏一致與不一致

摘要 個數 總和 平均 變異數

CH 2 472 236 7200

CU 2 504 252 4608

JI 2 548 274 512

MO 2 570 285 2450

NO 2 462 231 4418

OC 2 526 263 4802

視聽節奏一致 6 1796 299.3333 228.2667 視聽節奏不一致 6 1286 214.3333 1135.067

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 4501.667 5 900.3333 1.944564 0.241502 5.050339 欄 21675 1 21675 46.81425 0.001018 6.607877

錯誤 2315 5 463

總和 28491.67 11

附錄表 9 正式實驗 RSVP 節奏 2：視聽節奏一致與不一致

摘要 個數 總和 平均 變異數

CH 2 514 257 8450

CU 2 556 278 3528

JI 2 640 320 72

MO 2 568 284 200

NO 2 458 229 6498

OC 2 524 262 2048

視聽節奏一致 6 1842 307 306.8

視聽節奏不一致 6 1418 236.3333 2719.067

ANOVA

變源 SS 自由度 MS F P-值 臨界值

列 9314.667 5 1862.933 1.601926 0.308846 5.050339 欄 14981.33 1 14981.33 12.88237 0.015721 6.607877

錯誤 5814.667 5 1162.933

總和 30110.67 11

在文檔中 聽覺節奏對視覺注意力的影響 (頁 81-0)