Allan Paivio 在 1969 年對於人類如何儲存資訊這樣的問題,主張人類是同時使 用圖像以及語言的編碼來儲存資訊的,也就是所謂的雙代碼理論(dual-code theory),他認為訊息的表徵與處理有兩個不同的系統存在,語言系統處理語言相 關的訊息,非語言系統則是以影像為基礎執行處理與表徵(Haberlandt, 1997;
Sternberg, 1999)。其中心像是屬於物理刺激的類比編碼(analogue code),而符號編碼 (symbolic code)則用來儲存語意資訊。當然不是所有的人都同意這樣的看法,John Anderson 及 Gordon Bower(1973)認為我們並非用影像的形式來儲存心像,而是用一 種接近於命題的抽象形式來儲存心像,無論是影像或是口語陳述都是由命題來表 徵的。在兩極端的主張中,一些學者針對這些看法做了些研究,發現類比編碼可 能有些限制,有些圖形的資訊並非以影像的方式來儲存(Reed, 1974; Chambers &
Reisberg, 1985, 1992),而且圖形的語意資訊很容易扭曲了圖形視覺心像的回憶 (Carmichael, Hogan, & Water, 1932)。而另一些研究則顯示心像比命題容易直接操作 (Finke, Pinker, & Farah, 1989),且心像與視知覺是功能上相同的((Kosslyn, 1994; Kosslyn et al., 2001; Laeng & Teodorescu, 2002)。兩方的研究中都有其支持的實驗證據存在 著。以下針對著這兩極端的主張做一詳細的說明,並介紹了目前認知神經心理學 中對於心像處理主流的理論。
一、Allan Paivio 雙代碼理論 樣檢驗,證實了干擾的存在(Brooks, 1968; Sternberg, 1999)。只不過 Paivio 這樣的假 設是認為視覺影像牽涉到視覺表徵而非空間表徵,但後續Baddeley 及 Lieberman (1980)的研究則發現這樣的干擾其實是來自於空間歷程的共有,也就是是非語文 系統內的知覺處理以及心像處理共有空間相關歷程,而非Paivio 最初所主張的視 覺表徵的緣故(Haberlandt, 1997)。
二、John Anderson 及 Gordon Bower 的命題理論
1973 年 John Anderson 及 Gordon Bower 提出知識表徵的另一理論,稱為概念命 題假設(conceptual-propositional hypothesis)或命題假設(propositional hypothesis),認為知
識的表徵是以命題為形式的關係網,概念與概念之間的關係,以命題來連接。他 們兩人與其後繼者Pylyshyn,皆認為人類不可能以影像的形式儲存心智表徵,主 張人類的心像表徵應該比較接近於抽象形式的命題,因為命題可以被用來描述任 何種類的關係(Palmer, 1975; Pylyshyn, 1973, 1981)。根據這樣的觀點,他們認為影像 只是個附帶現象(epiphenomena),是命題與其他認知過程交互作用的結果(Sternberg, 1999)。
不少研究支持著Anderson 及 Pylyshyn 的看法,認為我們不可能是以影像的形 式來儲存資訊,比較著名的Reed(1974)的研究,發現受試者無法喚出影像來判斷 一 個 複 雜 圖 形 中 是 否 包 含 某 些 簡 單 特 殊 形 狀(Reed, 1974; Sternberg, 1999) ; Chambers 及 Reisberg(1985, 1992)則發現對於類似於鴨兔圖的模擬兩可圖案,受試 者在不可再看的情況下,無法回憶出另外一種解釋(Chambers & Reisberg, 1985, 1992;
Sternberg, 1999)。
亦有不少研究發現影像作為知識表徵的一種形式是必要的,在某些必須組合 兩個圖來形成一個圖像時,心像是比較能夠直接運作的形式(Finke et al., 1989;
Peterson, Kihlstrom, Rose, & Glisky, 1992)。因此有些研究者認為 Anderson 及 Pylyshyn 觀點的研究之實驗結果部分被支持的原因,可能是實驗過程中受試者的命題編碼 壓倒了影像編碼,而扭曲了視覺影像的回憶,使得受試者無法提取出視覺影像的 訊息,而並非表徵不能為影像的形式(Sternberg, 1999)。Peterson 等人甚至認為建構 與操作心像的過程與知覺的過程非常類似(Peterson et al., 1992),與 Kosslyn 等研究 者認為心像跟視知覺是功能上地相等(functionally equivalent)(Kosslyn, 1994; Kosslyn et al., 2001; Laeng & Teodorescu, 2002; Mast & Kosslyn, 2002)。目前為止已發現的研究似乎 顯示人類知識表徵屬於多元編碼的可能性大於單一編碼(Barsalou, 1994; Sternberg, 1999)。
三、Kosslyn 的心像計算機模式
不少研究者強烈地主張「心像類同於視知覺」的功能相等假說(functional- equivalence hypothesis),認為視覺心像雖然不是視知覺,但是功能上是相等的,視 覺心像就像是呈現在眼前的物理實體的視知覺(Farah, 1988a, 1988b; Jolicoeur &
Kosslyn, 1985a, 1985b; Rumelhart & Norman, 1988; Shepard & Metzler, 1971)。
Kosslyn(1983)利用計算機的概念來比喻著影像的處理,這個計算機包括著中 央處理機、長期記憶區、輸入裝置、輸出裝置以及影像終端機(video terminal)。影 像終端機像是一個擁有緩衝區的陰極線管,保存著螢幕影像的資訊。Kosslyn 認為 視覺影像是被呈現在一個特殊的空間媒介中,他又稱這個理論為視覺影像的 CRT(computer's cathode-ray tube)理論,把能力有限的心像看成是 CRT 螢幕一般有尺 寸的限制,認為心像有兩個層次,緩衝層次(buffer level)及長期儲存層次(long-term store level)。在緩衝區中,是正在經歷的影像,這影像可能是現在正輸入視覺資訊,
也可能是結合著從長期記憶過來的資訊。而這個緩衝區的能力有限,所以裡面的 影像會受到其他影像的競爭,每個影像有停留時間,會衰退、褪色,因此需要不 斷地更新。長期儲存層次則是包含一些對影像的架構,像是影像的尺寸、部件之 間的關係以及與其他影像之間的關係(Haberlandt, 1997; Kosslyn, 1983)。
在Kosslyn 的理論中,這個空間媒介有四種屬性:(一)保留自己所呈現物件
更新。Kosslyn 這樣的觀點,跟實際上在眼睛上的視知覺處理非常相似。因此 Pylyshyn 批判這樣的觀點並沒有說明到任何關於視覺影像的表徵(Pylyshyn, 2003)。
四、眼動模式與心像的關係
眼動在視覺心像中是否具有功能是長久以來的爭議。Laeng 及 Teodorescu(2002) 的研究顯示,眼動在視覺心像產生的時候具有重要的功能,眼動儲存著空間的索 引(spatial index),在視覺心像中安排影像的部件在正確的位置上(Laeng & Teodorescu, 2002; Mast & Kosslyn, 2002)。
許多因素控制著眼睛移動,這些因素大致可分為兩種,一種是從下而上
Kosslyn, 2002)。
Laeng 及 Teodorescu(2002)的實驗,對照了受試者在知覺情境中以及想像情境 中的眼睛移動的模式,發現在想像過程中,受試者的眼動反映著受試者正在研究
著該刺激的情況,也就是他們發現受試者在想像某圖像的過程中的眼動,與他們 最初在知覺該圖形時有非常類似而且一致的眼動模式。此外,如果抑制了受試者 在想像過程中的眼動,會干擾受試者想像的過程,影響受試者回憶的表現。這樣 的實驗說明了,眼動無論在知覺上或是在想像中皆扮演著重要的角色。在知覺過 程中的眼動,紀錄著外在訊息的空間索引,在想像的過程中,提取相關的訊息必 須仰賴著眼動。換句話說,眼動過程中眼睛的肌肉感覺訊息可能紀錄著外在訊息 的空間索引資訊。外在訊息進入腦海被處理時,眼動過程中肌肉感覺訊號一併被 紀錄著,而回憶相關訊息時,必須仰賴著眼睛移動來觸發相關訊息的提取。