圖文表徵的關係

第2節

Bruner 認為個體若要獲取知識，需具備對事物認知表徵之能力，此種能力隨 個體的認知發展呈現出三種不同的表徵方式：(1)動作表徵(enactive representation)，

指個體以身體動作來瞭解事物；(2)形象表徵(iconic representation)，指個體運用 感官將由事物得到的心像(imagery)作為思考的輔助，藉圖像以瞭解事物；(3)符 號表徵(symbolic representation)，指個體能運用抽象的符號得到知識，並能運用 文字、數字、圖像等符號作為思考的工具(高源令，2003；甄曉蘭，1997/2002)。

本研究的研究對象為國中三年級的學生，按照 Brunner 對兒童認知發展的區分，

其已能運用符號表徵。因此下方從訊息處理、學習和語言學等方面的理論討論圖 像與文字的關係。

一、圖文的訊息處理理論

教學過程常會使用文字與圖像二個媒介(Mayer、Anderson，1992)。「文字」

的訊息具有「命題」表徵的特性，「圖像」的訊息則具有「影像」表徵的特性，

文字與圖像是二種不同的訊息(許良榮，1996)。圖像與文字的訊息處理，從認知 心理學的角度來看，有三種主要的理論：二元編碼理論(dual coding)、單元編碼 理論(single coding)及中庸看法，如下頁圖 2-2-1 所示。

14

三種理論皆認為文字與圖像在視覺上屬於不同的訊息刺激。但是三者的差異 在於(張欣怡，1997；許良榮，1996)：

1. 二元編碼理論：由 Paivio(1986)提出，該理論認為在記憶的訊息處理系統 中，命題與影像是用不同且特定的模組來處理。

2. 單元編碼理論：由 Pylyshyn(1981)提出，此理論認為文字與圖像雖然是不 同的訊息刺激，但在記憶的訊息處理系統中，兩者是沒有差別，對兩者皆 是以抽象的命題(abstract proposition)編碼，然後並存於記憶系統中。

3. 中庸看法：認為在記憶的知覺處理系統中，存在著兩種不同的模組處理不

15

若單元編碼理論成立，圖像和文字只影響知覺處理，所以對於學習的影響主 要取決於呈現的形式。反之若二元編碼理論成立，則學習者的個別差異、圖文呈 現的形式都有決定性影響(許良榮，1996)。雖然目前沒有判決性研究可以斷定何 種理論成立，但是由認知心理學「心智影像(mental image)」的研究結果(如 Kosslyn, 1975；Shepard & Metzler, 1971；引自許良榮，1996)，以及前述的實徵研究顯示 圖文關係和學習者的差異對於學習有不同程度的影響，因此二元編碼理論較適合 解釋圖文的訊息處理。而楊牧貞(1997)從腦側化的現象探討圖文的訊息處理，其 研究結果較支持二元編碼理論。

16

二、圖文的學習理論

將圖文的學習來看，Mayer(，1997)綜合 Paivio 的二元編碼理論和 Wittrock 的衍生學習理論(generative theory of learning)而提出「多媒體衍生學習理論 (generative theory of multimedia learning)」。其多媒體圖文學習如圖 2-2-2 所示。

在多媒體圖文學習模式中，說明了讀者可能從文章中選擇相關的文字訊息， Image base

語言模式 Verbally-based model

視覺模式 Visually-based model 選擇文字

17

三、圖文整合的語言學

從語言學的角度看圖文整合，可由系統功能語言學(Systemic Functional Linguistic: SFL)進行說明。系統功能語言學是由 Michael Halliday (1950s-1960s) 等人所發展的語言分析理論。不同於傳統語言學的文法研究，系統功能語言學以 功能性的角度分析詞彙的意義功能，試圖找出情靜脈絡下的意義潛勢(meaning potential)。意義潛勢為與意義相關聯而可供人們選擇的若干子系統組成的系統網 絡(胡壯麟、朱永生、張德祿、李戰子，2008)。藉由意義潛勢可連結語言、圖像、

數學公式…等各種表徵，因此應用範圍廣泛。

系統功能語言學將語言的純理功能分成三種：概念功能(ideational function)、

人際功能(interpearsonal function)和語篇功能(textual function)。與圖像表徵連結，

概念功能建構語言和圖像對事件、物件、參與者的本質瞭解和還有它們發生的環 境，人際功能可瞭解讀者與作者間互動關係的本質，語篇功能可瞭解文和圖的元 素在整體上的安排情形(Kress、van Leeuwen，2006；許佩玲，2004)。

本研究欲探討運動學圖像和文字的關係。運動學的圖文包含語言、圖像和數 學記號(symbol)等符號(semiotics)資源。這些符號資源的關係可透過符號間的指號 過程(intersemiosis)來瞭解。Royce(2002,引自 O'Halloran，2005)稱符號間的指號過 程為符號互補(intersemiotic complementarity)，語言和圖像共同製造出語義一致的 多模態文本給讀者。

18

語言或圖像裡有許多功能性成分(functional elements)，如過程(process)、參 與 者 (participants) 和 環 境 (circumstances) 。 這 些 功 能 性 成 分 ， 藉 由 詞 彙 化 (lexicalization)、符號化(symbolization)和圖像化(visualization)等指號過程，得以 在文本的語言和圖像中繼續存在(O'Halloran，2005)。以「導數為切線斜率的解釋」

為例(圖 2-2-3)，圖(a)中的「h」和橫線「─」可詞彙化為「距離」；而「距離」和 圖(a)中的橫線「─」可符號化為「h」；「距離」和「h」可圖像化為「h」。

圖 2-2-3：導數為切線斜率的解釋(Stewart, 1999；引自 O'Halloran，2005)

二元編碼理論認為文和圖是獨立的系統，但是彼此相互連結與參照(鄭翠娟，

2004)。而系統功能理論分別對文和圖進行分析，並藉由其三項純理功能連結文 和圖，此與二元編碼理論相似。本研究以二元編碼理論為圖文訊息處理的理論依 據，配合系統功能理論符號間的指號過程(intersemiosis)，討論運動學圖文的關 係。

19