國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
三、 多媒體與理解
Herman(2004b)嘗言，不同的媒體有不同的互相轉譯性(intertranslatability)，
敘事內容隨著表達媒介的特性而有所變化。當敘事進入新媒介時付，不同媒材 的組合提供了更多創作的可能。然而，當研究者比較文字與文字以外的媒介敘 事時，發現傳統的敘事學仍有未及之處，是以學者開始向認知科學取經，檢視 讀者建構文本的過程(陳雅惠, 2008)。
Mayer(2005) 認為，多媒體即為「包含文字與圖像的訊息」。包含印刷文 字、口語文字、插畫、照片、動畫、影片等。組合多種媒體的過程中，作者必 頇選擇使用何種表意工具，而這將會影響到閱聽人如何解讀資訊。
模態(modality) 意指資訊呈現、表達的形式，是研究多媒體一個重要的面 向(Reimann, 2003)。Kress(1997)指出，就像英文不能完全翻譯為德文一樣，從文 字到視覺的轉譯也會有所差別。即使是呈現同一概念或故事，採用不同模態表 達，在讀者的眼中將會是不同的樣貌。
不同媒材有各自擅長及不擅長表達的意義，文字、口語擅於說明抽象的、
有時間序列的因果關係；影像則較自然、直覺，能立即記錄大量資訊，表現物 件、實體及相關成分之間的空間關係，並可同時表達在場元素的反應。由於影 像必頇以具體的畫面來表達，因此也較無法容忍模糊的意義(Kress, 2004; Mayer, 2005)。
Mayer & Gallini(1990)指出，以圖片搭配文字，對閱讀有幾種正面幫助：插 圖可以妝點文件，提升閱讀樂趣；幫助讀者視覺化人物、場景、事件，幫助記 憶文本中的關鍵資訊，幫助讀者理解文本。除了第一項的裝飾用途涉及動機因 素之外，其餘均與認知歷程有關。
‧
資訊的系統，一是文字(verbal form)、一是圖像(pictorial form)。文字包含印刷文 字、口語文字；圖像包含插畫、照片、動畫、影片等。多媒體學習，是由文字 應的影像(mental image)。將材料消化、組織成有意義資訊的學習過程，必頇先將感官記憶區所收錄 的資訊提取出來，並在工作記憶區將其中屬於語言、文字的資訊整合到文字模 型(verbal model)中；而將圖像、影像的資訊整合到圖像模型(pictorial model)。最 後，再提取長期記憶中的先前知識，與文字、圖像模型整合成對資訊的理解，
‧
Mayer的多媒體學習理論係由Paivio(1971)所提出之雙碼理論奠基而成， 假 定圖像與文字有分開的處理通道。Schnotz & Bannert(2003)則進一步修正圖像、
文字的處理過程部分。他們認為，建構文字模型及圖像模型的過程，可再細分
Proposi tional representa tion
心智模式（情境模式）
Mental model
文本淺層表徵（微觀命題）
Text surfa ce representation
視覺感知/視覺圖像 Text surfa ce representation
文本 Text
圖像／圖示 Pi cture/diagra m 建構模型
檢視模型
perception Themati c selecti on Semanti c processing
Sub-semanti c processing
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
12
（三）多媒體的正面效果
Mayer認為，學習者是有限容量的雙碼製碼者，當學習者能夠有效整合文 字、圖像這兩種資訊的時候，理解表現會變好。圖文搭配得宜的多媒體，可以 產生多媒體效果(multimedia effect)及模態效果(modality effect，或譯形式效果)兩 種正面效果。
Schnotz(2005)指出，多媒體設計只要符合連貫原則(coherence)，也就是圖 片與文字有意義上的相關，及接續原則(contiguity)，意指圖片和文字的位置靠 近，或同時出現二原則，圖文並茂的學習效果，會優於文字。
如前所述，在Mayer的多媒體學習認知模式中，資訊是先被感官所收錄，
進而進入工作記憶區中形成文字模型及圖像模型。而Low & Sweller(2005)提到，
工作記憶分為幾個獨立的處理單元，視覺跟聽覺感官的處理系統獨立運作。
模態效果，指的是人的視覺、聽覺感官認知資源有限，同一時間能處理的 資料有限；因此若資訊能於視覺及聽覺通道同時處理時，能處理的資料量，會 優於僅使用一個通道處理資訊。舉例來說，倘若要處理的資訊包含文字與圖像，
則會因為訊息都集中在視覺收錄感官，但又必頇分心處理文字、圖像，在認知 資源有限的情況下，表現就會比視覺、聽覺感官並用差，稱為分心原則
(split-attention principle)(Schnotz, 2005)。如Mayer的實驗發現，單用文字呈現內 容，學生會對內容有較差的記憶，且在運用所學解決問題時會有困難(Mayer, 2003)。
雙重的呈現方式(dual-presentation modalities)可以活化視覺跟聽覺的工作記 憶。若同時選用多種媒材，可將語言資訊以聲音表達，會比用文字表達更能減 輕認知負荷(Moreno & Mayer, 1999; Sweller, 2005)。Moreno & Mayer(1999)的研 究發現，圖片加上話語(spoken text)的學習效果要優於圖片加上文字。Sweller回
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
13
顧過去相關研究，也發現就一般狀況而言，圖像加上口述旁白的學習效果優於 圖像與文字。
國內研究也有同樣發現：動畫加上旁白、影片等多媒體的學習成效，運用 了雙重感官，會有較低認知負荷，學習成效較文字佳(李金鈴, 2008; 施駿宏, 2009;
徐易稜, 2001) 。
（四）多媒體的負面效果
除前所述的多媒體效果、模態效果等正面效果之外，多媒體對學習也可能 造成負面影響。前述提及的分心原則，還有重覆、冗餘(redundancy)的情形。冗 餘效果指的是對特定讀者而言，圖片、文字同時呈現不見得會對學習有所幫助。
Mayer等學者發現不同先前知識程度的讀者，對資訊形式的需求也有所不同。已 擁有較高先前知識的讀者可以僅使用圖片、文字一種資訊即可；圖文資訊同時 使用，對高先前知識者而言反而會多出許多重覆、非必要的資訊，虛耗時間跟 心力(Schnotz, 2005)。此外，Mayer與其同僚也發現，圖文搭配幫助理解的正面 效果，只出現在解釋型文本中。
綜合前述多媒體學習效果的文獻，影片因為結合視、聽資訊，運用雙重感 官，對低先前知識者而言，能夠降低認知負荷。若未加入影片，只有文字的話，
則會因為資訊同時集中於視覺輸入，造成認知負荷，不利理解。為驗證不同的 表達模態是否影響理解效果，本研究提出研究問題一：
研究問題一：內容以文字表達，或以多媒體（影片結合文字）表達，會對讀者 理解造成何種影響？
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
14