多媒體圖文整合相關理論

學習資源，以促進學習成效。而國際科技教育學會(International Technology Education Association，ITEA)對教育上使用多媒體工具更建議為：「多媒體科技 或視聽器具等工具，是用來促進教與學的歷程。」科技不斷推陳出新的目的，始 終都是為了能促進學習。根據Mayer(2010)指出，目前多媒體在文獻上，大多數 主要探討包含(多媒體的教材組合、多媒體版面配置、使用多媒體的學習成效 等)，對於多媒體內容中呈現的文字與圖像與學習之間的關係其探討較少，因此，

本研究為了瞭解多媒體在文字與圖像的應用，將從多媒體相關理論先行探討，在 輔以相關實證研究進行論點支持。

二、 多媒體圖文整合相關理論

（一）雙重編碼理論(Dual-Coding Theory)

認知心理學家Paivio（1986; 1991）指出，當人們在進行相關閱讀活動時，透 過兩其實是有兩個認知系統進行圖像與文字的轉化、編碼，與處理，這就是著名 的雙重編碼（dual coding theory）中所提出對訊息接收和處理的重要核心概念。

經由以圖2-1.2說明，可更清楚知道人類兩大系統的功能和路徑。

圖 2-1.2 雙重編碼理論圖(資料來源：Paivio,1991)

9

根據Paivio（1991）的論點，人類的心智結構與訊息處理過程中包含了兩個 符號系統（symbolic memory），一是語文系統（verbal system）主要負責與語文 有關的訊息。當接受文字與旁白的刺激後，以個別的、循序的、語法的方式來處 理和組織訊息，形成語文的心理表徵，並以語文元（logogens）來儲存此類訊息，

並儲在文字記憶區中，也就是語文編碼；另一系統是非語文系統（nonverbal system）專門處理視覺影像訊息(例如圖片與動畫)此外也處理著其它訊息(例如視 覺、嗅覺、觸覺也就是外觀、聲音、行動與內在感覺等與情緒相關)。此系統主 要以整體的、並行的、整合的方式來處理和組織訊息形成視覺的心理表徵，並以 圖像元（imagens）為基本單位儲存在圖像記憶區也就是視覺編碼 (王司沁，

2008) 。因此，於訊息處理過程中，個體除了經由語言性刺激（文字、語音）， 還可以經由非語言性刺激（圖像、動畫）來進行多方面連結。由於此兩個系統可 以交錯儲存意義，因此當訊息處理完畢後，即使其中一個系統的編碼有所遺漏，

另一個系統仍然可以將訊息的意義記住並幫助記憶的儲存。

Paivio（1991）將學習者對語言性與非語言性訊息的聯繫方式分為三種層次 結構的處理運作模式，分別為：

（1）表徵性（representation）運作處理模式：

此模式指外界訊息的刺激能夠透過感官系統，而引起直接表徵或啟動相對應 的表徵。也就是說，當語文（例如文字、旁白）刺激進入感官系統後，會與語文 系統產生表徵性連結；而非語文（例如圖像、動畫）刺激進入感官系統後，則會 與非語文系統產生表徵性連結。也就是藉由聽覺和視覺的組合去瞭解心理的表 徵，舉例來說例如，學生被要求記一個句子「小狗在戶外玩球」。如果能將句意 轉成心智圖像（mental picture），一幅小狗在戶外玩球圖像被想像，便會將這心智 圖像與言語的代碼（the verbal code）做連結（邱惠芬 2003；Gary, 2004）。

10

（2）關聯性（association）運作處理模式：

Robins 和 Mayer (1993)指出，關聯性聯繫（associative connections）指的是 單獨的語言記憶系統或非語言系統內（within system）記憶單元的聯繫，這表示 個別的語言系統或非語言系統內的元素具有關聯性聯繫，也就是說，特定的語意 會引發某些語意的聯想；而特定的意象會引發某些意象的聯想（林麗娟，1996）。

舉例來說在語言性的記憶系統中，「蓮霧」這個詞的語意可以引發「水果」、「黑 珍珠」、「屏東特產」等等語意的聯想，在非語言性系統中，亦可以引發許多聯想 的意象，例如紅色、樹等等意象。而根據此原則，為了要幫助學習者連貫相關知 識，許多教材的設計都會運用文字性或圖示性的類比與比喻以建立關聯性聯繫

（Reiber,1994；邱惠芬 2003）。

（3）參照性（referencial）運作處理模式：

此模式是指語言性統和非語言系統間單位的聯繫，他可以協助學習者創造出 意象來對應文字。例如，學習者的記憶中如果有「籃球」這個名詞，以及跟球類 相關的意象，它們之間便會產生雙向的參照連結。所以我們應安排適當的訊息呈 現方式，以利在學習者訊息編碼的過程中進行語言系統和非語言系統的連結。而 電腦多媒體的學習環境，便可以同時提供學習者多種訊息溝通的管道（包含聲 音、文字、圖像、動畫）(邱惠芬 2003；柯重吉 2005) 。

基於以上三種訊息模式，Paivio 做了一系列關於圖片與文字的研究，其實驗 指出人類的圖像系統比語文系統有較好的處理能力，其解釋原因是因為當我們看 到一個圖片時，我們會自動的將圖片轉換成語文的方式來處理；但當我們看到一 個文字時，卻不會把它轉換成影像的方式。不過 Paivio (1991) 認為當一個觀念 的呈現方式是透過這兩種系統同時呈現，會比只利用其中一種呈現方式來的好，

也就是說當學習者回想之前的內容時，對文字加圖片的回想能力優於只有文字的 回想(將在第二節深入探討)。此外 Paivio (1991) 認為，如果編碼間有強而有力的

11

參照性鏈結，能幫助學習者建立文字與圖像的認知相關性，進而加深記憶。換言 之語文與非語文系統的內容間必須使讀者易於聯想，兩者之間才可產生補充的效 果，就如同數學教材的文字敘述輔以圖形解說，或是圖文對照的生字表，而使讀 者易於理解。

（二）多媒體學習認知理論(Cognitive Theory of Multimedia Learning, CTML) Paivio的雙重編碼理論(Dual-Coding Theory)已經很明白指出，我們在面對圖 文訊息時的編碼與學習的方式不同。所以文字若能與圖像配合，將更能幫助學習 者記憶事實或瞭解概念。Mayer (2001，2003)將多媒體學習定義為利用文字與圖 片的學習，而多媒體在學習的過程可視為教學訊息的獲得，或是知識建構的過 程，這其中多媒體可視為是傳遞教學訊息的工具，也是幫助學生理解的手段。

Mayer並根據多位學者的理論與觀點，提出了多媒體學習的認知理論(Cognitive Theory of Multimedia Learning)其中包含雙軌(dual channels)、有限容量(limited capacity)及主動處理(active processing)等三個假設(請參閱表2-2.1)

表 2-2.1 多媒體學習認知理論的假設(引自 Mayer, 2001, p44)

多媒體認知理論 定義 相關理論

雙通道假設 人類對處理『視覺訊息』和聽覺 訊息擁有不同的通道。

源自於雙碼理論。

(Paivio,1986;Baddeley, 1992)

容量限制 人類每一個管道一次所能處理

的訊息量有限。

源自於認知負荷理論。

(Baddeley,1992;Chandle r&Sweller, 1991)

主動處理 人類藉由注意相關訊息、組織被

選 擇 的 訊 息 成 一 致 的 心 理 表 徵，並且將其和其它知識整合來 進行主動學習。

源自於訊息處理理論。

（Atkinson&Shiffrin,19 68）

12

1.雙通道假設( dual channel)：

Mayer(2001)的雙通道假設是指人類對於以視覺呈現的素材及以聽覺呈現的 素材有不同的訊息處理管道。這重要觀點說明了人類心智的運作模式是圖形與聲 音雙通道並行。雙通道分為兩部分:一個是視覺(圖像)的通道，另一個是聽覺(語 言)的通道。首先，當人們接受訊息時，其訊息呈現方式是以插圖、動畫、影片 或螢幕文字等傳輸至我們的眼睛時，人類就會開始以視覺管道處理這類訊息；當 訊息是以旁白(narration)或非語文的聲音(如狗叫聲)等外在刺激將訊息傳至耳朵 時，人類則會開始以聽覺管道處理這類訊息（Paivio,1986；Baddeley,1992；吳瑞 源 2006）。如下圖 2-1.2 所示

圖 2-1.3 多媒體學習認知理論(Mayer，2001)

圖 2-1.3 呈現了人類資訊處理的系統機制。方塊內表示記憶的儲存的過程，

包括感官記憶、工作記憶、和長期記憶三種。圖像到眼睛的箭頭表示圖像被登錄 於眼睛；文字到眼睛的箭頭表示書寫文字被登錄於眼睛；文字到耳朵的箭頭表示 口語文字被登錄於耳朵(Mayer，2001；吳瑞源，2008)。

Mayer 提到多媒體的資訊呈現方式是以文字和圖像為主，藉由耳朵和眼睛接 收訊息(此過程在感官記憶中進行)，學習主要發生在工作記憶，在這個階段中學 習者是主動控制的。而學習的認知歷程包含了選擇訊息、組織訊息、整合訊息等 過程，這些過程會受到學習者之個別差異的影響，而產生不同樣貌的認知模式。

在學習的過程中，個體主動將知識從長期記憶中提取出來，並與工作記憶的知識

13

整合。然而，在知識提取的過程中亦會受到學習者先備知識的差異所影響。

2.容量限制(Limited Capacity Assumption)：

人類認知系統的每一個頻道都有容量限制來保留和運作知識。當大量的圖片 (或其他的視覺物件)或大量的語言(或其他聲音)在同一時間呈現時，視覺─圖畫的 通道將會超載(Mayer，2001；魏筱珊；2011)。

3. 主動處理(Active Processing Assumption)：

當學習者主動參與時，有意義的學習就會發生。認知系統會主動選擇相關的 文字與圖片，組織成有條理的圖像和語言模式，且和以前的知識互相整合。也就 是說，主動學習的進行可能在同一時間發生在工作記憶區中，並且整合語言與圖 像象徵。Mayer 認為良好的多媒體學習環境，可以使學生減少通道的訊息負荷 量，容易將所學的知識整合進入學生個人的組織架構之中

根據多媒體認知學習理論，Mayer 也陸續提出了當教師欲進行多媒體教學 時，教學設計上應注意的九個多媒體學習原則，以下將逐之探討:

（三）多媒體學習原則（Mayer & Moreno，2003；Mayer2009；魏筱珊,2011）

1. 多媒體認知原則(multimedia principle):

學生從文字及圖片學習的學習效果比單獨文字學習的學習效果好。

2. 空間接近原則(spatial contiguity principle)

教師使用多媒體教材時畫面呈現應讓相關聯的語詞或圖像鄰近，其呈現的效 果，比起間隔一段距離呈現的效果來得好。從多媒體學習認知理論的主動處理 (active learning)觀點來看，學習者不單單僅是將訊息儲存於記憶，會主動選擇相 關文字及圖片組織成一致性的語文及圖像模式來了解教學內容。

14

3. 時間接近原則(temporal contiguity principle)

學習者在聽到一句及看到相關聯動畫之間的間隔短，則學習者有機會可以建

學習者在聽到一句及看到相關聯動畫之間的間隔短，則學習者有機會可以建