多媒體圖文閱讀研究

早期閱讀行為單純指的是紙本上的閱讀，現在因為多媒體工具的盛行，越來 越多的研究者開始分析「利用多媒體工具進行閱讀」之相關議題上。不論傳統的 紙本閱讀或使用多媒體工具進行閱讀，文字與圖片仍然是傳遞知識的橋梁。

Mayer和Anderson( 1992)指出當學習者對於一些抽象觀念如科技（technical）或物 理（physical）訊息，適當運用多媒體工具來呈現學習的情境，有助於對現象等 概念的理解。根據Clark和Mayer（2003）提到，由於專業領域的概念對於學習者 是不容易吸收，因此使用多媒體呈現電流的概念、光的概念等是可以建構學生的 知識。但是，國內學者伊彬與林演慶(2006)指出，在過去媒體內容的回憶與辨識 成為對學習者評估重要指標(其中包含事後回溯、放聲思考或問卷)，不過常因受 試者隱瞞內心真正的想法而得到錯誤的結論。在這個狀況下，有些學者開始探討 人們在觀看圖文時的相關行為反應，例如，Yarbus(1967)發現受試者在觀看圖片 時並不是漫無目的隨意觀看，而是受到心智動機的驅使產生特定的任務。Loftus

16

和 Mackworth在(1978)認為，眼球運動是可以觀察與瞭解內在認知過程中，可以 反應人們感興趣或困惑的地方，人們也可藉由此機制取得實驗數據加以研究。這 似乎說明我們常經由閱讀行為擷取知識或處理訊息且都和眼球運動有關，因此文 字與圖片的閱讀歷程對於學習者的學習就變的非常重要。

Najjar (1996)針對多媒體工具的使用在學習上提出兩個重要觀點:第一點，媒 體應存在雙重編碼的資訊，整合語言與非語言性（如文字、語音、圖片、動畫等）

的多媒體學習方式，較有助於學習者的學習效果。第二點媒體間須有相關性，呈 現教材內容時若能同時使用兩種以上的相關性媒體，如文字輔以圖片加以說明，

則可使學習者能更加理解學習內容。就雙重編碼理論觀點而言，學習者需要同時 使用「語文系統」與「圖像系統」來有效處理資訊，如果能促進此三種鏈結之建 立，就能有效提昇學習的成效。Mayer 與 Anderson（1991）將大學生分為兩組，

兩組皆看以動畫呈現操作腳踏車打氣筒的動作，一組是文字先於圖片，另一組是 文字和圖片同時呈現，結果發現觀看文字和圖片同時呈現的那一組表現較優秀，

也有較好的解決問題的能力。兩位學者也提出，同時閱讀文字與圖示的學生在心 智模式上，會有整合文字中意義與圖示中意義的過程。另外，Mayer 和 Sims(1994) 發現以「圖文整合同時呈現」的教學媒體，學生學習效果較佳。這樣的結果也可 以解釋d’Ydewalle 與 Gielen (1992)研究小孩(5-6 年級)及成人觀看外國電影。首 先，Mayer 與 Sims 的研究將受試者分為三組:第一組給予聲音和文字標準原音呈 現，第二組僅於字幕上呈現本土語言，聲音是外國語言，第三組則是在字幕上呈 現外國語言，但聲音是本土語言。結果發現，第一組聲音和文字標準原音呈現效 果較好(圖文同步呈現效果較好)。

雖然如此， Carroll 等學者 (1992)從探討線條漫畫與說明文字為刺激物(Gary Larson 的卡通「Far Side」)的實驗結果發現，受試者的注視會短暫停留在漫畫上，

只有少數的證據顯示注視會在文字與圖形間游移，觀看者傾向於閱讀整個文字 後，才會回到圖形。若將卡通圖片與文字刺激物依順序呈現：先文字、後圖片，

17

以及先圖片、後文字作比較，則發現文字吸引較多的注視，有較長的閱讀時間。

而不管呈現的順序先後的狀況下，圖片的總偵測時間沒有變異，但如果圖片放在 文字後出現，會有較長的注視持續時間(引自伊彬、林演慶 2006)。

Rayner 等研究者（2001）記錄受試者在閱讀印製廣告時的眼動軌跡，有一 半的人被告知去注意汽車廣告，而有另一半的人被告知去注意皮膚保養的廣告，

結果發現，閱讀者都傾向花更多的時間在看文字比起圖片的部分。雖然，他們花 較多的時間觀看被指引的廣告圖片，不過注視持續時間與掃視長度在圖片部分比 文字部分來得長，在文字區域則有較多的注視點，受試者也不會在文字與圖畫間 頻繁往返，而是傾向於先閱讀標題然後內文最後才是圖片(引自伊彬、林演慶 2006)。Hughes(2003)等人利用眼動儀的研究發現可解釋此論點，在閱讀的時候受 試者看文字的時間明顯高於看圖片的時間，此原因說明人們常用文字來定位、建 構意義，而用圖片來加強文字意義的連結以及驗證。

不過 Biederman(1987)認為，圖像的優點在於能以較少的時間傳遞比文字更 多的訊息，不受限於語言的限制，但是 Weidenmann（1989）指出，良好的圖像 設計也不一定能夠輔助學習，這表示圖像的解讀帶有不確定性，所以在引導的效 率上也帶有不確定。根據 Mayer(1993)的研究，閱讀者常常容易對圖片所欲表達 的意義產生誤解，其原因有三，其一是圖片常常不包含或省略去說明的部份；再 者，圖片也常常缺少因果關係的呈現；最後，學生的先備知識不足，也容易造成 圖表的誤解。

此外 Nodine, Locher & Krupinski(1993)提到，由於每個人的記憶、經驗與學 習環境不同，故解讀訊息的結果會有所差異。專家閱讀過程是三維的，是有深度 的、抽象式的處理；生手是二維的視覺觀看模式，是淺面的、具像式的處理。

Nodine 等人發現藝術家和未受過訓練者觀看畫作時，專業畫家觀看圖畫時注視 持續時間較長，因為專業畫家重視主題物件與背景空間的結構關係；生手觀看時

18

注視時間較短，眼球運動主要集中在前景或包含最多語義資訊的圖像元素。

Hannus 與 Hyönä(1999)更指出在閱讀的過程高能力的學生對於圖文的整合較低 能力學生好。陳柏裕(2010)在研究「心臟的結構」「肺循環與體循環」結果發現 低先備知識學習者在圖文間的迴視次數高於高先備學習者，但是圖片與文字的連 結並沒有顯著在學習上。他認為簡化多媒體內容可幫助低先備知識學習者在圖文 之間的整合。

經由上述的文獻回顧，我們可以知道在圖文整合的呈現上對於學生閱讀確實 有有助於學生的閱讀理解表現，然而對於學生如何閱讀課室中多媒體圖文？且圖 文閱讀歷程又如何與先備知識交互做用？這些問題仍有待進一步的釐清。