圖文閱讀探究

漫畫為一種兼具圖像和文字的文本，通常是由具有時序排列的小故事所組 成（林志展，2000），這代表著漫畫是具有連貫性的文本，可以說閱讀漫畫也是 一種圖文的理解的過程。研究者認為漫畫中圖像與文字並存的的視覺呈現對於教 學可能產生正向的影響，因此援引以雙代碼理論與雙重處理理論中對於教學的成 效之研究，作為輔助本研究之論述。

一、圖文理解的理論

漫畫的閱讀，提供了學生文字與畫面的雙向刺激，幫助其理解與記憶，以下 分別探討雙代碼理論與雙重處理理論。

（一） 雙代碼理論（Dual Coding Theory）

Paivio（1971）提出的雙碼理論（dual-coding theory） 對於人類在進行閱讀

12

時的圖文理解模式進行分析闡述，以此解釋人類在閱讀時其內在認知系統的運作 歷程。他認為人類的圖像系統的運作機制比語文系統還要好，在其實驗中，分別 提供文字與文字配圖片的資料給受試者看，結果顯示受試者對於有圖片的資料反 應時間比僅有文字的資料反應時間明顯較短。Paivio 認為，圖像能較直接的對應 到具體的事物，所以圖片呈現比文字呈現更能夠活化視覺記憶，因此在實驗中受 試者對於以圖片呈現的資料反應時間較短。

在雙碼理論中，人類經由感官系統接收到外在刺激（語文刺激與非語文刺激）

後，會將訊息編碼為字元（logogens）與意象元（imagens），分別儲存於記憶模 式中的語文表徵系統（verbal）和非語文表徵系統（nonverbal）中。此兩系統會 彼此產生對應關係，並可透過彼此的刺激，來加強記憶的效果（圖 2-1）。

圖 2-1 雙碼理論

修改自 Cultures in Organization: Three Perspectives (p. 13), by J. Martin, 1992, NY: Oxford University.

13

學者 Chun 與 Plass 將雙碼理論應用在單字學習的研究上，在教學時，分別 以文字、圖片以及影片的型態來呈現單字註解的方式。研究結果發現，使用圖片 加上文字的學習方式來幫助學習者習得單字，其結果比影片加上文字或者使用文 字做註解的效果來得要好（Chun & Plass, 1996）。圖像對於個體而言是具體的，

它較能在記憶中完整的呈現，而語言符號本身就是一個抽象的系統，因此必須經 過較長的時間才能反應出來。本研究採用漫畫融入英語教學，即是一種圖片加上 文字的學習方式，期望藉由這樣的教學素材，更進一步的幫助學生在英語學習動 機與學習成就上有所提升。

（二）雙重處理理論（Dual-processing theory）

Paivio（1971）的雙碼理論（dual-coding theory）一提出，即引起了許多研 究者進一步以實驗研究對雙碼理論的假設做出驗證。其中 Mayer 與 Moreno 經由 實驗驗證人類透過多媒體學習時，的確對於語文資訊加上非語文的圖片或動畫有 較顯著的效果，能夠得到最好的學習成效。此外，語文和圖片同步呈現時學習成 效才會好；語文類訊息最好以旁白或語音的形式呈現，其結果比用文字呈現的方 式更好（黃絜瑜、魏裕昌、孫慶文，2009）。

當聽覺的語文資訊和視覺的圖片資訊同步呈現時，人類同時運用大腦中聽覺 與視覺處理區來同步處理資訊，使大腦對資訊的處理可以更深入，更容易進入長 期記憶中。且聽覺的語文資訊和視覺的圖片資訊同步呈現時，可以降低單一感官 處理區（如視覺）的工作負荷，讓學習者能以較輕鬆的大腦工作狀態下學習更多 的資訊（圖 2-2）。

14

圖 2-2 雙重處理理論架構

修改自“For Whom Is a Picture Worth a Thousand Words? Extensions of a Dual-Coding Theory of Multimedia Learning.” by Mayer,R.E. & Sim, V.K. , 1994, Journal of Educational Psychology, 86 (3) , 389-401.

雙重處理理論指出，將視覺的文字、圖像或動畫的資訊及聽覺的旁白解說資 訊，分別由視覺及聽覺的工作記憶區來接收時，將有助於建立資訊間的關連，若 僅依賴視覺工作記憶區來接受資訊，雖然部分的視覺文字可以轉換為聽覺的文字 而交由聽覺工作記憶區來處理，但在資訊接收的初期，將造成視覺工作記憶區的 過度負荷，進而影響學習成效（Mayer, 1998）。

然而 Mayer（1998）也發現，當視覺與聽覺資訊非同步呈現、學習材料資訊 量過多、學習材料本身難度過高及不當的多媒體設計，皆會導致學習者因認知負 荷的過度增加，導致符合雙重處理理論的輔助媒體設計無法有效提升學習者學習 成效（黃絜瑜、魏裕昌、孫慶文，2009）。

綜合上述，相較於單純的閱讀文字，在閱讀圖片與文字並列的文本時，讀者 的認知歷程必須從圖文刺激中以兩種編碼的雙頻道模式，將訊息加以選擇、組織

15

進而整合成有效的訊息，因此更能使讀者達到理解與記憶的目的。而根據 Mayer 的雙重處理理論，適當的旁白解說資訊，可提供聽覺的刺激，有助於建立資訊間 的關連。

本研究以漫畫這樣的教學素材融入英語教學，免了視聽媒體過度的輸入而 造成記憶區的過度負荷，學生依其個人速度閱讀，並輔以教師對於漫畫中人物對 話語言的詮釋與說明，適當的進行視覺、聽覺感官的多重學習，而達到理解與記 憶的目的，進而提升其學習成就，使教師教學更成功。

二、圖畫在教學上的功能

圖像與文字最大的不同點在於其認知方式，圖像能具體的將畫面呈現出來，

而文字則是抽象的，需要經過大腦在次加工運作，因此在教學上，常使用圖畫來 輔助，幫助學生理解與記憶。研究者援引各家說法，歸納圖畫在教學上所具備的 功能如下。

（一）加強記憶效果

對於圖畫的功能，英文俗諺「A picture is worth a thousand words.」為其做了 最扼要的說明。曾天山（1999）指出，受試者在學習配有插圖的課文時，比學習 純文字課文的受試者要多獲得 25%的信息。根據「圖片優勢效應」的實驗，給予 受試者兩千五百張圖片，每張只要看十秒，一年以後人們還能記住 63%，且情節 愈生動的圖片愈容易記憶。根據上述研究，視覺化的訊息的輸入，相較於純文字 的信息能夠更大量且更持久的保存在記憶區中。

而在林燕玉（2006）的研究中發現，在課文前加上有助於理解上下文關係 的插圖將會提高學習者的記憶程度。插圖提供了學習者閱讀文字時更多的訊息，

同時也使文字所表現的意思更為具體。插圖也可以使學習者藉由圖中傳達的訊息

16

以確定他們是否真的了解文本中所要傳達的知識內容。此外，在插圖中所出現於 文字之外的重複訊息，可以達到複習的效果，減少學習者遺忘的機會，也就是說 插圖有助於記憶（Levie & Lentz, 1982）。

對學習者而言，閱讀能力較差的學習者較無法接受文字所傳達的訊息，他 們可能要花更多的時間去處理文字所含的訊息，因此學習上往往要依賴插圖來學 習。早期的研究發現，插圖對於能力較差學生的有效性為 44%，而對於優秀學生 的有效性只有 23%，所以插圖具有某種補償性功能，特別是幫助學習能力較差的 學生，當圖文一致時，圖文內容具有增進記憶的作用（Levie, 1987 ; Levin & Mayer, 1993）。

（二）幫助意義連結

周文鵬（2007）指出，由於文字是一種經過了簡化，將意義賦予於線條結 構的抽象符號，因此文字的使用與理解，必須事先經過一段學習與記憶的過程，

才能完整的在人與人之間傳遞訊息，達成溝通的目的。從文字的性質來看，文字 系統的作用原理，無疑和人類與生俱來的認知慣性有所差距。這使得文字無法直 接回應人類視覺機制的知覺基礎，以至於後來發展雖然早已成熟，但相較之下，

對於萬事萬物的具體表現能力，卻終究難與圖像匹敵，無法達到所見即所得的知 覺效果。

人會同時運用儲存在腦海中的內在表徵知識與印刷在紙本、寫在黑板上、

視聽媒體等不同媒材上的外在表徵來處理問題（Larkin & Simon, 1987）。Kintsch 指出，在閱讀的過程中，人們根據自身擁有的經驗，在腦海中形成與文本相關連 的意義圖像，才是追求意義的過程（引自幸曼玲，2008）。因此，教師在教學時 若能適時的提供多元且有意義的圖像化資訊給學生，對於學生的學習與文本意義 的建構，將更有幫助。

17

根據上述各研究的發現與證實，圖像對於教師在教學現場的幫助著實居功 甚偉，而教師在教學現場的確也很難不尋求圖像的協助。它能夠提升學習者的信 息輸入量，幫助學習者在腦海中形成與學習內容相關聯的意義圖像，讓學習者在 閱讀時更對於文本有更具體的概念，甚至還能提高記憶，減少遺忘的機率。

圖像對於教學有著上述諸多的功能與貢獻，身為教師的人都應該思考並設 法提供能使學生有興趣的文本，並於教學內容添加能夠引起學生學習動機、吸引 學生注意，且能提升學生學習成效的相關圖像輔助。

在國小英語科的教學中，為了提升學生的學習動機與學習興趣，圖片的呈 現往往占據 80%以上的版面，此乃根據教育部在英語科的九年一貫課程綱要（教 育部，2008）的課程理念之說明。在教育部的英語課程綱要中提到，國民中小學 英語課程旨在奠定國人英語溝通能力的基礎、提升英語學習的動機與興趣、涵詠 國際觀、獲致新知，以期未來能增進其對於國際事務的處理能力，並增強國家競 爭力。因此在課程的設計上強調「營造自然、愉快的語言學習環境，以培養學生 的學習興趣和基本溝通能力。」同時也建議英語教師在英語課堂上宜採輕鬆活潑、

互動的教學模式，在教材內容及活動設計方面則強調應該要「生活化、實用化及 趣味化，體裁宜多樣化」。

同時，課綱也指出，在國小階段，英語科的教材選擇應為「簡易的閱讀材 料」，且在英語教學中，應透過「多元的教材」與活動練習，循序漸進，讓學生

同時，課綱也指出，在國小階段，英語科的教材選擇應為「簡易的閱讀材 料」，且在英語教學中，應透過「多元的教材」與活動練習，循序漸進，讓學生