分析真實教室環境中多媒體教材之閱讀歷程

全文

(1)國立臺灣師範大學科學教育研究所碩士班碩士論文. 指導教授：楊芳瑩博士. 分析真實教室環境中多媒體教材之閱讀歷程 An Eye Tracking study of Learning with the Multimedia Presentation in a Real Classroom. 研究生：簡婉如. 中華民國 102 年 5 月.

(2) 誌謝這兩年過得真是漫長有如進入沒有出口的迷宮，直到完成論文那刻外面世界變化有如滄海桑田般，但是研究正如精神時光屋，一夕間使我成長了不少，更重要的是啟發我對科學的興趣，實則獲益匪淺。誠摯的感謝指導教授楊芳瑩博士。在碩班其間從老師身上學習到不少的東西，更難忘老師悉心的教導並隨時指點我正確的研究方向使我獲益匪淺，其中包含學習謹慎的邏輯思考以及做人處事的態度，而老師對學問的嚴謹使我重新認識研究的價值。當然研究室裡共同的生活點滴更不可忘記，一起在短短的幾天內收集完繁瑣的眼動儀數據，彼此在學術上的切磋使我們都沉醉在眼動儀的世界，你們的陪伴讓這兩年的研究生活變得絢麗多彩不再孤噪乏味。非常感謝靜文姐幫忙、可愛的小草、易儒學長、堯琮學長、又亭學姐、怡君學姐不厭其煩的指出我研究中的缺失，且總能在我迷惘時為我解惑，感謝好同伴家綺在旁的精神陪伴，更恭喜我們順利走過這研究生活，都要往自己的夢想更進一步。最後，謹以此文獻給我最愛的爸爸、媽媽、哥哥。我的媽媽真的很感謝您！一路求學生涯沒有妳的支持和無條件付出，我的人生不會過的這麼美麗又充實。感謝邱邱在背後的默默支持更是我前進的動力，沒有邱邱的體諒、包容，相信這兩年的生活將是很不一樣的光景。.

(3) 摘要由於多媒體工具與網際網路蓬勃發展，使得知識的擷取管道變得更為便利，不論是教師的教學教材或評量工具的選擇都更加多元化，然而，多數的多媒體學習研究於實驗室中進行，對於學生如何閱讀課室中多媒體圖文，是否與實驗室結果一致？且圖文閱讀歷程又如何與先備知識交互作用？這些問題仍有待進一步的釐清。本研究主要是透過「眼球追蹤」方法，紀錄受試者在真實教室環境中，閱讀多媒體恐龍教學教材時的視覺注意歷程。研究方法主要是將恐龍投影片主要分為標題、文字、圖片三類區域，然後利用「眼球追蹤儀」紀錄學生於這些區域的視覺注意歷程，並進一步比較分析區域間的視覺注意力之分配情況，以及視覺注意力與學生背景之關係。眼動資料的分析指標包括：凝視整頁區域、標題區域、文字區域及圖片區域的「全凝視時間」(Total fixation duration)、「平均凝視時間」(Average fixation duration)、「區域內分配時間百分比」(Percent time spent in zone)等。本研究使用SPSS 19 軟體搭配依據理解測驗結果的分組，進行描述性統計、同質性檢定與單因子變異數分析（ANOVA）。結果發現，地科相關背景學生在文字部份所花費的凝視時間普遍比圖片部份高。同時也具有較多的圖文交互閱讀次數。相較於地科背景學生，非地科背景學生置於圖片的視覺注意力較高，也較易受圖片線索的影響而增加閱讀注意力。. 關鍵字：圖文閱讀、多媒體教學環境、眼球追蹤、閱讀歷程.

(4) Abstract Because of the blooming multimedia and internet, teaching and learning materials have become more and more diverse. For educators, how students learn with and acquire from the multimedia materials is always a focue of discussion. However, most of the studies about multimedia learning have progressed under the laboratory environments not in the real classrooms. Consequently, to promote multimedia learning, weather the results of students’ learning with multimedia materials in the laboratory settings would be the same as in the real classroom needs to be examined thoroughly. This study employed the eye-tracking method to examine university students’ eye movement patterns when they were asked to view a multimedia presentation on the topic of “dinosaur” in a real classroom. The presentation projected on a big screen for the study consisted of 12 different text-picture PowerPoint (PPT) slides. To analyze students’ eye movement patterns, each PPT slide was further divided into three regions of interest (ROIs) including title, text, and picture ROIs. The eye movement data in these ROIs were recorded by the FaceLAB eye tracker. The eye movement measures examined in the study include: total fixation duration, average fixation duration, and percent time spent in zone. Statistc analyses, such as descriptive statistics, and one way ANOVA with homogeneity test were conducted. Correlations between subjects’ attention distribution and their background knowledge were also compared. The analyses on the eye movement data revealed the allocations of students’ visual attention distirbutions, the time needed to process various information, and differences in the reading of different PPT slides. Keywords: Text and picture reading, Multimedia learning enveriment, Eye movements, Reading comprehension. I.

(5) 目錄目錄 ........................................................................................................................... I 圖目錄 .................................................................................................................... IV 表目錄 ......................................................................................................................V 第一章緒論 ....................................................................................................... 1 第一節第二節第三節第四節第五節. 研究背景與動機.................................................................................. 1 研究目的與待答問題 .......................................................................... 2 研究範圍與研究限制 .......................................................................... 3 研究的重要性 ..................................................................................... 3 名詞解釋 ............................................................................................. 4. 第二章文獻探討 ............................................................................................... 6 第一節多媒體特性與內容 .............................................................................. 6 一、多媒體的定義 ............................................................................ 6 二、多媒體圖文整合相關理論......................................................... 8 （一）雙重編碼理論(Dual-Coding Theory) ............................................. 8 （二）多媒體學習認知理論(Cognitive Theory of Multimedia Learning, CTML) .....................................................................................................11 （三）多媒體學習原則（Mayer & Moreno，2003；Mayer2009；魏筱珊,2011） ................................................................................................ 13 第二節多媒體圖文閱讀研究 ........................................................................ 15 第三節眼球運動的意義與研究應用 ............................................................ 18 一、眼球運動與視覺注意力 .......................................................... 18 二、眼球運動的基本測量指標 .............................................................. 19 三、眼球追蹤技術與多媒體學習研究 ................................................... 20 第三章研究方法 ............................................................................................. 23 第一節研究對象 ........................................................................................... 23 第二節研究工具 ........................................................................................... 25 一、硬體部份 ......................................................................................... 25 二、閱讀材料部份.................................................................................. 27 第三節資料收集 ........................................................................................... 28 一、眼動儀校正 .............................................................................. 28 二、恐龍教學 PowerPoint ............................................................... 29 第四節資料分析 ............................................................................................. 31 一、圖文閱讀歷程分析 .................................................................. 31 二、 One-way ANOVA 考驗 ........................................................... 33 第五節研究流程 ........................................................................................... 34 I.

(6) 一、第一階段：工具準備階段 .............................................................. 34 二、第二階段：正式施測階段 .............................................................. 34 三、第三階段：:結果分析階段 ............................................................. 35 第四章資料呈現與分析.................................................................................. 37 第一節多媒體頁面閱讀歷程分析 ................................................................ 37 一、【圖系列】、【標記系列】、【理論圖文系列】、【事實圖文系列】PPT 頁面之整體閱讀表現之表較 .................................................................. 37 二、【圖系列】、【標記系列】、【理論圖文系列】、【事實圖文系列】PPT 頁面上之各多媒體區域的閱讀表現之比較 ........................................... 40 三、多媒體頁面閱讀歷程整體分析小結: .............................................. 49 第二節不同背景學生的閱讀歷程分析比較 ................................................. 51 ㄧ、【圖系列】的整體閱讀表現之比較 ................................................. 51 二、【標記系列】的整體閱讀表現之比較 ............................................. 55 三、【事實圖文系列】的整體閱讀表現之比較 ..................................... 60 四、【理論圖文系列】的整體閱讀表現之比較 ..................................... 70 五、地科和非地科學生於整體閱讀表現之比較小結:........................... 79 第三節「老師主動」頁面與「學生主動」頁面的閱讀表現之比較 .......... 80 一、「老師主動」頁面與「學生主動」頁面的整體閱讀表現之比較 ... 80 二、地科與非地科「老師主動」頁面與「學生主動」頁面整體閱讀表現之比較 ..................................................................................................... 84 第四節圖文交互閱讀分析 ............................................................................ 89 一、【圖系列】、【理論圖文系列】、【事實圖文系列】、【標記系列】整體比較分析 ................................................................................................. 90 二、地科與非地科不同系列交互閱讀比較分析 ................................... 93 三、「全頁面交互閱讀」次數與「圖文交互閱讀」次數小結 .............. 99 第五章綜合討論 ..................................................................................................100 第一節研究結果及推論...............................................................................100 一、頁面整體比較之分析: ....................................................................100 二、地科背景與非地科背景整體比較之分析 ......................................105 三、「老師主動」頁面與「學生主動」頁面的整體閱讀比較之分析 ..109 四、「老師主動」頁面和「學生主動」頁面的眼動形式與背景變項之交叉分析 ....................................................................................................109 五、「全頁面交互閱讀」總和與「圖文交互閱讀」............................. 110 第二節研究問題回應與探討 ....................................................................... 113 一、探討不同背景學生間閱讀多媒體教材視覺歷程是否有差異。 .... 113 二、探討在真實環境中，不同多媒體圖文呈現方式，是否與學生的視覺歷程形式相關。 .................................................................................... 114 第三節在教育上的建議............................................................................... 115 II.

(7) 第四節研究限制與未來可能的研究方向 .................................................... 116 一、研究限制 ........................................................................................ 116 二、未來可能的研究方向 ..................................................................... 117 參考文獻 ............................................................................................................... 118. III.

(8) 圖目錄圖 2-1.1 多媒體的構成資料來源：(高新城，2008) .............................................. 7 圖 2-1.2 雙重編碼理論圖(資料來源：Paivio,1991) ................................................ 8 圖 2-1.3 多媒體學習認知理論(Mayer，2001) ........................................................12 圖 3-2.1 圖 3-3.1 圖 3-3.2 圖 3-4.1 圖 3-5.1. 硬體儀器架設示意圖(資料來源: GazeTracker 操作手冊) .......................25 儀器與材料呈現 .......................................................................................30 正式資料收集流程圖 ...............................................................................30 資料分析區域 ...........................................................................................32 研究流程圖...............................................................................................36. IV.

(9) 表目錄表 2-2.1 多媒體學習認知理論的假設(引自 Mayer, 2001, p44) ............................. 11 表 3-1.1 受試者相關背景介紹 .............................................................................. 24 表 3-2.1 研究工具介紹 .......................................................................................... 26 表 3-2.2 恐龍教學 PowerPoint 頁面設計 .............................................................. 28 表 3-4.1 本研究之眼動指標 .................................................................................. 33 表 4-1.1 【圖系列】、【標記系列】、【理論圖文系列】與【事實圖文系列】等頁面的在整體閱讀表現 ............................................................................... 38 表 4-1.2 【圖系列】、【標記系列】、【理論圖文系列】與【事實圖文系列】等頁面的在標題區域表現 ............................................................................... 41 表 4-1.3 【圖系列】、【標記系列】、【理論圖文系列】與【事實圖文系列】等頁面的在文字區域表現 ............................................................................... 44 表 4-1.4 【圖系列】、【標記系列】、【理論圖文系列】與【事實圖文系列】等頁面的在圖片區域中的閱讀表現 ............................................................... 47 表 4-2.1 地科和非地科學生於【圖系列】的整體閱讀表現之比較 ..................... 52 表 4-2.2 地科和非地科學生學生於【圖系列】的標題區域閱讀表現之比較 ..... 53 表 4-2.3 地科和非地科學生於【圖系列】的圖片區域閱讀表現之比較 ............. 55 表 4-2.4 地科和非地科學生於【標記系列】的整體域閱讀表現之比較 ............. 57 表 4-2.5 地科和非地科學生於【標記系列】的標題區域閱讀表現之比較 .......... 58 表 4-2.6 表 4-2.7 表 4-2.8 表 4-2.9. 地科和非地科學生於【標記系列】的文字區域閱讀表現之比較 ......... 59 地科和非地科學生於【圖系列】的圖片區域閱讀表現之比較 ............. 60 地科和非地科學生於【事實圖文】的閱讀整體表現之比較 ................. 61 地科和非地科學生於【事實圖文】的標題區域閱讀表現之比較 ......... 63. 表 4-2.10 地科和非地科學生於【事實圖文】的文字區域閱讀表現之比較 ....... 66 表 4-2.11 地科和非地科學生於【事實圖文系列】的圖片區域閱讀表現之比較 69 表 4-2.12 地科和非地科學生於【理論圖文系列】的整體閱讀表現之比較 ....... 72 表 4-2.13 地科和非地科學生於【理論圖文系列】的標題區域閱讀表現之比較 74 表 4-2.14 地科和非地科學生於【理論圖文系列】的文字區域閱讀表現之比較 76 表 4-2.15 地科和非地科學生於【理論圖文系列】的圖片區域閱讀表現之比較 78 表 4-3.1 「老師主動」頁面和「學生主動」頁面的整體閱讀表現之比較 ......... 80 表 4-3.2 「老師主動」頁面和「學生主動」頁面的整體閱讀表現之比較 ......... 81 表 4-3.3 地科和非地科學生於「老師主動」頁面和「學生主動」頁面整體閱讀表現之比較 ................................................................................................ 85 表 4-4.1 交互閱讀形式與次數(表格內數字代表平均數) ...................................... 90 表 4-4.2 【圖系列】、【理論圖文系列】、【事實圖文系列】、【標記系列】交互閱讀 V.

(10) 整體表現之比較 ..................................................................................... 91 表 4-4.3 地科和非地科學生於【圖系列】、【理論圖文系列】、【事實圖文系列】、交互閱讀整體表現之比較...................................................................... 94 表 5-1.1 【圖系列】【標記系列】【理論圖文系列】【事實圖文系列】的整體閱讀比較之分析比較 ....................................................................................101 表 5-1.2 交互閱讀(表格內數字代表平均數)........................................................ 110 表 5-1.3 地科與非地科不同系列之來回次數(表格內數字為平均數) ................. 111. VI.

(11) 第一章緒論本章節將簡略描述本研究的「研究背景與動機」、「研究目的與待答問題」、「研究範圍及限制」以及「研究的重要性」，以便於讀者大致理解本研究的主要框架與限制，並於「名詞解釋」一節中解釋說明與本文所使用的相關關鍵詞，並闡述此關鍵詞在本研究上的定義。. 第一節研究背景與動機現在，由於多媒體工具與網際網路蓬勃發展，使得知識的擷取管道變得更為便利，不論是教師的教學教材或評量工具的選擇都更加多元化，對於學生而言尋求解決問題的管道，不再僅僅限於書本上的文字傳遞，甚至也影響著傳統教室中教學情境的改變。Tabbers (2008)認為多媒體教學相較於傳統教學黑板白字、紙上靜態教材來說，較沒有空間和時間上的限制。Petersen(2003)認為，專家(教師) 和科技間的應用，可以提供真實的經驗在教室環境中。然而，教師所使用的多媒體工具雖然可以呈現視覺表徵雖然可以幫助學生學習，但學生卻常不了解教師所提出的表徵所代表的意涵（Treagust et al., 2003）。 Hyönä (2010)指出，由於多媒體在動態介面上容易增加複雜度，過去只能透過人的眼睛來觀察受測者眼球運動的方式。這樣不但有欠客觀且精確度低，也無法掌握眼動反應的歷程變化。但是，隨著眼球追蹤技術更加精確，精確度的問題也慢慢獲得解決。眼球軌跡追蹤技術是透過眼動儀來蒐集受試者眼睛凝視點的資料，經由這些資料的分析可以瞭解受試者閱讀歷程。目前眼動分析大多運用於認知心理學的研究，將眼球追蹤方法與科學教育結合是目前國內外少有之研究方式。本研究的目的就是透過眼球追蹤技術，分析真實教室環境中多媒體教材之閱讀歷程。. 1.

(12) 第二節研究目的與待答問題. 本研究目的在利用眼球追蹤技術，探討台灣北部地區大學生多媒體圖文閱讀歷程，於上述目的與研究動機，本研究所將探討的議題與待答問題如下：壹、探討不同背景學生間閱讀多媒體教材視覺歷程是否有差異。一. 不同背景學生在觀看多媒體教材中的圖片與文字時，視覺注意力 (visual attention)的分配情況為何？二. 不同背景學生在觀看多媒體教材中的圖片與文字時，視覺注意力 (visual attention)於圖、文間交互閱讀形式是否有差異? 貳、探討在真實環境中，不同多媒體圖文呈現方式，是否與學生的視覺歷程形式相關。一. 教師主導的多媒體教材之放映和學生主導的教材放映是否與視覺注意力(visual attention)的差異相關？二. 學生在閱讀多媒體教材中的不同形式照片（如：真實照片、數據圖或概念圖）時，其視覺注意力(visual attention)之分配是否有差異？根據上述的研究問題，本研究提出的研究假設如下：一、非地科學生閱讀多媒體教材時，其視覺注意力於圖片較高，於文字較低，而地科學生閱讀多媒體教材時，其視覺注意力於文字較高，於圖片較低。二、地科背景的學生在閱讀多媒體教材上圖文時，產生較非地科背景學生多的交叉閱讀次數。. 2.

(13) 三、教師主導的多媒體教材放映時，學生的視覺注意力較高。四、學生在閱讀多媒體教材中不同形式照片時，由於概念圖與數據圖較為複雜與抽象，學生的視覺注意力分配於概念圖與數據圖應較高，於真實照片則較低。. 第三節研究範圍與研究限制. 由於受到研究對象以及所設計之研究工具與研究方法的限制，本研究之研究成果在推論上將受到某些條件的影響。茲將本研究的限制範圍列舉如下： 1. 教室環境較難控制，對於學習成果得推論必須較為保守，另外研究只有 22 人，研究結果的可推論程度恐怕較弱，但眼動儀紀錄的是即時的閱讀行為，可提供對學習歷程另一角度的理解。 2. 本研究所使用澳洲 Seeing Machines 公司開發之 FaceLAB 的眼動儀為研究儀器，此系統為雙攝影機、具單紅外光源器並，搭配套裝資料呈現與分析軟體 GazeTracker9.0。由於各眼動儀的基本設定與執行條件有異，不同機器所所獲得的資料比對需較為謹慎。. 第四節研究的重要性. 以下對本研究的重要性將逐一說明： 1. 台灣現行課室教育使用多媒體為輔助教學工具已很普及，目前以 PowerPoint 居多。不過，研究文獻上鮮少針對多媒體圖文呈現對學習者閱讀歷程的影響做深入探究。本研究嘗試用眼動儀紀錄學生的多媒體教材閱讀歷程，這樣的研究事實上對教師教學非常重要，不但可以幫助教師了解學生的注意力移動狀況，可提供教學者如何引導學生觀看教學材料的相關的訊息。 3.

(14) 2. 多數多媒體的學習研究都是在實驗室完成，本研究嘗試將研究環境置於真實教室中，這樣的研究在目前相關研究中，實為少數。 3. 本研究對於受試者的多媒體教材閱讀歷程有眾多的探討與比較，能幫助在教育現場中的教師對課室中科學課程的教與學有所幫助。. 第五節名詞解釋. 茲將本研究所涉及之重要名詞與其操作定義，分別解釋說明如下，以協助讀者瞭解並利於此論文之閱讀與瞭解。 1. 多媒體(Multimedia) Mayer 認為文字和圖片構成多媒體的組合。「文字」指的是一種語言形式:如文字或是口語表達；「圖片」則是一種圖像的形式：如圖片、照片、動畫、影片等。例如 PPT 其功能包含可插入文字、圖片、影像、聲音等及為多媒體的一種。 2.視覺注意力(Visual attention) 當眼睛自主移動時，會使我們將有限的心理資源專注於某個時間點的訊息和認知歷程上。並且讓個體專注於欲處理的事件，進一步讓我們對該事件進行操弄。（Findlay & Gilchrist, 2003；Land 2007）。 3.眼球追蹤系統(Eye-tracking) 眼球追蹤系統(Eye-tracking)，即眼動儀，其原理是利用圖像處理技術，並運用高解析度的攝影機，透過捕捉人的眼角膜和瞳孔反射出來的紅外線來紀錄眼球運動。眼動儀所紀錄的眼動模式包含眼球軌跡、凝視點以及凝視時間等。許多文獻都指出眼球追蹤系統(Eye-tracking)為貼近自然狀態的心智量測技術，能完整紀錄眼動資料。. 4.

(15) 4. 凝視點(Fixation) Rayner(2009)認為眼球凝視的位置和停留時間，可以反映出大腦認知系統對資訊的選擇與處理的時間，凝視時間的長短可以反應外界訊息的複雜度與內在訊息處理深度。本研究採取的凝視點標準為150 毫秒。 5.圖文交互閱讀本研究所指的圖文交互閱讀，意即在閱讀的過程中有前一個凝視點落在文字上，下一個凝視點落在圖片上即稱為一次的圖文交互閱讀。反之，若再閱讀過程中有前一個凝視點落在圖片上，下一個凝視點落在文字上，也為一次的圖文交互閱讀。. 5.

(16) 第二章文獻探討本研究所探討的問題主要為閱讀多媒體教材視覺歷程與圖文之間關係，並且以眼動儀紀錄視覺注意力的資訊來做研究，因此在文獻回顧分為三大部分，一是『多媒體特性與內容』、二是『多媒體圖文閱讀研究』，三是『眼球運動的意義與研究應用』。. 第一節多媒體特性與內容一、. 多媒體的定義 Mayer(2001；2002)將多媒體定義為:文字(words)與圖像 (pictures)的組合型. 式。首先 Mayer 認為「文字」指的是教學教材以語言文字的型態(verbal form)呈現，包含著使用口語表達的文字(spoken words)與書寫的視覺文字(printed words)；並提到「圖像」指的是教學教材以圖的型式(pictorial form)呈現，包括靜態圖中 (插圖、座標圖、圖解、照片、地圖)以及動態圖中(動畫、影片)兩種。Clark 和 Lyons(2004)發現在教學上教師們逐漸將數位軟體所能呈現的功能例如靜態（Static） (如插畫、照片、電腦繪圖)等，或動態圖像（Dynamic Art）例如動畫（animation）、視訊（video）、虛擬實境（virtual reality）納入課堂的教學內，因此對於多媒體的在教學上的定位又更加明確。國內學者陳志寶(2001)指出，多媒體一詞是從（Media）演變而來，多媒體是由多種（Multi）及媒體（Media）兩個字組合而成，之後進而發展出（Multimedia）等專屬於多媒體的單字。而高新城(2008)更進一步說明多媒體定義，從以下(圖 2-1.1 多媒體構成) 可知，多媒體（Multimedia）乃指一種透過文字（Text）、圖形（Graphics）、聲音（Audio）、動畫（Animation）和視訊（Video）的組合來呈現的視聽媒介，並藉由電腦或其他電子化、數位化的處理方式來傳送信息。. 6.

(17) 圖 2-1.1 多媒體的構成資料來源：(高新城，2008) 隨著當數位化學習環境逐漸普及化後，多媒體工具也漸漸大量的應用在教育上。 Mayer (2001)指出，當多媒體的訊息為單一形式，例如:圖像與文字的組合，由於視覺感官必須同時接收兩種訊息因此容易產生認知負荷。 Chandler 和 Sweller（1991）也認為人類具有多種基本感官且可同時接收多種不同訊息，但若同時間內所接收過多相同類型的訊息，將會反向造成學習者認知上的負荷。但是 Wetzel, Radtke, 和 Stem(1993)的研究指出，傳統的教材內容(文字和圖像)若以多媒體形式來進行教學，對於學習者更有利於學習。而 Sherman 和 Keith(2000)認為，多媒體可以使抽象概念具體化更能吸引學習者的注意力和激起他們的學習動機。綜合以上學者的定義「多媒體」即指聲音、動畫、圖片被組合在一起後進而產生一個人們使用後能與之互動的學習工具(吳瑞源、吳慧敏，2007；陳秀如 2008；Clark& Lyons，2004；Mayer，2001；2002)。綜合以上的關於多媒體的論點，可以知道多媒體工具在使用上的確可以幫助學習者建構知識，但是也容易使學習者產生學習上的負荷。洪玉華(2010)提到，使用多媒體教材來教學其目的並不在取代傳統教學，而是要藉此提供學生更多的. 7.

(18) 學習資源，以促進學習成效。而國際科技教育學會(International Technology Education Association，ITEA)對教育上使用多媒體工具更建議為：「多媒體科技或視聽器具等工具，是用來促進教與學的歷程。」科技不斷推陳出新的目的，始終都是為了能促進學習。根據Mayer(2010)指出，目前多媒體在文獻上，大多數主要探討包含(多媒體的教材組合、多媒體版面配置、使用多媒體的學習成效等)，對於多媒體內容中呈現的文字與圖像與學習之間的關係其探討較少，因此，本研究為了瞭解多媒體在文字與圖像的應用，將從多媒體相關理論先行探討，在輔以相關實證研究進行論點支持。二、. 多媒體圖文整合相關理論. （一）雙重編碼理論(Dual-Coding Theory) 認知心理學家Paivio（1986; 1991）指出，當人們在進行相關閱讀活動時，透過兩其實是有兩個認知系統進行圖像與文字的轉化、編碼，與處理，這就是著名的雙重編碼（dual coding theory）中所提出對訊息接收和處理的重要核心概念。經由以圖2-1.2說明，可更清楚知道人類兩大系統的功能和路徑。. 圖 2-1.2 雙重編碼理論圖(資料來源：Paivio,1991) 8.

(19) 根據Paivio（1991）的論點，人類的心智結構與訊息處理過程中包含了兩個符號系統（symbolic memory），一是語文系統（verbal system）主要負責與語文有關的訊息。當接受文字與旁白的刺激後，以個別的、循序的、語法的方式來處理和組織訊息，形成語文的心理表徵，並以語文元（logogens）來儲存此類訊息，並儲在文字記憶區中，也就是語文編碼；另一系統是非語文系統（nonverbal system）專門處理視覺影像訊息(例如圖片與動畫)此外也處理著其它訊息(例如視覺、嗅覺、觸覺也就是外觀、聲音、行動與內在感覺等與情緒相關)。此系統主要以整體的、並行的、整合的方式來處理和組織訊息形成視覺的心理表徵，並以圖像元（imagens）為基本單位儲存在圖像記憶區也就是視覺編碼 (王司沁， 2008) 。因此，於訊息處理過程中，個體除了經由語言性刺激（文字、語音），還可以經由非語言性刺激（圖像、動畫）來進行多方面連結。由於此兩個系統可以交錯儲存意義，因此當訊息處理完畢後，即使其中一個系統的編碼有所遺漏，另一個系統仍然可以將訊息的意義記住並幫助記憶的儲存。 Paivio（1991）將學習者對語言性與非語言性訊息的聯繫方式分為三種層次結構的處理運作模式，分別為：（1）表徵性（representation）運作處理模式：此模式指外界訊息的刺激能夠透過感官系統，而引起直接表徵或啟動相對應的表徵。也就是說，當語文（例如文字、旁白）刺激進入感官系統後，會與語文系統產生表徵性連結；而非語文（例如圖像、動畫）刺激進入感官系統後，則會與非語文系統產生表徵性連結。也就是藉由聽覺和視覺的組合去瞭解心理的表徵，舉例來說例如，學生被要求記一個句子「小狗在戶外玩球」。如果能將句意轉成心智圖像（mental picture），一幅小狗在戶外玩球圖像被想像，便會將這心智圖像與言語的代碼（the verbal code）做連結（邱惠芬 2003；Gary, 2004）。. 9.

(20) （2）關聯性（association）運作處理模式： Robins 和 Mayer (1993)指出，關聯性聯繫（associative connections）指的是單獨的語言記憶系統或非語言系統內（within system）記憶單元的聯繫，這表示個別的語言系統或非語言系統內的元素具有關聯性聯繫，也就是說，特定的語意會引發某些語意的聯想；而特定的意象會引發某些意象的聯想（林麗娟，1996）。舉例來說在語言性的記憶系統中，「蓮霧」這個詞的語意可以引發「水果」、「黑珍珠」、「屏東特產」等等語意的聯想，在非語言性系統中，亦可以引發許多聯想的意象，例如紅色、樹等等意象。而根據此原則，為了要幫助學習者連貫相關知識，許多教材的設計都會運用文字性或圖示性的類比與比喻以建立關聯性聯繫（Reiber,1994；邱惠芬 2003）。（3）參照性（referencial）運作處理模式：此模式是指語言性統和非語言系統間單位的聯繫，他可以協助學習者創造出意象來對應文字。例如，學習者的記憶中如果有「籃球」這個名詞，以及跟球類相關的意象，它們之間便會產生雙向的參照連結。所以我們應安排適當的訊息呈現方式，以利在學習者訊息編碼的過程中進行語言系統和非語言系統的連結。而電腦多媒體的學習環境，便可以同時提供學習者多種訊息溝通的管道（包含聲音、文字、圖像、動畫）(邱惠芬 2003；柯重吉 2005) 。基於以上三種訊息模式，Paivio 做了一系列關於圖片與文字的研究，其實驗指出人類的圖像系統比語文系統有較好的處理能力，其解釋原因是因為當我們看到一個圖片時，我們會自動的將圖片轉換成語文的方式來處理；但當我們看到一個文字時，卻不會把它轉換成影像的方式。不過 Paivio (1991) 認為當一個觀念的呈現方式是透過這兩種系統同時呈現，會比只利用其中一種呈現方式來的好，也就是說當學習者回想之前的內容時，對文字加圖片的回想能力優於只有文字的回想(將在第二節深入探討)。此外 Paivio (1991) 認為，如果編碼間有強而有力的 10.

(21) 參照性鏈結，能幫助學習者建立文字與圖像的認知相關性，進而加深記憶。換言之語文與非語文系統的內容間必須使讀者易於聯想，兩者之間才可產生補充的效果，就如同數學教材的文字敘述輔以圖形解說，或是圖文對照的生字表，而使讀者易於理解。（二）多媒體學習認知理論(Cognitive Theory of Multimedia Learning, CTML) Paivio的雙重編碼理論(Dual-Coding Theory)已經很明白指出，我們在面對圖文訊息時的編碼與學習的方式不同。所以文字若能與圖像配合，將更能幫助學習者記憶事實或瞭解概念。Mayer (2001，2003)將多媒體學習定義為利用文字與圖片的學習，而多媒體在學習的過程可視為教學訊息的獲得，或是知識建構的過程，這其中多媒體可視為是傳遞教學訊息的工具，也是幫助學生理解的手段。 Mayer並根據多位學者的理論與觀點，提出了多媒體學習的認知理論(Cognitive Theory of Multimedia Learning)其中包含雙軌(dual channels)、有限容量(limited capacity)及主動處理(active processing)等三個假設(請參閱表2-2.1) 表 2-2.1 多媒體學習認知理論的假設(引自 Mayer, 2001, p44) 多媒體認知理論. 雙通道假設. 定義. 相關理論. 人類對處理『視覺訊息』和聽覺源自於雙碼理論。訊息擁有不同的通道。. (Paivio,1986;Baddeley, 1992). 容量限制. 人類每一個管道一次所能處理源自於認知負荷理論。的訊息量有限。 (Baddeley,1992;Chandle r&Sweller, 1991). 主動處理. 人類藉由注意相關訊息、組織被源自於訊息處理理論。選擇的訊息成一致的心理表徵，並且將其和其它知識整合來（Atkinson&Shiffrin,19 進行主動學習。. 68） 11.

(22) 1.雙通道假設( dual channel)： Mayer(2001)的雙通道假設是指人類對於以視覺呈現的素材及以聽覺呈現的素材有不同的訊息處理管道。這重要觀點說明了人類心智的運作模式是圖形與聲音雙通道並行。雙通道分為兩部分:一個是視覺(圖像)的通道，另一個是聽覺(語言)的通道。首先，當人們接受訊息時，其訊息呈現方式是以插圖、動畫、影片或螢幕文字等傳輸至我們的眼睛時，人類就會開始以視覺管道處理這類訊息；當訊息是以旁白(narration)或非語文的聲音(如狗叫聲)等外在刺激將訊息傳至耳朵時，人類則會開始以聽覺管道處理這類訊息（Paivio,1986；Baddeley,1992；吳瑞源 2006）。如下圖 2-1.2 所示. 圖 2-1.3 多媒體學習認知理論(Mayer，2001) 圖 2-1.3 呈現了人類資訊處理的系統機制。方塊內表示記憶的儲存的過程，包括感官記憶、工作記憶、和長期記憶三種。圖像到眼睛的箭頭表示圖像被登錄於眼睛；文字到眼睛的箭頭表示書寫文字被登錄於眼睛；文字到耳朵的箭頭表示口語文字被登錄於耳朵(Mayer，2001；吳瑞源，2008)。 Mayer 提到多媒體的資訊呈現方式是以文字和圖像為主，藉由耳朵和眼睛接收訊息(此過程在感官記憶中進行)，學習主要發生在工作記憶，在這個階段中學習者是主動控制的。而學習的認知歷程包含了選擇訊息、組織訊息、整合訊息等過程，這些過程會受到學習者之個別差異的影響，而產生不同樣貌的認知模式。在學習的過程中，個體主動將知識從長期記憶中提取出來，並與工作記憶的知識. 12.

(23) 整合。然而，在知識提取的過程中亦會受到學習者先備知識的差異所影響。 2.容量限制(Limited Capacity Assumption)：人類認知系統的每一個頻道都有容量限制來保留和運作知識。當大量的圖片 (或其他的視覺物件)或大量的語言(或其他聲音)在同一時間呈現時，視覺─圖畫的通道將會超載(Mayer，2001；魏筱珊；2011)。 3. 主動處理(Active Processing Assumption)：當學習者主動參與時，有意義的學習就會發生。認知系統會主動選擇相關的文字與圖片，組織成有條理的圖像和語言模式，且和以前的知識互相整合。也就是說，主動學習的進行可能在同一時間發生在工作記憶區中，並且整合語言與圖像象徵。Mayer 認為良好的多媒體學習環境，可以使學生減少通道的訊息負荷量，容易將所學的知識整合進入學生個人的組織架構之中根據多媒體認知學習理論，Mayer 也陸續提出了當教師欲進行多媒體教學時，教學設計上應注意的九個多媒體學習原則，以下將逐之探討:. （三）多媒體學習原則（Mayer & Moreno，2003；Mayer2009；魏筱珊,2011） 1. 多媒體認知原則(multimedia principle): 學生從文字及圖片學習的學習效果比單獨文字學習的學習效果好。 2. 空間接近原則(spatial contiguity principle) 教師使用多媒體教材時畫面呈現應讓相關聯的語詞或圖像鄰近，其呈現的效果，比起間隔一段距離呈現的效果來得好。從多媒體學習認知理論的主動處理 (active learning)觀點來看，學習者不單單僅是將訊息儲存於記憶，會主動選擇相關文字及圖片組織成一致性的語文及圖像模式來了解教學內容。. 13.

(24) 3. 時間接近原則(temporal contiguity principle) 學習者在聽到一句及看到相關聯動畫之間的間隔短，則學習者有機會可以建立文字及圖片之間的連結，因為先出現的訊息會因在很短的時間內消失，導致後來進入的相對應訊息無法和其有效整合，相關的文字與圖形最好能同時呈現，效果比較好。 4. 連貫原則(coherence principle) （亦作一致性原則）資料呈現要相關，與學習主題無關的文字、圖形與聲音等內容最好不要放入學習內容中。說明要明確肯定，用詞前後一致，圖案與文字要一致。 5. 形式原則(modality principle) （亦作通道原則）在學習上學生可從動畫搭配口語表達文字中比動畫搭配視覺文字較佳的學習成果，亦即學生在多媒體信息中的文字以口語表達文字呈現時比以視覺文字有較好的學習結果。 6. 多餘效應（redundancy effect ）：當圖片與文字分別都能解釋內容時，若二者同時放置一起，將強迫讀者去建立二者間的關聯，這多此一舉的現象非但不能加強學習效果，反而會造成認知負荷。 7. 個別差異原則(individual difference principle) 每個學習者的特性都不一樣，有的教學設計適用於某些人，對於其他人效果反而不佳。生手在多媒體學習環境中的學習效果，比起專家來得好，因為專家在缺乏足夠的教學指引下，可以使用先備知識來補足教師所沒有提供的教學指引。 8. 分割原則（Segmenting principle）當多媒體教材被切割成許多小片段時，學習者較能有充裕的時間，從每一個 14.

(25) 小片段整合文字與圖像，比起多媒體教材連續性的播放的學習效果來得好。 9. 訊號原則 (signaling principle) 若學習者在閱讀多媒體相關圖文時，若含有可強調教材內容組織的予重點提示(cues)，則學習效果較好，提示引導方式包含：線條、箭號、對比、標記等來引導注意力的方向。De Koning（2010）利用眼球追蹤法證實了信號提示學習的效果。多媒體學習研究發展至今，許多學者對於多媒體組合方式，字體大小、顏色亮度、版面設計都有相關探討(e.g. Balluerka，1995；Schuster及Carlsen，2009；洪玉華2010)。但對於多媒體的圖與文字的閱讀理解過程之相關研究相對較少。針對本研究的議題，下一節將介紹目前多媒體圖文閱讀相關研究之趨勢。. 第二節多媒體圖文閱讀研究早期閱讀行為單純指的是紙本上的閱讀，現在因為多媒體工具的盛行，越來越多的研究者開始分析「利用多媒體工具進行閱讀」之相關議題上。不論傳統的紙本閱讀或使用多媒體工具進行閱讀，文字與圖片仍然是傳遞知識的橋梁。 Mayer和Anderson( 1992)指出當學習者對於一些抽象觀念如科技（technical）或物理（physical）訊息，適當運用多媒體工具來呈現學習的情境，有助於對現象等概念的理解。根據Clark和Mayer（2003）提到，由於專業領域的概念對於學習者是不容易吸收，因此使用多媒體呈現電流的概念、光的概念等是可以建構學生的知識。但是，國內學者伊彬與林演慶(2006)指出，在過去媒體內容的回憶與辨識成為對學習者評估重要指標(其中包含事後回溯、放聲思考或問卷)，不過常因受試者隱瞞內心真正的想法而得到錯誤的結論。在這個狀況下，有些學者開始探討人們在觀看圖文時的相關行為反應，例如，Yarbus(1967)發現受試者在觀看圖片時並不是漫無目的隨意觀看，而是受到心智動機的驅使產生特定的任務。Loftus. 15.

(26) 和 Mackworth在(1978)認為，眼球運動是可以觀察與瞭解內在認知過程中，可以反應人們感興趣或困惑的地方，人們也可藉由此機制取得實驗數據加以研究。這似乎說明我們常經由閱讀行為擷取知識或處理訊息且都和眼球運動有關，因此文字與圖片的閱讀歷程對於學習者的學習就變的非常重要。 Najjar (1996)針對多媒體工具的使用在學習上提出兩個重要觀點:第一點，媒體應存在雙重編碼的資訊，整合語言與非語言性（如文字、語音、圖片、動畫等）的多媒體學習方式，較有助於學習者的學習效果。第二點媒體間須有相關性，呈現教材內容時若能同時使用兩種以上的相關性媒體，如文字輔以圖片加以說明，則可使學習者能更加理解學習內容。就雙重編碼理論觀點而言，學習者需要同時使用「語文系統」與「圖像系統」來有效處理資訊，如果能促進此三種鏈結之建立，就能有效提昇學習的成效。Mayer 與 Anderson（1991）將大學生分為兩組，兩組皆看以動畫呈現操作腳踏車打氣筒的動作，一組是文字先於圖片，另一組是文字和圖片同時呈現，結果發現觀看文字和圖片同時呈現的那一組表現較優秀，也有較好的解決問題的能力。兩位學者也提出，同時閱讀文字與圖示的學生在心智模式上，會有整合文字中意義與圖示中意義的過程。另外，Mayer 和 Sims(1994) 發現以「圖文整合同時呈現」的教學媒體，學生學習效果較佳。這樣的結果也可以解釋 d’Ydewalle 與 Gielen (1992)研究小孩(5-6 年級)及成人觀看外國電影。首先，Mayer 與 Sims 的研究將受試者分為三組:第一組給予聲音和文字標準原音呈現，第二組僅於字幕上呈現本土語言，聲音是外國語言，第三組則是在字幕上呈現外國語言，但聲音是本土語言。結果發現，第一組聲音和文字標準原音呈現效果較好(圖文同步呈現效果較好)。雖然如此， Carroll 等學者 (1992)從探討線條漫畫與說明文字為刺激物(Gary Larson 的卡通「Far Side」)的實驗結果發現，受試者的注視會短暫停留在漫畫上，只有少數的證據顯示注視會在文字與圖形間游移，觀看者傾向於閱讀整個文字後，才會回到圖形。若將卡通圖片與文字刺激物依順序呈現：先文字、後圖片， 16.

(27) 以及先圖片、後文字作比較，則發現文字吸引較多的注視，有較長的閱讀時間。而不管呈現的順序先後的狀況下，圖片的總偵測時間沒有變異，但如果圖片放在文字後出現，會有較長的注視持續時間(引自伊彬、林演慶 2006)。 Rayner 等研究者（2001）記錄受試者在閱讀印製廣告時的眼動軌跡，有一半的人被告知去注意汽車廣告，而有另一半的人被告知去注意皮膚保養的廣告，結果發現，閱讀者都傾向花更多的時間在看文字比起圖片的部分。雖然，他們花較多的時間觀看被指引的廣告圖片，不過注視持續時間與掃視長度在圖片部分比文字部分來得長，在文字區域則有較多的注視點，受試者也不會在文字與圖畫間頻繁往返，而是傾向於先閱讀標題然後內文最後才是圖片(引自伊彬、林演慶 2006)。Hughes(2003)等人利用眼動儀的研究發現可解釋此論點，在閱讀的時候受試者看文字的時間明顯高於看圖片的時間，此原因說明人們常用文字來定位、建構意義，而用圖片來加強文字意義的連結以及驗證。不過 Biederman(1987)認為，圖像的優點在於能以較少的時間傳遞比文字更多的訊息，不受限於語言的限制，但是 Weidenmann（1989）指出，良好的圖像設計也不一定能夠輔助學習，這表示圖像的解讀帶有不確定性，所以在引導的效率上也帶有不確定。根據 Mayer(1993)的研究，閱讀者常常容易對圖片所欲表達的意義產生誤解，其原因有三，其一是圖片常常不包含或省略去說明的部份；再者，圖片也常常缺少因果關係的呈現；最後，學生的先備知識不足，也容易造成圖表的誤解。此外 Nodine, Locher & Krupinski(1993)提到，由於每個人的記憶、經驗與學習環境不同，故解讀訊息的結果會有所差異。專家閱讀過程是三維的，是有深度的、抽象式的處理；生手是二維的視覺觀看模式，是淺面的、具像式的處理。 Nodine 等人發現藝術家和未受過訓練者觀看畫作時，專業畫家觀看圖畫時注視持續時間較長，因為專業畫家重視主題物件與背景空間的結構關係；生手觀看時. 17.

(28) 注視時間較短，眼球運動主要集中在前景或包含最多語義資訊的圖像元素。 Hannus 與 Hyönä(1999)更指出在閱讀的過程高能力的學生對於圖文的整合較低能力學生好。陳柏裕(2010)在研究「心臟的結構」「肺循環與體循環」結果發現低先備知識學習者在圖文間的迴視次數高於高先備學習者，但是圖片與文字的連結並沒有顯著在學習上。他認為簡化多媒體內容可幫助低先備知識學習者在圖文之間的整合。經由上述的文獻回顧，我們可以知道在圖文整合的呈現上對於學生閱讀確實有有助於學生的閱讀理解表現，然而對於學生如何閱讀課室中多媒體圖文？且圖文閱讀歷程又如何與先備知識交互做用？這些問題仍有待進一步的釐清。. 第三節眼球運動的意義與研究應用一、. 眼球運動與視覺注意力 Rizzolatti 等人(1987)認為視覺注意力是跟隨跳躍眼動的計畫執行所產生. 的，而視覺注意力現象即為眼球運動系統執行跳躍眼動的結果。 Hoffman 和 Subramaniam (1995)提到，視覺注意力和眼球運動系統在功能上的關係是緊密相關的而非獨立運作的兩個系統，因此當我們要執行眼球運動時，無法將視覺注意力和眼球運動分開討論。 Land、Mennie 以及Rusted(1999)認為在我們環境中，例如泡茶或做三明治等日常工作，可以來解釋視覺注意力如何去引導我們操作動作，進而去定位物體、接觸物體，然後完成生活中例行工作。之後他們觀察受測者執行「泡茶」的工作時，是如何進行的，結果發現，當我們要打開水槽旁水龍頭，在茶壺中加入水時，視覺注意力幾乎只會落在水龍頭的開關上，而不會落在水槽邊、水槽下的櫃子上等其它地方，甚至不太可能落在茶壺上或水龍頭的出水口上，表示視覺注意力只專注於被處理的物件上。 18.

(29) Krauzlis（2005）指出，眼睛會將先前所看的東西整合，之後經由大腦一連串的內在認知系統處理包含 ( 注意力與知覺 ) 等會形成一種選擇（ deciding making）或者是驅動力。靠著認知系統內在處理機制，大腦控制著眼睛進行自主式的眼球運動，其為掃視（saccade）與追看（pursuit）兩種運動模式，來使眼球運動可看到下一個目標物。 Land(2007)指出，當視覺注意力專注於某一物件上時，也同時監控我們對此物件的操弄動作。因此，當我們的視覺注意力集中於某一物件時，通常可以象徵著我們正在處理著這一個物件上的資訊。綜合上述文獻，視覺注意力與眼球運動的方向是如影隨形，當視覺注意力被某個顯眼事物吸引至一個重要的位置時，緊接著眼球運動就跟著注意力而來，眼球運動和注意力有著密切相關性。認知心理學者們提出視覺注意力的運作歷程是動態且主動的，也就是說，我們並非被動地去看環境中的刺激，而是主動地去搜尋、去注意、去選擇我們需要的相關訊息（Hayhoe, 2000; Hayhoe & Ballard, 2005; Land & Hayhoe, 2001; Land, Mennie, & Rusted, 1999）。就好比當我們口渴時，會先尋找放在桌上已裝水的杯子，然後伸出手去拿起來喝。這說明視覺注意力與眼球運動和我們日常生活所執行的各種活動息息相關。二、眼球運動的基本測量指標 Rayner(2009)認為從眼球凝視的位置和停留時間，可以反映出大腦認知系統對資訊的選擇與處理的時間，提到凝視時間的長短可以反應外界訊息的複雜度與內在訊息處理深度。 Reichle 等人(1998)指出，閱讀時，大部分凝視點的凝視時間會在約200 到 350毫秒。由於中文與英文的文字結構不同，閱讀文字在中文與英文間也存在著差異，看文字的方式亦不相同。通常閱讀文字具有方向性，「平均凝視時間」約為200-250毫秒；瀏覽圖片則無方向性，「平均凝視時間」約為250-300毫秒 (Rayner 19.

(30) 1995；1998；2009) 。國內學者汪勁安(2005)指出，凝視時間反映著個體心智處理歷程的複雜度與深度，因此當凝視位置的改變即反映注意力的改變。而蔡介立（2000）發現中文的文字閱讀「平均凝視時間」約為220 到230 毫秒。 Rayner (1995，1998；2009)指出，「平均凝視時間」可反應出閱讀內容對閱讀者的難易程度，越困難的閱讀內容「平均凝視時間」就愈長，但是Rayner也認為較長的凝視時間可能表示了閱讀過程中有較大量的閱讀處理過程。 Rayner(1998；2009)也特別提到關於眼球追蹤技術在眼球上的指標，一般在利眼動儀資料審視閱讀歷程時主要著重於凝視點的資料。建議眼動研究者在利用眼動追蹤技術研究閱讀時，「平均凝視時間」(Average fixation duration)與「全凝視時間」(Total fixation duration ) 等眼動參數都應該被探討。此外，Reichle 等人( 1998)指出，學習者在觀看物體時，眼睛正在進行不同的運動為了讓物體能準確的落在視野中樞並進行高解析的運作。眼球運動基本上都是由「凝視點」(Fixation)和「掃視」(Saccade)反覆交替所組成，如果眼動的位置在一段時間內都聚集在某個區域上，該眼動行為就是凝視(Fixation)；掃視（Saccade）一般認為是眼球視線由前一個凝視點移動到下一個凝視點的動態過程，在掃視的過程中幾乎沒有任何資訊會被擷取。若將一系列凝視落點依時序列出，即形成所謂的視線軌跡(Scan path)，分析這類視覺軌跡的資料可以讓我們進一步了解訊息處理者的訊息處理順序與重點(Rayner& Duffy, 1986) 。三、眼球追蹤技術與多媒體學習研究即時追蹤紀錄並分析以上介紹之眼球運動模式與軌跡的研究方法稱為：眼球追蹤法。此法目前被廣泛使用在神經科學、心理學、工業工程、人因工程、廣告、電腦科學等領域（Duchowski, 2002）。國內學者唐大崙與張文瑜(2007)認為用眼球追蹤技術來觀測注意力不同於以往的觀測指標是因為眼動具有－「歷程比結果 20.

(31) 更為重要的意涵」。並且透過眼球運動可以了解讀者注意力轉移的形式。近幾年來，教育研究常以多媒體當作教學工具，然而，眼球追蹤技術應用在教育上的探討並不普遍。Hyönä (2010)指出，由於多媒體在動態介面上容易增加複雜度，過去只能透過人眼觀察來瞭解眼球運動的方式，不但有欠客觀且精確度低，也無法掌握眼動。不過，隨著眼球追蹤技術更加精確、精密這問題也迎刃而解。針對多媒體學習研究，眼球追蹤技術能蒐集受試者在觀看圖文和閱讀文字的凝視點資料，透過這些資料的紀錄，研究者可以將眾多凝視點透過時間的串連形成凝視軌跡，並拼湊出受試者相關閱讀歷(Rayner,1995；Findlay, & Gilchrist,1998)。以下將說明近年來眼動儀在多媒體上的相關研究: Slykhuis等人(2005)根據Pozzer and Roth等人在2003年所分類的四種圖片，裝飾性圖片、說明性圖片、解釋性圖片、描述性圖片，並使用PowerPoint呈現。其實驗分為兩組:一組圖片會有旁白說明文字內容，另一組圖片沒有旁白說明，僅只有文字與圖片一起呈現在PowerPoint上。並使用眼動儀去記錄學生觀看圖片時注意力之分配，此結果發現有旁白時會影響讀者觀看圖或文字的分布，進而影響專注力而改變學生圖文凝視分布，此外結果也發現符合Pozzer and Roth所提出，學生很少將專注力放在圖片上，其實驗最後結果受試者大都分配在文字上。國內研究者蔡金成(2007)研究對象為 36 位國小的教師，分為科學相關學科背景與非科學相關學科背景兩組，進行「電流概念」主題的動畫教學並使用眼動儀紀錄受試者在動畫教學時注意力的分配，在眼動儀資料雖沒有高度顯著差異，證明注意力分佈與概念建構的程度有密切的關係，卻不同於 Mayer(1999,2001) 的相關實驗結果。 Ozcelik 等人(2009)研究顏色編碼(color-coding)對學習是否有幫助，並使用眼動儀去記錄學習者閱讀在多媒體上的注意力分配，研究對象為 52 位大學生並分為兩組，使用兩個電腦屏幕上呈現化學突觸訊號藉由神經傳導物傳遞神經訊號的 21.

(32) 過程。第一個屏幕上是有關化學突觸的背景資料，52 位學生都需觀看，第二個屏幕提供了兩種不同的圖片，52 位學生中一組觀看傳統的化學突觸訊號(chemical synapse).圖片但是並未有顏色編碼，另一組所提供的化學突觸訊號(chemical synapse).圖片是有顏色編碼在神經傳遞物質和重要通道，研究結果發現使用顏色編碼在多媒體學習的成效中，對於學習者能更速找到相應的的文字和圖片，並使學習者更能有效的注意到有意義的關鍵信息。 De Koning等人(2010)在一項研究學習者在學習心臟血管系統，並搭配動畫呈現頁面，研究目的是探討視覺注意力是如何分配在動畫頁面上且是否有認知負荷產生，過程中受試者的眼球反應會使用眼動儀做記錄。而在主要結構心臟動畫頁面，其實驗分為三組，第一組並沒有標記訊號(cueing)做引導，第二組有標記訊號(cueing)引導，第三組除了標記號(cueing)外還會再進入心臟主題時，給予其餘線索，研究結果證明標記訊號(cueing)是可以引起學習者去注視，且也會降低認知負荷。經由上述的文獻回顧，我們可以知道眼動儀在多媒體上的研究大都注重多媒體工具與我們視覺注意力的影響，然而，多數的多媒體學習研究於實驗室中進行，對於學生如何閱讀課室中多媒體圖文並未深入去探討，是否與實驗室結果一至？且圖文閱讀歷程又如何與先備知識交互做用？這些問題仍有待進一步的釐清。本研究嘗試透過眼球追蹤技術，探究科學學習者視覺注意力分配與其知識程度間（以背景知識為指標）的關連，以釐清先備知識於多媒體學習中所具有的角色。. 22.

(33) 第三章研究方法本研究主要探討的研究問題：壹、探討不同背景學生間閱讀多媒體教材視覺歷程是否有差異。一. 不同背景學生在觀看多媒體教材中的圖片與文字時，視覺注意力(visual attention)的分配情況為何？二. 不同背景學生在觀看多媒體教材中的圖片與文字時，視覺注意力(visual attention)於圖、文間交互閱讀形式是否有差異? 貳、探討在真實環境中，不同多媒體圖文呈現方式，是否與學生的視覺歷程形式相關。一. 教師主導的多媒體教材之放映和學生主導的教材放映是否與視覺注意力 (visual attention)的差異相關？二. 學生在閱讀多媒體教材中的不同形式照片（如：真實照片、數據圖或概念圖）時，其視覺注意力(visual attention)之分配是否有差異？本章共分為五節，根據本研究探討的研究目的與研究問題，以下將呈現本研究之設計與工具使用，並細分為「研究對象」、「研究設計」、「研究流程」、「研究工具」、「資料處理與分析」等逐項作詳細說明。. 第一節研究對象. 本研究的實驗受試者主要以台灣北部國立大學學生為研究對象，此次的施測環境為在真實教學環境下進行。由於本研究主要探討大學學生在課室中觀看 23.

(34) 多媒體圖文之間閱讀歷程，因此並選定大學通識課中的學生為施測對象，大一8 人、大三6人、大四6人、碩士3人，本次研究資料蒐集時間由 2011年六月中一直至2012十月底資料蒐集完畢。為避免影響學生正常上課，因此利用學生可自行前往的時間進行施測，正式施測時間為2011六月23，24兩天，2012十月10，19兩天。自願參與研究之大學生為23人。經整理，當天眼睛狀況包含(近視度數較高、閃光度數較高、…等因素)兩人未通過眼動儀校正，實際通過眼動儀校正而完成眼動資料蒐集者21人，本次實驗眼動儀校正成功率約為91％，測試眼球追蹤資料有效樣本21人中，地科系學生總共佔11人，分別為:大一8人、大四2人、碩士1人；非地科系學生總共佔10人，分別為:大三5人，大四3人，碩二2人。(請詳見表3-1.1) 表 3-1.1 受試者相關背景介紹背景. 大一. 大三. 大四. 碩一. 碩二. 合計. 地科系. 8. 0. 2. 1. 0. 11. 非地科系. 0. 5. 3. 0. 2. 10. 24.

(35) 第二節研究工具一、硬體部份本研究室使用澳洲Seeing Machine公司發展的Face LAB眼球追蹤儀。硬體方面使用兩台Dell 筆記型電腦、一台眼動儀、一台受試者使用螢幕與滑鼠以及螢幕切換器。筆記型電腦中，一台作為眼動資料收集端，與眼動儀連接，利用Face LAB 4.5 作校正；另一台為文本資料展示端，利用網頁與眼動資料蒐集軟體 GazeTracker 呈現文本資料，並以GazeTracker 紀錄，兩台筆記型電腦以網路跳線連接以便資料傳輸，如圖3-2.1 所示。. 圖 3-2.1 硬體儀器架設示意圖(資料來源: GazeTracker 操作手冊) Face LAB 取樣率為60HZ（每秒取樣60 次），其具有紅外線裝置精靈，讓攝影機（Sony FCB-EX480B）於三個不同方式下設定，能提供精確凝視的紅外線裝置位置控制，以提高凝視追蹤的精確度。Face LAB 使用焦點成像技術，在研究中可以容許受試者頭部做垂直及平行的移動+/- 25 mm，仍保持凝視追蹤能力；瞳孔角膜模式，在採樣率60 Hz 下可達0.01 度的高解析度。此儀器運用單紅外光源器，施測過程中僅以紅外線照射虹膜，反射至雙攝影機進行紀錄，不對受試者施以紅外線以外的任何限制，提供一個可以在最接近自然閱讀的姿勢，進行頭部姿勢校正結束後、研究者會在後方使用眼動儀隨時受測者的眼球運動、凝視點以及凝視時間等資料的蒐集。眼球路徑和眼球凝視時間。. 25.

(36) 配合本研究教學實驗將 Face LAB 眼動儀連接到 panasonic 投影機 PT-LB60U，投影機螢幕解析度設定為 1024x768。然後透過投影機，將教學材料投影至 4.6 公尺前的 190 x150cm 之大螢幕上，以模擬教室真實狀況，眼動儀則置於離受試者約 70 公分處。表 3-2.1 研究工具介紹項目. 眼球追蹤儀(Eye-tracker). 實驗設備. Pitotech代理(Eye-tracker). 軟體系統. 搭載faceLAB Seeing Machines4.5. 追蹤模式. 追蹤瞳孔模式. 校正模式. 9宮格校正(Calibration). 紀錄訊息. 凝視注視次數、總凝視時間、平均凝視時間等. 投影螢幕螢幕. 190 x150cm. 電腦主機 FaceLab電腦. 擷取大量眼動資料以及監看受試者眼球運動型態。實驗資料展示. GazeTracker電腦眼動儀其他配備 Flea 攝影機(數位式攝影機). 以紅外線照射虹膜，反射至雙攝影機進行紀錄. panasonic投影機PT-LB60U 亮度. 光感應自動調整 3200lm 流(max3800). 解析度. 1024x768 (可支援至 1600 x 1200 ). 元件. LCD Panel (Aspect Ratio4:3). 色彩. 全彩(1677萬色). 尺寸. 297x65x210mm. 使用電源. AC 100V~240V , 50/ 60Hz 26.

(37) 二、閱讀材料部份本研究之恐龍教學PowerPoint經由兩位科學教育中地球科學領域專家，進行設計與審查。此教學內容如以下(表3-2.2)之說明，總共呈現15張PowerPoint頁面，各頁面呈現的圖片大部分是真實圖片，此實驗教學教材內容，按期圖文形式可分為四類。（一）【圖系列】: 此系列沒有標題與內文只有真實圖片(如「骨骼」；有標題沒有內文如「腳印」與「便便」等頁面)。（二）【事實圖文系列】: 此系列有標題、內文與圖片(如「巢穴」、「恐龍蛋」、怎知恐龍存在「化石」、「化石與骨骼」、「化石與便便」、「化石與恐龍滅絕」。（三）【標記系列】: 此系列有標題、內文、與標記圖片，(如「皮膚印痕」、「牙齒頁面」)。（四）【理論圖文系列】: 此系列有標題、內文、圖片(如「理論圖一」、「理論圖二」、「理論圖三」)。本研究用的多媒體教材為美國微軟所開發的 Microsoft Office PowerPoint 此軟體已開發到 2010。根據 Pozzer& Roth(2003)指出，PowerPoint 和教科書角色是相同的，不過 PowerPoint 有更多的是傳統教科書無法取代的能力，如以下說明: 1. PowerPoint 更多情況下充滿傳統教科書的腳色，更可被用來傳遞單獨的教學內容。 2. PowerPoint 文字和圖片有交互作用可傳達給讀者。 PowerPoint 文字和圖片形式都可放很近，同一頁，同一章,當 PowerPoint 圖片多，文字就可精簡；反之文字多，圖片就可精簡。. 27.

(38) 表 3-2.2 恐龍教學 PowerPoint 頁面設計頁面. 圖片. 文字. 化石. ●. 化石與骨骼. 標記. 學生主動. 老師主動. 圖片類型. ●. ●. 真實圖片. ●. ●. ●. 真實圖片. 化石與便便. ●. ●. ●. 真實圖片. 化石與恐龍滅絕. ●. ●. ●. 真實圖片. 骨骼. ●. 牙齒. ●. 腳印. ●. 巢穴. ●. 恐龍蛋. ●. 糞便. ●. 齒痕. ●. ●. 皮膚印痕. ●. ●. 理論圖一. ●. ●. 概念圖. 理論圖二. ●. ●. 概念圖. 理論圖三. ●. ●. 數據圖. 恐龍真相怎麼知道恐存在. ●. 真實圖片. ●. 真實圖片. ●. 真實圖片. ●. ●. 真實圖片. ●. ●. 真實圖片. ●. ●. ●. ●. 真實圖片. ●. 真實圖片. ●. 真實圖片. 第三節資料收集本研究透過投影機頁面呈現方式，將恐龍教學PowerPoint呈現於頁面上。正式資料收集的流程大致分為兩個部份：眼動儀校正、進行恐龍教學PowerPoint教學之眼動資料紀錄、儀器與材料之呈現(如圖3-3.1) 所示。本節將就兩個部份的內容分別說明如下：一、. 眼動儀校正 FaceLab 4.6 眼球追蹤儀的記錄方式是利用高解析度攝影機，記錄眼睛（瞳. 孔）的影像的移動，本研究採取的凝視點標準為150毫秒，所使用的眼球追蹤儀不需要穿戴其它不舒服或限制的護目鏡、電線或其他感測裝置。此為雙攝影機施 28.

(39) 測過程中僅以紅外線照射虹膜，反射至雙攝影機進行紀錄。並提供一個可以在最接近自然閱讀的環境，之後將進行頭部姿勢以及九宮格校正(Calibration)，螢幕上的正中間、上下左右、左上左下、右上右下等九宮格的位置會隨機出現一個圓圈當作凝視點，受試者必須保持凝視在出現的圓圈上，接著在記錄受試者眼動時即可計算出在每個時間點凝視位置對應到螢幕上的確切位置。進行九宮格校正並確認之後，便完成眼動儀校正(如以下圖3-3.2)。藉由蒐集眼球運動、凝視點以及凝視時間等資料瞭解受試者閱讀恐龍教學 PowerPoint的情形。已事先和受試者解說本實驗屬於非侵入式實驗，是屬於相當安全的實驗。基於大學生在法律上已經是獨立個體，採取自願者參加而不另外發放同意書。二、. 恐龍教學 PowerPoint 眼動儀校正後，教師並開始進行恐龍教學 PowerPoint 之課程，課程教學進. 行大約 20 分鐘。受試者閱讀以投影機所呈現之頁面，過程中持續以 GazeTracker 紀錄眼動資料(如以下圖 3-3.2)。受試者所閱讀的恐龍教學 PowerPoint 之內容，每一頁均只包含一個概念，頁面內容根據恐龍教學 PowerPoint 教材設計包含標題、文字、圖片，但是每張投影片頁面不一定包含標題、文字、圖片（如表 3-2.2 所示）。. 29.

(40) 圖 3-3.1 儀器與材料呈現. 圖 3-3.2 正式資料收集流程圖 30.

(41) 第四節資料分析本研究主要是透過「眼球追蹤儀」，紀錄受試者在觀看恐龍教學PowerPoint 圖文閱讀之眼動表現。主要是將「眼球追蹤儀」輸出的大量眼動資料做分類並且提取研究所需之項目（詳細項目請見表3-4.1），作為恐龍教學PowerPoint閱讀歷程的分析指標，並且將恐龍投影片主要分為標題、文字、圖片三類區域，並進一步分析區域間的視覺注意力之分配狀況，包括凝視整頁區域、標題區域、文字區域及圖片區域的「全凝視時間」(Total fixation duration)、「平均凝視時間」(Average fixation duration)、「區域內分配時間百分比」(Percent time spent in zone)等。一、. 圖文閱讀歷程分析眼動資料的處理是透過分割、擷取、分類並且提取研究所需之項目。依據【恐. 龍教學PowerPoint】的圖文編排，將PPT頁面切割為: 標題、文字、圖片三類資料分析區域(如圖3-4.1)，然後由GazeTracker 9 資料分析軟體計算出閱讀者凝視整頁區域、標題區域、文字區域及圖片區域的「全凝視時間」(Total fixation duration)、「平均凝視時間」(Average fixation duration)、「區域內分配時間百分比」(Percent time spent in zone)等眼動指標。眼動指標相當多樣化，可以反應不同的處理歷程。FaceLAB 眼動儀所呈現的分析測量指標不少，包含各式眼動測量指標及頭部移動變化等。本研究主要分析眼睛凝視相關的測量資料（如表3-4.1 本研究之眼動指標），以及透過計算找出之「圖文交互閱讀」次數。. 31.

(42) 圖 3-4.1 資料分析區域. 32.

(43) 表 3-4.1 本研究之眼動指標原文. 中文. 眼動指標意義. Total time shown. 投影片放映總時間. 投影片放映時記錄的時間。. Total time tracked. 眼球追蹤總時間. 眼動儀紀錄閱讀歷程的總時間。. Total fixation duration. 全凝視時間. 眼動儀判讀為凝視的總時間。. Average fixation duration. 平均凝視時間. 凝視點平均時間。. Percent time spent in zone. 區域內時間百分比. 同一畫面內，該區塊所花的時間百分比。. Percent time fixated related to total fixation duration. 區域內時間總凝視時間百分比. 同一畫面內，該區塊總凝視時間百分比。. Scanning. 全頁面交互閱讀次數. 閱讀者眼球的凝視點於標題區域、文字區域，及圖片部份間掃讀的總次數。. Scanning. 圖文交互閱. 閱讀者眼球的凝視點，在文字區. 讀次數. 域與圖片區域間掃讀的次數。. 圖文交互閱讀部分. 二、. One-way ANOVA考驗針對每位受試者總共十五個頁面的眼動資料Excel 檔案匯出。匯出後的資料. 再擷取每個頁面的六項眼動測量資料做統整分析。本研究將所蒐集的眼動資料分為地科學生與非地科學生，之後以SPSS 19（Statistical Package the Social Science）統計軟體進行量化的分析。分析內容包含利用單因子變異數分析（ One-way ANOVA ）以了解背景變項（地科學生與非地科學生）於各多媒體區域（LookZone），包含標題區域、文字區域、圖片區域，以及圖文交互閱讀次數的效應。分析過程包括將十五個頁面每個由眼動儀資料中提取的眼動測量變數，亦即(表3-4.1 )所示的八個變數進行變異數同質性檢定，以確定地科學生與非地科 33.

(44) 學生可視為不同的群組。隨後再進一步使用單因子變異數分析（ One-way ANOVA）來判斷兩組間的變數是否達到顯著差異。. 第五節研究流程. 本研究之研究流程分為:研究準備階段「文獻蒐集與工具之設計階段」、「正式施測階段」、完成階段「眼動儀數據結果分析階段」等三階段進行，此將研究流程依階段性發展分述如下：一、第一階段：工具準備階段（一）工具準備與確定主題階段執行期間為一百年六月至一百零一年十月底 (如圖3-5.1)所示。（二）選定研究材料之領域與範圍: 本研究為頂尖大學計畫中的子項目，目的為了解學生真實課室中多媒體材料閱讀行為。選定大學通識課之學生為施測對象，恐龍教學PowerPoint教材則由兩位科學教育中地球科學領域專家進行設計。二、第二階段：正式施測階段本研究正式施測階段之執行期間為一百年六月至一百零一年十月底，施測主要流程(如圖3-5.1)。本研究是在教室進行實驗教學施測，因此在設置儀器時較為麻煩，由於眼動儀是一系列的儀器組(詳見第二節研究工具)，在施測前研究者需將儀器架設。於實驗教學正式開始之前，研究者會進行簡單步驟說明，施測時間總共約二十分鐘，眼動儀校正時間為五分鐘，教師教學為十五分鐘。施測之前需先進行眼動儀的校正，以確保眼動儀在進行資料收集時是能抓到受試者的眼球的移動反應。此校正是透過攝影機對受試者進行臉部特徵追蹤，透過faceLAB系統所提供之工具，讓受試者的凝視點與眼動儀同步，如此一來，即可透過凝視點的 34.

(45) 追蹤紀錄來瞭解受試者的凝視點位置。若是未能通過眼動儀之校正，意味著眼動儀所偵測到的凝視點與受試者本身之凝視點不同，意即宣告此受試者無法進行接下來的實驗。通過校正後，隨即開始進行恐龍教學PowerPoint。之後正式進行試測時，使用投影機將恐龍教學PowerPoint內容投射在190 x150cm之大螢幕上，螢幕距離受試者為4.6公尺，教師位置會站在螢幕左邊。為便利於眼動儀收測紀錄和研究者能隨時觀察學生(受試者)上課表現，研究者坐在受試者左方，與受試者距離100公分。三、第三階段：:結果分析階段結果分析階段執行期間為一零一年一月至一零一年七月。主要工作內容為「眼動資料分析」和「撰寫論文」兩大主要工作(請參考圖3-5.1)。本階段針對所蒐集的眼動資料進行處理並分析，並且著手撰寫研究論文內容。在資料處理與分析的部份，研究者首先將所擷取的恐龍教學PowerPoint將文字部份與圖片部份分區塊處理，隨後利用GazeTracker 將每個區域的眼動資料匯出，提取所需要的資料後，依照受試者測驗結果分為地科學生與非地科學生。之後研究者並以SPSS 19 （Statistical Package the Social Science）統計軟體進行量化的分析，此階段期間經過不斷與指導教授討論，最後提出研究結果與建議，並完成論文報告。. 35.

(46) 圖 3-5.1 研究流程圖. 36.