以測驗和眼動型態建構交互作用效果的圖文閱讀理解模式

全文

(1)國立臺灣師範大學教育心理與輔導學系博士論文. 指導教授：吳昭容博士. 以測驗和眼動型態建構交互作用效果的圖文閱讀理解模式. 研究生：林寀雯撰中華民國一百零四年十一月.

(2)

(3) 謝詞從論文的主題、構思、討論與執行等，最感謝的是我的指導教授吳昭容老師。一路以來老師總是耐心地協助我解決各樣的難題與盲點，理出清晰、明確的思路，架構出論文的主軸。期間，老師也提供我所需的實驗設備與經費支援，以致論文能夠順利完成。亦感謝口委柯華葳老師、陳學志老師、劉子鍵老師、楊文金老師與賴孟龍老師的指導與提供寶貴的建議，使論文的內容更臻完善。在這段追求自我理想實現的歷程中，總有挫折和撞牆期，但因著我最親愛的爸媽與兩個弟弟的無限支持，使我能無後顧之憂地往前。感謝他們給我自由揮灑的空間，包容我時常不在身邊的時光，只在乎我的喜怒哀樂跟需求，這些都是讓我勇敢往前的莫大力量。人生知音難尋，志同道合的同伴更甚不易。我有一群同樣有著赤子之心的博班好友們，家瑜、人華、厚強、詠婷、子揚、祐瑄、采翎、雨霖、郁芩，謝謝你們成為我在博士班求學生涯中的好夥伴，共同承擔與分享各樣的大小事，就我們乘著One Piece精神勇往直前。「你要全心信靠耶和華，不可倚靠自己的聰明(箴言：3:5)。」。在我追求學位的同時，神將祂的話時常放在我的心中更引領著我。也感謝教會的同伴，昱蓉、秀如、品瑜、玉珊姊、以雯、麗雯、王弟兄夫婦、邵弟兄夫婦、劉偉倫弟兄…等，為我代禱與分憂解勞，謝謝你們的鼓勵和陪伴。完成博士論文的同時，也是展開人生新旅程之際，而行腳至今，卻誠如我最親愛的同伴常引用的「祂引領我們走在一條不認識的道路」，更覺得自己對於前面的道路有的不是把握，而是來自神的信心！致謝於此，還有許多無法一一感謝的人，但絕對都放在我的心上。再次對所有協助與陪伴我的老師、家人、摯友、同伴，獻上最大的謝意。寀雯一百零四年冬 i.

(4) ii.

(5) 中文摘要本研究以眼動資料與測驗結果建構交互作用效果的統計圖文閱讀理解模式。論文中包含三個研究。研究一發現交互作用效果對於一般成人而言是複雜的概念，不同領域專家的看法也不完全一致。但交叉型態的圖示能使讀者連結到「交互」的字面意義，協助判讀。因此，研究二以交叉統計圖的有無為實驗操弄，發現統計圖確實影響閱讀理解的歷程和效果，但提升幅度未如預期的佳。於是，研究三以圖文訊息對應性和圖形對稱性的觀點修改統計圖，並以讀者閱讀理解表現與眼動資料討論圖文整合的歷程。研究一包含兩個部分，1-1 探討一般民眾對交互作用效果的解讀，研究對象為 12 位大專（含）以上，包含研究所與社會人士之民眾，不限領域。研究先提供受訪者一個交互作用效果的範例，接著請他們判斷後續兩個文本的現象是否為交互作用效果，並解釋原因。結果發現，讀者的解讀多侷限在交互作用的字面意義，且認為單純主要效果的描述相當難理解，而略有基礎統計概念者可簡略描述資料分析方式；此外，讀者會將交叉圖形連結交互一詞進行解釋。研究 1-2 藉由領域專家獲得交互作用效果的重要概念內涵，以編製後續實驗材料，研究對象為醫藥、物理、心理計量三個領域，共 16 位領域專家。研究材料是兩個交互作用效果文本，受訪者需判斷該文本是否為交互作用效果，並以口頭與繪圖說明之。結果顯示，心理計量專家著重於變項概念與統計考驗的重要性，並運用統計學交互作用效果的概念，進行跨文本的解釋，其他領域專家則是針對專業領域中交互作用的運作機制進行論述。最後，整合研究一的結果，得出交互作用效果包含基本的和進階的概念。研究二的研究對象為60位大學生（含）以上的社會人士，探討純文與圖文並置對讀者交互作用效果的閱讀理解之影響。於正式眼動實驗前，以301位大學生（含）以上的社會人士進行團測，以確立實驗材料的難度是否適合一般大眾閱讀，並掌握讀者所需的閱讀時間以利設計正式實驗。研究二採單因子受試者間設計，實驗 iii.

(6) 組閱讀圖文並置的版本，控制組則閱讀純文字的版本。閱讀時以眼動儀記錄眼動軌跡，兩組在閱讀完實驗材料後，都接著進行閱讀理解測驗。結果發現，多了統計圖後，提升了讀者整體的閱讀理解正確率，特別是基本概念的題目，亦即藉由統計圖座標軸標示的變項可以協助讀者讀取表層特徵。眼動追蹤資料顯示，多了圖之後，讀者的閱讀時間並未增加，而是分配時間去讀圖，節省讀文的時間；但圖文版的讀者在句末較少進行語意統整，可能因抱持仰賴圖的態度，而未投入與純文組同等程度的努力去讀文。研究三的研究對象為 70 位大學生（含）以上的一般成人。實驗設計採單因子受試者間設計，實驗材料是沿用研究二的交互作用效果的文字內容，以圖文訊息對應性與圖形對稱性為實驗操弄，修改統計圖的編製方式，共有三種實驗材料版本—非對稱、對稱和單圖。非對稱組和對稱組的文本中都有兩張圖，差別在於兩張圖的交叉開口是否對稱；單圖組有一張交叉開口對稱的圖（同對稱組的其中一張圖）。結果發現，（一）對稱組與單圖組在閱讀理解正確率無顯著差異，但兩組的眼動型態有所差異，顯示圖文訊息對應性影響閱讀歷程但對閱讀理解的影響不大。相較於單圖組在讀完文之後始去讀圖，兩張圖會促使讀者在閱讀歷程中途（段落 2 和段落 4）遇到圖文對應的訊息就去讀圖。推測其因，雙圖提供較完整的訊息且也較為醒目，吸引讀者在尚未讀完文時就去讀圖。（二）非對稱與對稱在閱讀理解正確率無顯著差異，但兩組的眼動型態亦有所差異，顯示圖形對稱性影響閱讀歷程但對理解的影響不大。非對稱組花較多的時間讀文，且有更多跨圖間的閱讀。即圖形兩邊開口不對稱易引發讀者思考該表徵的意義，而增加讀文的時間，且在圖間來回搜尋以比對兩張圖的差異。此外，閱讀過程中，非對稱組會同時參照二圖，反之，對稱組僅到所讀到的段落之鄰近圖示閱讀。即非對稱組視兩張圖為獨立的，需同時參照並比對雙圖的差異來確定圖文訊息是否對應；然而，對稱組則視雙圖為相同的圖形樣式，因此採取便利的閱讀路徑，僅到靠近文的圖上搜尋圖文對應的訊息。（三）非對稱與單圖的比較旨在分析兩種實驗操弄加乘的效果，, iv.

(7) 結果非對稱組在基本和進階概念的理解都有較佳的傾向。本研究以交互作用效果統計圖文的版置概括有無圖示、圖文訊息對應（雙圖與單圖），以及圖像知覺（非對稱與對稱）等實驗操弄，提出統計圖文閱讀理解的模式。相對於純文的閱讀，加入統計圖會使讀者從圖文參照中，讀取圖所蘊涵的語意和空間表徵，形成他們對交互作用效果的基本概念，也節省讀文的時間。其次，雙圖的知覺醒目性會引導讀者在閱讀文章中途就去參照圖，再繼續處理文。最後，統計圖形的不對稱性，會影響讀者的閱讀時間與圖文整合的型態。. 關鍵字：交互作用效果、統計圖文、閱讀理解、眼動型態、圖文整合. v.

(8) vi.

(9) Constructing a model of reading comprehension of interaction effect with figure and text by test and eye movement Tsai-Wen Lin Abstract This study consists of three research topics aiming at constructing a model of reading comprehension of the interaction effect with both statistical text and figure. First, it was found in Research 1 that the interaction effect is a complicated concept for the public, and even field experts hold diverse perspectives about it. Yet, the cross-over figure could be primed to readers in associating the shape of cross-over with the surface meaning of “interaction.” Hence, a cross-over figure of the interaction effect was used as a manipulative tool in Research 2, which was explored to influence the process and the performance of reading comprehension. Nevertheless, the effect of adding a cross-over figure was not as great as was expected. Accordingly, the consistency of information between figure and text and symmetry of figure was employed in Research 3 to explore the effect on participants’ performance and the process of reading comprehension. Research 1 was divided into two sub-topics. Research 1-1 aimed at exploring how the public comprehended interaction effect with 12 participants. Participants would read an interaction effect example and then they were asked to interpret interaction effect in the two tests that followed and provide explanations. It was revealed that the participants’ interpretation was the surface meaning of interaction, and they claimed the difficulty of the description of simple main effect. Furthermore, some participants with basic statistical background knowledge could provide simple explanations of data analysis. Research 1-2 aimed to come by the important concepts of interaction effect to further develop experimental materials. Of the total participants, 16 were field experts vii.

(10) of medicine, physics, and psycho-statistics. Participants would read two texts of interaction effect and then interpret the same both with verbal explanations as well as by drawing figures. It was found that experts of psycho-statistics focused on the concept of variable and test significance and were inclined to utilize general principles of statistics to interpret different texts, while experts of the other fields emphasized on the mechanism of interaction effect. Last, both fundamental and advanced concepts of the interaction effect were obtained. Research 2 aimed at exploring the effect on participants’ reading comprehension of the interaction effect from text and text with figure. There were 60 participants. A group test was held with 301 participants to confirm the readability and the difficulty of experimental materials and to design the experimental procedure before the formal experiments. One-factor between groups was used in Research 2 with the text group as the control group, and the text with figure group as the experimental group. EyeLink 2000 was utilized to record the eye movements of participants during experiments. It was explored how the addition of a statistical figure promoted participants’ accuracy of performance in reading comprehension, especially on items belonging to fundamental concepts, which revealed how statistical figures helped participants in identifying the surface representations from figures. Total fixation duration was not observed to increase; participants distributed reading time on figures to save the reading time on text. The text with figure group performed less semantic integration at the end of sentences, which could refer to the fact that participants in this group engaged in lesser mental effort while reading text since their primary intention involved dependence on the figure. Research 3 aimed at realizing how the effect of manipulations, involving a consistency of information between figure and text and symmetry of figure, impacted viii.

(11) the participants’ reading comprehension. There were 70 participants. Experimental materials included text with two unsymmetrical cross-over figures (experimental group 1), text with two symmetrical cross-over figures (experimental group 2), and text with one symmetrical cross-over figure (baseline group). The results are expressed here. First, there is no test significance of the performance of reading comprehension between experimental group 2 and the baseline group. However, eye movement between these two groups revealed differences in the process of reading comprehension, in that the experimental group 1 would read the figures during reading text while the experimental group 2 would read the figure after reading the whole text. Second, differences of eye movement between experimental group 1 and the baseline group showed that unsymmetrical figures facilitated participants in contemplating the meaning of this representation so as to spend more time on text and eye movement across figures. Additionally, experimental group 1 would refer to two figures simultaneously for they regarded two figures independently. Yet, experimental group 1 would trace back to the figure just next to the reading text for they held that two independent figures were the same. Last, the effect of two manipulations would be incline to influence and enhance both basic and advanced concepts of the interaction effect. Composition was concerned as the integrative concept in the combination of all the manipulations in this study so as to construct the model of reading comprehension of statistical text with figure. Semantic and spatial representations of the figure benefited readers in forming concepts of the interaction effect, thereby saving the reading time on text. The salience of a figure aided readers in referring to the figure while reading text. Finally, symmetrical and unsymmetrical figures would influence the reading time and integration of figure and text. Keywords：interaction effect, statistical figure and text, reading comprehension, eye movement, integration of figure and text ix.

(12) x.

(13) 目次謝詞……………………………………………………………………………….. i. 中文摘要………………………………………………………………………….. iii. 英文摘要………………………………………………………………………….. vii. 目次……………………………………………………………………………….. xi. 表次……………………………………………………………………………….. xiii. 圖次……………………………………………………………………………….. xv. 緒論………………………………………………………………........ 1. 研究背景與目的…………………………………………………....... 1. 統計學上的交互作用效果及其類型 ………………………………….... 4. 圖文整合閱讀理解之理論及其眼動研究……………………………… 10 圖文整合眼動研究的分析指標………………………………………………. 16 研究一 … … … … … … … … … … … … … … … … … … … … … … … … . . 19 研究 1 -1 . ..… …… ………… ……… …… ………… ………… … …….. 19 研究對象………………………………………………………………………. 19 實驗材料………………………………………………………………………. 19 實驗程序………………………………………………………………………. 20 結果與分析……………………………………………………………………. 21 研究 1 - 2 . . . … … …… … … … … … … … …… … … … … … … … …… … . . . 23 研究對象 … … … … … … … … … … … … … … … … … … … … … … … . . 23 實驗材料 … … … … … … … … … … … … … … … … … … … … … … … . . 23 實驗程序 … … … … … … … … … … … … … … … … … … … … … … … . . 24 結果與分析……………………………………………………………………. 25 研究 1-1 與 1-2 之綜合討論………………………………………………….. 28. xi.

(14) 研究二 … … … … … … … … … … … … … … … … … … … … … … … … . . . 31 研究對象………………………………………………………………………. 32 實驗材料………………………………………………………………………. 32 實驗程序………………………………………………………………………. 38 結果與分析……………………………………………………………………. 39 討論………………………………………………………………….………… 52 研究三 … … … … … … … … … … … … … … … … … … … … … … … … . . . 57 研究對象………………………………………………………………………. 59 實驗材料………………………………………………………………………. 59 實驗程序………………………………………………………………………. 60 結果與分析……………………………………………………………………. 61 討論…………………………………………………………….……………… 68 綜合討論 … … … … … … … … … … … … … … … … … … … … … … … . . . 73 參考文獻 … … … … … … … … … … … … … … … … … … … … … … … . . . 85 附錄……………………………………………………………………………...… 93 附錄一………………………….…….………………………………….……… 93 附錄二…...……………….………………….………………………………….. 97 附錄三…………….………………………...……………………….….………. 101 附錄四…………….………………………………….……………………….... .103 附錄五…………………………………………………………..………….…... .105 附錄六……………...………….……………..…………………………..…...... .107 附錄七………………………..……………………………………….…..…...…109 附錄八…………………………...…………………………...……..….……...…113 附錄九……………………….……..………………………………..….……......115 附錄十………………………………..……………………………..…….…..….117 xii.

(15) 表次表1. 交互作用效果測驗作業之雙向細目表…………………………34. 表2. 交互作用效果測驗作業之單向度 IRT適配度………………….36. 表3. 交互作用效果測驗作業逐題卡方考驗與所對應題旨……..…..39. 表4. 眼動指標的平均數、標準差與各段除以pixel後的t考驗與LMM分析結果..…………..….………………..……………...45. 表5. 四個段落的組內眼動指標的重複量數考驗結果………..…….46. 表6. 四個段落的組內眼動指標考驗結果的事後比較………..…..…...46. 表7. 前個關鍵區到下個關鍵區的次數……………………………..….47. 表8. 前個關鍵區到下個關鍵區的簡單機率………………………..….48. 表9. 前個關鍵區到下個關鍵區的事件轉…..………………..…..…….48. 表10 前個關鍵區到下個關鍵區事件轉換機率的z分數顯著性考驗….49 表11 統計圖內各IA凝視次數與時間的平均數與標準差……………..51 表12 研究三交互作用效果測驗作業分數之描述統計……….........….61 表13 閱讀時間與答題反應時間（sec）之描述統計……….…..……..61 表14 各段除以pixel後之眼動指標的平均數、標準差……..………....63. xiii.

(16) xiv.

(17) 圖次圖1. 轉變變項座標軸後的交叉與非交叉圖示 ………...……………..8. 圖2. 八年級歷史教科書材料原始與修改版……………..……….........9. 圖3. Schnotz和Bannert（2003）圖文閱讀理解整合模式……….…….12. 圖4. 統計圖形閱讀理解模式…………..………..…………...…………13. 圖5. 交互作用效果測驗作業之難度與試題分布圖……………...……37. 圖6. 研究二統計圖文轉換機率圖………………..……………..…...…50. 圖7. 研究三非對稱組圖文轉換機率圖……..………………...…..……65. 圖8. 研究三對稱組圖文轉換機率…………..…………………..…...…66. 圖9. 研究三單圖組機率轉換圖………..………………………..…...…66. 圖10 交互作用效果統計圖文閱讀理解整合模式……..…………...…..80. xv.

(18) 緒論研究背景與目的日常生活中有許多的議題，如：環境保育、醫學、生物實驗的動物權倫理、氣候變遷等，這類生活議題因為會影響生活而受到大眾關切，而這些議題包含了許多複雜的事件，許多現象都非由單一因素所引起（劉湘瑤、李麗菁、蔡今中， 2007；Stanovich, 2004/2012）。而統計資料則是這些議題論證的重要依據之一，它們充斥在日常生活的各種訊息之中，如新聞報導、政策宣導或廣告，會使用統計資料來增加資料的說服力（Ben-Zvi & Garfield, 2004, 2005）。另一方面，換言之，生活議題中涵蓋許多相關因素，人們需能夠掌握議題中統計資料和因素間的關係，需要具備正確解讀這些統計資料的能力（劉子鍵、林怡均，2011；Garfield & Ben-Zvi, 2004），以有效對議題作理性的判斷，抑或參與生活議題的討論或者做出有利於個人的選擇。但是這些重要的生活議題之報導，又可能因為撰寫者只提供讀者特殊事件，未考慮其他例行事件的統計偏差（蘇蘅，2002），抑或讀者難以理解複雜的統計資料，而形成錯誤的解讀（Melinda, 2002），特別是涵蓋多樣因素的交互作用。因為在判斷因素間是否呈現交互作用的歷程中，個體除了具備基礎的統計概念外，尚需要個體掌握因果關係的科學思維能力。須藉由推理能力來判斷因素間如何彼此影響而產生交互作用，釐清因素間的關係，進而做出明確的行動與決策（Zohar, 1995）。換言之，相較於其他統計資料的理解，理解或解讀交互作用的資料，對一般大眾而言可能是較難的。「交互作用」（interaction）或交互作用效果（interaction effect）一詞根據國家教育研究院（2012）架構的「雙語詞彙、學術名詞暨辭書資訊網」所提供的資料顯示，共有420個學科領域出現該詞的釋義，包含統計學、心理學、物理、醫學… 等。舉例來說，統計學上的交互作用是指在多因子的研究設計時，一個因子各個 1.

(19) 水準之間在依變項的差異，會隨其他因子的不同水準而發生變化的現象，說明研究中若干因子間的效果並非互相獨立。相關領域中的實驗設計研究也多使用統計學交互作用的概念，將欲探討的因素和結果，視為自變項和依變項，討論多個自變項間彼此的關係對於依變項的效果（Elmes, Kantowitz, & Roediger, 2009），例如心理學、生物實驗…等。在物理學中的交互作用是指兩種物質相遇時的反應，且在兩物質的反應未達平衡狀態前，交互作用會持續不斷；也可能因為外在因素的介入，增強或中止交互作用。而藥物交互作用則是藥物間的交互作用，因事先或同時服用其他藥物而改變另一種藥物的效果。承上可推知，相關領域的專家對於交互作用的解釋亦應有所差異。交互作用的釋義可大致依據領域廣泛（domain general）和領域專門（domain specific）的原則來區分。前者是以方法學的框架，將事件或現象背後所存在的相關因素，視為自變項，產生的結果為依變項，探討自變項之間在依變項的效果；其分析和討論交互作用效果的方式，並不會因特定領域的學科知識而改變。後者則係由學科領域的內容知識來闡釋交互作用，其解釋方式和內容則因各學科領域而有所差異。是故，有鑑於解讀統計資料能力的重要性，以及避免學科領域間對於交互作用釋義差異的限制，本論文所探討的交互作用是為統計學上的交互作用，而且是其中最基本的二因子交互作用。一般對於統計學上交互作用效果的探討，大部分傾向把「交互作用」當作分析工具，或者討論統計上調節和中介效果的內涵，調整「交互作用」在統計上的定義（Baron & Kenny, 1986; Muller, Judd, & Yzerbyt, 2005）。然而，近年來在國際評比上已陸續出現閱讀和分析統計圖表的題目，國際能力評量如PISA、TIMSS，顯示學生對於統計資料閱讀和判斷能力之重要性，也凸顯統計素養和閱讀理解整合的重要性。是以，探討統計學上交互作用的閱讀理解亦有其必要性。但是，深入探討交互作用閱讀理解的文獻較缺乏，目前相關文獻的主題包含交互作用的推理（Zohar, 1995），以及採用交互作用統計圖為實驗材料的研究，分析眼動資料與 2.

(20) 訪談結果，探討個體讀交互作用統計圖的閱讀理解歷程和表現（Carpenter & Shah, 1998；Shah & Freedman, 2009；Shah & James, 2002）。在教科書或一般報章雜誌中，統計資料的呈現方式不僅只有統計圖，是同時包含圖與文的圖文並置文本。文的部分通常包含變項的敘述、數據資料，或者相關的數學公式等，圖以直方圖、長條圖，和折線圖為主，圖形的內容主要有座標軸及其量尺、變項圖說、圖名，以及位於中央的統計圖示（林清山，2012；Carpenter & Shah, 1998；Elmes, et al. 2009）。除了上述的閱讀材料之外，統計文本尚會出現在測驗或問卷中。以PISA試題的分類為例，統計文本是混合式文本（mixed texts），同時包含由句子組成的段落，以及圖示、表格、表單等（OECD, 2013）。也就是說，當個體在統計試題的解題歷程中，需同時閱讀並理解文字內容與表徵統計資料的圖形，並將這些表徵的意涵互為轉譯（Mayer, 2001, 2005）。是故，統計文本的閱讀理解與解題歷程不僅包括讀圖，尚包含了讀文和整合圖文訊息的歷程。又，圖文所提供的訊息不同，在透過圖文來建構心智模式的歷程中，所扮演的角色不同，需藉由圖文間的互動來建立初始的心智模式（Schnotz, Ludewig, Ulrich, Horz, McElvany, & Baumert, 2014）。惟因圖示所提供的訊息相對有限，仍需要以文字描述來輔助讀者閱讀。有鑑於此，本論文的實驗材料將採用圖文並置的交互作用文本。一般統計圖理解的實徵研究大部分採用實驗或訪談方式（李健恆、楊凱琳， 2012；Carpenter & Shah, 1998；Shah & Freedman, 2009；Shah & James, 2002），蒐集受試者閱讀後的外在行為，如測驗、口語自陳資料等。然而，若能進一步瞭解個體如何整合統計圖文中的圖形和數據資料，藉此探究個體在處理這些訊息的認知歷程，將使我們更完整地掌握統計圖文閱讀的現象。而透過眼動資料可瞭解個體在理解和判讀時的閱讀歷程，如注視時間較長或較多次的區域、圖文的時間分配等（Carpenter & Shah, 1998），可進一步分析個體外在的閱讀行為與內在認知歷程的運作，以更為精確地解讀個體交互作用統計圖文的閱讀理解歷程。是故，本 3.

(21) 論文欲同時以收集測驗與眼動資料探討個體閱讀交互作用統計圖文時的認知歷程，建構交互作用效果的統計圖文閱讀理解模式。依據文獻研究結果發現，影響個體判讀或理解交互作用效果的因素，包含統計圖的表徵方式，如交叉或非交叉的交互作用統計圖（Carpenter & Shah, 1998；Shah & James, 2002；Shah, Mayer, & Hegarty, 1999），圖示內容是否適當，即與文本訊息或問題型態相符（Schnotz & Bannert, 2003），以及受試者的背景知識，如專家與生手對統計資料和圖形閱讀的認知結構（Freedman & Shah, 2002, 2009）等。顯示，文本用來呈現交互作用效果的外在表徵，將會透過圖形所提供的知覺刺激，影響讀者對交互作用效果的閱讀理解。此外，圖文訊息的整合程度和讀者本身對交互作用效果的掌握，也是影響讀者解讀交互作用效果的成因。上述影響讀者交互作用效果閱讀理解的原因，將提供本研究進行實驗操弄的參據。綜而述之，本論文的研究目的如下：（一）瞭解一般大眾與領域專家對於交互作用的解讀；（二）探討純文與圖文兩種表徵的交互作用效果文本對閱讀理解及歷程的影響；（三）分析不同的統計圖對交互作用效果文本閱讀理解及歷程的影響；（四）建構交互作用效果的統計圖文整合閱讀理解模式。. 統計學上的交互作用效果及其類型一、交互作用效果的內容及類型依據原因多樣性的觀點，具體行為或現象並非由單一因素所引起的，而是許多不同因素所決定的。而在此概念下延伸出另一個重要的概念：「交互作用」。「交互作用」係探討事件與多個因素間的複雜因果關係，指造成事件的一個因素和其他因素共同作用時，這多個因素對該事件會產生與其各自單獨發揮作用時截然不同的影響（楊中芳，2010）。例如：藥物間抑或食物與藥物間的交互作用，指兩種或兩種以上藥物合併使用時，因為藥物間各自發揮作用或彼此產生交互作用，而對人體產生彼此抑制藥物的吸收、消化以及藥效減弱或增強的作用，也就是藥物 4.

(22) 的療效受到藥品、食物等物質影響而改變的情形（陳建勳、陳麗芳、王慧瑜，2005）。上述交互作用的定義說明了該作用效果的主要內涵為，現象中單或多因素間的因果關係。轉換為實驗情境或統計學概念時，這些因素皆可視為變項，包含自變項和依變項。而探討多個自變項間彼此的關係對於依變項的效果，即為交互作用。因此，交互作用在實驗情境的定義：其為一種實驗結果，所產生的情境為，一個自變項以上，其中一個自變項的變項水準，受到其他自變項的變項水準影響。以兩個自變項的實驗設計而言，即一個自變項所產生的效果，卻在第二個自變項的變項水準上有不同的結果。最後，實驗結果尚須透過統計考驗來確定交互作用的效果，而非只是數據上較多或較少的比較（Elmes, et al. 2009）。統計學上所論及的「交互作用」的性質和類型，是以基於「分析方法」的觀點，屬於變異數分析的範疇，包含單因子與多因子的分析方式。是以，在相關的統計學教科書中，交互作用的內容主要是以教導學生基本的變項概念、計算方式或者軟體使用的語法和報表解釋，而非闡述所有的交互作用類型及其圖的表徵方式。以最基本的二因子變異數分析為例，包含以下三種實驗設計：兩自變項都是獨立樣本，即受試者間設計；兩自變項都是相依樣本，是為受試者內設計；一因子為獨立樣本，另一因子為相依樣本，則為混合設計。依據以上三種實驗設計的特性，可產生獨立樣本二因子、相依樣本二因子以及混合設計二因子等分析結果。分析內容皆為交互作用的顯著性、單純主要效果考驗與主要效果考驗，惟不同的樣本需分別採用ANOVA或重複量數來計算，但呈現結果方式相同。以獨立樣本二因子分析結果來說，當交互作用效果顯著，進行單純主要效果的考驗，結果可能是變項A在變項B抑或變項B在變項A的兩個水準達顯著差異，也可能變項A在變項 B抑或變項B在變項A的其中一個水準達顯著差異。上述分析結果所產生的交互作用折線圖可分為次序性交互作用（ordinal interaction），即兩條線不相交；以及無次序性交互作用（disordinal interaction），即兩條線相交（王保進，2006；林清山， 5.

(23) 2012）。統計學中還提及另一個可視為交互作用的概念，即為調節作用，指自變項（X）對依變項（Y）的效果強度，受到第二個自變項（Z）的影響，即變項可強化或改變實驗處理對於依變項之影響。該類型交互作用的計算式為：Y = b0 + b1（X） + b2 （Z） + b3（XZ） + e，兩個自變項為交互作用效果，其中兩自變項迴歸係數交乘積和是為交互作用。而 Muller、Judd 和 Yzerbyt（2005）則進一步指出調節作用應該被涵蓋在「調節作用的中介」之中，即三個自變項中，兩兩變項間的關係對依變項所產生的效果。前述的中介效果又稱為間接效果（indirect effect）強調一個自變項透過另一個自變項而影響依變項，強調自變項如何影響依變項的途徑。其計算式為：Y = b10 ＋b11（X）＋e 1 ，Me = b20 ＋b21（X）＋e2，Y = b30 ＋b31（X）＋b32（Me） +e 1（Baron & Kenny, 1986; Muller, Judd, & Yzerbyt, 2005），其與調節作用不同，非屬交互作用的類型。是以，該類型的交互作用其在統計學上的定義仍有爭議，除此，對於一般成人民眾而言，調節作用是日常生活較不常接觸到議題或概念，因而，本研究未討論之。承上所述，交互作用概念多被用來作為統計資料解釋的工具，說明實驗或資料分析結果中，自變項對於依變項的效果。探討該概念內涵的實徵研究，多以交互作用圖示為實驗材料，探討讀圖的理解歷程與表現（Carpenter & Shah, 1998; Shah & Freedman, 2009; Shah & James, 2002），或者採用交互作用情境為主題，討論專家與生手在推論變項間的因果關係的表現（Zohar, 1995）。較少針對交互作用概念本身，探討其所包含的內涵和類型。因此，以下採用 Warrington 和 Weiskrantz（1970）所進行的認知實驗結果，來說明幾個交互作用類型。雖然該實驗的內容並非針對交互作用概念進行討論，但在實驗結果中，研究者列舉出了幾種可能產生的交互作用效果。該實驗以兩個屬於受試者背景的自變項：不同記憶類型，內隱（認字）與外顯（自由聯想）；不同類型病人，失憶症與沒有神經性疾病的病人，探討他們在不同記憶測驗的結果。此研究指出的第一種交互作用類型：控制組在外顯記憶 6.

(24) 表現較失憶症組佳，但是兩組在內隱記憶測驗表現相當，換句話說，其中一個自變項的效果（記憶缺陷的出現或消失），因為另一個自變項的水準（測驗類型）而改變。第二種交互作用類型：交叉型交互作用（crossover interaction），在此是指控制組在外顯記憶的表現較失憶症組佳，但失憶症組則是內隱記憶組的表現較控制組佳，兩組別在不同記憶測驗的表現呈現相反的現象，即第一個自變項在第二個自變項的兩個變項水準有相反的效果。第三種交互作用類型：雖然控制組在兩種記憶測驗表現都較失憶組佳，但控制組仍然是在外顯記憶測驗表現較佳，而失憶組則是在內隱記憶表現較佳。顯示，控制組相較於失憶組而言，其優勢在外顯記憶測驗，而內隱記憶測驗對於失憶症受試者而言，較不具敏感性。該實驗提出了幾個可能的交互作用類型的結果假設，提供本研究部分的交互作用類型概念與圖示範例，但仍非針對交互作用概念進行深入的探討，無法涵蓋完整的交互作用概念內涵。二、交互作用效果的實徵研究 Zohar（1995）認為交互作用概念為一種科學思維，是高階的變項關係推理歷程。因此其以 25 位社區大學生和兩位教授為研究對象，分析專家生手在進行變項間交互作用推理時，認知型態的差異。藉此說明不同背景知識的讀者在判斷交互作用是否成立的脈絡下，將呈現不同的概念理解層次。該研究設計物理與社會科學各五周，共計十周的變項關係之問題討論。討論過程中同時蒐集受試者客觀（是非題與問答題）和主觀（口語互動紀錄）資料，分析專家與生手的作答紀錄之正確率、交互作用出現與否，以及判斷和推論的歷程。結果發現專家在論述交互作用的歷程中，能夠設計相關的實驗，如：專家會操弄單一變項，並以平衡設計的方式，確認變項間的因果關係，並且指出哪些變項間產生交互作用。換言之，專家夠有效掌握問題中呈現的變項，並且能夠在判斷與推理的心智運作歷程中，操作並分析變項間的關係；然生手則較難掌握變項間的比較型態、缺乏對於交互作用概念的知識。 7.

(25) 交互作用效果的閱讀理解的研究，多以交互作用圖示作為實驗材料，包含折線圖與直方圖，採用自陳報告和眼動資料來探討讀圖的閱讀理解歷程。Carpenter 和 Shah（1998）該研究以 34 位大學生為研究對象，採用交互作用圖示為材料，收集讀者的眼動資料和口述資料，藉此來探討圖形表徵對閱讀理解歷程的影響，以及圖中訊息整合的歷程。眼動資料處理上則是初步將圖形分為圖名、座標軸 x、坐標軸 y、圖說，以及中間的圖形等五個區塊，其中座標軸 x 和 y 分別標記上自變項與依變項的內容，圖說則是用來標示另一個自變項，一般置於圖示的右方。計算各區塊的凝視點（gazes）數目和凝視時間（gaze duration）之差異，以及各區塊間眼動軌跡，以獲知區塊間凝視點的分布情形與差異。實驗操弄交互作用圖示，其中他們採用相同的統計資料，轉換兩個自變項在座標軸的位置後，圖示型態不同，呈現交叉與非交叉的圖示（如圖 1 所示）。結果顯示，讀者花費在非交叉圖形的時間較多，交叉圖示對於節省閱讀時間的效果較佳，Carpenter 與 Shah 認為，交叉的交互作用圖對於受試者而言是較為熟悉或知覺表徵上較易理解的圖示，產生範型效果（prototype effect），因而閱讀效率較佳。而在閱讀理解歷程上，眼動軌跡呈現先閱讀圖名、座標軸 x 和 y、變項 z 軸，最後再回到中間圖形的型態，且讀者一開始花費較多時間在閱讀圖名、座標軸和變項軸。顯示讀者在閱讀歷程中，首先掌握圖示的主題與重要變項的內容，再回至圖示上進行訊息整合；而在過程中，會因為不同的圖示表徵而影響閱讀效率。另一方面，該研究提供了後續交互作用圖示的眼動資料分析方式，以及相關的實驗操弄，但實驗中未收集受試者的閱讀理解測驗，以作為閱讀理解效益之分析。. 圖1. 轉變變項座標軸後的交叉與非交叉圖示 8.

(26) Shah（2009）進一步以交互作用效果統計圖為材料，探討專家與生手在統計資料閱讀理解歷程的差異。研究對象為 55 位，以統計圖背景知識測驗，將他們分為高低統計圖理解能力的受試者。實驗採混合設計，包含三個自變項：一個受試者內（熟悉與不熟悉）和兩個受試者間（圖形型態、受試者統計圖形理解能力）。實驗材料則有 14 組統計資料，較熟悉與不熟悉的統計資料各七組。最後分析受試者的口語自陳資料，藉此瞭解受試者解讀統計圖形時，前述三個自變項是否對受試者在交互作用和主要效果的閱讀理解有影響。研究結果發現，折線圖提升讀者對 x-y 間關係的解釋，而直方圖則影響 y-z 間關係的解釋，顯示圖形型態會影響不同型態的交互作用概念之解讀。此外，資料的熟悉度與統計圖理解能力呈現交互作用，即較高能力者在熟悉的統計資料脈絡下，相對於低能力者而言，較能完整說明交互作用概念，而非僅是描述單一自變項和依變項間的關係。 Shah、Mayer 和 Hegarty（1999）將原本八年級歷史教科書的直方圖，修改成不同的折線圖（如圖2所示），收集受試者的自陳報告資料，分析他們對於修改前後版本的資料解讀型態之差異。原本的直方圖（圖2左）中的z變項涵蓋了兩個訊息（郊區與市區/南部與北部），Shah等人將這些訊息內容分別製作成兩個含有圖名的折線圖（圖2右），各自呈現原本整合在同張圖示的訊息。結果發現，讀者較能從修改後版本回答各年間的人口資料。因此，Shah等人認為，重整後的版本能夠減輕他們在各年內資料搜尋和比對的負荷。易言之，圖示表徵本身若包含過多或複雜的訊息，會造成讀者資料比對上的困難，進而影響閱讀理解效益與效率。. 圖2 八年級歷史教科書材料原始與修改版. 9.

(27) 歸結而論，前述的實驗材料皆為交互作用圖示，凸顯圖示對於交互作用概念理解的重要性。研究結果發現了影響讀者閱讀理解的因素，包含背景知識、圖形內量化與質性資料的整合以及訊息的群組。但是，同時也指出，若圖示訊息中包含了過多整合性的訊息，讀者便難以從中擷取所需要的訊息；易言之，圖示雖有其重要性，但其適合提供的訊息有限。再者，在日常生活當中，大眾所接觸到的交互作用文本，應該不僅只有圖示，尚會包含相關的文字敘述或統計資料。是故，本研究將同時採用交互作用效果的純文和圖文並置文本，進一步探討交互作用效果的內涵與閱讀理解。. 圖文整合閱讀理解之理論及其眼動研究一、圖文整合閱讀理解的理論圖文閱讀理解的理論的發展與文本閱讀理論有關。Freedman和Shah（2002）以Kintsch文本閱讀理解的「建構‒整合理論（Construction-Integration Theory，以下簡稱CI模式）為基礎，提出「圖形理解CI模式」。Kinstch（1988）提出的CI模式包含建構（construction）與整合（integration）兩階段。該模式認為大部分的讀者已將解碼歷程自動化，因此在理解訊息時，先進入由下而上的建構階段。在此階段中，個體活化文本訊息及與文本相關的先備知識，並將可用的表層訊息，如文本基底（text-base）或者文章表面的意義，形成連貫表徵（coherent representation），這些表徵的類型會受到文本的表層內容如句子結構、字面訊息等影響。此外，在這個階段中，也會因為讀者的先備知識和閱讀目標而決定訊息被編碼的順序。整合階段，則是連結不同種類的先備知識（disparate prior knowledge）與前述的連貫表徵，減低個體理解歷程的心智努力。因為，當圖形越完整地將相關訊息表徵出來，越容易與個體的先備知識連結，進而減低閱讀所耗費的心智努力。由此可知，兩階段所涉及的先備知識內涵並不相同，在建構階段時，先備知識所涵蓋的範疇較廣泛，而整合階段中，所謂的不同種類的先備知識即為特定領域知識的概念。 10.

(28) Freedman和Shah（2002）在理論中加入與讀圖理解有關的領域知識（domain knowledge）、解釋的命題（interpretation proposition）以及視覺特徵（visual feature）等三個內涵，提出圖形理解CI模式。其中，領域知識和視覺特徵兩者分別與解釋命題相互連結。領域知識，指讀者本身對於量化關係或數據資料的基本概念，是為自動活化的由上而下機制，影響個體解讀圖示的特性和資料的內涵。在圖形理解 CI模式中，其與個體讀圖的技能（ graphical skill ），以及解釋圖形的技能（explanatory skill）統稱為圖形閱讀的先備知識。視覺特徵，是指圖示的特徵或屬性，包括圖示的特性，包括圖形的型態、顏色等，會影響個體對圖形知覺層次的理解，以及高層次的認知歷程。因此，適切地將圖示特性依據統計資料、問題目標進行群組，形成視覺集組（visual chunk）型態，例如趨勢資料以折線圖，將有利於統計資料的解讀。解釋的命題，個體對圖形中所呈現之訊息的解釋，這些解釋組成一個命題單位，如隨著收入增加，平均每個所擁有的汽車輛數也增加。讀圖技能，則是個體對圖形知識的基模，如二元的x-y軸裡的直線，通常表示線性關係。此技能在建構階段的初期認知歷程被活化，並協助個體將圖形內容加以集組（chunking），增加視覺特徵和解釋的命題間之間的連結強度。 Mayer（2001, 2005）結合 Pavivo 雙碼理論、Baddeely 工作記憶模式、Sweller 認知負荷理論等，提出多媒體學習認知理論，包含三個假設：1.雙重管道，外在表徵可經由口語（verbal）（例如文字）和非口語（nonverbal）（例如圖片）來表徵訊息，而這些訊息在人類的工作記憶裡處理。2.工作記憶的容量是有限的，因此在同一時間內能處理的訊息是有限的。3.主動處理歷程，意指人類會主動處理訊息以求理解，過程中這些訊息透過感官記憶、工作記憶和長期記憶來處理之，而處理的結果就會產生連貫的心智表徵。 Schnotz 和 Bannert（2003）修正 Mayer 文圖平行處理模式，提出圖文理解整合模式，如圖 3 所示。. 11.

(29) 圖 3 Schnotz 和 Bannert（2003）圖文閱讀理解整合模式 Schnotz 和 Bannert 認為文（text）和圖（picture）的閱讀理解歷程是以不同的符號系統運作，歷程中皆包含由下而上及由上而下的雙重機制。文屬於描述性（descriptive）表徵。在讀文的由下而上歷程中，是由次要的語意執行歷程來解讀文本表層的語文組織，如：表層的句子結構，再透過語意執行的歷程，建構文本訊息的命題表徵。另則，文的由上而下歷程裡，是由個體認知基模中的概念組織，扮演選擇（select）和組織（organize）的功能，即選擇基模內既有的訊息概念，藉此形成符合刺激訊息的特定結構（specific configuration），最後組織該結構，形成文本訊息的連貫性架構（coherent structure）。圖屬於描繪（depictive）表徵。在讀圖的由下而上歷程中，由視知覺辨識圖像表徵和形象，如相似性。再藉由主題的選取，建構該圖像的心智模式。而由上而下的運作，也是透過個體認知基模中圖形的概念知識，運用完形規則辨別圖形，選取與作業相關的訊息，將這些訊息存入工作記憶成為視覺模板（visual sketchpad）。最後，透過語意系統將圖形知覺轉為可用語意描述的關係，透過命題表徵和心智模式間的建構（construction）與審視（inspection），產生連續性的互動，統整成一完整的上位概念。歸結而言， 12.

(30) 圖文整合的理解，在於比對圖形與文字所蘊涵的成分，這些成分同時涵蓋表層語意和外在表徵，以及深層的語意結構。其中，圖的理解傾向透過圖形所呈現的外在表徵，以執行任務相關的主題選取歷程；文的理解則是概括性地閱讀，建構整體概略的文本內容和心智模式。而圖文內容成分間的一致性，以及連結兩者內容訊息的標示，將能夠協助讀者簡化該整合歷程（Schnotz, Ludewig, Ulrich, Horz, McElvany, & Baumert, 2014）。然而，在 Schnotz 和 Bannert 提出的圖文閱讀理解整合模式中，係分別討論圖、文兩種外在表徵對於整合歷程的影響，且多數的影響來自內在表徵間的互動。然而，當閱讀材料同時呈現圖文時，讀者所接收到的是一個圖文並置的雙重表徵時，是否可能因為多元表徵的刺激，而影響讀者從概念中所提取的語文和視覺組織？再者不同的外在表徵內容是否也影響讀者的圖文整合歷程？有待進一步討論。除了圖文閱讀理論外，也回顧了Pinker（1990）以基模概念提出的統計圖閱讀理解認知歷程（詳見圖4），以利後續討論交互作用效果統計圖的閱讀型態。該歷程內涵包含：配對（MATCH）、訊息整合（message assembly）、檢視（interrogation）以及推論歷程（inferential processes），如圖4所示。. 圖4. Pinker（1990）統計圖閱讀理解模式. 13.

(31) 個體在進行配對之前，會先啟動由下而上的認知歷程，將視覺陳列的描述進行編碼。接著再比對圖表結構表徵的描述，及其視覺背景基模，並且選擇最符合的基模，如判斷統計圖表為長條圖、圓餅圖等類型。隨後將視覺表徵與其所蘊含的意義和概念連結，形成圖形的基模。歷程中也會執行由上而下的編碼機制，連結視覺陳列與既有圖形基模的概念，以正確解讀視覺表徵。訊息整合（message assembly），將配對過程所建置的範例圖形與既有的認知基模進行整合，即新舊圖形基模的比對和整合。歷程中將與視覺陳列到範例圖形基模的形成有關，也就是說訊息整合的成功與否，會受到配對的歷程及結果之影響。檢視（interrogation），由上而下的機制將在此階段，因為當無法即時從概念訊息中獲取某些所需的資訊時，需要往回檢索配對歷程中的比對基模，歷程中也可能回至文本所提供的圖形中找到所需的相關訊息。推論歷程（inferential processes），指個體能夠運用領域知識解釋圖的意義等能力，運用概念訊息中基模，從圖中的脈絡進行推論。上述認知活動的執行歷程中，個體啟動從下而上的運作來進行圖形的描述和範例基模圖形基模的建構，而在高階的推論歷程中，也需要從概念訊息回去檢視前面的視覺圖形或範例圖形基模時，因此，整個統計圖閱讀理解歷程是由下而上與由上而下，雙重機制的循環運作歷程。二、圖文整合閱讀理解的眼動研究目前閱讀理解的眼動研究旨在透過個體在閱讀文本時的眼動行為來反映其理解歷程的認知成分（Juhasz & Rayner, 2003; Williams & Morri, 2004）。所使用的研究材料包含純文（Juhasz & Rayner, 2003; Rayner, 1998）、純圖（Carpenter & Shah, 1998），與圖文並置的文本。其中，圖文並置的研究材料，包括繪本（Evans & Saint-Aubin, 2005）、漫畫（岳修平、林維真、李孟潔、黃瀞瑩、葉思岑，2011）、廣告（Rayner, Rotello, Stewart, Keir, & Duffy, 2001）、科學（簡郁芩、吳昭容，2012； Schmidt-Weigand, Kohnert, & Glowalla, 2010），以及幾何（陳琪瑤、吳昭容，2012）。承上可知，圖文並置的眼動研究所採用的閱讀材料的屬性相當多元，依據文本內 14.

(32) 容與材料特性，大致可分為學科類、科普類以及大眾娛樂等類型。而本研究主題所要探討的交互作用效果的內涵，其材料內容和知識取向的屬性是為科普類及學科類，因此以下回顧相關的眼動文獻。 Hegarty、Carpenter 和Just（1991）以大學生為研究對象，採用滑輪系統的圖文材料，分析他們的眼動軌跡發現，讀者呈現以文為導向的閱讀型態。接著，Hegarty 和 Just（1993）仍以滑輪系統為材料，逐筆分析大學生的在閱讀滑輪部件的順序，凝視點數目以及閱讀時間等眼動指標。發現大學生會在圖文間幾個相關的連續圖示來回移動，並有產生回視的現象。表示他們需要來回閱讀圖文間的訊息，以補足工作記憶和背景知識的限制。在閱讀效果部分，滑輪外觀題的得分明顯高於動力題；閱讀效率則是讀純圖的時間最少，讀純文的時間最多，圖文則為中間值。顯示，透過圖所提供的空間表徵，可節省讀者的閱讀時間，甚至是圖文並置的雙重表徵文本，閱讀時間尚少於純文版本，而閱讀效果反映在經由直觀即可理解的空間題目。 Schmidt-Weigand、Kohnert 和 Gowalla（2010）以閃電成因圖文為材料，探討大學生在不同的文本呈現方式（文字或口語），以及文字呈現速度不同的情境下，他們的閱讀理解歷程。結果發現他們花費在讀文的時間較圖來得多，而且圖區停留的時間與文本呈現速度有關，文本呈現速度越慢，圖區停留越久。表示讀者在閱讀該類型的圖文材料時，仍以文為主導。若能有較充裕的閱讀時間，或者較仔細地讀文，形成較完整的命題表徵，也會影響讀者讀圖的時間。顯示閱讀材料中若呈現雙重表徵，讀者對於單一表徵的認知，會影響他們另一表徵的閱讀型態。 Cook、Wiebe 和 Carter（2008）以擴散作用和滲透作用為實驗材料，探討不同生物背景知識的高中生的閱讀理解歷程之差異，同時收集受試者的訪談與眼動資料進行分析。整合眼動資料的結果，Cook等發現，高知識背景者較能夠注意到圖文相對應的重要概念，而低背景知識者則是著重在圖像表徵上的描述，如分子的大小。該結果主要反映出先備知識的高低將影響讀者是否能夠擷取圖文中較為 15.

(33) 深層的知識概念。其次則是指出，若對某一概念僅具備基本或低先備知識，圖示的功能將可能會侷限在提供表面的特徵。依據Mayer、Schnotz和Bannert所提出的圖文閱讀理解整合模式，簡郁芩（2012）採用有無箭頭的機械動態圖（儲水槽）為實驗材料，收集讀者的眼動資料和閱讀理解測驗，透過探討箭頭對機械動態圖閱讀理解歷程的影響，提出機械動態表徵的認知模式，該模式包含兩個歷程：「由下而上」和「由上而下」，前者是讀者會依據外在表徵的型態（圖或文），選擇與編碼各自提供的空間結構和動力訊息，再加以組織局部的內在表徵，形成一個單一整合的心智模式，後者則與讀者的經驗基模和先備知識有關。 Schnotz、Ludewig、Ulrich、Horz、McElvany 和 Baumert（2014）以代表不同解題認知歷程的測驗題，包含比對單一訊息、訊息中簡單的關係，最後是複雜訊息等三個比對階段，收集受試者在三階段中圖-文、圖、文的凝視時間與跳視，探討個體在解題歷程中的圖文整合情形。結果發現，讀文時受試者在越後面階段的凝視時間和跳視減少，而圖則反之，顯示個體在讀文由下而上將文中表層和關聯訊息整合，而讀圖時便可運用已建構的心智模式來讀取圖中的核心訊息，此時圖協助讀者持續搭築先前已建構的心智模式。. 圖文整合眼動研究的分析指標在眼動資料分析之前必須設定分析的區域，稱為興趣區域（interesting area，後簡稱IA），意指研究者根據文獻或理論，選取刺激材料中所欲觀察的區域（陳學志、賴惠德、邱發忠，2010）。不同的研究基於研究問題、實驗材料（如文本類型、所使用的語言）等差異，其切割分析IA的單位和大小不一。圖文整合眼動研究相對於純文來得少，圖區IA劃分方式在學界欠缺共識。本研究依據眼動文獻，文的IA 以中研院CKIP斷詞系統（http://ckipsvr.iis.sinica.edu.tw/）的分析結果為劃分依據，圖則以切割成圖名、各個座標軸與圖說等區塊。 16.

(34) 目前圖文眼動指標也大多沿用純文閱讀理解的眼動指標。其可粗略區分為時間性與空間性兩種。凝視時間（fixation duration）是對稱的計算時間方式，主要包括總凝視時間（total fixation duration，簡稱TFD）、第一次凝視時間（first fixation duration，簡稱FFD）、回視總凝視時間（regressive gaze duration，簡稱RGD）；涉及凝視點間的距離或者IA之間的移動，則屬於空間性的眼動指標，例如跳視次數（numbers of saccade）、跳視距離（saccade length）、跳讀率（skipping rate）、回視次數（counts of regression）等。本研究採用的眼動指標為時間性的總凝視時間，指注視焦點停留在某個IA的時間，其時間的長短通常反映讀者在文本中搜尋訊息和理解的難度。圖文整合眼動研究的資料呈現則多半會採用能凸顯圖文並置特性的眼動指標，例如讀圖凝視時間佔總時間的比率（proportion of fixations on diagram）。雖然圖形區域的跳視距離會隨作業特性而異，一般而言，圖形區的跳視距離通常比文字來得大，例如：風景圖的跳視距離大約4-5度視角（Rayner, 2009），而科學圖則大約3 度視角（Jian & Wu, 2014）。大多數的圖文整合眼動研究發現，圖文並置的文本，如科學圖文、廣告等，成人讀圖比率佔總閱讀時間比率約27-30%（簡郁芩、吳昭容，2012；Jian & Wu, 2014；Schmidt-Weigand et al., 2010；Rayner et al., 2001），顯示個體即使需要對照圖文間的訊息，但大多數的時間仍以讀文為主，特別是兒童在科學圖文並置文本的讀圖比率更只有6% （Hannus & Hyönä, 1999）。換言之，不論是成人或兒童，在閱讀一般圖文並置的文本時，個體花了相當有限的時間在處理圖形訊息。然而，幾何證明文本的讀圖比例大約為50%，高出其他圖文並置文本許多（陳琪瑤、吳昭容，2012；Lin, Wu, & Scott, 2012）。顯示，不同內容特質的圖文並置文本，會影響讀者參照圖的行為。而本研究所採用的交互作用效果圖文的內容，涉及基本統計學概念的科普文本，而其圖形為折線圖。此類的文本將耗費讀者多少認知資源在處理圖上的訊息，以協助讀者閱讀理解？是一值得討論的議題。故，本研究亦將採用讀圖比例，作為分析標的之一。 17.

(35) 除了上述眼動指標，序列分析（sequential analysis）採計 IA 本身到下個 IA 的凝視次數，累計後計算轉換事件機率，再以 z 分數考驗之。此計算方式並不計算在 IA 本身內的凝視次數，如 1 號 IA 若下個仍在 1 號 IA 的凝視點，將不計入。透過分析結果，可討論讀者在圖文的閱讀軌跡（Bakeman & Gottman , 1997; Jian & Wu, 2014）。Jian 和 Wu （2014）採用序列分析探討讀者在閱讀有無箭頭組的科學圖時，在 IA 間的閱讀軌跡，並將結果圖示化，表徵出在加入箭頭的文本中，讀者如何閱讀圖中的空間結構。本研究也將採用該分析方式，討論讀者在交互作用效果統計圖文的閱讀軌跡。本論文中包含三個研究，分別回應研究目的。研究一透過對一般社會人士和領域專家進行訪談，以了解他們對交互作用效果的想法和解讀，特別是受訪者在解讀純文字描述與附上統計圖兩種交互作用效果文本的差異，並歸納領域專家的訪談結果來編製後續研究的材料。接著，研究二則以純文與圖文兩種版本，探討加入統計圖後，對受試者眼動型態與閱讀理解的影響。最後，研究三沿用研究二的測驗作業，並操弄兩種不同版本的統計圖，探討統計圖呈現方式對受試者眼動型態與閱讀理解的影響。. 18.

(36) 研究一研究一包含研究1-1和1-2。前者目的在於瞭解一般社會大眾對於交互作用效果的解讀，以及閱讀材料的呈現方式不同（四句話的純文版與加上圖的圖文版），是否會影響受訪者的解讀。後者則進一步訪談與交互作用效果相關的領域專家，旨在獲知領域專家認為之交互作用效果的重要概念，以編製後續研究二、三共用的測驗作業，也瞭解領域專家於交互作用效果解讀的差異。另一方面，經由文獻回顧後發現，探討交互作用效果的閱讀理解之研究較為欠缺，因此作者將從研究一的結果發展後續兩個眼動研究可行的研究方法和材料。. 研究1-1 一、研究對象網路上招募12位大專（含）以上，包含研究所與社會人士之民眾，不限領域。因此，研究對象的領域背景相當廣泛，包括教育、藝術、語言、工業電子、體育休閒等。年齡範圍在20歲~37歲之間，平均年齡為24.2歲。二、實驗材料訪談材料含一題範例題與兩題測驗題，均選用最基本的交互作用效果的類型，亦即考量交互作用概念對於一般大眾的難度，本研究三個訪談材料均僅含兩個自變項，且皆為兩個水準。材料主題則選擇一般民眾在日常生活中常遇到的議題，包括用藥、廣告策略、飲料，以符合生態效度（詳見附錄一和附錄二）。編製過程商請一位心理碩士與一位心理測驗統計博士生閱讀，以檢視本研究一材料內容的可讀性與正確性。範例題以文字描述 2×2 的交互作用效果，內容包括三段，第一段簡述情境（藥物有兩種配方），第二段以四句話報告用藥與性別有交互作用的現象，第三段則指出該結果顯示性別與配方在治療率上具有交互作用。兩題測驗題的純文版內容包 19.

(37) 含兩段，第一段簡述情境，第二段以四句話報告交互作用，同範例的第一、二段。圖文版內容包含以文字簡述情境，以及依據文中所提供的變項而繪製的交互作用折線圖。透過前述文獻探討結果可知，純圖的統計文本僅能提供特定訊息的擷取，只提供圖的話無法傳遞完整的統計概念，因此採用圖文並置版本與純文版對照，探討不同表徵方式的交互作用文本，對於讀者交互作用概念判讀的影響。圖文並置版採用折線圖為圖示表徵之因，係參考自前述文獻中以二因子交互作用圖示為實驗材料之實徵研究。採用交叉. 與非交叉. 兩種圖形。. 三、實驗程序研究程序包含兩階段，第一階段是範例的閱讀與訪談，第二階段是測驗題的閱讀與訪談。第一階段首先提供受訪者交互作用效果的範例，訪問受訪者後述的四個問題：1. 上述交互作用效果的範例，與你所瞭解的「交互作用效果」是否有所差異？請說明一下。2. 請說說看為什麼上述範例可以/不可以視為「有交互作用效果」？3. 請依據你對上述交互作用效果的說明，舉一個交互作用的例子。4. 請你依據上述交互作用效果範例中，畫出用藥、性別跟治癒率的變項關係圖。第二階段受訪者會被隨機分配到四種情境，包含：純文版題一和題二、純文版題二和題一、圖文版題一和題二，以及圖文版題二和題一。不論是讀哪種類型的表徵，回答的問題皆相同，包含：上述題目中的變項間是否呈現交互作用，以及簡述有無交互作用效果的理由。此外，正式訪談前會請受訪者填寫個人基本資料，包含科系與修習過那些統計相關課程，若無則不用填寫。. 20.

(38) 四、結果與分析研究者逐筆分析 12 位受訪者的訪談資料，交叉比對受訪者在四個問題的回答內容、兩個測驗題作答歷程與結果，以及變項關係圖，並將分析結果與一位認知心理學教授進行共識評量，以確認該分類結果的正確性。研究結果可將「交互作用效果」理解層次分為「無具備變項概念」、「有初步的變項概念」以及「有基本的變項概念」等三種類型。「無具備變項概念」類型，這類型的受訪者對交互作用效果的理解是針對該詞進行字面上的解釋，認為交互作用效果是一種現象，只要事物間彼此影響，就會有交互作用產生。例如：「只要有交互就會有作用，就是交互作用」。依據他們對於交互作用效果的理解，該類受訪者認為兩題測驗題皆是呈現交互作用效果，因為「題目中出現一些事件，事件彼此間有關係，就會有交互作用效果」。在繪製變項關係圖的方面，是以範例中描述交互作用效果的順序、每句內容或研究結果畫出變項關係的示意圖，例如他們認為事件彼此間有關係受試者繪製的蜂窩結構圖。「有初步的變項概念」類型，這類型的受試者認為交互作用效果是一種跨事件間的比較關係或資料解釋的方式，但缺乏其他相關的統計概念，如變項間的因果關係、統計顯著性等。他們認為若統計資料已經說明數據間的高低或多寡程度，事件間又有進行比較，便可視為產生交互作用效果。例如：「是交叉比對的，需有相對較多或較高的效果，但不需顯著性」。依據他們對於交互作用效果理解的概念，這類型的受訪者認為符合交叉比對和結果有相對高低的敘述，即使文中指出無顯著差異，應只是表示該交互作用不明顯，仍可視為有交互作用。在繪製變項關係圖的方面，是以樹狀圖、表格等型態，表徵他們對於「交互作用效果」的理解。「有基本的變項概念」，這類型的受訪者有統計概念的基礎，認為「交互作用效果」的資料解釋型態是類似列聯表的交叉比對方式，且交叉方向需相反。但是，他們會因為專業領域所屬的背景知識，影響他們對交互作用效果的認知。例如： 21.

(39) 生命科學背景和化學系的受訪者皆認為「A、B 藥需同時在男生或女生身上，瞭解效果，才是所謂的交互作用效果，進而影響治癒率」，統計學系的受訪者則認定交互作用是「出現不預期的影響變項，所以本來是 A 影響 B，但是後來因為 C 出現，而改變三者的關係」。依據他們對於交互作用效果理解的概念，這類型的受訪者卻產生不同的作答型態：1.認為符合交叉比對且有統計考驗結果，交互作用效果才會成立。2.認為不符合生物實驗中，同時作用在一個受體上面的概念時，無法討論交互作用效果。在繪製變項關係圖的方面，是以折線圖、長方圖、變項表格等示之。另一方面，純文組的讀者，首先指出文本中四句描述交互作用的句子過於複雜，讀者需要將文字簡化或自行簡列出變項間的關係，始得掌握文本所提供的訊息。例如，155 公分 55 公斤的女性購買無糖飲料比例顯著比 155 公分 45 公斤的女性多，160 公分 55 公斤的女性與 161 公分 45 公斤的女性，購買無糖飲料比例無顯著差異。圖文並置版本的讀者，則是會以直觀經驗，或者「交互」一詞的意思，認為圖形呈現交叉，應該就是所謂的「交互」，指因素彼此間有關係。因此判斷提問中的交互作用成立。但是，也有讀者指出，文字中未說明相關的統計資料，無法單憑圖來判斷交互作用成立與否。綜而述之，根據研究一的結果發現，交互作用效果的內容對一般成人而言是較難理解的。會受到文本敘述方式、所使用的圖形表徵方式，以及先備知識等因素而影響解讀的結果。一般成人若無初步的推論統計概念者，對於交互作用效果的認知侷限在字面意義的解讀，並無法釐清此交互作用效果所蘊含的統計概念，如辨別自變項與依變項、需經過統計考驗來確立交互作用效果的成立等。惟具備基本統計概念的受試者，能夠簡略地描述統計資料的分析方式，以及統計圖示的型態。大多數的受訪者認為交互作用效果中，用來描述單純主要效果的概念本身過於複雜，用來描述的語句也嗷口，不利理解。但是，若文本中缺少單純主要效果的描述，讀者卻也可能只依據統計圖所提供的知覺效果，錯誤判讀交互作用效果。換言之，過於複雜的文字描述與僅提供交互作用統計圖，都可能影響讀者對 22.