第二章 文獻探討
第七節 兒童繪本閱讀歷程的眼動研究
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
32
引起不同的資訊處理歷程,進而產生不同的字彙學習或閱讀理解結果。若能取得 兒童資訊處理歷程當下的資訊,則可了解兩種策略背後的作用機制。而認知神經 科學領域的眼動研究技術,便提供研究者極佳的即時資訊。
第七節 兒童繪本閱讀歷程的眼動研究
一、閱讀的眼動研究
人類眼睛視網膜的中央小窩,有著最佳的視覺敏銳度。中央小窩對應到眼 睛的凝視中心點,而視野中離此凝視中心點越遠,則視覺敏銳度越低,因此每一 次凝視所獲得的資訊有限,若要獲得完整且清楚的外界資訊,眼睛就必須時常移 動。眼睛在觀看外界視覺刺激時,會表現出不斷地短暫凝視(fixation)與快速移動 (saccade)的行為,只有在短暫凝視時,才能獲取外界的資訊。因此眼睛停留在何 處(where)、停留多久(when)的表現,便反映出認知處理的歷程(蔡介立, 顏妙璇, &
汪勁安, 2005)。以閱讀文字為例,若發現眼睛在特定字詞上停留很長時間,或不 斷地由別的文字上回視該字,便可能表示在該字的處理上遇到困難,或是該文字 與語句脈絡不吻合。這些眼動行為的表現,可利用眼動儀加以記錄,進而透過計 算眼睛凝視的機率、次數和時間等眼動指標,來反映處理不同刺激特性的認知歷 程。
因為人類的視覺行為是不斷搜尋所需資訊的動態歷程,眼睛接收到的訊息 與大腦的認知系統會交互影響,決定下一次眼睛移動的方向與停留的時間,在閱
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
讀歷程中的眼動表現,因此展現了注意力的分配情形。眼動表現如同一扇窗,運 用非侵入、敏感、即時的行為指標,讓我們了解注意力的分布及其背後的認知歷 程(Ferreira & Henderson, 2004)。
文字閱讀時眼睛並非平滑地在句子中移動,也不會停留在每一個字上,而 是在某個文字上短暫停留後,再快速地移到不同的文字位置,這短暫停留─快速 移動的歷程,可了解文字特性對認知處理的影響。閱讀的眼動研究一般常運用凝 視時間(fixation duration)與移動距離(saccade length)兩指標來探討閱讀歷程。凝視 時間指的是眼睛凝視某個目標區域(以文字來說是某個字或詞)的時間,可依凝視 次數、是否是第一次經過(first pass)等再細分。一般而言,在閱讀英文文章時,
眼睛每次在文字上停留的凝視時間為150毫秒至500毫秒,平均為250毫秒;閱讀 中文文章時,平均的凝視時間則為220~230毫秒。移動距離指的是兩次凝視之間 的距離,通常以字母或中文單字為單位,閱讀英文時的平均移動距離為7~9個字 母,中文則是2.5~3.3個單字(蔡介立, et al., 2005)。兒童因生理及閱讀能力的限制,
其閱讀過程中的眼動表現,自與成人有別:平均凝視時間約為200毫秒,平均的 移動距離則為7.5個英文字母(Rayner, 1998)。以英語兒童的研究資料來看,隨著 年齡增長,平均凝視時間與回視比例均出現下降趨勢,而移動距離則相對增加 (McConkie, Zola, Grimes, Kerr, Bry-ant, & Wolff, 1991; Rayner, 1998)。
閱讀眼動研究多使用文句為實驗材料,而繪本雖是圖文並存的媒材,但過 去有關圖畫瀏覽的眼動研究仍多以凝視時間、移動距離等指標,探討圖片資訊處
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
34
理的歷程。一般而言,人類在處理圖片資訊時的平均凝視時間約為300毫秒,而 平均移動距離則為4~5度視角(Rayner, 2009)。但圖畫與文字的本質不同,其眼動 的閱讀表現亦有所別,圖片的觀看約有下列幾個特性(Ferreira & Henderson, 2004;
Loftus & Mackworth, 1978; Rayner, 2009):
1. 觀看圖畫沒有一定的方向性:圖畫將許多元素整合在一定的空間範圍 內同時呈現,觀看圖畫時可以由遠到近、由鉅觀到微觀、由左到右或 由右到左、由上到下或下到上,沒有固定的方向性。
2. 人們在觀看圖畫時可以在很早期(1~3個凝視點)便獲取該圖的要旨 (gist)。
3. 物理刺激的因素會影響圖片的觀看:諸如彩度、亮度或資訊密度的高 低等由下而上(bottom-up)的物理特性,會對人們的圖片觀看產生影響,
其影響集中在觀看歷程的早期。
4. 認知因素會影響圖片的觀看:
(1) 圖片脈絡:圖片本身營造的情境脈絡會影響人們凝視特定的區域 (例如料理台之於廚房),其作用亦集中在觀看歷程的早期,使人們 在早期就會將注意力集中於那些富有高度訊息的區域(如與背景脈 絡不一致或富含較多物件的區域)
(2) 背景知識:人們所擁有的關於圖片所描繪的場景或事件的背景知 識會讓我們在觀看時,將注意力集中於特定的區域。例如要在廚
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
房的圖片中找到咖啡杯,我們很自然地會凝視放杯具的櫥櫃。
(3) 語音訊息:觀看圖畫時,若同時接收到相關的語音訊息,也會讓 我們注意語音訊息中所提到的物件。例如看畫展時,一邊聆聽語 音導覽,眼神便會隨著語音導覽的描述而移動。
(4) 觀看的目的:找出某樣物品或欣賞某位畫家的筆觸,前者會讓我 們在畫面中快速的瀏覽並搜尋特定的物品,後者則會讓我們停留 在特定的區域仔細審視。這些不同的目的,都會讓圖片的觀看展 現出不同的眼動行為。
基於視覺敏銳度與注意力的限制,閱讀圖或文的過程中讀者需要不斷地移 動眼睛,當遇到特別困難、矛盾、模糊不清等狀況,或出於不同的閱讀與瀏覽目 的、經歷不同的情境脈絡時,為了獲得完整的資訊、瞭解圖片及文章的內容或滿 足特定的需求,閱讀者會在某些地方停留較久或重複閱讀與觀看,凝視時間及移 動距離等眼動指標提供的正是了理解閱讀與觀看歷程的即時資訊。
二、繪本共讀的眼動研究
閱讀研究所運用的材料為文字組成的字、詞、句子或段落文章,閱讀的範圍 則依材料文字的多寡由一行到多行組成的段落,而繪本乃圖文並陳的媒材。除圖 畫與文字的閱讀特性不同外,有圖有文的複合媒材其閱讀表現與單純圖畫或文字 的閱讀行為又不相同。此外,兒童的文字能力有限,雖可能仰賴圖畫提供訊息,
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
36
但大班跟學齡早期兒童已開始學習認字,亦可能在文字區搜尋所需要的線索,表 現出在文字與圖畫區域間往復瀏覽的行為,因而繪本閱讀時的眼動表現與一般的 圖畫或文字閱讀行為可能有所差異。雖無法直接套用文字及圖畫眼動研究的所有 指標,以分析閱讀圖文並陳類媒材時的眼動表現,但圖文並陳的資訊如何影響眼 睛移動到何處、何時移來、停留多久、何時移走等when與where的決定,卻使我 們同樣可以鎖定圖畫中研究者關心的目標區域,並透過眼動儀所記錄的凝視位置 與停留時間,探討受試者在面對圖畫、文字並陳的材料時,認知處理的歷程。
1. 兒童繪本閱讀的眼動基本型態
過往文獻雖然支持繪本共讀可促進兒童語言能力的發展,但不論分析共讀歷 程中的影像紀錄,或閱讀歷程中兒童的提問內容,均可得知兒童在共讀時注意繪 本中文字與圖畫的比例相當懸殊:注視文字的比例明顯少於圖畫 (Shapiro, Anderson, & Anderson, 1997; Yaden, Smolkin, & MacGillivray, 1993) ,且在文本閱 讀結束後的提問內容中,兒童有關文字的提問或意見僅佔總體提問比例的10%
(Shapiro, et al., 1997) 。
前述現象僅能反映兒童在繪本閱讀後有關繪本內容的語言表達狀況,因兒童 的語言表達能力有限,與成人的互動中提及圖畫的比例較文字高,可能是受到語 文能力的限制。無論是分析受試者事後敘述的方式及內容,或錄影紀錄閱讀時兒 童的語言及非語言的互動等方式,皆缺少兒童在共讀歷程中是否凝視文字或圖畫 區的直接證據。眼動儀的運用,配合操弄繪本的特性,如文字大小、字數、圖文
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
配置(Justice & Lankford, 2002)、印刷的色彩、是否透過圖形強調文字(Evans &
Saint-Aubin, 2005)或受試者的年齡與閱讀能力(Roy-Charland, Saint-Aubin, &
Evans, 2007)等因素,可以幫助我們了解兒童閱讀時注視文字與圖畫的頻率與長 度等眼動表現,也可以了解不同繪本編排方式─文字大小、圖文比例、文字多寡
─對繪本閱讀眼動反應的影響,以及不同兒童在繪本閱讀時注視文字等眼動表現 的個別差異。
由於繪本是圖文夾雜的文本,成人在共讀歷程中,透過共讀策略強調的區域 可區分為繪本中的文字區或圖畫區。共讀策略、繪本共讀時強調的重點區域間的 關連表示如圖2-2。
繪本
圖畫 文字
口語 非口語 非口語 口語
共讀策略 共讀策略
提問式 陳述式
提問式 陳述式 優於口語
何者較有效
未定論
效果待研
究
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
38
兒童繪本閱讀的眼動研究結果顯示,繪本印刷色彩會影響兒童繪本閱讀時的 凝視時間,當兒童閱讀彩色印刷的繪本時,文字或圖畫的凝視時間與凝視次數均 多於單色印刷,顯示出彩色印刷的文本較能引起兒童的閱讀興趣(Evans &
Saint-Aubin, 2005)。
那麼究竟兒童在繪本閱讀中凝視文字區域的時間是否確如語料分析結果般,
遠低於圖畫區域?研究發現,學前兒童在繪本閱讀時注視文字區域的時間,約佔 整體凝視時間的4~10%;凝視文字的次數比例僅佔整體凝視次數的4%;而文字 的平均凝視時間則僅有2.1秒,均遠低於圖畫區。看圖不看字的表現(Justice &
Lankford, 2002)近似語料分析研究的結論。此外,編排形式並不能明顯提升兒童 看字的比例,即使閱讀的材料屬於強調文字的類型,學前兒童注視文字的凝視時 間亦僅佔整體凝視時間的5%(Justice, Lori, Canning, & Lankford, 2005)。文字的凝 視時間遠低於圖畫的現象,也不受到文字出現的位置與方式(例如是否透過對話 泡泡等圖形凸顯)而改變(Evans & Saint-Aubin, 2005)。換句話說,不同的呈現方 式並不能改變兒童注視圖畫區遠多於文字區的表現,此表現並且不受兒童閱讀能
Lankford, 2002)近似語料分析研究的結論。此外,編排形式並不能明顯提升兒童 看字的比例,即使閱讀的材料屬於強調文字的類型,學前兒童注視文字的凝視時 間亦僅佔整體凝視時間的5%(Justice, Lori, Canning, & Lankford, 2005)。文字的凝 視時間遠低於圖畫的現象,也不受到文字出現的位置與方式(例如是否透過對話 泡泡等圖形凸顯)而改變(Evans & Saint-Aubin, 2005)。換句話說,不同的呈現方 式並不能改變兒童注視圖畫區遠多於文字區的表現,此表現並且不受兒童閱讀能