運用情感運算技術分析行動媒體介面配置對使用者疲勞及注意力的影響

全文

(1)國立臺中教育大學數位內容科技學系碩士論文. 指導教授：吳智鴻博士. 運用情感運算技術分析行動媒體介面配置對使用者疲勞及注意力的影響 Using Affective Computing Techniques for Measuring User Fatigue and Attention in Mobile Media Interface Design. 研究生：劉長儒撰中華民國 102 年 1 月.

(2)

(3)

(4)

(5) 誌謝從 2009 年 9 月開始，又開始重拾學生的身分，埋首在書堆(笑)。經過了 3 年半不長也不短的邊玩邊學的生活，還經歷一次總統大選(欸)。我想，是該開始另一段不同的人生。我不會把那種「要感謝的人太多了，就謝天吧！」矯情的文字放在自己碩論的致謝裡(但還是放了)。首先最要感謝是我的指導教授吳智鴻老師，對於一個懶散又很有自我想法的學生給予極大的包容、教導有關於一些我不熟悉學科，並且讓我對講課與教學有更深一層的認知。再下來要感謝的是兩位口試委員黃國禎教授與陳郁文教授的不吝指教，讓我的畢業論文更臻成熟。感謝陪我走過論文寫作生活的雨湘，沒有你的鼓勵與陪伴，我可能沒有辦法有動力繼續完成論文。也感謝我的同門師弟奕霖，給予我實驗上與論文的幫助，我這個碩四學長的棒子已經交到您的手中了(欸)，希望你也能順利的畢業。還有我們同屆的研所同伴們，希望你們也可以快點打敗論文惡魔黨。還有要感謝來當我實驗受測者的學弟妹們，沒有你們的支持這論文也是無法完成。另外感謝台中教育大學攝影社的夥伴代郁、Walis、忘記、MV、小靖、元鳴、 Yuma、音秀、CC、阿雞…等族繁不及備載，讓我這位哥哥很盡興的有年輕人作陪，找回過去遺失的社團生活，並一起精進攝影技術。前室友大學同學牙買加，你的肝還好嗎？另一名前室友小明，看到妳在澳洲過那麼好真的很替妳高興。曾經深陷論文泥沼的阿 JO，我終於了解妳的苦了(拍)。再來要感謝求學期間內給予我案子的業主們，不管是攝影、動畫與配樂、網站製作。讓我在學生生涯而經濟一片不景氣中還可以維持一個基本的開銷，並且很罪惡的又胖了一點。還有曾經一起拍片的夥伴們，得金獎的那刻真的是太爽了，你們知道的！最後要感謝我的爸媽，包容我貪玩的習性，期間給予很大的支持，沒有你們也不會有我，雖然我一直延長修業年限(欸)。以上，謝謝你們！祝你們平安健康，人生喜樂！ I.

(6) 中文摘要近年來資訊科技與網路通訊的進步，在行動裝置上軟、硬體也逐漸成熟，各類的軟體、遊戲及應用也如雨後春筍般出現，而教學的方式也漸漸的改變，相關的學習軟體也出現在行動裝置上。本研究使用客觀之眼動儀(Eye Tracker)與 Neurosky 腦波儀器、血氧濃度、心率變異度、emWave、閃光融合閾值(CFF)皆為非侵入式之儀器，並結合主觀評量問卷、工作績效測驗做一個更全面性的研究。本研究之研究對象以大學生及研究生為主，共選取 32 名，並加入環境光源與背景音樂有無的變項，施予儀器以了解在 iPad 上學習與閱讀之最佳化配置。本研究發現綜合所有變項指標後：(1)黑底白字的文字背景配置均優於白底黑字的配置；(2)色光三原色背景中綠色為最優，紅色次之，藍色最後；(3)數位媒體上比起真實紙本來的更不易疲勞與注意力更高；(4)亮的環境比暗的環境來的好； (5)有背景音樂比無背景音樂還要好。本研究綜合所有變項指標後發現在性別、學歷、學習背景上皆有顯著效果： (1)女性較男性不易疲勞，而男性則注意力較高；(2)在學歷上，不論注意力或是疲勞指標均是大學優於研究所；(3)在疲勞程度指標上，學習背景中藝術設計最優，語文教育次之，資訊科學為末，而在注意力指標上資訊科學為最高、藝術設計次之，語文教育為末。綜合本研究所有指標與研究結果可知，使用數位媒體閱讀與教學在疲勞與注意力、工作績效並不一定會差於紙本，這與過去的研究發現有些不同，顯示科技的進步也許更拉近了兩者間的差異性。另外更需注意操作數位媒體閱讀或學習時的環境亮度，以及加入背景音樂可以舒緩疲勞程度與提升注意力。. 關鍵字：iPad、腦波、眼動研究、情感運算、視覺疲勞. II.

(7) Abstract In recent years, advances in information technology and network communications, hardware and software on mobile devices mature, all kinds of software, games and applications have sprung up. Way of teaching gradually changing, learning software on mobile devices.The objective of this study eye tracker Mindset from Neurosky, SPO2, HRV, emWave, CFF are non-invasive instruments, combined with fatigue subjective assessment questionnaire, job performance tests to do a more comprehensive study. The study subjects were selected 32 undergraduate and graduate students. And two variables increase the ambient brightness and background music, the use of instruments in order to understand the learning and reading on the iPad optimized configuration. The study found that integrated all variables indicators: (1) white on black configuration is superior to the configuration of the black and white;(2) in the shade of the three primary colors background green optimal, red, followed by blue last;(3) iPad than real paper even more difficult to fatigue more attention;(4) bright environment compared to the better in the dark environment;(5) The background music is even better than no background music. Comprehensive indicators for all variables found to have a significant effect on the gender, education majors: Comprehensive indicators for all variables found to have a significant effect on the gender, education majors:(1) easy fatigue more women than men, while men attention higher;(2) in terms of qualifications, regardless University of attention or fatigue are superior to the Institute;(3) indicators of the degree of fatigue, majoring in art and design is the most difficult fatigue, majoring in language education for second place, and information science for the end. Attention indicators, majoring in science is the highest of Art and Design majoring in second language education for the end.. III.

(8) The use of digital media reading and teaching, the degree of fatigue and attention, job performance is not necessarily worse if real paper, and past studies have found somewhat different. Advances in display technology might reduce the differences between the reading the digital media and reading the real paper. Also need more attention to operating the brightness of the digital media reading or learning environment, as well as add background music can soothe the degree of fatigue and enhance attention.. Key words: iPad, EEG, Eye movement research, Affective computing, Visual fatigue. IV.

(9) . 目錄致謝................................................................................................................................I 中文摘要.............................................................................................................................II 英文摘要..........................................................................................................................III 一、緒論...............................................................................................................................1 1.1.. 研究背景與動機.........................................................................................1. 1.2.. 研究目的......................................................................................................1. 1.3.. 研究範圍與限制.........................................................................................2. 1.4.. 研究貢獻.....................................................................................................4. 二、文獻探討......................................................................................................................5 2.1.. 2.2.. 2.3.. 行動裝置介面............................................................................................5 2.1.1.. 字型在介面中對閱讀的影響.......................................5. 2.1.2.. 字體大小在介面中對閱讀的影響.........................................6. 2.1.3.. 字距在介面中對閱讀的影響..................................................6. 2.1.4.. 色彩配置....................................................................................6. 腦波與 BCI ( Brain Computer Interface ) .................................................7 2.2.1.. 腦波............................................................................................7. 2.2.2.. 大腦人機介面 BCI ( Brain Computer Interface ) ...................7. 2.2.3.. 音樂與腦波.............................................................................9. 眼動與閱讀研究......................................................................................12 2.3.1.. 注意力研究..............................................................................13. 2.3.2.. 注意力與文字辨識績效........................................................14. 2.3.3.. 視覺疲勞.................................................................................15. 2.3.4.. 閃光融合閾值(CFF) .............................................................16. 2.4.. 心率變異度、血氧濃度與疲勞.............................................................17. 2.5.. 情緒值.....................................................................................................18. 三、研究方法與步驟.......................................................................................................20 3.1.. 研究架構....................................................................................................20. 3.2.. 研究流程....................................................................................................25. 3.3.. 受試者........................................................................................................27. 3.4.. 視覺刺激材料...........................................................................................27 3.4.1.. 字體大小..................................................................................28 IV. .

(10) . 3.5.. 3.6.. 3.7.. 3.4.2.. 文字與背景配置......................................................................29. 3.4.3.. 背景音樂..................................................................................30. 實驗環境與設備.......................................................................................31 3.5.1.. 眼動儀(Eye Tracker) ................................................................30. 3.5.2.. 腦波測量儀...............................................................................31. 3.5.3.. 心率變異度與紅外線血氧濃度儀........................................32. 3.5.4.. 情緒偵測儀器......................................................................33. 3.5.5.. 閃光融合閾值(CFF) .............................................................34. 3.5.6.. 實驗環境與配置.....................................................................34. 實驗設計..................................................................................................36 3.6.1.. 自變項.......................................................................................37. 3.6.2.. 因變項.......................................................................................37. 實驗流程....................................................................................................39. 四、資料分析與探討........................................................................................................43 4.1.. 資料整理合併方法...................................................................................43. 4.2.. 資料統計與分析.............................................................................44. 4.3.. 不同文字背景配置對注意力與疲勞程度的影響..........................45. 4.4.. 4.3.1.. 文字背景對注意力的影響...............................................45. 4.3.2.. 文字背景配置對疲勞程度指標的影響........................47. 4.3.3.. 不同文字背景配置綜合圖表.............................................52. 不同自變相的對注意力與疲勞程度的影響...................................56 4.4.1.. 背景音樂對注意力的影響.................................................56. 4.4.2.. 背景音樂對疲勞程度的影響............................................56. 4.4.3.. 環境亮度對於注意力的影響................................................57. 4.4.4.. 環境亮度對於疲勞程度的影響..........................................58. 4.4.5.. 性別對於注意力的影響.....................................................59. 4.4.6.. 性別對於疲勞程度的影響............................................60. 4.4.7.. 學歷對於注意力的影響................................................61. 4.4.8.. 學歷對於疲勞程度的影響................................................61. 4.4.9.. 學習背景對注意力的影響................................................62. 4.4.10.. 學習背景對注意力的影響................................................63. 4.5.. 研究假設之結果.......................................................................................66. 4.6.. 討論...................................................................................................72 V. .

(11) . 五、結果與討論..............................................................................................................75 5.1.. 本研究的發現..................................................................................75. 5.2.. 本研究之創新與貢獻..............................................................................75. 5.3.. 本研究的不足與需改進的地方............................................................76. 5.4.. 後續研究建議.........................................................................................76. 參考文獻 1.. 英文部分..........................................................................................................77. 2.. 中文部分..........................................................................................................85. 附錄一、實驗一視覺刺激物文章內容.....................................................................88 附錄二、視覺刺激物之常用 500 字....................................................................92 附錄三、實驗二之視覺刺激物........................................................................93 附錄四、疲勞主觀評量表問卷..............................................................................103. VI .

(12) . 表目錄表 3-1 本研究所採用之數值項目分類與說明..............................................................21 表 3-2 受測人數分類統計表............................................................................................27 表 4-1 不同文字背景配置對注意力腦波、工作績效反應時間的影響................46 表 4-2 不同文字背景配置對凝視時間、正向情緒數值的影響........................47 表 4-3 不同文字背景配置對瞳孔大小與瞳孔大小變化幅度的影響................48 表 4-4 不同文字背景配置對眨眼率與眨眼時間的影響..................................49 表 4-5 不同文字背景配置對心率變異度(HRV)、血氧濃度的影響....................50 表 4-6 不同文字背景配置對疲勞主觀評量表與閃光融合閾值(CFF)的影響........51 表 4-7 文字背景配置中有顯著效果的得分表.................................................52 表 4-8 不同背景音樂對注意力與疲勞程度的影響..........................................57 表 4-9 不同環境亮度對對注意力與疲勞程度的影響..........................................59 表 4-10 性別對注意力與疲勞程度的影響..................................................60 表 4-11 學歷對對注意力與疲勞程度的影響................................................62 表 4-12 學習背景對對注意力與疲勞程度的影響............................................64 表 4-13 文字背景配置的假設說明與檢定結果..................................................67 表 4-14 背景音樂的假設說明與檢定結果.....................................................68 表 4-15 環境亮度的假設說明與檢定結果......................................................69 表 4-16 性別的假設說明與檢定結果...................................................................70 表 4-17 學歷的假設說明與檢定結果................................................................71 表 4-18 學習背景的假設說明與檢定結果......................................................72 表 4-19 本研究之研究結果彙總表.................................................................74. VII .

(13) . 圖目錄圖 2-1 Brain Browser 瀏覽器..............................................................................................8 圖 2-2 兩段樂譜...............................................................................................................10 圖 3-1 本研究之研究假設..............................................................................................22 圖 3-2 研究流程圖...........................................................................................................26 圖 3-3 實驗一與實驗二之視覺刺激物內容................................................................28 圖 3-4 文字背景配置規劃圖.........................................................................................29 圖 3-5 實驗二採用之對比配置與色彩材質規劃圖...................................................30 圖 3-6 本研究所使用之眼動儀器.................................................................................31 圖 3-7 Neurosky 腦波測量儀..........................................................................................32 圖 3-8 心率變異度與紅外線血氧濃度儀.....................................................................33 圖 3-9 情緒偵測儀器....................................................................................................33 圖 3-10 量測閃光融合閾值(CFF)之儀器.......................................................................34 圖 3-11 受測者接受實驗示意圖..................................................................................35 圖 3-12 實驗環境配置圖.............................................................................................36 圖 3-13 實驗一流程圖....................................................................................40 圖 3-14 實驗二流程圖.......................................................................................42 圖 4-1 文字背景配置時間序列......................................................................................44 圖 4-2 資料庫關聯連結圖...............................................................................................44 圖 4-3 各文字背景配置之疲勞指標分數直條圖.........................................................53 圖 4-4 各文字背景配置之注意力指標分數直條圖.....................................................54 圖 4-5 各文字背景配置之注意力指標分數直條圖.....................................................55 圖 4-6 不同學習背景顯著疲勞指標中分數圖.............................................................63 圖 4-7 不同學習背景顯著注意力指標中分數圖..........................................................65 . VIII .

(14) 第一章、緒論 1.1 研究背景與動機隨著資訊科技的發達，數位多媒體教學提供機會去創造更有效的學習環境 (Ozcelik et al., 2009a)，所以未來學生透過數位方式接受資訊的比重將大幅增加。螢幕是演使用者與系統間重要的訊息溝通介面。適當的螢幕可以減少人體負荷，增進人機介面的傳達績效(吳水丕 et al., 2007; 賴建榮 et al., 2005)，因此螢幕的優化成為近代人因工程學不斷探索的領域。過去研究指出，螢幕上不良的顏色組合會造成工作效率的降低並且發生視覺疲勞的現象，良好的色彩配置能為使用者增加其注意力並且有良好的閱讀配色環境(Bruce et al., 1982; Matthews, 1987; Shieh & Chen, 1997)。因此本研究將著重改善學習時引起的疲勞與增加其文字注意力，或是兩者間的平衡取捨。. 1.2 研究目的然而過去此類的研究長久以來一直仰賴問卷等方式來間接得知使用者的主觀喜好。外顯可以觀察得到的學生行為表現、測驗成績等資料，然而這些資料較無法客觀及非常準確顯示學生在學習與理解的過程中，真實的視覺歷程、大腦思考與理解的過程。因此本研究利用眼動儀的儀器、Neurosky 腦波測量儀器取代問卷，以直接測量的方式紀錄學習者當下的學習程序(Ozcelik et al., 2010)，希望能夠更科學的方法，測量實際人眼視覺偏好(唐大崙 et al., 2007)，一窺學習者真實的視覺歷程。本研究所使用之儀器皆以非侵入性的方式，受試者不需佩帶複雜的腦波頭套之類，以最接近真實生活的情境，紀錄眼球移動與瞳孔大小、以及注意力腦波、心率變異度、血氧、emWave 等情感運算及儀器來探詢注意力、理解與認知的歷程。國外曾有以阿拉伯文測試電子書上字體樣式、字體大小、頁面佈局和前、背景顏色組合之較佳呈現研究(Ramadan, 2011)。若能找出電子書瀏覽之背景與文字 1.

(15) 顏色的最適搭配組合，這樣在電子書上瀏覽文字時，就能有多種選擇，來幫助人們注意力的集中。為使設計電子書內容的人能把背景與文字做良好的搭配，不但能減少設計者顏色搭配的困擾，也能避免不良的背景與文字顏色搭配，使讀者注意力低落。本次研究擬以眼動儀器以及 Neurosky 腦波測量儀、心率變異度、血氧、 emWave 等情感運算及儀器觀察使用 iPad 視覺歷程，進行資料蒐集與分析。本研究期望透過儀器測試所提供的訊息，找出最佳的文字背景配置組合，提昇讀者在閱讀時的注意力，以及減低所產生的疲勞，此結果可提供未來研究者在設計數位教材時的配色參考，更可做為電子書相關應用的螢幕設計準則。. 1.3 研究範圍與限制本研究是為了找出再行動裝置上最佳的文字背景配置設計準則，於是參照目前市面上最熱門手機，參考顯示螢幕的解析度，並依據過去相關研究針對字體、大小等做限制，本研究範圍說明如下： (1)本研究文字之背景配色採用白底黑字或淺底深字之組合的正極配置 (positive polarity)，採用此配置乃是基於 Radl 的研究(Radl, 1983)以及本研究之前導研究(吳智鴻 et al., 2011)中發現此正極配置有著較高的工作績效，及不容易使人疲勞的特性。另外也加入反向地黑底白字之組合的文字背景配置以及色光三原色紅、綠、藍以及紙張材質與真實的紙本，而其他有關於色彩及色差的相關研究不在本次研究範圍內。 (2)由於行動裝置之廠牌與解析度眾多，本研究將使用目前最熱門的 iPad 做視覺刺激物的載體，有別於其他眼動實驗使用模擬的方式，將 iPad 掛載在螢幕上以供受測者接受實驗並操作。 (3)行動裝置受限於小螢幕的面積，使用字級大多為 12pt 之間。不過，依據過去 Legge 的研究(Legge et al., 1985)，指出字元大小在 0.3-2∘內，能有最佳的閱讀速度，因此本研究將探討並固定 18pt 的字級，以求得最佳的辨識度，其他字 2.

(16) 體大小不在本研究之研究範圍內。在字距與行距上，過去 Muter 的字距研究顯示字距並不影響閱讀速度(Paul et al., 1992)，且不限於紙本與螢幕(John et al., 1987)，在行距的研究上，Kolers 的研究發現行距較大的時候閱讀總時間增加，不過並不顯著(Kolers et al., 1981)，故本研究將固定行距在字體的 1. 5 倍。 (4)受限於行動裝置之解析度、閱讀時的認知與頁面中不同的語言，字體的選用也將被受到限制。而本研究所選用之字體為常用於智慧型手機之介面、瀏覽網頁、軟體操作介面之黑體字，因此本研究將字體限制為黑體，至於其他字型將不在本研究範圍內。 (5)本研究內容也一併探討個體差異的議題，於是受試者選擇男女各半，探討在使用 iPad 閱讀或學習時，有無性別差異。並試著針對受試者之學習背景與學歷做分類，學習背景分為以台中教育大學為主分為資訊科學、藝術設計、語文教育三組，以及學歷分為研究所與大學部，探討學習背景與學歷是否會影響接受測試後的成果。受試者並且具有接受矯正後正常的視力，以及沒有色盲或是腦部等疾病。 (6)本研究只針對英文與中文等文字字體，然後數位資訊尚有其餘的形式，如圖表、影片等，上述資訊型態的呈現方式並不在本研究範圍內。 (7)由於一般使用者在使用智慧型手機之類的行動設備時，經常同時處理多項工作(如：行走、聽演講等)，但因本研究並不探討在多重工作下對認知負荷之影響，且多重工作下的難易程度有可能會影響結果，及其形態非常多樣，故本研究將固定工作環境，並減少其干擾因素。 (8)其餘的包括受測環境、室溫、等，本研究將控制相關變數，不讓其影響其研究結果。但本研究將一併探討環境光源亮暗對於受測者之注意力與疲勞的影響。分為亮暗兩變項，照度為 150Lux 與 10Lux。. 3.

(17) 1.4 研究貢獻本研究使用腦波與眼動儀等情感運算探討在數位媒材的文字背景配置，並透過相關儀器所提供的訊息，找出介面設計之最佳文字背景配置、背景音樂、環境亮度，改善學生使用裝置時的因視覺引起的疲勞，提升閱讀理解能力。並提供有意在數位媒體裝置上做開發的軟體廠商有所參考的依據，特別是使用在長時間閱讀上，更需有著不容易讓眼睛疲勞的功效，甚至在學習上，有需要注意力，抑或是持續的讓學習者、使用者專注的閱讀、使用產品，選擇對的文字背景配置、環境方式可以讓效果事半功倍，而不是選擇了錯誤的設計方式造成不適當的使用功效。. 4.

(18) 第二章、文獻探討 2.1 行動裝置介面使用行動裝置閱讀與學習與日俱增，科技也不斷的改變教育與學習的方式，科技在教育與訓練上的應用在這幾年也有了許多的轉變，人們也可以透過網路來學習(蕭顯勝 et al., 2005)，本章節將做行動裝置介面的文獻探討。章節分為：2.1.1 字型在介面中對閱讀的影響、2.1.2 字體大小在介面中對閱讀的影響、2.1.3 字距在介面中對閱讀的影響、2.1.4 色彩配置. 2.1.1 字型在介面中對閱讀的影響因為本實驗之研究物為智慧型手機，主要都以小螢幕為主，字體的選用也受到限制，大部分的智慧型手機均預設黑體字為系統或瀏覽網頁時的字型，過去曾有研究針對字體研究發現細明體在文字辨認的實驗中優於標楷體，並有顯著性差異(Chan et al., 2005; ShiehChen et al., 1997)，在動態展現的測試中兩者字體並無顯著性差異(Wang et al., 2003)，因現今智慧型手機大多選用黑體字，故本研究並不針對字體在智慧型手機上對於閱讀的影響。並選擇黑體字為本研究視覺刺激物所使用字體。. 2.1.2 字體大小在介面中對閱讀的影響閱讀是一種很複雜的心智運作，是人類獲取資訊的方法之一，也是將標示 (signs)與符號(symbols)轉化成為意義，將所得之新資訊與舊的認知與情感的交互運作的過程(Mildred et al., 1990)，因此文字的優使性(usability)與設計便顯得重要。通常來說，字體的大小會影響文字的辨識度，過去的研究指出較小的字體閱讀速度較快，不過造成此現象的原因可能是在相同的文字資訊量下，較大的字體需要較大的眼睛掃視角度(saccade)(Mills et al., 1987)，但是也曾有過去的研究指出，在合理的大小下，字體的大小並不會造成影響(Gould et al., 1986)，根據上列文獻， 5.

(19) 字體大小應對閱讀績效有著相當程度的影響，因此本研究將固定字體大小為 18pt。. 2.1.3 字距在介面中對閱讀的影響在字距與行距上，過去 Muter 的字距研究顯示字距並不影響閱讀速度(Paul et al., 1992)，且不限於紙本與螢幕(John et al., 1987)，在行距的研究上，Kolers 的研究發現行距較大的時候閱讀總時間增加，不過並不顯著(Kolers et al., 1981)，故本研究不針對行距與字距做研究。. 2.1.4 色彩配置過去的研究中已經證實不同的色彩配置會影響閱讀者的視覺疲勞程度。在暗色背景下不要使用紅色與藍色文字，且紅色和藍色文字較容易造成作業者疲勞 (Matthews, 1987; Toronto, 1988)，並且建議「不要使用太多色彩，應該提高文字色彩與背景色彩的對比，勿使用(1)紅/藍(2)紅/綠(3)藍/綠等色彩組合」(Mark et al., 1993)。在單色視覺顯示終端機(Visual Display Terminal; VDT)工作站的字幕顯示而言，受測者在 VDT 裡的黑色背景情境下，使用綠色、琥珀色、黃色、紅色、藍色與白色顯示符號，搜尋目標文字。綠色>黃色>藍色。在使用不同的顏色搜尋錯誤的數目卻有顯著的差異。黃色產生最少的錯誤，而白色產生最多的錯誤(Luria et al., 1989)。螢幕顏色組合對受試者視覺績效與主觀偏好有顯著影響，且以深色(藍色及黑色)為背景之組合方式效果好，並且避免使用綠底紅字之組合(謝光進 et al., 2003)。因此本研究在實驗一研究 18 種黑白底文字背景配置，實驗二加入了三原色與紙張材質與真實列印紙張的文字背景配置。想藉以了解何種文字對比配置與哪種純粹的色光原色以及真實紙張與在 iPad 上差異。在對比方面的研究指出亮度、明暗對比、與色彩對於疲勞與辨識度的研究，亮度與對比較色彩的影響為顯著(Hwally et al., 2011)，Mills、Weldon(Carol et al., 6.

(20) 1987)、Ware(Ware, 2000)的研究也指出視覺對文字的識別度的能力，其明暗對比的屬性比色彩更為顯著。. 2.2 腦波與 BCI ( Brain Computer Interface ) 在這章節，將說明使腦波的文獻探討以及使用的儀器說明，章節分為：2.2.1 腦波、2.2.2 大腦人機介面 BCI (Brain Computer Interface)、2.2.3 音樂與腦波。. 2.2.1 腦波腦神經細胞的活動，可用神經電生理的方法偵測。在 1875 年，英國利物浦的生理學教授 Richard Caton 從兔子的大腦表面記錄到一種電波，此電波與呼吸和心跳無關，是種腦部的生理變化，且在動物死亡後就會消失。而後他又發現刺激動物的身體能使腦波發生變化，他利用這種變化來研究身體部位與大腦皮質區的關係，並探討其功能，成為後來神經診斷學中誘發電位(evoked potential)發展的基礎(林威志, 2005)。後來到了 1929 年，一位德國精神科醫師 Hans Berger，在人類的頭蓋骨上紀錄到相同電波，這是首次發表人類的腦波記錄，並命名為腦電波圖 (electroencephalogram)，簡稱 EEG，此後，腦波開始被應用在醫學的領域(林威志, 2005)。. 2.2.2 大腦人機介面 BCI ( Brain Computer Interface ) 20 多年來，研究人員一直在深入研究人腦功能及其面向(Brad et al., 2009)。並且為了一些嚴重的肌肉神經疾病的患者衍生出了相關的生理訊號轉換儀器的研究，而大腦人機介面 BCI 是一種可以即時轉換大腦頭皮、表面、腦皮質或大腦本身的訊號，且不用依靠一些來自於其他部位的肌肉或神經(McFarland et al., 2008)，換句話說，如果使用者想要移動手臂，該使用者的腦電波便會透過裝置轉換成訊號，並經由機械裝置模擬其任務。 7.

(21) 持續的研究與發展 BCI 可以幫助需要的人們或是行動不便者過更舒適的生活， BCI 的發展，可能可以將義肢的控制、語音分析合成、電腦介面與行動裝置整合在一起，並且讓機器人技術、醫學、數學、電腦科學與神經生物學的創新與發展(Janet et al., 2011)。過去與現在的大腦人機介面 BCI 有非侵入與侵入性兩種，侵入性的比起非侵入性的對於受測者來有著更多的風險與感染(Calhoun et al., 2008; Velliste et al., 2008; Wolpaw et al., 2002)。因為侵入性的儀器需要一些侵入性的手術，而手術需要一位臨床經驗豐富的神經外科醫生，並加以對受測者連續監測，現在跟過去的此類侵入性的研究包含猴子、老鼠與人類(Janet et al., 2011)。而非侵入性的儀器則是提供低成本，透過偵測頭皮或腦皮質上的活動並轉換為腦電波(EEG)(McFarland et al., 2008)，通常此類的裝置用在測量用戶的精神狀態上(Brad et al., 2009)。但是 Gert Pfurtscheller 的研究團隊成功的使用非侵入式的 BCI 來讓四肢癱瘓的病患控制並完成他們的義肢手掌的開合(Pfurtschellera et al., 2000)，Gernot Müller-Putz 和他的團隊讓一個脊椎損傷患者可以控制義肢的手握(Gernot et al., 2005)。殘疾人士也可以使用非侵入式的 BCI – P300 與 Brain Browser 瀏覽器瀏覽網路與世界溝通 (Moore et al., 2004)，Brain Browser 瀏覽器如圖 2-1。. 圖 2-1 Brain Browser 瀏覽器 8.

(22) 不只是在於電腦介面上的工作，非侵入式的 BCI 也被使用在一些可移動的載具上，例如豐田的研發實驗室建立了一個可經由神經控制的輪椅，工作時的精確度為 95%(TOYOTA, 2009)。Autonomos 實驗室中名為 Brain Driver II 的車輛可以實現痛過非侵入式的 BCI 讓使用者控制車輛的轉向與前進(LABS, 2011)。在藝術表現上，Brain Painting 的應用軟體與 Plymouth 的腦電音樂介面(BCMI)可以讓使用者透過此裝置將腦電波轉換成 MIDI 訊號，並生成 MIDI 音樂作品(ARCHINOETICS; Eduardo et al., 2005)。而本研究使用之 Neurosky 為非侵入式的單通道腦波 BCI，而這套腦波測量系統已經被研究並應用在遊戲上，以及運動員的研究(Diefenbach et al., 2004)，和確立他的方便、舒適及可用性(Christopher et al., 2009)，Neurosky 可以測得每個腦波區段每毫秒 7 個數據，可以測得的腦波區段為 0Hz~63Hz，涵蓋了所有的腦波區段並可將所測得知腦電波轉換成注意力(Attention)與情緒放鬆(Meditation)的兩項生理數值(Dawn et al., 2002; Hochberg et al., 2006)。 2.2.3 音樂與腦波音樂所引起的特定影響，毫無疑問的將會讓身體的受到些影響，而產生心理和生理上的效果與反應，例如：蓋過令人不悅的聲音和感覺；平緩腦波的波動起伏(呂宜靜, 2006)；影響呼吸、心跳、脈搏、體溫和血壓；減少肌肉緊張和增進身體運動的協調；促進血液循環、增強免疫系統；加強記憶力、想像力、創造力和學習能力；提高工作效率(LESIUK, 2005)；舒緩情緒鎮定、減輕壓力、紓解焦慮、耐性的培養、製造歡愉和幫助消化；增強安全感和幸福感(翁瑞霖, 2004)。在音樂的變化中，是否能夠反映在腦波。在 Koelsch 與 Mulder(Koelsch et al., 2004)研究中提到，讓十八位受測者聽海頓、莫札特、貝多芬以及舒伯特等人的奏鳴曲，而在海頓中的 a piano sonata from Haydn (Hoboken XVI:48)，則是製作了兩個版本，一首是原始的版本，而另一首則是音樂接近尾段的和弦被更改，使該段音樂呈現不太和諧但又難以發覺其錯誤。如圖 2-2。 9.

(23) 圖 2-2 兩段樂譜. 圖 2-2 a 處為一首原始的版本，而 b 處則是與 a 相同旋律但差別在音樂尾段的一處和弦被刻意更改，呈現不太和諧但又難以發覺其錯誤的曲調。實驗過程有四十分鐘，研究採用 10–20 electrode placement systems 收集四十九個 channel 的腦波資料。採取計算腦波上 Amplitudes 統計分析。研究結果表示，在非預期旋律發生後 0.25 秒，在腦部中 Right Temporal 的電位 Amplitudes 與預期旋律所呈現的電位 Amplitudes 相比較，在統計上呈現顯著差異(Koelsch et al., 2004)。在特定音樂對人類乃至腦部的影響，最有名的就是莫札特效應。在 1993 年，當時 Frances 對 36 名心理學大學生進行測試。測試的內容為聆聽 10 分鐘莫札特的 Sonata for Two Pianos in D Major, K. 448，結果發現受測試學生的 IQ 測試成績普遍地提高了 8 到 9 分。雖然只是暫時性的、只在聽完後 10 到 15 分鐘內產生，但研究者仍然做出如此結論：IQ 成績的提高是莫札特音樂所具有的某些特殊作用 (McLachlan, 1993)。 Jenkins 在 2001 年的一篇研究中，進一步將莫札特效應應用在癲癇病治療上，研究者讓癲癇病患聆聽 Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, 10.

(24) K.448 並記錄其腦波，結果發現癲癇病患的症狀都呈現下降趨勢。研究者利用電腦對那幾位作曲家的作品進行分析，發現 Mozart 與 Bach 的音樂都具有一個共通的特徵，就是作品旋律很有規律地不斷重複，而重複段落比其他作品來得長，而抑制癲癇病特徵之音樂則具備上述特性(林威志, 2005)。此研究提出一個與之前不同的論點。莫札特效應不只會出現在莫札特的音樂上，符合莫札特效應特性的音樂也能對人體引誘出莫札特效應(Jenkins, 2001)。最近幾年所謂的音樂神效，不論是創造力、學習力、健康與治療方面，都備受重視，特別是莫札特和那時代音樂家所創造的音樂(Campbell, 2000)。此外，播放古典音樂在救護車上可以安撫病患的情緒和減輕痛苦；播放古典音樂在產房可以紓解產婦緊張的心情，使生產更加順利(翁瑞霖, 2004)。一直到 1990 年，因為加州大學爾文分校的「神經生物學學習和記憶中心(Center for the Neurobiology of Learning and Memory)」，一個由 Rauscher 領導的研究小組，在研究觀察莫札特音樂對大學生和孩童們所造成影響後，莫札特音樂的神奇力量才開始獲得社會大眾的注意和重視(Frances et al., 1993, 1995)。腦波是可以被音樂影響進而平緩的，這個理論不斷被證實。當人把注意力放在外在事物或是有負面情緒時，腦波是在β波的狀態。而在高度意識和平靜時則是在α波狀態。某些巴洛克音樂（即莫札特所屬樂派）可以將人的意識由β波轉到α波，讓大腦處於更有利創作、邏輯思考的狀態(Campbell, 2000)。而在本研究之音樂與腦波前導研究中發現鋼琴較能誘發注意力，管樂較能使情緒放鬆(吳智鴻 et al., 2010)，但不知與閱讀時的交互效果，因此，本研究將探討在使用數位媒材閱讀、學習時，音樂的有無加入是否會對實驗影響結果。本研究之實驗也加入了音樂有無的自變項因子，音樂也採用莫札特 K441 雙鋼琴協奏曲的音樂。. 11.

(25) 2.3 眼動與閱讀研究在過去十年之中，許多學者紛紛致力於發展眼動應用研究，以及設計出一套便宜眼動系統來解決實務上的問題(Dan et al., 2007)。眼動研究具有悠久的歷史，可以追溯到 100 多年以前。早在 Javal 和 Lamare 的研究報告中就指出(Javal, 1878; Lamare, 1893)，人類在觀看或閱讀時，其眼動並不是順利流暢進行的，而是會有許多的暫停。這些暫停的眼動行為稱為凝視(fixation)，是大腦透過眼睛收集訊息的過程。眼球從一凝視點移到另一凝視點的動作稱為 saccade，在這如此短的移動時間內，大腦幾乎沒有收集任何的訊息。既然讀者在 saccade 時並不能得到有用的訊息，那麼眼動研究應該強調眼睛的凝視行為。自從 Javal 和 Lamare 發表眼動研究結果後，眼動研究開始不斷地被應用在許多不同學科的研究上。以閱讀的研究為例，研究人員開始從讀者的凝視和 saccade 眼動行為中，去試圖了解閱讀的本質和過程。O’Regan 指出，早期的眼動研究大多是為了要了解認知與理解的歷程，後來在 50 年代的研究則導向找出對閱讀最有利的眼動條件，而後從 20 世紀 80 年代左右，由於對語言學和心理語言學研究興趣的崛起，研究人員開始利用「眼動作為讀者認知過程的指標」(O’Regan, 1990)。同樣以閱讀的研究為例，自眼動研究開始進行以來，許多研究人員透過眼動過程來研究閱讀歷程的各個面相。從生理學領域的眼動相關研究，可以知道一些閱讀時眼球的基本的行為動作。例如，Huey 發現，讀者閱讀句子時第一個凝視通常不在第一個詞，而是落在第二或第三個詞上。同樣地，最後一個凝視通常也不是落在最後一個詞(Huey, 1908)。Huey 的研究結果還顯示，讀者閱讀句子時，會凝視約 20%到 70%之間的字詞。Rayner 和 Sereno 的研究報告指出，在讀者凝視時，眼睛可分為三個訊息區域：foveal，parafoveal，以及 peripheral (Rayner et al., 1994)。 Foveal 提供了清晰和明確的視覺訊息，它包括 2 度的可視角度(約聚焦於 6 至 8 個字母)。Parafoveal 擴展到約 15 至 20 的字母，而 peripheral 則包括 parafoveal 以 12.

(26) 外的所有視野。其研究也發現，讀者對文本的凝視次數實詞遠多於虛詞(Marcel et al., 1987)。隨著科技的進步，眼動追蹤儀器的精確度大為增加，在教育領域應用眼動技術分析閱讀理解歷程的研究也如雨後春筍般提出。在教學動畫中以線索引導學生注意力變遷情形(Boucheix et al., 2010)，參考的主要指標為凝視次數(number of fixations)；在多媒體學習中以彩色編碼協助圖與文的訊息定位，探討彩色編碼對學習的幫助(Ozcelik et al., 2009b)，採用的指標有平均持續凝視時間(average fixation duration)以及單位的總凝視時間(total fixation time of the terms)。在多媒體學習中以信號引導學習者注意相關訊息，對學習者學習效率與效益的影響(Ozcelik et al., 2010)，採用的指標有總凝視時間(total fixation time)、凝視次數(fixation count)與凝視持續時間(fixation duration)。因此本研究採用凝視相關變數來當作注意力判斷的一種客觀指標。. 2.3.1 注意力研究注意是學習的第一步，根據 Sturm 對注意力所做的分類：包括警醒度(alertness)、持續性注意力(sustained attention)、選擇性注意力(selective attention)、分配性注意力(divided attention)(Sturm, 1996)。在這分類中，持續性的注意力(Sustained Attention) 在學習上是重要的向度(王乙婷 et al., 2003)。過去在探究注意力的研究工具大致有幾種方法：CAI 電腦軟體測驗工具、或使用注意力測試受測者反應速度，以及應用儀器檢測其腦功能活化狀態(Cabeza et al., 2000)、神經生理運作(Daffner et al., 2003)，或是本研究所使用的腦波儀。雖然使用儀器所測得之結果與其注意力各種類之間關係為何，目前所知仍有限(喬慧燕 et al., 2007)。但是有越來越多的廠商致力的在開發關於將生理訊號轉換成有用的邏輯指令。如 BCI(Brain Computer Interface)就逐漸構成一個新興的研究領域，就如同本研究所使用的 Neurosky 的腦波測量工具(Christopher et al., 2009)。 13.

(27) 本研究中所提到之注意力(Attention)數值來自於 Neurosky 公司利用數據化參數方式所研發的 eSense 專利算法。它是一個強大的訊號處理元件，專門運行將生理訊號轉換成有用的邏輯指令(Diefenbach et al., 2004)。首先他先對原始的腦電波信號進行放大並且過濾了環境噪音及肌肉組織運動產生的干擾(特別是眼動)，然後對通過處理的訊號透過 eSense 專利算法進行計算，得到了量化的參數值。其中有關於注意力(Attention)參數，則代表了受測者精神的集中度或注意度水平程度，也被證實與閱讀的注意力有其相關性(Genaro et al., 2009)。例如：當受測者進入高度專注狀態並且可以穩定的控制，該參數便會很高。需要注意的是，此參數代表的皆為精神狀態，而不是生理狀態。 Neurosky 以 0-100 之間的具體數值來表示受測者的注意力(Attention)的程度 (Christopher et al., 2009)。數值在 40-60 之間表示此刻的數值處於中間範圍，數值在 60-80 之間表示此刻該項參數處於較高數值區，也就是略高於正常的水平，數值在 80-100 間為高數值區，代表了注意力的程度到達了最高，即處於非常專注或的狀態。同理，如果數值在 20-40 之間則表示此時的參數處於較低值區，數值在 0-20 則意味著處於低值區，這兩區域與前述的區域的精神狀態相反，代表著不同程度的緊張、心煩、不安等精神狀態。. 2.3.2 注意力與文字辨識績效在視覺疲勞的衡量技術中，有一項為工作績效。即為以人因工程的角度去衡量閱讀以及視覺績效，有以下三種指標(許勝雄 et al., 1991)： (1)辨識性(能見度，Visibility)：又稱可查覺性，意指受試者能從中察覺出有文字或符號存在的程度。如果受試者在複雜的背景下閱讀，此項可以用來判斷使用者眼睛是否已經疲勞。 (2)易讀性(能辨度，Legibility)：又稱可區變性，指在文字間是否清晰不會混淆。當受試者閱讀數字與文字夾雜的文章時，是否可以準確的分辨出來。不過此 14.

(28) 區變性是判別閱讀的難易程度，在心理學上即為是否容易產生容易疲勞的程度 (魏朝宏, 1990)。 (3)可讀性(能解度，Readability)：又稱有意義性，指文章閱讀後能夠容易了解，文章通順且不用太思考就可以了解的情況，不過這個指標容易因為受試者的文學程度以及學歷，故大部分實驗很少以此指標來衡量。過去有研究參照了辨識性設計了一個伴隨著閱讀受試中的測驗，即以每篇文字背景配色的實驗文章中加入錯字的方式來當做衡量視覺績效的標準(鄭育菁, 2006)，也有測驗閱讀文章後，進行文章的閱讀理解測試(簡佑宏, 2007)。不過本研究並不著重在閱讀理解力上，較著重易讀性上。故在實驗一本研究之實驗將在每張受測資料畫面中加入了 1 個錯字研究其文字辨識績效，實驗二則加入英文與中文的尋找最為文字績效，記錄其反應時間與其他數值整合來做評估。 2.3.3 視覺疲勞 Dainoff 在 1981 年指出，使用視覺顯示器(VDT)的工作者，超過 45%都有視覺疲勞的現象，遠比使用書面作業來得高許多(Dainoff et al., 1981)。而疲勞的主要原因是因為眼球一直不斷的重複著運動的關係，導致視覺辨識能力越覺得疲勞而下降(Edward et al., 1991)。近年來，隨著所得提高、科技進步，現代家庭幾乎都有電腦，而新興的電子書及數位內容產業也因為相關軟硬體設施而有所成長。導致各種有關於視覺相關的問題(如：乾眼症、眼睛疲勞感)與不適所造成相關的傷害也一一浮現(Jaschinski et al., 1999)。常用的視覺疲勞量測指標有：水晶體調節能力、閃光融合閥值、瞳孔直徑、受試者主觀評量、視力、眼球運動速度(陳翊翔, 2007)、工作績效(許勝雄 et al., 1991)，以及常用於判斷行車中駕駛疲勞值之 PERCLOS 昏睡判斷準(眨眼率)(曹力仁, 2008)等。過去 Gunnarsson 與 Soderberg 使用問卷的方式來了解受試者眼睛疲勞的狀況(Gunnarsson et al., 1983)，Bullimore 也是利用問卷來了解視覺疲勞與作業績效， 15.

(29) 並提出主觀評量表的優點(Bullimore et al., 1990)。而在 1989 年 Heuer 更發展了一份主觀評量表，有六個題目，每題各對受試者採 10 點量表，1 代表一點也不，10 代表非常嚴重，雖然以問卷來測量可以短時間收集大量的資料，也容易分析處理複雜的數據，且成本較低，但是問卷式的評測方法對於受試者對於視覺疲勞的判斷可能會有一點差異(吳欣潔 et al., 2010)。問卷題目為：(1)我看東西有困難、(2) 我眼睛周圍有奇怪的感覺、(3)我感到眼睛疲勞、(4)我感到麻木、(5)我感到頭痛、 (6)我注視螢幕時感到暈眩。而長時間的電腦作業，也會使虹膜隨著電腦螢幕亮度及內容的變化而不斷的調整瞳孔尺寸，當瞳孔直徑擴大時會使視覺景深變短，不利於眼球的調節而導致眼球疲勞，因此有研究使用瞳孔直徑大小來評估因長時間電腦作業所引起的疲勞程度(鄭育菁, 2006)。Saito(Saito et al., 1993)與 Ishihara(Ishihara et al., 1987)研究電腦作業時發現，瞳孔最小與主觀視覺疲勞度也較低的螢幕極性為亮底暗字螢幕，相反的負極螢幕(暗底亮字)瞳孔大小較大及主觀視覺疲勞也較高。但是瞳孔直徑會因為亮度、情緒、資訊處理困難度等因素而被影響，因此本研究也控制了相關的變項，將影響減至最低。本研究為基於眼動儀的實驗，受限於眼動儀所能提供的評估視覺疲勞的相關數值，所以在有關視覺疲勞的判斷上本研究將以瞳孔直徑、瞳孔大小變化幅度、眨眼時間長短與受測時間單位與眨眼率為主要判別本研究在視覺疲勞上的基準。. 2.3.4 閃光融合閾值(CFF) 閃光融合閾值(Critical Fusion Frequency, CFF 值)，是普遍量測疲勞的一項指標，是指透過閃爍的頻率變化量測受試者的視覺敏感度是某已經有疲勞的現象。閃光融合閾值的定義是，先讓受試者注視某一頻率的光源，然後再逐漸地調高閃爍頻率，當受試者感覺光源不在閃爍之後，這個臨界點稱為閃光融合閾值，此為正向 16.

(30) 測試，相反的從最高的的頻率逐漸降低至受試者開始感覺閃爍，此臨界點也被稱為閃光融合閾值(Horie, 1991)。使用者使用 VDT 作業 90 分鐘後下降的尤其顯著，當使用眼睛疲勞時，閃光融合閾值降低的尤其顯著(Nishiyama, 1990)。雖然閃光融合閾值在測量視覺疲勞時是某存在其他心智等因素，但仍然為一個簡單且直覺的量測疲勞的客觀指標(鄭育菁, 2006)，所以本實驗利用視覺頻閃儀器量測閃光融合閾值作為一個量測變項。. 2.4 心率變異度、血氧濃度與疲勞心率變異度傳統的研究方法有兩種，分為時域與頻域(徐征杰, 2002)。時域方法常用的變異度指標有六種： (1) SDNN（Standard Deviation of the Normal to Normal interval）：正常心跳期間的標準偏差及變異度的開平方。在使用 SDNN 的時候需要對數據的長度進行標準化處理(柴繼紅 et al., 2004)，比較基準建議是 5 分鐘或 24 小時(陳高揚 et al., 2000)。 (2) SDANN（Standard Deviation of the Average Normal to Normal interval）：先計算短時間的平均正常心跳間期，通常是 5 分鐘，再計算其標準偏差。 (3) SDNN index：先計算每 5 分鐘正常心跳間期的標準偏差，再求其平均值，以此來估計短時間的心率變異度。 (4) RMSSD：相鄰正常心跳間期差值平方和的均方根。 (5) NN50：相鄰正常心跳間期差值超過 50 毫秒的個數。 (6) PNN50：相鄰正常心跳間期差值超過 50 毫秒的比例。本研究主要是著重在每個自變項間正常心跳間的變化，因此本研究將採用 HRV 中時域的 SDNN 來做為評估。本研究加入了心率變異度，亦即 HRV，來探討使用數位媒材學習後的疲勞程度，HRV 也蘊含了心血管控制系統與體液調節等資訊，對於這些資訊的分析 17.

(31) 可以評估生理的影響，具有重要的生理學研究與臨床應用意義(柴繼紅 et al., 2004)。而血氧濃度常用於探測疲勞程度，達到預前保健效果並也被證實可以應用於疲勞評估的可能(胡志彰, 2007)。現代社會多數人因長時間的慣性動作，對於產生的疲勞已經不易察覺，普通的肌肉抽筋現象也是。長時間的血氧濃度疲勞監測可以讓一般人更能準確的評估自己的疲勞程度，於是本研究加入心率變異度與血氧濃度來探究使用數位媒材學習後的疲勞程度。. 2.5 情緒值本研究使用之情緒值為 HeartMath 開發之 emWave 所提供之數值。其數值為使用心電圖儀器紀錄受測者心率資訊後，透過 emWave 軟體每五秒鐘檢測一次受測者的情緒狀態，得到 Coherence 數值，當受測者的情緒狀態為負面、平和或正面時，其一致性分數分別為 0、1 和 2，一般人情緒在正常情況下測量出來的心率雜訊(HRAs)其值為零，因此 HRAs 可用於檢測是否處於異常情況下。本研究使用平均數做為分析與判斷的方式，其 HRAs 計算公式如下： 0, if Coherence(𝑡) = 0 and HRA(𝑡) = 0(negative emotion) 𝐶𝐶(𝑡) = �+1, if Coherence(𝑡) = 1 and HRA(𝑡) = 0(peaceful emotion), +2, if Coherence(𝑡) = 2 and HRA(𝑡) = 0(positive emotion). (1). 𝐶𝐶(0) = 0, 𝑡 = 0,1,2, … , 𝑚. 欲得知受測者正面或負面情緒在整體實驗中所佔的百分比則需透過 Accumulated Coherence Score (ACS)一致性分數，其計算公式如下所示： 𝑚. ACS of Positive Emotion = � 𝐶𝐶(𝑡), if Coherence(𝑡) = 2 and HRA(𝑡) = 0. (2). ACS of Peaceful Emotion = � 𝐶𝐶(𝑡), if Coherence(𝑡) = 1 and HRA(𝑡) = 0. (3). 𝑡−1 𝑚. 𝑡−1. 18.

(32) 𝑚. ACS of Negative Emotion = � 𝐶𝐶(𝑡), if Coherence(𝑡) = 0 and HRA(𝑡) = 0. (4). 𝑡−1. 最後得出正面情緒程度百分比以及負面情緒程度百分比： ACS of Positive Emotion × 100% ACS of Positive Emotion + ACS of Peaceful Emotion + ACS of Negative Emotion ACS of Negative Emotion × 100% ACS of Positive Emotion + ACS of Peaceful Emotion + ACS of Negative Emotion 不過本研究採用是某一時間內情緒值的平均，故公式為：. ∑𝑻 𝒕=𝟏 𝑪𝑪(𝒕) 𝑻. (7). t : 第幾秒,𝑡 = 1, … , 𝑇 T : 實驗的經過時間(秒) 本研究將使用方程式(7)此數值，用於檢測學習者的情感、情感狀態變化，也用研究於不同的多媒體媒材來評估學習時的學習表現，甚至也發現在學習情感有顯著的性別差異(Chen et al., 2011)。但 emWave 儀器所提供之情緒值相關研究尚少，也尚未跟其他相關變項綜合去研究，因此本研究也加入此變數來做為本研究因變項之一。. 19. (5). (6).

(33) 第三章、研究方法與步驟本研究不選擇使用模擬的方式去做實驗，採用直接在 iPad 上呈現視覺刺激資料，將更能呈現貼近真實的使用情景。透過眼動儀與腦波儀及血氧、心率變異度、閃光融合閾值(CFF)、情緒值來評估文字背景配置與環境亮度、性別、受測者學歷、學習背景對於使用 iPad 學習時注意力與疲勞的影響。. 3.1 研究架構本研究之研究主要針對改善使用數位媒材所產生的疲勞與注意力。根據第二章的文獻探討與資料蒐集，將本研究所使用之儀器所得之數據做分類並提出假設如。表 3-1 為本研究所採用之數值項目分類與說明。. 20.

(34) 表 3-1 本研究所採用之數值項目分類與說明變數. 定義. 意義. 設備. 參考文獻. 1~100. 該變項時間內 Attention 數值之平均. 數值越高則代表注意力越高. Neurosky. (Christoph er et al., 2009). 工作績效注反應時間. 1~120(s). 受測者在每個背景配色項目中找到指定的中英文字的速度. 尋找時間越短則代表視覺績效越好. 計時器. (Shen et al., 2009). 意凝視時間. 250~350 (ms). 每個視覺凝視點停留時間之平均. 受測者凝視時間越高代表注意力越集中. 眼動儀. (Ozcelik et al., 2010). 0~2. 受測者在接受測試時，其情緒值之平均. 數值越大代表其學習情緒較為正向. emWave. (Chen et al., 2011). 600~1200 每個視覺凝視點的瞳孔 (µm) 大小之平均. 越大則代表越疲勞. 眼動儀. (鄭育菁, 2006). 每個凝視點之大小與下一凝視點間瞳孔大小變化之平均. 越大則代表越疲勞. 眼動儀. (陳翊翔, 2007). 眨眼率. 0.07~0.14 受測時，某一時間內眨眼數/凝視點數目。. 越大則代表越疲勞. 眼動儀. (曹力仁, 2008). 眨眼時間. 130~1000 每次眨眼的時間長短之 (ms) 平均. 越大則代表越疲勞. 眼動儀. (陳翊翔, 2007). 某一時間內之心跳頻率變化平均值. 越大則代表越疲勞. 紅外線心跳血氧儀. 某一時間內血氧濃度 (SPO2)的數值之平均. 越小則代表越疲勞. 紅外線心跳血氧儀. (柴繼紅 et al., 2004) (胡志彰, 2007). 注意力腦波. 範圍值. 力情緒值. 瞳孔大小瞳孔大小變化幅度. 疲勞程度. 心率變異度. 25~200 (µm). 0~20. (HRV) 血氧濃度. 97~100 (%). 疲勞主觀評量表. 1~10. 接受測試後，填寫的問卷，採 10 點計量. 越大則代表越疲勞. 螢幕點選問卷. (Herbert et al., 1989). 閃光融合閾值(CFF). 0~3. 接受測試的前後，接受閃爍頻率測試，前後測相減的臨界點的數值。. 越大則代表越疲勞. 閃光融合儀. (Horie, 1991). 21.

(35) 圖 3-1 本研究之研究假設. 本研究主要探討文字背景配置、背景音樂有無、環境光源亮暗、性別、學歷與學習背景對於閱讀或學習時疲勞與注意力的影響，提出幾點假設，圖 3-1 為本研究之研究假設。並給予假設編號如下： H1a：iPad 電子書的文字背景配置間，受測者的注意力腦波有顯著差異。 H1b：iPad 電子書的文字背景配置間，受測者的工作績效反應時間有顯著差異。 H1c：iPad 電子書的文字背景配置間，受測者的凝視時間有顯著差異。 H1d：iPad 電子書的文字背景配置間，受測者的情緒值有顯著差異。 H2e：iPad 電子書的文字背景配置間，受測者的瞳孔大小有顯著差異。 H2f：iPad 電子書的文字背景配置間，受測者的瞳孔大小變化幅度有顯著差異。 H2g：iPad 電子書的文字背景配置間，受測者的眨眼率有顯著差異。 H2h：iPad 電子書的文字背景配置間，受測者的眨眼時間有顯著差異。 22.

(36) H2i：iPad 電子書的文字背景配置間，受測者的心率變異度(HRV)有顯著差異。 H2j：iPad 電子書的文字背景配置間，受測者的血氧濃度有顯著差異。 H2k：iPad 電子書的文字背景配置間，受測者的疲勞主觀評量表有顯著差異。 H2l：iPad 電子書的文字背景配置間，受測者的閃光融合閾值(CFF)有顯著差異。 H3a：背景音樂的有無，受測者的注意力腦波有顯著差異。 H3b：背景音樂的有無，受測者的工作績效反應時間有顯著差異。 H3c：背景音樂的有無，受測者的凝視時間有顯著差異。 H3d：背景音樂的有無，受測者的情緒值有顯著差異。 H4e：背景音樂的有無，受測者的瞳孔大小有顯著差異。 H4f：背景音樂的有無，受測者的瞳孔大小變化幅度有顯著差異。 H4g：背景音樂的有無，受測者的眨眼率有顯著差異。 H4h：背景音樂的有無，受測者的眨眼時間有顯著差異。 H4i：背景音樂的有無，受測者的心率變異度(HRV)有顯著差異。 H4j：背景音樂的有無，受測者的血氧濃度有顯著差異。 H4k：背景音樂的有無，受測者的疲勞主觀評量表有顯著差異。 H4l：背景音樂的有無，受測者的閃光融合閾值(CFF)有顯著差異。 H5a：環境亮度的亮暗，受測者的注意力腦波有顯著差異。 H5b：環境亮度的亮暗，受測者的工作績效反應時間有顯著差異。 H5c：環境亮度的亮暗，受測者的凝視時間有顯著差異。 H5d：環境亮度的亮暗，受測者的情緒值有顯著差異。 H6e：環境亮度的亮暗，受測者的瞳孔大小有顯著差異。 H6f：環境亮度的亮暗，受測者的瞳孔大小變化幅度有顯著差異。 H6g：環境亮度的亮暗，受測者的眨眼率有顯著差異。 H6h：環境亮度的亮暗，受測者的眨眼時間有顯著差異。 H6i：環境亮度的亮暗，受測者的心率變異度(HRV)有顯著差異。 23.

(37) H6j：環境亮度的亮暗，受測者的血氧濃度有顯著差異。 H6k：環境亮度的亮暗，受測者的疲勞主觀評量表有顯著差異。 H6l：環境亮度的亮暗，受測者的閃光融合閾值(CFF)有顯著差異。 H7a：性別的不同，受測者的注意力腦波有顯著差異。 H7b：性別的不同，受測者的工作績效反應時間有顯著差異。 H7c：性別的不同，受測者的凝視時間有顯著差異。 H7d：性別的不同，受測者的情緒值有顯著差異。 H8e：性別的不同，受測者的瞳孔大小有顯著差異。 H8f：性別的不同，受測者的瞳孔大小變化幅度有顯著差異。 H8g：性別的不同，受測者的眨眼率有顯著差異。 H8h：性別的不同，受測者的眨眼時間有顯著差異。 H8i：性別的不同，受測者的心率變異度(HRV)有顯著差異。 H8j：性別的不同，受測者的血氧濃度有顯著差異。 H8k：性別的不同，受測者的疲勞主觀評量表有顯著差異。 H8l：性別的不同，受測者的閃光融合閾值(CFF)有顯著差異。 H9a：學歷的不同，受測者的注意力腦波有顯著差異。 H9b：學歷的不同，受測者的工作績效反應時間有顯著差異。 H9c：學歷的不同，受測者的凝視時間有顯著差異。 H9d：學歷的不同，受測者的情緒值有顯著差異。 H10e：學歷的不同，受測者的瞳孔大小有顯著差異。 H10f：學歷的不同，受測者的瞳孔大小變化幅度有顯著差異。 H10g：學歷的不同，受測者的眨眼率有顯著差異。 H10h：學歷的不同，受測者的眨眼時間有顯著差異。 H10i：學歷的不同，受測者的心率變異度(HRV)有顯著差異。 H10j：學歷的不同，受測者的血氧濃度有顯著差異。 24.

(38) H10k：學歷的不同，受測者的疲勞主觀評量表有顯著差異。 H10l：學歷的不同，受測者的閃光融合閾值(CFF)有顯著差異。 H11a：學習背景的不同，受測者的注意力腦波有顯著差異。 H11b：學習背景的不同，受測者的工作績效反應時間有顯著差異。 H11c：學習背景的不同，受測者的凝視時間有顯著差異。 H11d：學習背景的不同，受測者的情緒值有顯著差異。 H12e：學習背景的不同，受測者的瞳孔大小有顯著差異。 H12f：學習背景的不同，受測者的瞳孔大小變化幅度有顯著差異。 H12g：學習背景的不同，受測者的眨眼率有顯著差異。 H12h：學習背景的不同，受測者的眨眼時間有顯著差異。 H12i：學習背景的不同，受測者的心率變異度(HRV)有顯著差異。 H12j：學習背景的不同，受測者的血氧濃度有顯著差異。 H12k：學習背景的不同，受測者的疲勞主觀評量表有顯著差異。 H12l：學習背景的不同，受測者的閃光融合閾值(CFF)有顯著差異。. 3.2 研究流程本研究主要是依據眼動、腦波及其他生理訊號探討數位媒體最佳化的文字背景配置，另外包含環境光源、背景音樂的因子。為找出最佳化的配置，參考簡佑宏之博士論文(簡佑宏, 2007)及一篇 Display 的期刊(Shen et al., 2009)流程，本研究流程如圖 3-2。首先根據研究動機，確立本研究之目的，藉由文獻的蒐集與探討，了解在學習上可能會影響注意力及疲勞的因素、同時加入了不同的環境光源、背景音樂的有無做探討，以了解使用者在使用此類數位媒材上學習時的身心理狀態，特別是疲勞與注意力，達成本研究之研究目的。實驗一為先探討在 iPad 上的 18 種文字背景配置，綜合眼動與腦波探討在 iPad 上最適合與最不適合學習時使用的文字背景配置。並依據實驗一的結果，選擇最 25.

(39) 適合的與最不適合三種文字背景配置作為實驗二的視覺刺激物，並加入環境光源、與有無音樂的因子。實驗一先以 8 人作為試驗對象，分析其資料探究可能的因素後確立實驗二的流程，並擴大至 32 位受測者才正式開始的實驗二。最後依據所得之實驗結果、討論及分析，提出使用 iPad 上或是此類數位媒材最佳化之文字背景配置、環境光源、是否需要背景音樂之準則。本研究最後也將對本研究不足之處與未來研究方向提出後續建議。. 圖 3-2 研究流程圖. 26.

(40) 3.3 受試者所有實驗的受測者皆以大學生或是研究生為主，年齡均須滿 18，且無色盲以及矯正後視力需在 1.0 以上，遵循研究倫理與規範，徵得受測者的同意後才開始進行實驗。實驗一的受測者為台中教育大學的學生共 8 位，分別為 4 位男性與 4 位女性，文章為受測者不曾閱讀過的內容，以符合實驗準則與公平性。實驗二的受測者並不侷限於台中教育大學之大學生，共選取 32 位受測者。依據性別、環境光源、有無背景音樂去做分組。表 3-2 為受測者分類統計表。表 3-2 受測人數分類統計表環境光源(亮). 環境光源(暗). 背景音樂(有). 背景音樂(無). 背景音樂(有). 背景音樂(無). 大學. 2. 2. 2. 2. 研究所. 2. 2. 2. 2. 大學. 2. 2. 2. 2. 研究所. 2. 2. 2. 2. 男. 女. 3.4 視覺刺激材料因為本研究為了更貼近使用者使用數位媒材的狀態，故不使用模擬的方式呈現，直接將視覺刺激材料透過程式在 iPad 上呈現，然實驗一因為尚未確立實驗模式故還是以模擬的為主，實驗二才是直接在 iPad 上呈現。實驗一的實驗刺激材料為兩篇童話(見附錄一)，並編製眼動資料所需之視覺材料。配合眼動儀與實驗設計軟體的規格與功能，模擬蘋果電腦 iPad 的介面，並在每段受試的規劃中加入一個錯字。在實驗過程中，讓受試者尋找並點選錯字，並記錄反應時間(以微秒來計算開始閱讀文章到找到錯字的時間)，並限定每段配色的文章閱讀上限為 30 秒。如圖 3-3。實驗二則因實驗一的結果與先前研究發現語文能力(吳智鴻 et al., 2012)會影 27.

(41) 響到注意力的高低以及工作績效的好壞，故將字詞意義的符號排除，使用亂碼及無意義之中英文字編寫視覺刺激材料。實驗二的中文字採用教育部在民國 87 年調查出來的 500 常用字(見附錄二)，以一行中文一行英文的方式模擬語言學習介面。實驗一的視覺刺激物如圖 3-3 之左，實驗二之視覺刺激物圖為圖 3-3 之右，完整的請見實驗二之視覺刺激物(附錄三)。. 圖 3-3 實驗一與實驗二之視覺刺激物內容. 3.4.1 字體大小依據過去 Legge 的研究(Legge et al., 1985)，指出字元大小在 0.3∘~2∘內，能有最佳的閱讀速度。在字距與行距上，過去 Muter 的字距研究顯示字距並不影響閱讀速度(Paul et al., 1992)，且不限於紙本與螢幕(John et al., 1987)，在行距的研究上，Kolers 在 1981 年的研究發現行距較大的時候閱讀總時間增加，不過並不顯著(Kolers et al., 1981)，因此本研究將字體固定為 18pt，字距，行距為字體的 1. 5 倍，也就是 27pt。實驗一與實驗二皆採此字形與字體、行距、字距大小的配置，字型則採用黑體字。 28.

(42) 3.4.2 文字與背景配置據過去研究指出亮度、明暗對比、與色彩對於疲勞與辨識度的研究，亮度與對比較色彩的影響為顯著(Hwally et al., 2011)，Mills 與 Weldon(Mills et al., 1987)還有 Ware(Ware, 2000)的研究也指出視覺對文字的識別度的能力，其明暗對比的屬性比色彩更為顯著。因此，圖 3-4 為本實驗所設定之字體與背景配色，採用無彩色之配對色彩，9 種白底黑字與 9 種黑底白色配色，對比度範圍從 50%到 100% 到實驗所使用字體為黑體字，如圖 3-3 的配置圖。實驗一採用了 18 種文字背景配置並結合眼動與腦波評估最不容易疲勞、易集中注意力。實驗二則依據實驗一成果之最佳與最差之對比配色各擷取三組作為對照。三種最佳的對比配色設計為 A1(背景 0%黑，字體 100%黑)、A3(背景 0%黑，字體 85%黑)、B2(背景：15%黑，字體：85%黑)如圖 3-5 a 處。較差的對比配色設計為 E1(背景 85%黑，字體 0%黑)、 F3(背景 75%黑，字體 25%黑)、D3(背景 100%黑，字體 0%黑)，如圖 3-5 b 處。另外本研究加入了色光三原色 R(紅 255)、G(綠 255)、B(藍 255)，以及模擬紙材質的 P 以及真實列印在紙張上的 RP 文字背景配置。. 圖 3-4 文字背景配置規劃圖 29.

(43) (圖 A. 較優的配色). (圖 B. 色光三原色). (圖 C. 較差的配色). (圖 D. 紙張材質配色與真實紙本) 圖 3-5 實驗二採用之對比配置與色彩材質規劃圖. 3.4.3 背景音樂本研究之音樂與腦波前導研究中發現鋼琴較能誘發注意力，管樂較能使情緒放鬆，鋼琴能夠提高注意力(吳智鴻 et al., 2010)，但不知與閱讀時的交互效果。因此，本研究將一樣使用莫札特之 K.448 鋼琴奏鳴曲加入測試，音樂此因子為有加入與沒有加入，探知音樂是否會影響到疲勞以及注意力。. 30.

(44) 3.5 實驗環境與設備本章節將介紹本研究使用的設備，共有眼動儀、腦波測量儀、心跳與血氧濃度儀器以及 emWave 等情感運算儀器。. 3.5.1 眼動儀(Eye Tracker) 本研究所使用的眼動儀是由加拿大 SR Research 公司所製造的 EyeLink 1000 眼動儀，升級為 Eyelink 2000 與 Remote 規格。該眼動追蹤系統已經發展到每一秒可以記錄 1000(2000)次眼動的取樣頻率，精確計算眼球的凝視時間，精密程度絕對足以用來進行閱讀與其它視覺認知之心理研究。此系統的實驗程式設計不要求研究者必須具備程式設計的專長，因此可以減輕實驗設計的負擔，提升研究效能，設備如圖 3-6。. 圖 3-6 本研究所使用之眼動儀器. 3.5.2 腦波測量儀本研究採用 Neurosky 公司之腦波測量工具，是種非侵入性的腦波測量儀器，用於檢測神經元電觸發活動，有著耳機的外型。并使用三個感應器接觸在皮膚的 31.

(45) 三個地點：下方的耳朵兩處和前額，前額是個方便放置感應器的位置，額葉皮層也是有高度的認知訊號和意識的發源地(Christopher et al., 2009)。Neurosky 如圖 3-7 中受試者頭上所戴之腦波儀，圖左為儀器樣貌，圖右為受測者帶上儀器樣。. 圖 3-7 Neurosky 腦波測量儀. 3.5.3 心率變異度與紅外線血氧濃度儀本研究也加入了心率變異度，亦即 HRV，來探討使用數位媒材學習後的疲勞程度，HRV 也蘊含了心血管控制系統與體液調節等資訊，對於這些資訊的分析可以評估生理的影響，具有重要的生理學研究與臨床應用意義(柴繼紅 et al., 2004)。而血氧濃度常用於探測疲勞程度，達到預前保健效果並也被證實可以應用於疲勞評估的可能(胡志彰, 2007)。於是本研究加入心率變異度與血氧濃度來探究使用數位媒材學習後的疲勞程度。圖 3-8 為本研究所用之心率變異與血氧濃度儀器。圖中 A、D 處為儀器本體，B 處為感應器，C 處為受測者戴上儀器的情形。. 32.

(46) 圖 3-8 心率變異度與紅外線血氧濃度儀. 3.5.4 情緒偵測儀器本研究使用 emWave 來了解文字背景配置之情緒值，並用於檢測學習者的情感、情感狀態變化，也用研究於不同的多媒體媒材來評估學習成效(Chen et al., 2011)。圖 3-9 即為情緒偵測儀器，圖 3-9A 處為其 Sensor 感應接點，圖 3-9 B 處為整個情緒偵測儀器，圖 3-9 C 處為受測者戴上儀器之圖示。. 圖 3-9 情緒偵測儀器. 33.

(47) 3.5.5 閃光融合閾值(CFF) 本研究使用閃光融合閾值(CFF)來作為測量疲勞的一項指標，透過閃爍的頻率變化量測受試者的視覺敏感度是某已經有疲勞的現象。閃光融合閾值的定義是，先讓受試者注視某一頻率的光源，然後再逐漸地調高閃爍頻率，當受試者感覺光源不在閃爍之後，這個臨界點稱為閃光融合閾值，此為正向測試，相反的從最高的的頻率逐漸降低至受試者開始感覺閃爍，此臨界點也被稱為閃光融合閾值 (Horie, 1991)。圖 3-10 為本研究量測閃光融合閾值(CFF)之器材。A 處為機器全貌， B 處為運作中的狀態(閃紅燈)。. 圖 3-10 量測閃光融合閾值(CFF)之儀器 3.5.6 實驗環境與配置受測的環境為安靜不受外界干擾之三坪半之實驗室，坐在具有調節高度、背部幅度之人體工學椅子，以及使用具備調節高度及角度之桌子，iPad 中心至桌面高度為 28cm，受測者的臉與眼睛與 iPad 為平行，距離為適當的 30 公分距離(李明燕, 2005)。圖 3-11 為受測者接受實驗示意圖。. 34.

(48) 圖 3-11 受測者接受實驗示意圖. 整個實驗環境有兩台電腦、一台筆記型電腦，一台為 Host PC，為 DOS 模式，主要是控制眼動儀 EyeLink2000，研究人員專用。一台為 Display PC，主要是用來接收眼動儀用，螢幕上掛載著 iPad，iPad 顯示本研究實驗之視覺刺激物。還有一台筆記型電腦為記錄腦波儀 Neurosky、血氧、心率變異度、情緒值之資料，供研究人員使用。眼動儀則放置在受測者與螢幕之間，以不妨礙受測者觀看視覺刺激物即可。腦波儀則受測者頭上所戴之儀器，使用無線藍芽介面。血氧與心率變異度、emWave 儀器為 USB 有線介面，實驗中將所記錄之資料傳送給筆記型電腦做記錄。整個實驗環境配置如圖 3-12。. 35.

(49) 圖 3-12 實驗環境配置圖. 3.6 實驗設計本研究分為兩個實驗，實驗一為依據疲勞度指標的(1)瞳孔大小、(2)平均瞳孔大小改變量、(3)眨眼率及注意力指標中的(4)注意力、(5)錯字尋找績效以及(6) 凝視時間長短來確立最優的文字背景配置。而實驗二為將實驗一中最好的三種配色與最差的三種文字背景配置並加入以三原色為底之色彩配置，並加入音樂的兩種因子(1)有、(2)無兩種，環境光源因子(1)亮、(2)暗兩種。並依據(1)瞳孔大小、 (2)平均瞳孔大小改變量、(3)眨眼率、(4)眨眼時間、(5)注意力、(6)文字辨識績效以及(7)閃光融合閾值(CFF)、(8)結合主觀評量問卷、(9)心跳變異率、(10)血氧濃度、(11) 情緒值來探討音樂、環境光源對於閱讀、學習時的影響。以下依據變項與因子說明之：. 36.