第四章 實驗結果與分析
4.2 多重實驗分析結果
為了進一步評估本研究基於小波轉換、基因演算法及支持向量機所發展 基於腦波訊號之注意力辨識系統，是否能夠有效的識別出受試者高低注意力，
本研究設計了四個實驗作為系統效能評估之依據，各項實驗結果分析與歸納 如後。
4.2.1 效能評估指標
在實驗結果的效能評估上，本研究使用準確率(Precision Rate)、召回率 (Recall Rate)與 F 測量值(F-measure)作為注意力識別的效能評估指標，分別 定義如下：
準確率=系統正確辨識出低注意力的總時間
系統辨識出低注意力的總時間
(4-1)
召回率=系統正確辨識出低注意力的總時間
受試者具低注意力的總時間
(4-2)
F 測量值= 2×
準確率×召回率
準確率+召回率
(4-3) 其中，準確率越高表示系統所辨識出的低注意力總時間與正確辨識出低注意 力的總時間越相近；召回率越高則表示系統所辨識出的低注意力總時間能夠 涵蓋越多受試者具低注意力的總時間；而 F 測量值係為綜合考量準確率與召 回率的評估指標，F 測量值越高，表示系統的辨識效能越好。
4.2.2 自行標記低注意力時間與系統辨識低注意力時間之效能評估
本實驗挑選了三位受試者，藉由影片撥放系統觀賞片長 16 分鐘的影片 後，讓受試者自行標記該影片中自己認為注意力不集中的時間點，再與本研 究發展的注意力辨識系統所辨識出的低注意力時間點進行比對後，以效能評 估指標進行效能評估，結果如表 4-3 所示。
38
表 4-3 注意力辨識系統辨識受試者自行標記低注意力時間之效能評估結果
受試者 準確率 召回率 F-measure
受試者 1 56.09% 94.78% 0.7047 受試者 2 40.00% 62.20% 0.4869 受試者 3 61.36% 80.68% 0.6971 平均值 52.48% 79.22% 0.6296
根據表 4-3 的結果顯示，平均召回率為 79.22%，最高召回率達到 94.78%，
平均準確率為 52.48%，最高準確率也有 61.36%，平均 F 測量值為 0.6296，
最高 F 測量值也有 0.7047，顯示本研究所發展之注意力辨識系統確實能夠有 效的辨識出受試者在觀看影片時的低注意力時間片段。
4.2.3 加入干擾因素引發之低注意力時間與系統辨識出低注意力時間之效能 評估
本實驗讓 4 位受試者觀看一段加入了 7 個具有聲音與圖片干擾因素的影 片，用以影響受試者之注意力，本研究將影片中具有干擾因素的時間點與注 意力辨識系統所辨識出之低注意力時間點進行比對，以效能評估指標進行評 估，結果如表 4-4 所示。
表 4-4 注意力辨識系統辨識加入干擾因素影片引發低注意力之效能評估結果
受試者 準確率 召回率 F-measure 未辨識出之數量
受試者 1 43.86% 51.02% 0.4717 2 受試者 2 35.40% 77.55% 0.4861 1 受試者 3 46.25% 66.07% 0.5441 1 受試者 4 32.9.% 54.42% 0.4103 3 平均值 41.84% 62.27% 0.4780 1.75
39
根據表 4-4 的結果顯示，平均召回率為 62.27%，最高召回率為 77.55%，
平均準確率為 41.84%，最高準確率為 46.25%，平均 F 測量值為 0.478，最 高 F 測量值為 0.5441，未被辨識出來的數量平均不到 2 個，顯示本研究所發 展之注意力辨識系統可有效辨識出受試者觀看影片時因注意力分散而降低 注意力的時間點。
4.2.4 受試者自我評量系統所辨識出的低注意力時間之效能評估
本實驗讓 4 位受試者觀看一段影片，在影片觀看完畢後，讓受試者填寫 一五等第量表，回答對於注意力辨識系統所識別出的低注意力時間，是否為 自己注意力較為低落時間點的同意程度，結果如表 4-5 所示。
根據表 4-5 的結果顯示，所有受試者的量表平均分數皆未超過 4 分，最 高為 3.36 分，最低分為 2.09 分，所有受試者量表分數的總平均值為 2.83 分，
落在稍微不專注(2)與有專注(3)之間，說明大部分的受試者一定程度認同本 研究所發展注意力辨識系統所辨識出的低注意力時間。
表 4-5 受試者填寫系統所識別出的低注意力時間量表之評量結果 受試者 系統辨識所得低注
意力時間
量表平均分數
受試者 1 22 3.36
受試者 2 36 3.00
受試者 3 23 2.86
受試者 4 32 2.09
平均值 28 2.83
4.2.5 系統偵測所得受試者低注意力時間點個數與學習成效之相關分析 本實驗讓 8 位受試者施予欲觀看教學影片內容之前測，之後讓 8 位受試 者觀賞影片進行影片內容學習，觀賞完後隨即施予後測，作為學習成效評估
40
之依據，表 4-6 為受試者低注意力時間點個數與前測分數、後測分數與進步 分數之敘述統計結果。表 4-7 為系統偵測出之受試者低注意力時間個數與學 習成效之相關分析結果。
表 4-6 受試者低注意力時間點個數與前測分數、後測分數與進步分數敘述統 計結果
受試者 系統辨識受試者低 注意力時間個數
前測分數 後測分數 進步分數
受試者 1 87 82.5 90 7.5
受試者 2 10 83 97 14
受試者 3 34 91.5 95.5 4
受試者 4 70 80.5 86.5 6.5
受試者 5 51 81 90 9
受試者 6 81 87.5 89.5 2
受試者 7 110 92.5 88.5 -4
受試者 8 68 87 88.5 1.5
表 4-7 受試者低注意力時間點個數與學習成效之相關分析結果 低注意力時間點個數
Pearson 相關 顯著性(雙尾) 受試者人數
前測分數 .269 .519 8
後測分數 -.806* .016 8
進步分數 -.774* .024 8
*p<.05。
根據表 4-7 的結果顯示，系統偵測出受試者的低注意力時間點個數與後 測分數具有顯著負相關(r=-.806, p=.016<.05)，受試者的低注意力時間與進步
41
分數具有顯著負相關(r=-.774, p=.024<.05)，顯示受試者處在低注意力時間越 多，其後測分數與進步分數就越低；由於後測分數與進步分數和低注意力時 間具有顯著負相關，因此可進一步對學習成效與系統偵測出的低注意力時間 點個數進行迴歸分析，結果如表 4-8 所示。
表 4-8 後測分數、進步分數與低注意力時間點個數之迴歸分析結果
模式摘要 ANOVA 標準化係數
選入變項 R R 平方 F 值 Beta 分配 t 顯著性 後測分數 . 806𝑎 .649 11.096 -.806 -3.331 .016 進步分數 . 774𝑎 .599 8.95 -.774 -2.992 .024
a：預測變數為低注意力時間個數
根據表 4-8 所示，顯示受試者的低注意力時間點個數可以有效預測後測 分數(R2=.649, p=.016)，能夠解釋後測分數之變異量為 64.9%；受試者的低注 意力時間點個數可以有效預測進步分數(R2=.599, p=.024)，能夠解釋進步分 數的變異量為 59.9%，皆具有不錯的預測效果。
42