第六章 實驗結果與分析
第一節 實驗對象分析
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y 第六章 實驗結果與分析
根據研究架構，本研究從實際規劃的閱讀實驗中蒐集讀者產生的閱讀標註行 為資料，並進行統計分析，以驗證基於「知識標註學習系統」所發展的「知識萃 取機制」的有效性。本研究實驗的研究對象共 19 人，透過共同對一篇指定閱讀 文章進行合作式閱讀標註學習，並繳交閱讀報告方式進行，實驗時間長達二週。
本章從五個面向來說明實驗數據分析的結果。第一節針對實驗對象的使用意 見調查與閱讀理解分數評量結果進行說明；第二節則是從「標註分數」是否與實 驗對象的閱讀理解分數呈現正相關進行分析，以驗證基於「標註分數」判定優質 標註內容與進行標註技巧建議的「知識萃取機制」的有效性；第三節分析「知識 萃取機制」中考量的六項因素是否能夠反映實驗對象閱讀理解分數的差異，以驗 證個別考量因素的有效性；第四節分析「標註因素分數」是否與實驗對象的閱讀 理解分數呈現正相關，用來判斷經由閱讀專家評估之標註重要度模糊隸屬函數的 有效性；第五節則從實驗對象在「知識標註學習系統」的系統操作標註行為中，
分析各種系統操作因素中可以反映出閱讀理解分數差異的因素，以作為未來加入
「知識萃取機制」設計因素的參考；最後一節則將實驗對象以閱讀理解分數高低 不同來分組，比較兩組實驗對象的標註建議回饋與社群互動等標註行為的差異，
以作為未來發展符合個別學習者需求之適性化「知識萃取機制」的參考。
第一節 實驗對象分析
本節敘述實驗對象填答使用者意見調查的結果，以及說明如何評量實驗對象 閱讀理解能力。
一、 使用意見調查
在實驗結束之後，本研究利用使用者意見調查問卷蒐集 19 位實驗對象的閱 讀習慣、科技接受模型以及標註建議滿意度與使用意見。有效回收問卷共 19 份，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
統計結果如下。
（一） 閱讀習慣
針對實驗對象的閱讀習慣調查結果如表 6 - 1 所示，大部分實驗對象在報紙、
雜誌、書本等實體載體閱讀頻率多在每週數次，且一半以上的實驗對象更是每天 閱讀網路文章。
表 6 - 1 閱讀習慣問卷調查結果
頻率
閱讀種類人數
報紙 雜誌 書本 網路文章
從來沒有 0 0 0 0
少於每週一次 4 9 4 2
每週數次 10 8 6 5
每天 5 2 9 12
（二） 科技接受模型
科技接受模型的調查結果如表 6 - 2 所示。表中統計各認同程度的人數，並 以 1 分到 7 分的認同程度加總之後計算平均的認同程度。結果顯示，一半以上的 實驗對象都贊同「知識標註學習系統」是容易使用並且是有用的，但並沒有達到 很贊同的程度。
（三） 標註建議滿意度
標註建議滿意度調查結果如表 6 - 3 所示。表格中統計各認同程度的人數，
並以 1 分到 7 分的認同程度加總之後計算平均的認同程度。結果顯示，實驗對象 普遍贊同標註建議是正確、有助於閱讀及理解文章，並且會接受閱讀標註的建議，
但是同樣並沒有達到很贊同的程度。
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
註範圍詞性、標註範圍位置、標註範圍長度、推薦標註、標註指引以及贊成或不 贊成標註建議的理由。標註建議意見調查並非強制填寫，每個問題大約有 6 到 8 人回答，可作為「知識萃取機制」所提供的標註建議改善的參考。詳細的標註建 議意見調查結果如附錄 E 所示，以下為摘要分析的結果。
對於標註範圍詞性建議的意見中，有實驗對象建議，為了避免一般讀者不懂 詞性的定義，例如名詞或不及物動詞，標註建議應提供更詳細的舉例及說明（實 驗對象 1、5、15）；建議可專注在專有名詞、人名的說明上（實驗對象 2、9）。
此外，標註範圍詞性的重要度可能會因為標註策略的使用而有所不同，例如「摘 要」策略可能就不會在意標註範圍的詞性（實驗對象 2）。
對於標註範圍位置建議的意見中，有人贊成段落開頭或最後的內容可能是比 較重要的部份（實驗對象 1、2、5），但也可能會因為文章的性質、段落的主題 與作者的寫作風格而有所不同（實驗對象 2）；但也有人認為這些位置並非自己 想要標註的重點（實驗對象 9、15）。
對於標註範圍長度建議的意見中，有人贊成簡短的字數較不易造成讀者的負 擔、降低閱讀的困難度（實驗對象 1、3、5、7、9）。但也有表示標註範圍長度 的重要性可能會因為標註策略的使用而有所不同，例如使用「摘要」策略、解析 文意等情況，就會以文章內容為主，而不會刻意縮短標註範圍長度（實驗對象 2、
7、15）。
對於推薦優質標註內容的意見中，有人認為此功能很親和、有趣，有助於了 解其他人的意見（實驗對象 3、16）；有人認為推薦之優質標註只能作為參考，
主要還是以自己的意見為主（實驗對象 9）；也有人質疑該推薦是否真的能貼切 且吻合讀者的需求（實驗對象 1、15）。
對於標註指引的意見中，多位實驗對象都表示贊同，並且會特別去注意。（實 驗對象 1、9、15、17）
最後問到贊成或不贊成標註建議的理由時，大部分實驗對象都表示會依照自 己的想法、閱讀習慣為主（實驗對象 2、3、5、7、9、15）。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
二、 閱讀理解能力評量
閱讀理解分數是評量實驗對象對於閱讀文章的理解程度，並將其量化之後所 得到的分數。本研究將閱讀理解分數作為實驗對象閱讀理解能力的指標，閱讀理 解分數越高，表示他的閱讀理解能力越好。本研究採用閱讀理解分數作為驗證「知 識萃取機制」有效性的指標，接下來的各種分析中將以閱讀理解分數作為分析的 主要變項。
為求閱讀理解能力的評量能達到公正、客觀，閱讀理解分數是採用閱讀理解 測驗與閱讀心得報告兩種不同評分工具的綜合結果。以下分別說明閱讀理解測驗 評分、閱讀心得報告評分與閱讀理解分數的計算過程。
（一） 閱讀心得報告的分數評量
實驗對象在閱讀文章的時候，同時也被要求撰寫五題問答形式的閱讀心得報 告，並於二週閱讀文章期限結束後繳交到數位學習平臺。
完全回收實驗對象的閱讀心得報告之後，兩位評分者即依閱讀心得報告評分 準則進行評分。為了評鑑兩位評分者的評分是否具備一致性信度，本研究使用 Pearson 相關係數作為評分者一致性信度的指標（余敏賢，2003）。兩位評分者 的評分進行 Pearson 積差相關分析，結果顯示 Pearson 相關係數 r = 0.832，雙尾 檢定的顯著性 p = 0.000 < 0.01，表示兩位評分者的評分具有顯著的相關。根據吳 明隆（2009）的相關係數評判準則來看（見表 6 - 4），此相關係數屬於高度正相 關。此一結果表示評分結果具有不錯的評分者信度，因此本研究將兩位評分者的 分數取平均數，最後成為閱讀理解分數之一的「報告分數」。
表 6 - 4 相關係數評判準則
相關係數 相關程度
0.7 以上 高度相關 0.4-0.69 中度相關 0.1-0.39 低度相關 0.1 以下 弱或無相關
資料來源：「SPSS 操作與應用：問卷統計分析實務」，吳明隆，2009，二版，臺北市，五南圖書 出版股份有限公司。
‧
7. 以庫李法(Kuder-Richardson method; Kuder & Richardson, 1937)中的 KR20來
‧
（鄭湧涇，1998）；所有題目的平均鑑別指數為 0.29，根據 Ebel(1972)的評鑑標 準來看（見表 6 - 5），0.29 是屬於不佳的試題，必須加以改進。而內部一致性信
資料來源："Essentials of educational measurement," by Robert L. Ebel, 1972.