第五章 知識萃取機制設計
第六節 標註指引設計
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
四、 標註建議回饋
當讀者進行閱讀標註時看到標註建議之後，可以對標註建議表示「贊成」或
「不贊成」的回饋，本研究稱之為「標註建議回饋」。讀者亦可先略過標註建議，
往後再回頭送出「標註建議回饋」。當讀者「不贊成」或關閉標註建議之後，標 註建議將會隱藏起來，保留讀者原本撰寫的標註。當讀者表示「贊成」時，若標 註建議未包含「推薦標註」，則讀者撰寫的標註會被刪除；若標註建議包含「推 薦標註」，則會讀者撰寫的標註將會被移至「推薦標註」的標註範圍。
第六節 標註指引設計
標註指引是在閱讀文章頁面上以紅字顯示 KALS 推薦標註的範圍。藉由將重 要標註的位置標亮，可有效吸引讀者在閱讀文章時的注意。當標註的「標註分數」
高於「推薦門檻分數」時，KALS 就會將該標註的標註範圍標亮作為標註指引。
除了幫助讀者閱讀文章時能夠聚焦於重點範圍之外，也能夠激勵讀者觀摩重要度 較高的標註、促進社群之間的互動。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y 第六章 實驗結果與分析
根據研究架構，本研究從實際規劃的閱讀實驗中蒐集讀者產生的閱讀標註行 為資料，並進行統計分析，以驗證基於「知識標註學習系統」所發展的「知識萃 取機制」的有效性。本研究實驗的研究對象共 19 人，透過共同對一篇指定閱讀 文章進行合作式閱讀標註學習，並繳交閱讀報告方式進行，實驗時間長達二週。
本章從五個面向來說明實驗數據分析的結果。第一節針對實驗對象的使用意 見調查與閱讀理解分數評量結果進行說明；第二節則是從「標註分數」是否與實 驗對象的閱讀理解分數呈現正相關進行分析，以驗證基於「標註分數」判定優質 標註內容與進行標註技巧建議的「知識萃取機制」的有效性；第三節分析「知識 萃取機制」中考量的六項因素是否能夠反映實驗對象閱讀理解分數的差異，以驗 證個別考量因素的有效性；第四節分析「標註因素分數」是否與實驗對象的閱讀 理解分數呈現正相關，用來判斷經由閱讀專家評估之標註重要度模糊隸屬函數的 有效性；第五節則從實驗對象在「知識標註學習系統」的系統操作標註行為中，
分析各種系統操作因素中可以反映出閱讀理解分數差異的因素，以作為未來加入
「知識萃取機制」設計因素的參考；最後一節則將實驗對象以閱讀理解分數高低 不同來分組，比較兩組實驗對象的標註建議回饋與社群互動等標註行為的差異，
以作為未來發展符合個別學習者需求之適性化「知識萃取機制」的參考。
第一節 實驗對象分析
本節敘述實驗對象填答使用者意見調查的結果，以及說明如何評量實驗對象 閱讀理解能力。
一、 使用意見調查
在實驗結束之後，本研究利用使用者意見調查問卷蒐集 19 位實驗對象的閱 讀習慣、科技接受模型以及標註建議滿意度與使用意見。有效回收問卷共 19 份，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
統計結果如下。
（一） 閱讀習慣
針對實驗對象的閱讀習慣調查結果如表 6 - 1 所示，大部分實驗對象在報紙、
雜誌、書本等實體載體閱讀頻率多在每週數次，且一半以上的實驗對象更是每天 閱讀網路文章。
表 6 - 1 閱讀習慣問卷調查結果
頻率
閱讀種類人數
報紙 雜誌 書本 網路文章
從來沒有 0 0 0 0
少於每週一次 4 9 4 2
每週數次 10 8 6 5
每天 5 2 9 12
（二） 科技接受模型
科技接受模型的調查結果如表 6 - 2 所示。表中統計各認同程度的人數，並 以 1 分到 7 分的認同程度加總之後計算平均的認同程度。結果顯示，一半以上的 實驗對象都贊同「知識標註學習系統」是容易使用並且是有用的，但並沒有達到 很贊同的程度。
（三） 標註建議滿意度
標註建議滿意度調查結果如表 6 - 3 所示。表格中統計各認同程度的人數，
並以 1 分到 7 分的認同程度加總之後計算平均的認同程度。結果顯示，實驗對象 普遍贊同標註建議是正確、有助於閱讀及理解文章，並且會接受閱讀標註的建議，
但是同樣並沒有達到很贊同的程度。
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
註範圍詞性、標註範圍位置、標註範圍長度、推薦標註、標註指引以及贊成或不 贊成標註建議的理由。標註建議意見調查並非強制填寫，每個問題大約有 6 到 8 人回答，可作為「知識萃取機制」所提供的標註建議改善的參考。詳細的標註建 議意見調查結果如附錄 E 所示，以下為摘要分析的結果。
對於標註範圍詞性建議的意見中，有實驗對象建議，為了避免一般讀者不懂 詞性的定義，例如名詞或不及物動詞，標註建議應提供更詳細的舉例及說明（實 驗對象 1、5、15）；建議可專注在專有名詞、人名的說明上（實驗對象 2、9）。
此外，標註範圍詞性的重要度可能會因為標註策略的使用而有所不同，例如「摘 要」策略可能就不會在意標註範圍的詞性（實驗對象 2）。
對於標註範圍位置建議的意見中，有人贊成段落開頭或最後的內容可能是比 較重要的部份（實驗對象 1、2、5），但也可能會因為文章的性質、段落的主題 與作者的寫作風格而有所不同（實驗對象 2）；但也有人認為這些位置並非自己 想要標註的重點（實驗對象 9、15）。
對於標註範圍長度建議的意見中，有人贊成簡短的字數較不易造成讀者的負 擔、降低閱讀的困難度（實驗對象 1、3、5、7、9）。但也有表示標註範圍長度 的重要性可能會因為標註策略的使用而有所不同，例如使用「摘要」策略、解析 文意等情況，就會以文章內容為主，而不會刻意縮短標註範圍長度（實驗對象 2、
7、15）。
對於推薦優質標註內容的意見中，有人認為此功能很親和、有趣，有助於了 解其他人的意見（實驗對象 3、16）；有人認為推薦之優質標註只能作為參考，
主要還是以自己的意見為主（實驗對象 9）；也有人質疑該推薦是否真的能貼切 且吻合讀者的需求（實驗對象 1、15）。
對於標註指引的意見中，多位實驗對象都表示贊同，並且會特別去注意。（實 驗對象 1、9、15、17）
最後問到贊成或不贊成標註建議的理由時，大部分實驗對象都表示會依照自 己的想法、閱讀習慣為主（實驗對象 2、3、5、7、9、15）。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
二、 閱讀理解能力評量
閱讀理解分數是評量實驗對象對於閱讀文章的理解程度，並將其量化之後所 得到的分數。本研究將閱讀理解分數作為實驗對象閱讀理解能力的指標，閱讀理 解分數越高，表示他的閱讀理解能力越好。本研究採用閱讀理解分數作為驗證「知 識萃取機制」有效性的指標，接下來的各種分析中將以閱讀理解分數作為分析的 主要變項。
為求閱讀理解能力的評量能達到公正、客觀，閱讀理解分數是採用閱讀理解 測驗與閱讀心得報告兩種不同評分工具的綜合結果。以下分別說明閱讀理解測驗 評分、閱讀心得報告評分與閱讀理解分數的計算過程。
（一） 閱讀心得報告的分數評量
實驗對象在閱讀文章的時候，同時也被要求撰寫五題問答形式的閱讀心得報 告，並於二週閱讀文章期限結束後繳交到數位學習平臺。
完全回收實驗對象的閱讀心得報告之後，兩位評分者即依閱讀心得報告評分 準則進行評分。為了評鑑兩位評分者的評分是否具備一致性信度，本研究使用 Pearson 相關係數作為評分者一致性信度的指標（余敏賢，2003）。兩位評分者 的評分進行 Pearson 積差相關分析，結果顯示 Pearson 相關係數 r = 0.832，雙尾 檢定的顯著性 p = 0.000 < 0.01，表示兩位評分者的評分具有顯著的相關。根據吳 明隆（2009）的相關係數評判準則來看（見表 6 - 4），此相關係數屬於高度正相 關。此一結果表示評分結果具有不錯的評分者信度，因此本研究將兩位評分者的 分數取平均數，最後成為閱讀理解分數之一的「報告分數」。
表 6 - 4 相關係數評判準則
相關係數 相關程度
0.7 以上 高度相關 0.4-0.69 中度相關 0.1-0.39 低度相關 0.1 以下 弱或無相關
資料來源：「SPSS 操作與應用：問卷統計分析實務」，吳明隆，2009，二版，臺北市，五南圖書 出版股份有限公司。
‧
7. 以庫李法(Kuder-Richardson method; Kuder & Richardson, 1937)中的 KR20來
‧
（鄭湧涇，1998）；所有題目的平均鑑別指數為 0.29，根據 Ebel(1972)的評鑑標 準來看（見表 6 - 5），0.29 是屬於不佳的試題，必須加以改進。而內部一致性信
資料來源："Essentials of educational measurement," by Robert L. Ebel, 1972.
‧
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
在這 317 筆標註資料中，「標註分數」的平均數為 1.8184，閱讀理解分數則 為 0.5696，敘述統計結果如表 6 - 9 所示。
表 6 - 9 標註分數與閱讀理解分數敘述統計量
個數 最小值 最大值 平均數 標準差
標註分數 317 1.335 2.28394 1.8184 .14966 閱讀理解分數 317 .100 1.00000 .5696 .26447
本研究將「標註分數」與閱讀理解分數進行 Pearson 積差相關分析，計算求 得 Pearson 相關係數 r = 0.122，雙尾顯著性 p = 0.030 < 0.05，顯示兩者之間呈現 顯著的低度正相關。決定係數 r2 = 0.014884，表示「標註分數」可以解釋閱讀理 解分數 1.49%的變異量。分析結果如表 6 - 10 所示。
表 6 - 10 標註分數與閱讀理解分數的 Pearson 積差相關分析結果 標註分數 閱讀理解分數 Pearson 相關係數 .122*
顯著性(雙尾) .030
*. 顯著性(雙尾)達到 0.05 的顯著水準。
此一結果顯示「知識萃取機制」所計算出代表標註重要度的「標註分數」確 實與實驗對象的閱讀理解分數呈現正相關，但是僅止於低度相關。因此「標註知 識萃取機制」計算「標註分數」的方法在一定程度上是有效的。
第三節 知識萃取機制考量因素分析
從前一節分析的結果可以確認「知識萃取機制」整體計算方式的有效性，而 本節則是從探索未來可以改善「知識萃取機制」的目的著手，希望藉由分析「知 識萃取機制」考量的六種因素中，各因素是否能夠反映出實驗對象的閱讀理解分 數差異，以作為驗證各因素有效性的依據。
以下將先敘述「標註範圍共識」與「標註喜愛共識」二項標註共識與閱讀理 解分數的分析結果，接下來探討「標註範圍長度」、「標註策略類型」、「標註範圍
以下將先敘述「標註範圍共識」與「標註喜愛共識」二項標註共識與閱讀理 解分數的分析結果，接下來探討「標註範圍長度」、「標註策略類型」、「標註範圍