第六章 實驗結果與分析
第三節 知識萃取機制考量因素分析
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
在這 317 筆標註資料中，「標註分數」的平均數為 1.8184，閱讀理解分數則 為 0.5696，敘述統計結果如表 6 - 9 所示。
表 6 - 9 標註分數與閱讀理解分數敘述統計量
個數 最小值 最大值 平均數 標準差
標註分數 317 1.335 2.28394 1.8184 .14966 閱讀理解分數 317 .100 1.00000 .5696 .26447
本研究將「標註分數」與閱讀理解分數進行 Pearson 積差相關分析，計算求 得 Pearson 相關係數 r = 0.122，雙尾顯著性 p = 0.030 < 0.05，顯示兩者之間呈現 顯著的低度正相關。決定係數 r2 = 0.014884，表示「標註分數」可以解釋閱讀理 解分數 1.49%的變異量。分析結果如表 6 - 10 所示。
表 6 - 10 標註分數與閱讀理解分數的 Pearson 積差相關分析結果 標註分數 閱讀理解分數 Pearson 相關係數 .122*
顯著性(雙尾) .030
*. 顯著性(雙尾)達到 0.05 的顯著水準。
此一結果顯示「知識萃取機制」所計算出代表標註重要度的「標註分數」確 實與實驗對象的閱讀理解分數呈現正相關，但是僅止於低度相關。因此「標註知 識萃取機制」計算「標註分數」的方法在一定程度上是有效的。
第三節 知識萃取機制考量因素分析
從前一節分析的結果可以確認「知識萃取機制」整體計算方式的有效性，而 本節則是從探索未來可以改善「知識萃取機制」的目的著手，希望藉由分析「知 識萃取機制」考量的六種因素中，各因素是否能夠反映出實驗對象的閱讀理解分 數差異，以作為驗證各因素有效性的依據。
以下將先敘述「標註範圍共識」與「標註喜愛共識」二項標註共識與閱讀理 解分數的分析結果，接下來探討「標註範圍長度」、「標註策略類型」、「標註範圍 詞性」與「標註範圍位置」四項標註特徵與閱讀理解分數的分析結果。
‧
Pearson 積差相關分析的結果。結果顯示不論是「標註範圍共識」或「標註喜愛 共識」，都無法看出與閱讀理解分數有顯著相關。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
獨立樣本 t 檢定分析兩組的閱讀理解分數平均數是否具有顯著差異。
依據上述方法分析之後的結果如表 6 - 14 所示。結果顯示不論是「標註範圍 共識」或是「標註喜愛共識」，高共識組與低共識組實驗對象的閱讀理解分數都 沒有顯著差異。然而分析結果發現，「標註喜愛共識」中高共識組的閱讀理解分 數平均數有高於低共識組的現象。此一結果顯示「標註喜愛共識」仍具有參考價 值。未來可以更大的樣本來進行驗證分析。而「標註範圍共識」則沒有顯著差異，
應該從「知識萃取機制」的考量因素中剔除。
表 6 - 14 標註共識平均數分組之閱讀理解分數的獨立樣本 t 檢定摘要表 依變項：閱讀理解分數
自變項 自變項分組 個數 平均數 標準差 t 值 p 值
標註範圍共識 高共識組 103 .5537 .27479 -.742 .459 低共識組 214 .5772 .27479
標註喜愛共識 高共識組 55 .5773 .27243 .237 .818 低共識組 262 .5680 .26327
二、 標註特徵分析
本節將分析「知識萃取機制」考量因素中的「標註範圍長度」、「標註策略類 型」、「標註範圍詞性」與「標註範圍位置」四種標註特徵中，是否能夠反映出實 驗對象閱讀理解分數的差異。除了「標註範圍長度」是連續變項之外，其他三種 標註特徵都是名義變項，因此在統計分析方法上有所不同。以下逐一說明這四種 標註特徵的分析方法與結果。
（一） 標註範圍長度與閱讀理解分數相關度分析
「標註範圍長度」是連續變項，單位是字數。可採用與標註共識同樣的方式 進行分析。表 6 - 15 為「標註範圍長度」與閱讀理解分數條列的結果舉例，而表 6 - 16 則為 317 筆標註資料的標註範圍長度敘述統計量。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 6 - 15 標註範圍長度列表舉例
標註編號 標註範圍長度 實驗對象編號 閱讀理解分數
3112 1 17 .88
3401 1 18 .10
2973 1 19 .94
3353 1 3 .81
…… …… …… ……
表 6 - 16 標註範圍長度敘述統計量
個數 最小值 最大值 平均數 標準差
標註範圍長度 317 1 359 23.5237 44.73484
將「標註範圍長度」與閱讀理解分數兩個變項進行 Pearson 積差相關分析之 後，結果如表 6 - 17 所示。在分析結果中，Pearson 相關係數 r = -0.115，雙尾的 顯著性 p = 0.040 < 0.05，達到 0.05 的顯著水準，亦即「標註範圍長度」與閱讀理 解分數呈現顯著的低度負相關。決定係數 r2 = 0.013225，表示「標註範圍長度」
變項可以解釋閱讀理解分數變項 1.32%的變異量。
表 6 - 17 標註範圍長度與閱讀理解分數的 Pearson 積差相關分析結果 標註範圍長度 閱讀理解分數 Pearson 相關係數 -.115*
顯著性(雙尾) .040
*. 顯著性(雙尾)達到 0.05 的顯著水準。
（二） 標註策略類型分組與閱讀理解分數差異分析
「標註策略類型」是撰寫標註時選擇的策略，包括「重要」、「質疑」、「困惑」、
「摘要」與「舉例」五種。本研究將具有名義變數特性的「標註策略類型」作為 自變項，把 317 筆標註依照「標註策略類型」的不同分成五個組別，並將實驗對 象的閱讀理解分數作為依變項，以單因子變異數分析比較各組之間的閱讀理解分 數是否具有差異。表 6 - 18 是以「標註策略類型」分組後的組別敘述統計量。
‧
在單因子變異數分析前，必須先進行變異數同質性檢定，Levene 變異數同 質性檢定的結果如表 6 - 19 所示，Levene 統計量 F=8.490，顯著性 p = 0.000 < 0.05，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Brown-Forsythe 法所得到之 F 值為 10.036，顯著性 p = 0.000 < 0.05，也達到顯著 水準。而各組別的 F 檢定統計量則是取兩種方法的平均數，即 11.003 作為代表。
根據上述分析結果可以得知「標註策略類型」這五種組別彼此之間有顯著的 差異。換句話說，標註本身選擇的「標註策略類型」有所不同，撰寫此標註的實 驗對象其閱讀理解分數也具有顯著差異。
表 6 - 20 標註策略類型組別均等平均數的 Robust 檢定結果 依變項：閱讀理解分數
統計量a 分子自由度 分母自由度 顯著性 Welch 11.970 4 100.042 .000*
Brown-Forsythe 10.036 4 182.540 .000*
a. Asymptotically F distributed.
*. 顯著性達到 0.05 的顯著水準。
3.
事後多重比較為了深入探究具有顯著差異的組別配對，在此採用事後多重比較法來分析。
因為「標註策略類型」違反了變異數同質性的假設，多重比較需採用 Tamhane 法、Dunnett T3 法、Games-Howell 法或 Dunnett C 法來分析。計算之後發現這四 種方法都呈現一樣的結果，在此僅列出以 Tamhane 法所得到的多重比較分析結 果，如表 6 - 21 所示。
表 6 - 21 結果中可以發現，使用「摘要」類型組別中，實驗對象的閱讀理解 分數平均數顯著的低於其他四種類型組別。其組間平均數差異的細節為：
「摘要」類別低於「重要」類別的平均數差異為 0.21922 (p = 0.000 < 0.05)；
「摘要」類別低於「質疑」類別的平均數差異為 0.14690 (p = 0.040 < 0.05)；
「摘要」類別低於「困惑」類別的平均數差異為 0.15936 (p = 0.002 < 0.05)；
「摘要」類別低於「舉例」類別的平均數差異為 0.23324 (p = 0.001 < 0.05)。
這是否意味「摘要」的「標註類型策略」對於閱讀理解較沒有幫助，仍有待 深入探討。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
經過中文斷詞系統（CKIP）分析的結果，標註可能擁有的「標註範圍詞性」
共有 15 種，各別是「名詞」、「及物動詞」、「感嘆詞」、「不及物動詞」、「名物化 動詞」、「定詞」、「副詞」、「介詞」、「外文標記」、「對等連接詞」、「無法辨識」、「非 謂形容詞」、「連接詞」、「量詞」與「時態標記」等。依照表 6 - 22 的資料列表，
本研究以「標註範圍詞性」作為自變項，將這 1272 筆標註分成 15 種不同詞性的 組別，並將實驗對象的閱讀理解分數作為依變項，以單因子變異數分析檢定各組 別的閱讀理解分數是否具有顯著差異。各組別敘述統計量如表 6 - 23 所示。
1.
變異數同質性檢定首先以 Levene 檢定各組別的閱讀理解分數是否符合變異數同質性假設，檢 定結果如表 6 - 24 所示，Levene 統計量 F = 1.059，顯著性 p = 0.319 > 0.05，未 達 0.05 顯著水準，表示「標註範圍詞性」這 15 種組別的閱讀理解分數符合變異 數同質性的假設。
2.
變異數檢定在符合變異數同質性假設的情況下，本研究使用 ANOVA 檢定各組別之間的 閱讀理解分數是否具有顯著差異。表 6 - 25 ANOVA 檢定結果顯示，統計量 F = 1.773，顯著性 p = 0.038 < 0.05，達到 0.05 顯著水準，應拒絕虛無假設、接受對 立假設。亦即不同「標註範圍詞性」的標註組別中，其實驗對象的閱讀理解分數 有顯著的差異。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 6 - 25 標註範圍詞性組別 ANOVA 檢定結果 依變項：閱讀理解分數
平方和 自由度 平均平方和 F 檢定 顯著性 組間 1.650 14 .118 1.773 .038*
組內 83.558 1257 .066 總和 85.208 1271
*. 顯著性達到 0.05 的顯著水準。
3.
事後多重比較為了更進一步探究不同「標註範圍詞性」之間的差異，本研究以事後多重比 較找出具有顯著差異的組別配對。在符合變異數同質性假設的前提下，多重比較 法有許多的選擇。由於較為嚴謹的 Tukey 法跟 Scheffe 法都無法看出組別之間閱 讀理解分數的顯著差異，因此本研究採用最小顯著差異法（Least Significant difference，簡稱 LSD 法）來進行多重比較分析，分析結果如附錄 F 所示。然而 LSD 法造成第一類型錯誤率偏高，易於拒絕虛無假設。因此在參考 LSD 法的分 析結果時，需要格外謹慎地使用。
附錄 F 顯示以 LSD 法進行多重比較之後的分析結果，可以發現「名詞」、「定 詞」、「外文標記」三種詞性組別中實驗對象的閱讀理解分數，顯著地高於其他詞 性組別。重要結果歸納如下：
「名詞」的閱讀理解分數平均數顯著大於「副詞」、「介詞」、「對等連接詞」
與「連接詞」；
「定詞」的閱讀理解分數平均數顯著大於「副詞」、「介詞」與「連接詞」；
「外文標記」的閱讀理解分數平均數顯著大於「名物化動詞」、「副詞」、「介 詞」、「對等連接詞」、「非謂形容詞」、「連接詞」與「時態標記」。
在中文斷詞系統 CKIP 的判斷中，「定詞」可作為「名詞」的定語，例如數 量定詞、數詞定詞。中文斷詞系統分析中文以外的詞彙時，例如英文，皆會判斷 為「外文標記」，而本研究閱讀文章的英文多為「專有名詞」詞彙。換句話說，
不論是「定詞」或「外文標記」，其定位上都接近於「名詞」。亦即可以推論出，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
當標註的「標註範圍詞性」屬於「名詞」的時候，撰寫此標註的實驗對象其閱讀 理解分數有顯著地高於其他種詞性組別的現象。
（四） 標註範圍位置分組與閱讀理解分數差異分析
「標註範圍位置」是標註位於段落中不同位置的標記，同樣屬於名義變項。
每一筆標註可能涵括了多種「標註範圍位置」。舉例來說，實驗對象 2 撰寫了編 號為 3290 的標註，其標註範圍文字即含括了「開頭」、「接近結尾」兩種位置。
為了分析標註在「標註範圍位置」的不同是否能夠反映出實驗對象的閱讀理 解分數差異，在此假設每一筆標註的每一種位置都是由獨立的實驗對象考量後進
為了分析標註在「標註範圍位置」的不同是否能夠反映出實驗對象的閱讀理 解分數差異，在此假設每一筆標註的每一種位置都是由獨立的實驗對象考量後進