成效分析

利用教學評量中的信度和效度方法，分析本系統的信度和效度是否具有和 傳統教師評分一樣的成效如下：

4.4.1、信度分析

假設專家經驗判斷是高分但系統評定是中分或者是低分，則此系統的可靠 度和可信度是很低的，為了證明本系統的「信度」，將實驗組和對照組合併，

每班僅分成高、中、低分三組，學生書法經教師評量分成高分組、中分組、低 分組和經本系統區分的高分組、中分組、低分組之相符合程度做比較，如表4.1，

例如錦水國小乙班的高分組、中分組、低分組各是10 人，而此 10 人中電腦評 分出來也是高分組的人有6 人，中分組的人有 4 人，低分組的人有 7 人，表示 本系統和教師的評分在錦水國小乙班的信度為17/30 百分率為 57%，在實驗前 之相符合程度，錦水國小三班平均為 63.33%，永春國小三班平均為 62.22%，

可 信 度 均 為 六 成 以 上 ， 而 在 實 驗 後 之 相 符 合 程 度 ， 錦 水 國 小 三 班 平 均 為 67.78%，永春國小三班平均為 71.11%，可信度均明顯提高，表示此評量系統和 教師的評分在實驗前、後有著高度的相關聯性，也表示電腦所評之高、低分數 也和教師所評的分數相接近，表兩者對學生書法成績的判定結果呈高度正相 關，本實驗的信度增加，表示透過本系統的練習後學生練習書法的成績會和教 師評分的成績慢慢接近，這是因為學生經由教師指導本系統的評比方式後，學 生也會對書法的書寫標準有一定的概念，學生也可以透過本系統自行學習，符 合 E-learning 的教學精神，學生在興趣和不斷的自我練習之下，書法字也會變 得比較漂亮，經此學生可以掌握到學習寫書法的技巧，參與此研究的書法老師 也發現到學生的學習效果變佳，因為電腦評分的公正性和客觀性，會讓學生很 感興趣。

表4.1：教師所評之高分組、中分組、低分組和本系統評之高分組、中分組、低 分組符合度

教師評分與書法學習評量系統相符合之百分比

學校 班別 群別 實驗前平均百分比 實驗後平均百分比

高分組 70 80

中分組 70 60

甲班

低分組 60 60

高分組 60 70

中分組 40 50

乙班

低分組 70 60

高分組 80 80

中分組 50 70

丙班

低分組 70 80

錦水國小

符合率 63.33 67.78

高分組 70 90

中分組 60 50

4 班

低分組 60 70

高分組 80 80

中分組 50 70

5 班

低分組 60 70

高分組 70 80

中分組 60 60

6 班

低分組 50 70

永春國小

符合率 62.22 71.11

4.4.2、效度分析

本研究分實驗組和對照組兩組進行，時間是利用每個禮拜一早自修時間，

把三個班分成二個班分別做實驗組和對照組的教學，實驗採前測式和後測式的 實驗設計，前測完一個月後再舉行後測，實驗組的採本系統電腦的教學方式，

教師先把評分系統所要評的項目和書寫時要注意的事項，用電腦自動播放圖

63

解，如「中心點位置」 「字形大小」「字形胖瘦」「投影量」「對稱性」展示 在電子投影布幕上，學生書寫後再用本系統予以評分，等下次上課再發給每位 學生的書法評量成績單，此書法評量成績會對每個字評分，並給以互動式改進 辭令指導，對照組就比照傳統的書法教學方式上課。

研究發現實驗組學生的書法成績平均，如表4.2，錦水國小總平均在教師評 分方面，由實驗前的81.11 進步到 90.09 進步了 8.98 分，在本系統評分方面，

由實驗前的67.79 進步到 73.00 進步了 5.21 分，永春國小總平均在教師評分方 面，由實驗前的82.39 進步到 89.71 進步了 7.32 分，用本系統評分，由實驗前 的69.27 進步到 75.29 進步了 6.02 分；所以兩校平均總成績，教師評分上平均 進步了8.65 分，電腦評分上平均進步了 5.615 分，實驗的後測比前測都要高，

表示實驗組經過本系統輔助教學後，書寫的成績高於前測階段，其中實驗組的 進步成績比對照組均要來的高，表示本系統在實驗組的進步效果要比對照組來 的好；其中本系統所評的分數會較低的原因，是根據程式所定義的評分標準固 定住了，但每位書法教師心中可能有一個評分範圍，此範圍因人而異，可能是 最低70 分到 95 分，但每人的標準不一定範圍也不一定，例如一位同學在甲班 被老師評85 分，但若是乙班的老師就可能就評成 75 分了，但本系統的標準不 會因為班級不同而不同，這是評分的客觀性，此客觀性是有其一定的判斷標準，

能讓學生在再次練習時有改進的依據，也是本研究所要提出的想法。

表4.2：實驗組與對照組進步成績比較

教師評分 書法學習評量系統 學

校 班別 組別 實驗前平 均分數

實驗後平 均分數

進步平均 分數

實驗前平 均分數

實驗後平 均分數

進步平均 分數 實驗組 83.60 91.93 8.33 70.80 74.87 4.07 甲班 對照組 83.13 85.10 1.97 70.13 68.90 -1.23

實驗組 83.67 93.10 9.43 70.17 76.73 6.57 乙班 對照組 83.00 84.97 1.97 69.20 68.87 -0.33 錦

水 國 小

丙班 實驗組 76.07 85.23 9.17 62.40 67.40 5.00

對照組 75.33 77.73 2.40 60.40 61.23 0.83 實驗組 81.11 90.09 8.98 67.79 73.00 5.21 總平均 對照組 80.49 82.60 2.11 66.58 66.33 -0.24

實驗組 77.27 84.03 6.77 64.70 70.97 6.27 4 班 對照組 76.50 78.23 1.73 63.40 65.30 1.90

實驗組 83.90 91.90 8.00 70.83 77.47 6.63 5 班 對照組 83.50 84.93 1.43 70.07 70.17 0.10

實驗組 86.00 93.20 7.20 72.27 77.43 5.17 6 班 對照組 85.57 86.73 1.17 71.53 71.30 -0.23

實驗組 82.39 89.71 7.32 69.27 75.29 6.02 永

春 國 小

總平均 對照組 81.86 83.30 1.44 68.33 68.92 0.59