評量系統實驗結果分析

本研究所研發的國字美觀度評量系統是幫助老師進行國字美觀度評量，本節提出 國字書寫評量系統評分的電腦評量與傳統老師批改分數的人工評量比較分析。測試本 評量系統的受試者選用南投縣某國小的六年級生。刪除有的學生不認真寫字導致影響 系統分析，因此取出該年級 20 位學生的測字結果加以分析，評估系統自動評分的結果 是否與傳統老師打的等第結果是一致的。

測試的生字挑選包含在（點）、（長頓點）、（長橫）、（短橫）、（豎）、（挑）、（長撇）、

（短撇）、（捺）、（直撇）十種類別範圍內的字，而新北市教育局編製的生字語詞簿是 以教育部頒定的筆順原則來訂定筆順標準，本研究參考新北市教育局編製的南一、康 軒、翰林三個版本一、二年級的生字語詞簿，挑出欲測試的字與其筆順來做實驗，選 用測試的字為︰大、木、在、美、新、菜、座、趁、以、全、升、並、烘、敢、步共 15 個字，評分方式由高到低給分為五個等第：優、甲、乙、丙、丁，人工評量請三位 任教六年級國語文科目的國小老師批改學生字體美觀度。

由於傳統教師在對某個國字做評分時，會先挑選出評分等第為「甲」的某一位學 生寫之國字來做評分的基準點，依對其字的優或劣程度來當一個排序依據，因此對於

排序尺度為考量，選用 Kendall 和諧係數來找出傳統老師批改的分數標準是否具有一 致性。在統計時是利用 SPSS 軟體工具來執行無母數檢定，選擇 Kendall 和諧係數來找 出傳統老師批改的分數標準是否具有一致性。在顯著水準設為 0.01 的水準下，表 4-1 列出對於六年級 20 位學生測試的 15 字，傳統老師評分標準是否一致性分析。

表 4-1 傳統老師評分標準一致性檢定 測試字 Kendall 和諧係數 漸近顯著性

大 0.74341 0.00158*

木 0.81184 0.00045*

在 0.81331 0.00044*

美 0.84853 0.00023*

新 0.81995 0.00039*

菜 0.83415 0.00030*

座 0.68480 0.00437*

趁 0.70036 0.00335*

以 0.63791 0.00953*

全 0.75966 0.00118*

升 0.69775 0.00351*

並 0.84023 0.00027*

烘 0.82846 0.00033*

敢 0.76521 0.00107*

步 0.76521 0.00107*

*在顯著水準 p<0.01，評分基準顯著相關

所以依表 4-1，可以得知三位教師對於這 20 位學生測試的 15 字做評分，一致性 評定結果為這三位老師的評分基準是有顯著相關，具有一致性的。

Kendall 和諧係數按照相關的高低之分，利用常用的評判標準，如表 4-2 所示，由 高至低排列。

表 4-2 於 Kendall 和諧係數範圍值對應相關程度 Kendall 和諧係數範圍值 相關程度

0.9~1.0 非常高相關 0.7~0.9 高相關 0.5~0.7 中等相關 0.3~0.5 低相關

0.0~0.3 微

依表 4-2 所示，傳統老師評分標準一致性檢定，其中「大」、「木」、「在」、「美」、

「新」、「菜」、「趁」、「全」、「並」、「烘」、「敢」、「步」這些字的 Kendall 和諧係數範 圍值判定為高相關，「座」、「以」、「升」為中等相關，所以這三位老師的評分一致程度 是有高相關程度，所以傳統老師評分意見具有一致性，表示他們的評分是足以信賴的。

評估國字美觀度線上評量系統是否能輔助老師完成評量的工作，因此本研究使用 Kendall 和諧係數評估法，進行評估國字美觀度線上評量系統評出的等第與傳統教師的 給分是否相配，如表 4-3 所示。

表 4-3 評量系統與傳統教師給分相配程度檢定 測試字 Kendall 和諧係數 漸近顯著性

大 0.63761 0.00022*

木 0.72121 0.00002*

在 0.64406 0.00019*

美 0.72563 0.00002*

新 0.72062 0.00003*

菜 0.58871 0.00074*

座 0.62850 0.00028*

趁 0.62172 0.00033*

以 0.50672 0.00511*

全 0.67467 0.00008*

升 0.60609 0.00049*

並 0.70093 0.00004*

烘 0.76272 0.00001*

敢 0.68940 0.00006*

步 0.68943 0.00006*

*在顯著水準 p<0.01，評分基準顯著相關

在表 4-3 中，可以得知國字美觀度線上評量系統與三位教師對於這 20 位學生測試 的 15 字做評分，一致性總評定結果為國字美觀度線上評量系統與這三位老師的評分基 準是有顯著相關，具有一致性的，依表 4-2 所示，國字美觀度線上評量系統與三位教 師給分相配程度檢定，其中「木」、「美」、「新」、「並」、「烘」這些字的 Kendall 和諧 係數範圍值判定為高相關，「大」、「在」、「菜」、「座」、「趁」、「以」、「全」、「升」、「敢」、

「步」為中等相關，所以國字美觀度線上評量系統與這三位老師的給分相配程度是有 中高相關程度，所以國字美觀度線上評量系統與這三位老師的給分相配程度具有一致 性，表示系統能輔助老師教學與當做評分參考依據。

國字美觀度線上評量系統與三位傳統教師評分相配程度高，因此本研究的國字美 觀度線上評量系統是可以幫老師批改國字，輔助老師在國字教學的需要，評分上經由 系統統一標準，也比一般傳統教師批改上更具公信力，在教育上的評量教學增添一分 使用工具，幫助學生學習國字，使學生能藉由本研究的國字美觀度線上評量系統練習 國字而知道寫的國字是否好看，還能減少老師批改時耗費的時間，國字美觀度線上評 量系統能立即回饋，減輕老師的負擔，達到隨時教學與隨時回饋的評量目標，幫助教 師了解學生學習國字的情形，能針對學生學習國字的困難處依情況做補救教學，協助 學生完成國字上的學習，使國字教學評量更完善。

而在測試 15 個字中的「以」字，雖然在傳統老師評分標準一致性檢定有一致性評 分標準，「以」字亦在國字美觀度線上評量系統與傳統教師給分相配程度是高的，但是 在傳統老師評分標準一致性檢定、國字美觀度線上評量系統與傳統教師給分相配程度 檢定，這兩種檢定模式的顯著性 p 值與其他 14 字相差較大，發生此原因可能為「以」

字的結構其每筆畫相配位置與每筆畫角度方位差異性甚大，不是這麼容易能掌控寫得 好，而一般老師在評分上也因某著重的評分觀點不一與系統主要為角度來分析評分，

使得「以」字最後的分析數值與其他 14 字有些許落差。最後的分析數字在傳統老師評 分標準一致性檢定、國字美觀度線上評量系統與傳統教師給分相配程度，這兩項檢定 結果顯示都是具有一致性的。