• 沒有找到結果。

本研究之評分規準具專家效度,作文評分結果得到良好的評分者信度,評分 準則權重通過一致性檢驗,本節將運用偏好順序評估法進行作文評量結果的排 序。

一、計算平均分數並正規化

因四位評審教師在每個評分準則的評分結果皆為高相關,故將三十一篇作 文,在每個評分準的分數加總計算平均分數,為該篇作文在各評分準則之得分原 始資料,再將原始資料進行正規化(Normalization)。原始資料正規化的目的在於 求取各比率間單位的一致性與可比較性,評分準則可能採用不同的計量單位,將 評分準則之原始值運用公式予以正規化,而得到正規化值,方便於數值的統計運 算與分析。原始資料經由正規化後,計算出三十一篇作文在各評分準則之正規化 值,如表 4-7 所示。

由表 4-7 可看出,每篇作文在各評分準則的得分皆落在 0 到 0.1 之間,為求 準確性及區辨性,其數值以四捨五入法取到小數點後第六位。由於每個評分準則 只分為七個等級,故在評分上仍可能產生同分的情形,例如:在「立意取材」的 評分準則中,第 1、10、11 號作文的正規化評分結果相同;在「遣詞造句」的評 分準則中,第 9、10、12 號作文的正規化評分結果相同;在「組織結構」的評分 準則中,第 12、25、29 號作文的正規化評分結果相同;在「錯別字、格式與標 點符號」的評分準則中,第 7、18、19 號作文的正規化評分結果相同。

表 4-7 正規化評分結果 作文

編號 立意取材 遣詞造句 組織結構 錯別字、格式與 標點符號 1 0.027864 0.018970 0.021563 0.035842 2 0.030960 0.029810 0.035040 0.028674 3 0.024768 0.035230 0.032345 0.039427 4 0.034056 0.027100 0.029650 0.035842 5 0.055728 0.046070 0.037736 0.017921 6 0.012384 0.013550 0.013477 0.039427 7 0.043344 0.040650 0.045822 0.025090 8 0.012384 0.016260 0.010782 0.057348 9 0.034056 0.032520 0.037736 0.021505 10 0.027864 0.032520 0.029650 0.028674 11 0.027864 0.035230 0.037736 0.028674 12 0.024768 0.032520 0.026954 0.032258 13 0.065015 0.046070 0.045822 0.021505 14 0.015480 0.027100 0.032345 0.021505 15 0.061920 0.043360 0.048518 0.017921 16 0.049536 0.043360 0.040431 0.025090 17 0.034056 0.040650 0.048518 0.032258 18 0.024768 0.040650 0.032345 0.025090 19 0.061920 0.051491 0.045822 0.025090 20 0.055728 0.048780 0.043127 0.028674 21 0.030960 0.037940 0.032345 0.035842 22 0.015480 0.008130 0.016173 0.053763 23 0.018576 0.016260 0.021563 0.050179 24 0.058824 0.048780 0.045822 0.032258 25 0.021672 0.029810 0.026954 0.028674 26 0.040248 0.043360 0.040431 0.021505 27 0.021672 0.016260 0.029650 0.039427 28 0.018576 0.029810 0.024259 0.028674 29 0.021672 0.027100 0.026954 0.032258 30 0.012384 0.018970 0.018868 0.050179 31 0.015480 0.021680 0.021563 0.039427 資料來源:本研究整理

二、計算加權後正規化績效表現值

將原始資料經正規化後的值賦予權數(如表 4-5),再求得各評分準則加權後 正規化績效表現值,如表 4-8 所示。

表4-8 加權後正規化績效表現值

作文編號 立意取材 遣詞造句 組織結構 錯別字、格式與標 點符號 1 0.015269 0.002466 0.006016 0.001541 2 0.016966 0.003875 0.009776 0.001233 3 0.013573 0.004580 0.009024 0.001695 4 0.018663 0.003523 0.008272 0.001541 5 0.030539 0.005989 0.010528 0.000771 6 0.006786 0.001762 0.003760 0.001695 7 0.023752 0.005285 0.012784 0.001079 8 0.006786 0.002114 0.003008 0.002466 9 0.018663 0.004228 0.010528 0.000925 10 0.015269 0.004228 0.008272 0.001233 11 0.015269 0.004580 0.010528 0.001233 12 0.013573 0.004228 0.007520 0.001387 13 0.035628 0.005989 0.012784 0.000925 14 0.008483 0.003523 0.009024 0.000925 15 0.033932 0.005637 0.013536 0.000771 16 0.027146 0.005637 0.011280 0.001079 17 0.018663 0.005285 0.013536 0.001387 18 0.013573 0.005285 0.009024 0.001079 19 0.033932 0.006694 0.012784 0.001079 20 0.030539 0.006341 0.012032 0.001233 21 0.016966 0.004932 0.009024 0.001541 22 0.008483 0.001057 0.004512 0.002312 23 0.010180 0.002114 0.006016 0.002158 24 0.032235 0.006341 0.012784 0.001387 25 0.011876 0.003875 0.007520 0.001233 26 0.022056 0.005637 0.011280 0.000925 27 0.011876 0.002114 0.008272 0.001695 28 0.010180 0.003875 0.006768 0.001233 29 0.011876 0.003523 0.007520 0.001387 30 0.006786 0.002466 0.005264 0.002158 31 0.008483 0.002818 0.006016 0.001695

三、求得正理想解和負理想解

由加權後正規化績效表現值,找出各個評分準則的正理想解和負理想解,即 代表各評分準則的最優表現結果和最劣表現結果。「立意取材」、「組織結構」及

「遣詞造句」這三項評分準則均為正向指標,意即分數愈高表現愈好,故正理想 解為準則中的最高分,負理想解為準則中的最低分。「錯別字、格式與標點符號」

為負向指標,意即分數愈低表現愈好,故正理想解為準則中的最低分,負理想解 為準則中的最高分。各評分準則之正負理想解,如表 4-9 所示。

表4-9 正理想解和負理想解

立意取材 組織結構 遣詞造句 錯別字、格式與 標點符號 正理想解 0.035628 0.006694 0.013536 0.000771 負理想解 0.006786 0.001057 0.003008 0.002312 資料來源:本研究整理

四、計算正理想距離和負理想距離

因各評分準則為獨立,故計算距離的公式,採用曼哈頓距離量尺(Manhattan distance scoring),計算每篇作文在每個評分準則的得分與正理想解的相對距離加 總,得到正理想距離;計算每篇作文在每個評分準則的得分與負理想解的相對距 離加總,得到負理想距離。

五、求得評量分數進行排序

每篇作文的評量分數,以正理想解的相對近似度 (Ranking closeness)來表 示,亦即距正理想解最近,但距負理想解最遠的相對值。由公式計算出每篇作文 的評量分數後,依分數由高至低可排出優劣順序,評量分數越接近 1 的作文,代 表表現越好,如表 4-10 所示。

六、實證結果討論

由表 4-10 可得知在三十一篇作文中,編號第 13 號作文的表現最佳,由於它 在「立意取材」此項評分準則的得分最高,而該準則的權重值為最重,在其他評 分準則的表現也得高分的情況下,故評量分數為 0.965398,在三十一篇作文的評 量分數中最接近 1,即排名第一。第二名為第 15 號作文,它在「組織結構」及「錯 別字、格式與標點符號」這兩項評分準則的得分皆為正理想解,因此評量分數達 0.940837,表現次之。第三名為 19 號作文,它在「遣詞造句」此項評分準則的得 分為最高分,其他評分準則的表現分數亦不差,因此評量分數位居第三。其他篇 作文的評量分數皆落於 0 與 1 之間。由最後的排序可得到每篇作文的名次,本次 作文評量擇優錄取前三名為第 13 號、第 15 號及第 19 號學生所寫的作文。由於 在偏好順序評估法計算與正、負理想解距離時,其數值以四捨五入法取到小數點 後第六位,故完全沒有產生評量分數同分的情形,評分結果的區辨性明顯。

三十一篇作文當中的第 8 號、第 22 號、第 30 號這三篇作文,四位評審員當 中有一至兩人認為離題,而在「立意取材」、「結構組織」及「遣詞造句」這三個 評分準則皆給予零分,而「錯別字、格式與標點符號」這個評分準則因此給予七 分,故其評量分數分別落在第三十一名、第二十九名、第二十八名,可見作文在 掌握題旨部份,為寫作成敗之關鍵所在。

表4-10 各篇作文之正負理想距離、評量分數及排名 作文

編號 正理想距離 負理想距離 評量分數 排名 1 0.032877 0.013671 0.293706 20 2 0.025702 0.020846 0.447830 12 3 0.029605 0.016943 0.363982 18 4 0.026170 0.020378 0.437776 15 5 0.008802 0.037747 0.810903 6 6 0.044474 0.002074 0.044549 30 7 0.014345 0.032203 0.691832 8 8 0.045645 0.001211 0.025850 31 9 0.022593 0.023955 0.514625 11 10 0.028551 0.017997 0.386639 17 11 0.025942 0.020606 0.442675 14 12 0.031153 0.015395 0.330723 19 13 0.001611 0.044938 0.965398 1 14 0.034981 0.011567 0.248486 24 15 0.002754 0.043796 0.940837 2 16 0.012103 0.034445 0.739985 7 17 0.018991 0.027557 0.592011 10 18 0.028284 0.018264 0.392363 16 19 0.002756 0.043792 0.940796 3 20 0.007407 0.039141 0.840864 5 21 0.025706 0.020842 0.447758 13 22 0.043347 0.003201 0.068775 29 23 0.038935 0.007613 0.163548 26 24 0.005113 0.041435 0.890157 4 25 0.033048 0.013500 0.290018 21 26 0.017039 0.029509 0.633952 9 27 0.034520 0.012028 0.258397 23 28 0.035497 0.011051 0.237414 25 29 0.033555 0.012993 0.279138 22 30 0.042728 0.003820 0.082065 28 31 0.039465 0.007083 0.152170 27 資料來源:本研究整理

第五章 結論與建議

本研究以臺中市某國小國語文競賽作文比賽進行作文評量。作文評分規準有 四項評分準則:「立意取材」、「組織結構」、「遣詞造句」、「錯別字、格式與標點 符號」。經由四位評審教師對四項評分準則進行分項評分,並運用 AHP 取得各評 分準則合理的權重,在加權的正規化評分下,透過 TOPSIS 正負效評分準則計算 出評量分數並加以排序,由排序結果得知參賽學生的作文能力。本研究主要目的 在解決作文評量因教師的主觀評分而產生不公平的現象,希望以交互主觀的評分 方式評量學生的作文能力,以得到較客觀合理的評量結果,並進行優劣排序,其 排序結果可以提供學校推選寫作高手參加校外作文競賽之參考。本章內容分為二 節,第一節為研究結論,第二節為研究建議。

相關文件