人工閱卷評分與結果

本研究共邀請三位具藝術或設計背景之教育工作者進行評分，以下以評分 者 a、評分者 b 與評分者 c 來稱呼。評分標準如表 4-2，得分由高至低，共分成 五個等第，如下表所示：

表 4-2 人工閱卷評分標準

等第 評分標準

5 談到 7 個以上關鍵字、重點,或有有描寫到作品外型、元素等聯想性 詞彙。

4 談到 5 個以上關鍵字、重點，或有描寫到作品外型、元素等聯想性 詞彙。

3 談到 3 個以上關鍵字、重點，或有描寫到作品外型、元素等聯想性 詞彙。

2 談到未滿 3 個關鍵字、重點或聯想性詞彙。

1 只談到 3 個以下聯想性詞彙。

資料來源：本研究整理

鑑於評量各題深度與難度有所差異，三位評分者於各題提取出來的關鍵字與 重點數量應會不同，故各題之重點與關鍵字數量由評分者判斷與調整，各題的重

36

點與關鍵字之擷取與比重也以評分者為主，而評分標準則作為一個參考。研究者 預估題目難易度，由簡入深為：棋逢敵手<Nokia interactive X'mas tree design<蛹 之生；扣除未能參加測驗的 5 位學生，有參與的 25 位學生之答題狀況，如下表 所示：

表 4-3 學生答題狀況一覽表

題目 答題狀況 答題率

1. 棋逢敵手 24 人作答，1 人未作答 96%

2. Nokia interactive X'mas tree design

21 人作答，4 人未作答 81%

37 Nokia interactive

X'mas tree design

聲控

38

從表 4-4 可得知，三位評分者設定的給分關鍵字在數量與內容上皆有不同，

從 3 題關鍵字的數量來比較，評分者 a 與 b 第一題設定了 9 個關鍵字，評分者 c 擬定了 12 個，第二題評分者 a 設定了 12 個關鍵字，評分者 b 擬定了 9 個關鍵字，

評分者 c 設定了 11 個關鍵字，第三題評分者 a 擬定了 11 個關鍵字，評分者 b 設 定了 7 個關鍵字，評分者 c 制定了 9 個關鍵字；從關鍵字內容來比較，三位評分 者在評定第一題時，皆認為圍棋、西洋棋、樓梯、低頭族、交流、趣味為此題重 點，第二題的共同關鍵字為聲控、簡訊、投影、互動，第三題有蝴蝶、保育、燈 籠、濫捕，這四個關鍵字。

張芳全（2008）認為相關係數代表兩個變數之間關係密切與否的程度，其值 介於-1 與 1 之間，r=0 為零相關，r>0 是正相關，r<0 為負相關。一般而言，相關 係數大小判定標準如表 4-5 所示：

表 4-5 相關係數判定標準

相關係數絕對值 相關程度

0.80~1.00 很高相關 0.60~0.79 高相關 0.40~0.59 中等相關 0.20~0.39 低相關

0.1~0.19 很低相關

資料來源：整理自統計就是要這樣跑（頁 99），張芳全，2008。

臺北：心理出版社。

依表 4-5 之標準來檢驗三位人工評分結果之相關程度，結果如表 4-6 所示：

39

表 4-6 人工評分結果之相關程度分析

評分者 a b c

a 1

b 0.525755 1

c 0.682755 0.596492 1 資料來源：本研究整理

由表 4-5 可得知；評分者 a 與評分者 b 之相關係數為 0.525755，屬於中等 相關；評分者 a 與評分者 c 之相關係數為 0.682755，為高相關；評分者 b 與評分 者 c 之相關係數為 0.596492，屬於中等相關。由此得知，三位評分者的閱卷結果，

雖然各自在評分標準和關鍵字評定上有所差異，但評分結果還是具有關連性。