探討通過率、鑑別度與猜測、粗心的關係

使用 Ox 軟體執行 de la Torre（2008, 2010)撰寫之 DINA 模式程式，依學 生作答去分析學生對於各試題的粗心（slip)及猜測（guessing)程度，詳見表 4-16 各試題猜測與粗心分析表。

表 4-16 各試題猜測與粗心分析表 guessing slip 1 0.40 0.07 2 0.33 0.17 3 0.29 0.07 4 0.51 0.05 5 0.60 0.03 6 0.61 0.10 7 0.41 0.13 8 0.47 0.04 9 0.40 0.07 10 0.57 0.01 11 0.33 0.02 12 0.36 0.12 13 0.62 0.00 14 0.57 0.09 15 0.48 0.15 16 0.26 0.22 17 0.79 0.00

18 0.75 0.04 19 0.32 0.64 20 0.19 0.67 21 0.57 0.17

由上表可以得知，第 17 題的粗心參數（slip)為 0，解答第 17 題所需的概念 為 K1、K3、K5、K6，當學生具備有這些概念時，會答對這一題，由 Tester2 的結 果（見表 4-17 第 17 題的學生作答反應情形)來看，高分組的學生全部都答對，

因為全部都答對，所以在 DINA 模式裡認為高分組的學生沒有出現粗心的情形，

所以粗心參數（slip)為 0；由表 4-17 中得知低分組的學生通過率高達 0.79，在 DINA 模式裡認為低分組的學生並沒有完全具備這些概念，會答對應該是猜對的，

所以猜測參數（guessing)高達 0.79。第 17 題高分組的學生全部都答對，且低分 組的學生通過率高達 0.79，整體學生的通過率為 93.21%，因為大多數的學生都 答對，所以這一題較無法區分出學生的個別程度，故鑑別度為 0.21。

表 4-17 第 17 題學生作答反應情形 選 項 1 2 3* 4

選項率 0.02 0.02 0.93 0.02 通過率:93.21 高分組 0.00 0.00 1.00 0.00 難 度:0.89 低分組 0.09 0.06 0.79 0.05 鑑別度:0.21

由表 4-16 中可以得知，第 18 題的猜測參數（guessing)次高為 0.75，第 18 題所需具備的概念為 K1、K2，當學生具備這兩個概念時，會答對這一題，由 Tester2 的結果（見表 4-18 第 18 題的學生作答反應情形)來看，高分組的學生通過率達 0.98，因為大部分都答對，所以在 DINA 模式裡認為高分組的學生粗心的情形很 少，所以粗心參數（slip)為 0.04；由表 4-18 中得知低分組的學生通過率高達 0.73，在 DINA 模式裡認為低分組的學生並沒有完全具備這些概念，會答對應該 是猜對的，所以猜測參數（guessing)高達 0.75。第 18 題高分組的學生大部分都 答對，且低分組的學生通過率高達 0.73，整體學生的通過率為 90.28%，因為大

多數的學生都答對，所以這一題較無法區分出學生的個別程度，故鑑別度為 0.24。

表 4-18 第 18 題學生作答反應情形 選 項 1 2 3 4*

選項率 0.01 0.06 0.02 0.90 通過率:90.28 高分組 0.00 0.02 0.00 0.98 難 度:0.85 低分組 0.05 0.15 0.07 0.73 鑑別度:0.24

由表 4-16 中可以得知，第 20 題的粗心參數（slip)最高為 0.67，第 20 題所 需具備的概念為 K1、K2，當學生具備這兩個概念時，會答對這一題，由 Tester2 的結果（見表 4-19 第 20 題的學生作答反應情形)來看，高分組的學生通過率只 有 0.54，所以在 DINA 模式裡認為高分組的學生應具備解答第 20 題的概念，但通 過率只有 0.54，是因為出現粗心的情形，所以粗心參數（slip)為 0.67；由表 4-19 中得知低分組的學生通過率只有 0.19，在 DINA 模式裡認為低分組的學生並沒有 完全具備這些概念，所以應該會答錯，低分組的學生大多數都答錯，所以猜測參 數（guessing)只有 0.19。高分組的學生通過率只有 0.54，低分組的學生通過率 只有 0.19，整體學生的通過率只有 29.51%，所以這一題可以區分出學生個別的 程度，故鑑別度是 0.36，算是ㄧ個標準試題。

表 4-19 第 20 題學生作答反應情形 選 項 1 2* 3 4

選項率 0.17 0.30 0.41 0.11 通過率:29.51 高分組 0.07 0.54 0.33 0.05 難 度:0.36 低分組 0.24 0.19 0.34 0.21 鑑別度:0.36

由表 4-16 中可以得知，第 19 題的粗心參數（slip)次高為 0.64，第 19 題所 需具備的概念只有 K1，代表當學生具備這個概念時，會答對這一題，由 Tester2 的結果（見表 4-20 第 19 題的學生作答反應情形)來看，高分組的學生通過率為 0.68，所以在 DINA 模式裡認為高分組的學生應具備解答第 19 題的概念，但通過 率只有 0.67，是因為出現粗心的情形，所以粗心參數（slip)為 0.64；由表 4-20

中得知低分組的學生通過率只有 0.29，在 DINA 模式裡認為低分組的學生並沒有 完全具備這些概念，所以應該會答錯，低分組的學生大多數都答錯，所以猜測參 數（guessing)只有 0.32。高分組的學生通過率為 0.68，低分組的學生通過率為 0.29，整體學生的通過率為 35.13%，鑑別度是 0.39，試題品質尚佳。

表 4-20 第 19 題學生作答反應情形 選 項 1 2 3* 4

選項率 0.35 0.20 0.35 0.09 通過率:35.13 高分組 0.13 0.14 0.68 0.05 難 度:0.48 低分組 0.40 0.16 0.29 0.15 鑑別度:0.39

由表 4-16 中可以得知，第 2、3、16 題有著相同的特性，也就是粗心參數（slip) 低、猜測參數（guessing)也低，所以在此一併探討。在 DINA 模式裡認為當學生 完全具備解答試題的概念時，就會答對，此時若學生答錯就是屬於粗心，由 Tester2 的結果（見表 4-21)來看，這三題高分組的學生通過率都很高，答錯的 很少，所以高分組的通過率應該是全部答對去減掉粗心的情形；這三題的猜測參 數（guessing)在所有試題中算是比較低，分別是 0.33、0.29、0.26，在 DINA 模 式裡認為低分組的學生並沒有完全具備這些概念，會答對應該是猜對的，且由表 4-21 來看，這三題低分組的通過率分別為 0.35、0.38、0.26，代表當低分組的 學生通過率越低時，在 DINA 模式裡的猜測參數（guessing)也就會越低。高分組 的學生大多數答對，低分組的學生大多數答錯，也就是說這三個試題能夠清楚且 詳細的區分出學生的個別程度，故鑑別度分別為 0.62、0.62、0.70，為所有試題 中鑑別度最高的三題（見表 4-2)。

表 4-21 第 2、3、16 題學生作答反應情形 第 2 題學生作答反應情形

選 項 1 2* 3 4

選項率 0.03 0.72 0.13 0.12 通過率:71.66 高分組 0.01 0.97 0.01 0.00 難 度:0.66

低分組 0.06 0.35 0.27 0.32 鑑別度:0.62 第 3 題學生作答反應情形

選 項 1 2 3* 4

選項率 0.09 0.06 0.79 0.06 通過率:79.04 高分組 0.01 0.00 0.99 0.00 難 度:0.68 低分組 0.27 0.17 0.38 0.18 鑑別度:0.62

第 16 題學生作答反應情形 選 項 1 2 3 4*

選項率 0.13 0.15 0.12 0.60 通過率:59.95 高分組 0.01 0.01 0.01 0.97 難 度:0.62 低分組 0.23 0.27 0.23 0.26 鑑別度:0.70

由上面的分析可以得知通過率、鑑別度與粗心參數、猜測參數之間大致呈 現：低分組的通過率相當於猜測參數(見表 4-22 低分組的通過率與猜測參數)；

高分組的通過率相當於（1-粗心參數) (見表 4-23 高分組的通過率與粗心參數)；

當猜測參數、粗心參數越低時，試題的鑑別度是最好的；當猜測參數較低、粗心 參數較高時，鑑別度會變低；當猜測參數較高、粗心參數較低時，鑑別度也會隨 著變低(見表 4-24 猜測參數、粗心參數與鑑別度)等關係。

表 4-22 低分組的通過率與猜測參數

低分組通過率 猜測參數

1 0.47 0.40

2 0.35 0.33

3 0.38 0.29

4 0.55 0.51

5 0.61 0.60

6 0.60 0.61

7 0.41 0.41

8 0.47 0.47

9 0.40 0.40

10 0.63 0.57

11 0.36 0.33

12 0.39 0.36

13 0.62 0.62

14 0.50 0.57

15 0.45 0.48

16 0.26 0.26

17 0.79 0.79

18 0.73 0.75

19 0.29 0.32

20 0.18 0.19

21 0.54 0.57

表 4-23 高分組的通過率與粗心參數

高分組通過率 粗心參數 1-粗心參數

1 0.99 0.07 0.93

2 0.97 0.17 0.83

3 0.99 0.07 0.93

4 1.00 0.05 0.95

5 1.00 0.03 0.97

6 0.98 0.10 0.90

7 0.99 0.13 0.87

8 1.00 0.04 0.96

9 0.98 0.07 0.93 10 1.00 0.01 0.99 11 0.91 0.02 0.98 12 0.97 0.12 0.88 13 0.98 0.00 1.00 14 0.95 0.09 0.91 15 0.96 0.15 0.85 16 0.97 0.22 0.78 17 1.00 0.00 1.00 18 0.98 0.04 0.96 19 0.68 0.64 0.36 20 0.54 0.67 0.33 21 0.94 0.17 0.87

表 4-24 猜測參數、粗心參數與鑑別度

猜測參數 粗心參數 鑑別度

1 0.40 0.07 0.51

2 0.33 0.17 0.62

3 0.29 0.07 0.62

4 0.51 0.05 0.45

5 0.60 0.03 0.39

6 0.61 0.10 0.38

7 0.41 0.13 0.57

8 0.47 0.04 0.52

9 0.40 0.07 0.57 10 0.57 0.01 0.37 11 0.33 0.02 0.55 12 0.36 0.12 0.58 13 0.62 0.00 0.35 14 0.57 0.09 0.45 15 0.48 0.15 0.51 16 0.26 0.22 0.70 17 0.79 0.00 0.21 18 0.75 0.04 0.24 19 0.32 0.64 0.39 20 0.19 0.67 0.36 21 0.57 0.17 0.40