Cronbach’s
本研究採用
,Cronbach’s
ISM 模式建立試題之
從圖 4-1 可以看出,ISM 概念結構圖一共有 4 層,最下層是最基本的概念,
最 上 層 是 最 困 難 的 概 念 。 教 師 在 教 授 時 , 有 8 條 教 學 路 徑 , 分 別 是
C1→C2→C3→C10、C1→C2→C5→C10、C1→C2→C6→C10、C4→C5→C10、
C4→C6→C10、C7→C8→C5→C10、C7→C8→C6→C10、C7→C8→C9→C10。
二二
二二、、、迷思區、迷思區迷思區迷思區的形成的形成的形成 的形成
本研究根據 Sheu 等在 2012 年所提出的迷思區分析法(Sheu, Chen, Tzeng, Tsai,
Chiang, Chang, & Nagai, 2013; Sheu, Chen, Tzeng, Tsai, & Nagai, 2013; Sheu, Tsai, Tzeng, Chen, Chiang et al., 2012)定義學生的迷思區,並進行學生的迷思概念分析。
要進行迷思區分析,首先需先建立 Rasch model GSP 表(如表 4-2),其中包含
S-P 表、CS 值、CP 值、LGRA-S、LGRA-P。在形成迷思區之前,為了使研究結
果更為準確,根據佐藤隆博定義(Sato, 1969),刪除注意係數異常的學生和試題,也就是刪除 CS 值大於 0.75 的學生(S6)和 CP 值大於 0.75 的試題(P4、P25、
P33)。
根據迷思區分析法,迷思區的定義為學生迷思區(
γ
ds)和試題迷思區(γ
dp) 的交集(D = γ
dsIγ
dp)。在迷思區分析法中的迷思概念有別於一般迷思概念之想 法,此時迷思概念之想法不一定是指概念全部錯誤(Driver et al., 1978; Driver,1981)
,也就是說,並非一般所指錯誤程度越高,迷思概念就越高。它所代表的意義是不完全對錯,這表示迷思區內的學生針對某一試題,有的答對,有的答錯;
或者是迷思區內的試題針對某一學生,有的答對,有的答錯。換句話說,學生或 試題全部答對和全部答錯的狀況是不包含在迷思區的。
一般而言,迷思區的形成是根據 Gamma 值為 0.5 來決定,根據蔡清斌等(2013)
的研究顯示,加上有效選取學生與試題迷思半徑,可更精準的預測學生在學習上 的迷思概念所在。因此,在本研究中嘗試利用學生與試題迷思半徑,找出比 0.5
更為適當的 Gamma 值。本研究比較
δ
和ε
為 0 和 0.05 這兩種不同迷思半徑所決 定出來的迷思區,也就是 Gamma 值為 0.5 和 0.55 所決定出來的迷思區,透過結 合 ROC 分析與無母數的卡方檢定所形成的決策屬性檢驗程序,來檢驗在此 GSP 表中,0.5 和 0.55 哪一個是比較適當的 Gamma 值(許天維等,2013b)。(一)Gamma 值為 0.5
根據學生迷思區的定義,若學生的 LGRA-S 小於 0.5 且 CS 值小於 0.75,則 該學生落在學生迷思區(
γ
ds)。因此,迷思學生區中的學生為 S2、S5、S13、S19、S20、S21、S22、S23 、 S24、S26(不包含 S10、S12)。根據試題迷思區的定義,
若試題的 LGRA-P 小於 0.5 且 CP 值小於 0.75,則該試題落在試題迷思區(
γ
dp)。因此,迷思試題區中的試題為 P7、P13、P18、P22、P28、P35、P38、P39(不 包含 P37、P40)。將迷思學生區和迷思試題區取交集,即為迷思區(如表 4-2 黃色區塊)。
在試題的部分,根據決策屬性檢驗程序,在 ROC 分析時,試題迷思區的 AUC 要盡量比非迷思區的高,這表示迷思區的試題鑑別度比非迷思區的高。進行 AUC 的比較時,需建立進行 ROC 分析時的 2×2 分類矩陣(如表 4-3),其中,迷思區 分析結果指的是本研究中將 LGRA-P 小於 0.5 的試題訂為試題迷思區(如表 4-2 黃色區塊)。將表 4-2 對應到分類矩陣,可得到每一題試題的敏感度、特異度和
AUC(如表 4-4)
。將表 4-2 用 SPSS 12.0 統計軟體分析,可得到試題的 ROC 曲線(如圖 4-2)。
根據表 4-4 和圖 4-2 可發現,試題迷思區內所有試題的 AUC 均大於 0.5,因 此初步判定這些試題是有鑑別度的。在決策屬性這部分,迷思區的試題鑑別度期 望能比非迷思區的高,然而,試題迷思區內卻有 5 題試題的 AUC 小於非迷思區 的試題。
表4-3 ROC分類矩陣
迷思區分析結果
非迷思區 迷思區 合計
學生作答反應 答對 a b a+b
答錯 c d c+d
合計 a+c b+d n=a+b+c+d 敏感度 Sensitivity
) /(a c
a + 特異度 Specificity ) /(b d d +
表 4-4 試題的 ROC 分析結果(Gamma 值為 0.5)
試題 a b c d 敏感度 特異度 AUC
P1 15 10 0 0 1.00 0.00 0.50
P24 15 10 0 0 1.00 0.00 0.50
P32 15 10 0 0 1.00 0.00 0.50
P11 15 9 0 1 1.00 0.10 0.55
P17 15 10 0 0 1.00 0.00 0.50
P27 15 9 0 1 1.00 0.10 0.55
P2 14 10 1 0 0.93 0.00 0.47
P5 14 10 1 0 0.93 0.00 0.47
P6 15 8 0 2 1.00 0.20 0.60
P9 15 9 0 1 1.00 0.10 0.55
P10 15 9 0 1 1.00 0.10 0.55
P15 15 9 0 1 1.00 0.10 0.55
P21 15 9 0 1 1.00 0.10 0.55
P26 15 9 0 1 1.00 0.10 0.55
P31 14 10 1 0 0.93 0.00 0.47
P3 15 9 0 1 1.00 0.10 0.55
P12 15 7 0 3 1.00 0.30 0.65
P14 15 8 0 2 1.00 0.20 0.60
P19 15 9 0 1 1.00 0.10 0.55
P20 15 8 0 2 1.00 0.20 0.60
P23 15 9 0 1 1.00 0.10 0.55
P30 14 9 1 1 0.93 0.10 0.52
P34 14 10 1 0 0.93 0.00 0.47
P36 15 8 0 2 1.00 0.20 0.60
P8 14 8 1 2 0.93 0.20 0.57
P16 15 6 0 4 1.00 0.40 0.70
P29 15 7 0 3 1.00 0.30 0.65
P13 15 6 0 4 1.00 0.40 0.70
P18 14 7 1 3 0.93 0.30 0.62
P22 13 8 2 2 0.87 0.20 0.53
P38 13 5 2 5 0.87 0.50 0.68
P28 12 5 3 5 0.80 0.50 0.65
P39 11 5 4 5 0.73 0.50 0.62
P7 11 3 4 7 0.73 0.70 0.72
P35 9 1 6 9 0.60 0.90 0.75
註:P1~P40 為此份試卷之試題編號,其中 P4、P25、P33 的注意係數大於 0.75。
圖 4-2 試題的 ROC 曲線(Gamma 值為 0.5)
在進行了 AUC 的比較後,接著,透過無母數卡方檢定來進行決策屬性的檢 驗。表 4-5 為試題進行無母數卡方檢定的結果。從表 4-5 可發現,迷思區和非迷 思區均達顯著,這表示 Gamma 值為 0.5 的決策是適當的。
表 4-5 試題進行無母數卡方檢定的結果(Gamma 值為 0.5)
判斷\值和 a 總和 b 總和 c 總和 d 總和 Pearson 卡方 估計值 P 值
迷思區 98 40 22 40 22.50 2.10E-06
非迷思區 399 239 6 31 31.27 2.25E-08
在學生的部分,同樣根據決策屬性檢驗程序,在 ROC 分析時,學生迷思區 的 AUC 要盡量比非迷思區的高,這表示迷思區的學生鑑別度比非迷思區的高。。
此時,2×2 分類矩陣中(如表 4-3),迷思區分析結果指的是本研究中將 LGRA-S 小於 0.5 的學生訂為學生迷思區(如表 4-2 黃色區塊)。將表 4-2 對應到分類矩陣,
0.0 0.2 0.4 0.6 0.8 1.0
1 11
1----特異度特異度特異度特異度
0.0 0.2 0.4 0.6 0.8 1.0
敏 敏敏 敏 感 感感 感 度 度度 度
曲線來源
P1 P24 P32 P11 P17 P27 P2 P5 P6 P9 P10 P15 P21 P26 P31 P3 P12 P14 P19
P20 P23 P30 P34 P36 P8 P16 P29 P13 P18 P22 P38 P28 P39 P7 P35 參 考 線
可得到每一位學生的敏感度、特異度和 AUC(如表 4-6)。將表 4-2 用 SPSS 12.0 統計軟體分析,可得到學生的 ROC 曲線(如圖 4-3)。根據表 4-6 和圖 4-3 可發現,
學生迷思區內所有學生的 AUC 均大於 0.5,因此初步判定這些學生是有鑑別度的。
在決策屬性這部分,迷思區的試題鑑別度期望仍然能比非迷思區的高,而學生迷 思區的 AUC 雖然大多比非迷思區的 AUC 高,但迷思區仍然有 3 位學生的 AUC 小於非迷思區的學生。
在進行了 AUC 的比較後,同樣透過無母數卡方檢定來進行決策屬性的檢驗。
表 4-7 為學生進行無母數卡方檢定的結果。從表 4-7 可發現,迷思區和非迷思區 均達顯著,這表示 Gamma 值為 0.5 的決策是適當的。
表 4-6 學生的 ROC 分析結果(Gamma 值為 0.5)
學生 a b c d 敏感度 特異度 AUC
S18 27 8 0 0 1.00 0.00 0.50
S4 27 7 0 1 1.00 0.13 0.56
S7 27 8 0 0 1.00 0.00 0.50
S1 27 7 0 1 1.00 0.13 0.56
S14 27 7 0 1 1.00 0.13 0.56
S16 27 7 0 1 1.00 0.13 0.56
S17 27 7 0 1 1.00 0.13 0.56
S11 27 6 0 2 1.00 0.25 0.63
S27 27 7 0 1 1.00 0.13 0.56
S8 26 5 1 3 0.96 0.38 0.67
S15 27 6 0 2 1.00 0.25 0.63
S25 27 5 0 3 1.00 0.38 0.69
S3 25 6 2 2 0.93 0.25 0.59
S9 25 7 2 1 0.93 0.13 0.53
S28 26 5 1 3 0.96 0.38 0.67
S21 26 4 1 4 0.96 0.50 0.73
S26 25 5 2 3 0.93 0.38 0.65
S20 24 7 3 1 0.89 0.13 0.51
S23 25 4 2 4 0.93 0.50 0.71
S24 26 3 1 5 0.96 0.63 0.79
S2 24 4 3 4 0.89 0.50 0.69
S22 24 3 3 5 0.89 0.63 0.76
S19 24 3 3 5 0.89 0.63 0.76
S5 20 5 7 3 0.74 0.38 0.56
S13 21 2 6 6 0.78 0.75 0.76
註:S1~S28 為此範例之研究對象編號,其中 S6 的注意係數大於 0.75。
圖 4-3 學生的 ROC 曲線(Gamma 值為 0.5)
表 4-7 學生進行無母數卡方檢定的結果(Gamma 值為 0.5)
判斷\值和 a 總和 b 總和 c 總和 d 總和 Pearson 卡方 估計值 P 值
迷思區 239 40 31 40 56.62 5.28E-14
非迷思區 399 98 6 22 52.04 5.36E-13
(二)Gamma 值為 0.55
根據學生迷思區的定義,若學生的 LGRA-S 小於 0.55 且 CS 值小於 0.75,則 該學生落在學生迷思區(
γ
ds)。因此,迷思學生區中的學生為 S2、S5、S9、S10、S13、S19、S20、S21、S22、S23 、 S24、S26、S28(不包含 S12)。根據試題迷思
區的定義,若試題的 LGRA-P 小於 0.55 且 CP 值小於 0.75,則該試題落在試題迷 思區(γ
dp)。因此,迷思試題區中的試題為 P7、P8、P13、P16、P18、P22、P28、P29、P35、P38、P39(不包含 P37、P40)。將迷思學生區和迷思試題區
取交集,即為迷思區(如表 4-8 黃色區塊)。0.0 0.2 0.4 0.6 0.8 1.0
111
1----特異度特異度特異度特異度
0.0 0.2 0.4 0.6 0.8 1.0
敏敏敏 敏 感感感 感 度度度 度
曲線來源
S18 S4 S7 S1 S14 S16 S17 S11 S27 S8 S15 S25 S3 S9 S28 S21 S26 S20 S23
S24 S2 S22 S19 S5 S13 參 考 線
在試題的部分,如同上述分析,在 ROC 分析時,試題迷思區的 AUC 要盡量 比非迷思區的高。此時,2×2 分類矩陣中(如表 4-3),迷思區分析結果指的是本 研究中將 LGRA-P 小於 0.55 的試題訂為試題迷思區(如表 4-8 黃色區塊)。將表
4-8 對應到分類矩陣,可得到每一題試題的敏感度、特異度和 AUC(如表 4-9)
。將表 4-8 用 SPSS 12.0 統計軟體分析,可得到教師的 ROC 曲線(如圖 4-4)。
表 4-9 試題的 ROC 分析結果(Gamma 值為 0.55)
試題 a b c d 敏感度 特異度 AUC
P1 13 13 0 0 1.00 0.00 0.50
P24 13 13 0 0 1.00 0.00 0.50
P32 13 13 0 0 1.00 0.00 0.50
P11 13 12 0 1 1.00 0.08 0.54
P17 13 13 0 0 1.00 0.00 0.50
P27 13 12 0 1 1.00 0.08 0.54
P2 12 13 1 0 0.92 0.00 0.46
P5 12 13 1 0 0.92 0.00 0.46
P6 13 11 0 2 1.00 0.15 0.58
P9 13 12 0 1 1.00 0.08 0.54
P10 13 12 0 1 1.00 0.08 0.54
P15 13 12 0 1 1.00 0.08 0.54
P21 13 12 0 1 1.00 0.08 0.54
P26 13 11 0 2 1.00 0.15 0.58
P31 13 11 0 2 1.00 0.15 0.58
P3 13 11 0 2 1.00 0.15 0.58
P12 13 10 0 3 1.00 0.23 0.62
P14 13 11 0 2 1.00 0.15 0.58
P19 13 11 0 2 1.00 0.15 0.58
P20 13 11 0 2 1.00 0.15 0.58
P23 13 11 0 2 1.00 0.15 0.58
P30 13 10 0 3 1.00 0.23 0.62
P34 12 12 1 1 0.92 0.08 0.50
P36 13 11 0 2 1.00 0.15 0.58
P8 13 9 0 4 1.00 0.31 0.65
P16 13 9 0 4 1.00 0.31 0.65
P29 13 9 0 4 1.00 0.31 0.65
P13 13 8 0 5 1.00 0.38 0.69
P18 12 9 1 4 0.92 0.31 0.62
P22 11 10 2 3 0.85 0.23 0.54
P38 12 6 1 7 0.92 0.54 0.73
P28 12 5 1 8 0.92 0.62 0.77
P39 9 7 4 6 0.69 0.46 0.58
P7 10 4 3 9 0.77 0.69 0.73
P35 7 3 6 10 0.54 0.77 0.65
註:P1~P40 為此份試卷之試題編號,其中 P4、P25、P33 的注意係數大於 0.75。
圖 4-4 試題的 ROC 曲線(Gamma 值為 0.55)
根據表 4-9 和圖 4-4 同樣可發現,試題迷思區內所有試題的 AUC 均大於 0.5,
這表示這些試題是有鑑別度的。此外,試題迷思區的 AUC 大多比非迷思區的 AUC 高,迷思區內只有 2 題試題的 AUC 小於非迷思區的試題。
同上述分析,在進行了 AUC 的比較後,同樣透過無母數卡方檢定來進行決 策屬性的檢驗。表 4-10 為試題進行無母數卡方檢定的結果。從表 4-10 可發現,
迷思區和非迷思區均達顯著,這表示 Gamma 值為 0.55 的決策是適當的。
如同上述分析,在學生的部分,進行 ROC 分析時,學生迷思區的 AUC 要盡 量比非迷思區的高。此時,2×2 分類矩陣中(如表 4-3),迷思區分析結果指的是 本研究中將 LGRA-S 小於 0.55 的學生訂為學生迷思區(如表 4-8 黃色區塊)。將 表 4-8 對應到分類矩陣,可得到每一位學生的敏感度、特異度和 AUC(如表 4-11)。
將表 4-8 用 SPSS 12.0 統計軟體分析,可得到學生的 ROC 曲線(如圖 4-5)。
根據表 4-11 和圖 4-5 同樣可發現,學生迷思區內所有學生的 AUC 均大於 0.5,
0.0 0.2 0.4 0.6 0.8 1.0
111
1----明確度明確度明確度明確度
0.0 0.2 0.4 0.6 0.8 1.0
敏敏 敏敏 感感 感感 度 度 度 度
曲線來源
P1 P24 P32 P11 P17 P27 P2 P5 P6 P9 P10 P15 P21 P26 P31 P3 P12 P14 P19
P20 P23 P30 P34 P36 P8 P16 P29 P13 P18 P22 P38 P28 P39 P7 P35 參 考 線
這表示這些學生是有鑑別度的。此外,學生迷思區的 AUC 大多比非迷思區的 AUC 高,但迷思區內有 3 位學生的 AUC 小於非迷思區的學生。
同上述分析,在進行了 AUC 的比較後,同樣透過無母數卡方檢定來進行決 策屬性的檢驗。表 4-12 為學生進行無母數卡方檢定的結果。從表 4-12 可發現,
迷思區和非迷思區均達顯著,這表示 Gamma 值為 0.55 的決策是適當的。
表 4-10 試題進行無母數卡方檢定的結果(Gamma 值為 0.55)
判斷\值和 a 總和 b 總和 c 總和 d 總和 Pearson 卡方 估計值 P 值
迷思區 125 79 18 64 36.18 1.80E-09
非迷思區 309 281 3 31 24.39 7.88E-07
表 4-11 學生的 ROC 分析結果(Gamma 值為 0.55)
學生 a b c d 敏感度 特異度 AUC
S18 24 11 0 0 1.00 0.00 0.50
S4 24 10 0 1 1.00 0.09 0.55
S7 24 11 0 0 1.00 0.00 0.50
S1 24 10 0 1 1.00 0.09 0.55
S14 24 10 0 1 1.00 0.09 0.55
S16 24 10 0 1 1.00 0.09 0.55
S17 24 10 0 1 1.00 0.09 0.55
S11 24 9 0 2 1.00 0.18 0.59
S27 24 10 0 1 1.00 0.09 0.55
S8 23 8 1 3 0.96 0.27 0.62
S15 24 9 0 2 1.00 0.18 0.59
S25 24 8 0 3 1.00 0.27 0.64
S3 22 9 2 2 0.92 0.18 0.55
S9 22 10 2 1 0.92 0.09 0.50
S28 24 7 0 4 1.00 0.36 0.68
S21 23 7 1 4 0.96 0.36 0.66
S26 23 7 1 4 0.96 0.36 0.66
S20 22 9 2 2 0.92 0.18 0.55
S23 22 7 2 4 0.92 0.36 0.64
S24 23 6 1 5 0.96 0.45 0.71
S2 23 5 1 6 0.96 0.55 0.75
S22 23 4 1 7 0.96 0.64 0.80
S19 22 5 2 6 0.92 0.55 0.73
S5 18 7 6 4 0.75 0.36 0.56
S13 19 4 5 7 0.79 0.64 0.71
S10 17 1 7 10 0.71 0.91 0.81
註:S1~S28 為此範例之研究對象編號,其中 S6 的注意係數大於 0.75。
圖 4-5 學生的 ROC 曲線(Gamma 值為 0.55)
表 4-12 學生進行無母數卡方檢定的結果(Gamma 值為 0.55)
判斷\值和 a 總和 b 總和 c 總和 d 總和 Pearson 卡方 估計值 P 值
迷思區 281 79 31 64 71.96 2.19E-17
非迷思區 309 125 3 18 30.11 4.09E-08
透過上述分析可發現,在 ROC 分析這部分,不論 Gamma 值為 0.5 或 0.55,
迷思區內的試題和學生均是有鑑別度的。此外,在無母數卡方檢定這部分,不論
Gamma 值為 0.5 或 0.55,在學生和試題兩部分,迷思區和非迷思區均達顯著,因
此,進一步比較 Gamma 值為 0.5 和 0.55 時試題和學生的 ROC 分析結果。根據 Gamma 值為 0.5 和 0.55 時試題的 ROC 分析結果顯示(表 4-4、表 4-9),
雖然期望在這兩個表中,試題迷思區的 AUC 盡量能比非迷思區的 AUC 高,但當
Gamma 值為 0.5 時,迷思區內有 5 題試題的 AUC 小於非迷思區的試題
(表 4-4),而當 Gamma 值為 0.55 時,迷思區內只有 2 題試題的 AUC 小於非迷思區的試題
0.0 0.2 0.4 0.6 0.8 1.0
1 11
1----特異度特異度特異度特異度
0.0 0.2 0.4 0.6 0.8 1.0
敏 敏 敏 敏 感 感 感 感 度 度 度 度
曲線來源
S18 S4 S7 S1 S14 S16 S17 S11 S27 S8 S15 S25 S3 S9 S28 S21 S26 S20 S23
S24 S2 S22 S19 S5 S13 S10 參 考 線
(表 4-9)。由此可知,在試題的部分,用 Gamma 值為 0.55 來決定迷思區比用
Gamma 值為 0.5 更適當。
根據 Gamma 值為 0.5 和 0.55 時學生的 ROC 分析結果顯示(表 4-6、表 4-11),
雖然在這兩個表中,學生迷思區的 AUC 大多比非迷思區的 AUC 高,而且不論
Gamma 值為 0.5 或 0.55,迷思區內同樣都有 3 位學生的 AUC 小於非迷思區的學
生。但當 Gamma 值為 0.55 時這 3 位學生的 AUC 和非迷思區的學生的差距比當Gamma 值為 0.5 時更小。由此可知,在學生的部分,用 Gamma 值為 0.55 來決定
迷思區仍然比用 Gamma 值為 0.5 更適當。透過上述的分析,在這個 GSP 表中,不論是學生或試題,用 Gamma 值為 0.55 來決定迷思區比用 Gamma 值為 0.5 更適當。
第二節 第二節 第二節
第二節 迷思區分析 迷思區分析 迷思區分析 迷思區分析法 法 法 法
在本節中,首先根據上節所形成的迷思區(如表 4-8),對應到試題-概念表
(如表 4-13),建立粗糙集計算時所需的 UCD 表。接著,使用粗糙集計算出迷思 區中的核
core (C )
,找出所有學生共同的迷思(Sheu, Chen, Tsai, Tzeng, Deng et al.,2013; Sheu, Chen, Tzeng, Tsai, Chiang et al., 2013)
。一 一 一
一、、、UCD 表、 表表表
本研究根據迷思區分析法,在形成迷思區後,使用粗糙集計算出迷思區中的 核
core (C )
,核core (C )
為所有學生共同的迷思(Sheu, Chen, Tsai, Tzeng, Deng et al.,2013; Sheu, Chen, Tzeng, Tsai, Chiang et al., 2013)
。為了計算迷思區中的核core (C )
, 需先根據粗糙集理論中的IS建立UCD表。UCD表也就是決策表,其中U 表示學生,本研究根據迷思區分析法,在形成迷思區後,使用粗糙集計算出迷思區中的 核