正式施測之試題品質分析與不同模型試題參數估計比較

一、正式測驗試題品質分析

（一）效度分析

本測驗之效度以專家效度為主。試題擬訂後，諮詢多位教學經驗豐富現職老 師及臺中教育大學測統所指導教授檢定本測驗內容及選項設計適切作評估，並提 供試題修改建議，使測驗試題內容具有較高的專家效度。

（二）信度分析

本研究正式施測信度分析，採內部一致性分析之Cronbach



由表 4-1-1 中得知，雖然刪除第四題會使信度提高至 0.866，但提昇的幅度不 大且因第四題於正式施測後顯示此題除了有不錯的鑑別度外，另外，由試題參數 估計出的兩個猜測度與粗心度參數值結果都在可接受範圍內，因此仍保留第四 題。

表4-1-1 信度Cronbach's Alpha值分析表 題

號

項目刪除時的 尺度平均數

項目刪除時的 尺度變異數

修正的 項目總相關

項目刪除時的 Cronbach's Alpha 值

1 9.23 22.388 0.345 0.862 2 8.88 22.945 0.273 0.864 3 9.05 22.517 0.316 0.863 4 9.02 22.842 0.250 0.866 5 9.14 21.922 0.440 0.859 6 8.92 22.469 0.367 0.861 7 8.87 22.686 0.342 0.862 8 9.07 22.030 0.421 0.859 9 9.32 21.589 0.556 0.854 10 9.40 21.920 0.535 0.855 11 9.36 21.636 0.573 0.854 12 9.06 21.610 0.518 0.855 13 9.42 22.030 0.520 0.856 14 9.44 22.317 0.467 0.858 15 9.28 21.903 0.468 0.857 16 9.39 21.970 0.508 0.856 17 9.16 21.138 0.619 0.851 18 8.98 21.496 0.571 0.853 19 9.16 21.545 0.525 0.855 20 9.02 21.637 0.522 0.855

（三）試題難度分析

本正式測驗以難度指數表示本測驗的難易程度，難度指數值介於 0.3118～

0.7473，平均難度值為 0.49113。經建議修正試題後，整份測驗的難度已達中等難 度。如表 4-1-2 所示。

表 4-1-2 正式施測之通過率、難度指數及鑑別度試題項目分析表

題號 通過率 P％

高分組 通過率

（PH）

低分組 通過率

（PL）

難度指數(P) P＝(PH＋PL)/2

鑑別度(D) D＝PH－PL

1 40.909 0.76 0.23 0.4946 0.5376 2 76.471 0.90 0.51 0.7043 0.3978 3 58.824 0.87 0.35 0.6129 0.5161 4 62.567 0.81 0.38 0.5914 0.4301 5 50.267 0.85 0.15 0.5000 0.6989 6 71.925 0.95 0.43 0.6882 0.5161 7 77.005 0.98 0.52 0.7473 0.4624 8 56.952 0.85 0.22 0.5323 0.6344 9 32.620 0.77 0.01 0.3925 0.7634 10 23.797 0.67 0.00 0.3333 0.6667 11 28.075 0.74 0.02 0.3817 0.7204 12 57.754 0.89 0.15 0.5215 0.7419 13 22.193 0.62 0.00 0.3118 0.6237 14 19.786 0.60 0.03 0.3172 0.5699 15 35.829 0.71 0.06 0.3656 0.6882 16 25.401 0.63 0.01 0.3226 0.6237 17 48.128 0.89 0.03 0.4624 0.8602 18 65.775 0.95 0.14 0.5430 0.8065 19 48.128 0.85 0.09 0.4677 0.7634 20 61.765 0.90 0.16 0.5323 0.7419 平均值 48.209 0.81 0.17 0.49113 0.63817

（四）試題鑑別度分析

本研究之正式測驗試題平均鑑別度(D)為 0.638，鑑別度(D)介於 0.398~0.860 之間。表示整份正式測驗試題有極高的鑑別度。如上表 4-1-2 所示。

二、正式施測之不同模型試題參數估計值結果如表4-1-3、4-1-4、4-1-5。

表 4-1-3 DINA 模型參數估計值(正式施測)

試題 粗心參數 s SE 猜測參數 g SE

I1 0.1875 0.0491 0.2274 0.0297 I2 0.0877 0.0222 0.4753 0.0514 I3 0.1005 0.0382 0.4480 0.0334 I4 0.1991 0.0327 0.4515 0.0395 I5 0.2335 0.0337 0.1923 0.0364 I6 0.0957 0.0228 0.4652 0.0451 I7 0.0291 0.0163 0.3763 0.0531 I8 0.1479 0.0291 0.2284 0.0408 I9 0.2793 0.0408 0.0978 0.0216 I10 0.3865 0.0451 0.0368 0.0132 I11 0.3085 0.0426 0.0429 0.0150 I12 0.1299 0.0270 0.2561 0.0364 I13 0.3937 0.0470 0.0344 0.0126 I14 0.4790 0.0456 0.0248 0.0111 I15 0.3212 0.0381 0.0000 0.0409 I16 0.4566 0.0408 0.0085 0.0090 I17 0.1634 0.0287 0.0142 0.0185 I18 0.0573 0.0174 0.2373 0.0400 I19 0.2759 0.0321 0.1444 0.0309 I20 0.1097 0.0230 0.2394 0.0376 平均 0.2221 0.0336 0.2001 0.0308 正式施測的測驗結構為：受試者 374 位、題數 20 題、概念數 12 個，作答反 應資料以 DINA 模型估計後發現試題參數估計結果：猜測度介於 0.1～0.47 之間，

粗心則介於 0.02～0.48 之間，如表 4-1-3。結果發現 I2、I3、I4、I6、I7 五題的 g

值(猜測參數)偏高，推測其原因應該是正式施測的題型均為選擇題，要求學生先 在紙筆測驗卷寫上解題過程後，再讓學生於電腦上作答，但學生難免會因猜測而 答對該題，導致在正式施測時猜測參數變大。

表 4-1-4 DINO 模型參數估計值(正式施測)

試題 粗心參數 s SE 猜測參數 g SE

I1 0.1874 0.0467 0.2249 0.0317 I2 0.0876 0.0298 0.4725 0.0498 I3 0.1031 0.0422 0.4473 0.0374 I4 0.1979 0.0301 0.4373 0.0355 I5 0.2367 0.0347 0.1933 0.0324 I6 0.0981 0.0208 0.4586 0.0401 I7 0.0304 0.0143 0.3754 0.0541 I8 0.1509 0.0281 0.2073 0.0428 I9 0.2794 0.0378 0.0977 0.0201 I10 0.3873 0.0411 0.0372 0.0142 I11 0.3080 0.0476 0.0425 0.0140 I12 0.1297 0.0280 0.2610 0.0373 I13 0.3948 0.0446 0.0346 0.0131 I14 0.4795 0.0436 0.0250 0.0141 I15 0.3260 0.0390 0.0000 0.0400 I16 0.4662 0.0438 0.0076 0.0111 I17 0.1642 0.0257 0.0137 0.0156 I18 0.0573 0.0184 0.2322 0.0378 I19 0.2775 0.0331 0.1444 0.0329 I20 0.1094 0.0240 0.2364 0.0387 平均 0.2236 0.0337 0.1975 0.0306 由表 4-1-4 中發現以 DINO 模型估計後，試題參數估計結果與 DINA 模型估

計的結果較相近。

表 4-1-5 G-DINA 模型參數估計值(正式施測)

試題 粗心參數 s SE 猜測參數 g SE

I1 0.0000 0.0591 0.2658 0.0741 I2 0.0000 0.0147 0.4066 0.0430 I3 0.1526 0.0373 0.3362 0.0650 I4 0.1206 0.0420 0.5673 0.2365 I5 0.1081 0.0316 0.3940 0.1275 I6 0.0687 0.0243 0.4260 0.0994 I7 0.0000 0.0282 0.4201 0.0437 I8 0.0000 0.0390 0.4023 0.0795 I9 0.1618 0.0377 0.4218 0.1368 I10 0.1653 0.0478 0.1799 0.2659 I11 0.2845 0.0457 0.3820 0.1240 I12 0.0114 0.0119 0.3936 0.1088 I13 0.2422 0.0524 0.1005 0.2120 I14 0.3512 0.0593 0.0741 0.2341 I15 0.0000 0.0888 0.2593 0.2171 I16 0.0915 0.0532 0.1906 0.3996 I17 0.0878 0.0259 0.2732 0.1319 I18 0.0000 0.0410 0.3958 0.0843 I19 0.0134 0.0138 0.3345 0.0924 I20 0.1128 0.0324 0.3651 0.1133 平均 0.0986 0.0393 0.3294 0.1444

由表 4-1-5 中發現以 G-DINA 模型估計後，某些試題參數估計 g 值結果比 DINA 模型與 DINO 模型偏高，甚至數值大於 0.5。可由 G-DINA 模型的試題反應 函數推測其原因應該是 G-DINA 模型在估計參數時不僅是主概念造成的單一影

響，還包括各概念間的交互作用，兩者均會對答對機率產生影響。

綜合上述結果，利用三種不同認知診斷模型估計出的 s 值與 g 值中發現：

DINA 模型與 DINO 模型整體結果相近，至於 G-DINA 模型估計的 g 值(平均值) 比 DINA 模型與 DINO 模型來的高，s 值(平均值)則較 DINA 模型與 DINO 模型低；

由 SE 值(平均值)結果得知，DINA 模型與 DINO 模型估計 g 值比 G-DINA 模型估 計 g 值的誤差小；而三種模型估計的 s 值誤差大小則相近。