第三章 研究方法與設計
第五節 Q矩陣評估指標
本研究以專家審閱受試者測驗時所書寫的計算過程，經由專家判定受試者是 否具備所測驗之概念為效標，與 DINA 模型所估計受試者是否具備所測驗之概念 進行比較。
壹、專家判定方式與評分者信度分析
本研究為了取得較為準確的學生概念判斷結果，作為本研究中學生概念之效 標。由兩位於教學現場之教師評閱每位受試者測驗時所書寫的計算過程，判定每 位受試者是否具備所測驗之概念，然後依據兩位教師判定之結果進行評分者信度 分析，如果評分者信度越高，表示評分者間的一致性較高。本效標之信度採取 Spearman's rho 係數，得知所有概念之評分者間 Spearman's rho 係數為 0.963；個 別概念之評分者間 Spearman's rho 係數介於 0.917~0.987，如表 3-5-1 所示。可見 本研究使用之學生概念效標評分者間的信度頗高。
表 3-5-1 專家判定結果之效標的評分者信度分析 屬
性
Spearman's rho 係數
屬 性
Spearman's rho 係數
屬 性
Spearman's rho 係數 S1 0.987 S6 0.905 S11 0.948 S2 0.947 S7 0.946 S12 0.985 S3 0.917 S8 0.924 S13 0.979 S4 0.918 S9 0.951 S14 0.972 S5 0.951 S10 0.966 S15 0.980
貳、不同 Q 矩陣設計 DINA 模型概念辨識率之評估指標
第六節 資料處理與分析
壹、資料處理
本研究以自編國小四年級分數認知診斷測驗與以 DINA 模型為基礎之電腦 認知診斷測驗系統為工具蒐集資料，探討專家定義的 Q 矩陣、以次序理論 (OT) 及試題關聯分析法 (IRS) 為基礎之學生試題結構轉換而成的學生概念 Q 矩陣及 經校正程式重新校正的 Q 矩陣對於 DINA 模型概念辨識率之影響。本研究共進行 394 份測驗，將測驗資料依班級座號排序整理後，由兩位於教學現場之教師逐一 檢視每份測驗的作答情形，判定並紀錄學生概念具備的情形，之後進行資料編碼 輸入電腦，建檔以利進行分析與統計。
貳、資料分析
本研究採用 SPSS 統計分析軟體及 Microsoft Office Excel 2003 來登錄資料，
使用 MATLAB 軟體、Ox 軟體、SPSS 統計分析軟體及 Microsoft Office Excel 2003 進行測驗資料描述性分析、建立學生試題結構矩陣、DINA 模型概念診斷分析如 下所述：
一、測驗資料描述性分析
(一)將蒐集到的測驗資料輸入 Excel 2003 軟體，進行原始資料的建檔與整理。
(二)將建檔資料轉入 SPSS 統計分析軟體，分析自編國小四年級「分數」認知診 斷測驗的信度及各試題的通過率、難易度與鑑別度分析，作為試題刪除或修 改的參考依據。
二、建立學生概念結構矩陣
(一)依據專家知識結構，與利用 MATLAB 軟體所編寫之以次序理論 (OT) 及試題 關聯分析法 (IRS) 為基礎之學生試題結構分析程式，建立分別的學生試題結 構矩陣。
(二)使用 MATLAB 軟體計算出利用詮釋結構模型 (ISM) 的矩陣運算方式轉換，
獲得學生概念結構矩陣。
三、DINA 模型概念估計與概念辨識率分析
(一)將建檔的測驗資料及試題概念矩陣匯入 Ox 軟體，利用 DINA 程式輸出各概念 的試題猜測度(
g
)、粗心度(s
)與估計受試者概念狀態。(二)將由專家判定受試者是否具備所欲測驗之概念為效標，與 DINA 模型所分析 受試者是否具備所欲測驗之概念，匯入 Excel 2003 進行計算其概念辨識率並 加以比較，分析不同的 Q 矩陣設計於 DINA 模型概念辨識率之差異情形。
四、Q 矩陣的校正
將先前 DINA 模型所分析之概念情形資料與相對應的 Q 矩陣，匯入由 de la Torre (2008) 提出的 Q 矩陣之校正程式中，重新校正 Q 矩陣，探討校正後的 Q 矩 陣於 DINA 模型概念辨識率之影響。
五、國小四年級「分數」能力認知診斷測驗的概念精熟度分析
將經由 DINA 模型所分析之概念情形資料，轉入 SPSS 統計分析軟體中分析 功能，分析已學過國小四年級「分數」能力之學生的概念精熟度，進行已學過國 小四年級「分數」能力之學生在各概念的精熟度情形比較，以及高分組與低分組 對於各概念精熟度的差異檢定。
第四章 結果與討論
本研究結果，共分成四個部分進行討論。第一節分析本研究所編製的分數認 知診斷測驗之試題品質；第二節分析結合不同專家知識結構之 Q 矩陣，對於 DINA 模型參數估計與概念辨識率之影響，與進行刪除第 2 題後正式測驗試題品質分 析；第三節分析結合不同學生概念結構之 Q 矩陣，對於 DINA 模型概念辨識率之 影響；第四節分析結合不同專家知識結構及學生知識結構之校正後 Q 矩陣，對於 DINA 模型概念辨識率之影響；第五節分析已學過國小四年級分數能力指標 (4-n-07 與 4-n-08)之學生，其概念精熟度表現情形。
第一節 正式測驗之試題品質分析
壹、正式測驗之試題信度分析
本測驗之信度採取內部一致性之 Cronbach
係數，所得正式測驗之試題的 Cronbach
係數為 0.874，正式測驗之試題信度分析表，如表 4-1-1 所示；根據 上述正式施測之試題信度分析表，顯示本研究正式測驗之試題信度頗佳。表 4-1-1 正式測驗之試題信度分析表 題
號
項目刪除時的 尺度平均數
項目刪除時的 尺度變異數
修正的 項目總相關
項目刪除時的 Cronbach's
值 1 59.906 499.744 0.515 0.865 2 59.409 519.942 0.343 0.870 3 60.048 494.926 0.554 0.864 4 60.475 495.130 0.508 0.865 5 60.668 516.467 0.253 0.873 6 60.048 499.507 0.496 0.865 7 60.008 496.740 0.537 0.864表 4-1-1 正式測驗之試題信度分析表（續）
題 號
項目刪除時的 尺度平均數
項目刪除時的 尺度變異數
修正的 項目總相關
項目刪除時的 Cronbach's
值 8 60.830 498.900 0.453 0.867 9 60.008 500.690 0.486 0.866 10 59.602 499.594 0.595 0.863 11 60.749 507.761 0.351 0.870 12 59.977 506.409 0.418 0.868 13 61.185 488.589 0.471 0.866 14 60.404 508.526 0.353 0.870 15 59.683 501.077 0.548 0.864 16 60.089 493.618 0.565 0.863 17 59.937 515.912 0.302 0.871 18 59.383 491.270 0.458 0.867 19 60.261 493.741 0.542 0.864 20 60.008 502.990 0.457 0.866 21 60.190 506.842 0.388 0.868 22 60.668 508.385 0.345 0.870 23 61.299 494.908 0.418 0.868 24 60.957 502.464 0.321 0.872貳、正式測驗之試題難度分析
本研究之正式測驗平均試題難度指數為 0.61，難度指數(
P
)範圍介於0.40~0.82 之間，正式測驗之試題通過率、難度指數結果，如表 4-1-2 所示。根據 上述通過率與難度指數的分析及施測時學生作答反應，發現測驗試題經修審後整 體難度微幅的提高，表示本研究正式測驗之試題難易程度屬於中等難度。
表 4-1-2 正式測驗之試題通過率、難度指數及鑑別度分析表
參、正式測驗之試題鑑別度分析
本研究之正式測驗之平均 試題鑑別 度(
D
)為 0.59，鑑別度(D
)範圍介於 0.31~0.74 之間，正式測驗之試題鑑別度(D
)結果，如表 4-1-2 所示。根據上述正 式測驗的試題鑑別度(D
)的分析，發現正式測驗之試題整體具有良好的鑑別度。肆、以 DINA 模型之試題參數估計值分析
DINA 模型估計試題參數時，發現平均試題猜測度(
g
)為 0.2168，猜測度(g
) 範圍介於 0.000~0.6538 之間，其平均標準誤為 0.0414；平均試題粗心度(s
)為 0.1160，粗心度(s
) 範圍介於 0.000~0.4478 之間，其平均標準誤為 0.0230。研究 發現發現第 2 題試題的猜測度 0.6538 大於 0.5000，表示第 2 題在不具備解題所需 的概念時，受試者答對此題的機率會達到 0.5000，探究其原因可能是因為第 2 題 所診斷的概念為初步認識等值概念分數，且分母限制在 10 以內或其中一個分母 是另一個分母的倍數情形下，使得試題的難度大為降低。因此，本研究將第 2 題 於正式測驗中刪除，以增加測驗試題的試題品質。DINA 模型分析正式測驗之 DINA 模型參數估計值，如圖表 4-1-3 所示。表 4-1-3 正式測驗之 DINA 模型參數估計值分析表
試題 猜測(g) SE(g) 粗心(s) SE(s) 試題 猜測(g) SE(g) 粗心(s) SE(s) 1 0.0000 0.0593 0.0512 0.0141 13 0.0908 0.0214 0.2489 0.0408 2 0.6538 0.0505 0.0729 0.0152 14 0.4199 0.0540 0.3305 0.0270 3 0.2005 0.0383 0.0481 0.0139 15 0.4475 0.0433 0.0000 0.0197 4 0.1980 0.0343 0.1716 0.0248 16 0.1352 0.0365 0.0952 0.0178 5 0.3045 0.0317 0.0689 0.0289 17 0.0001 0.0316 0.0614 0.0156 6 0.0000 0.0605 0.0949 0.0176 18 0.1164 0.0379 0.0611 0.0170 7 0.3766 0.0389 0.0424 0.0138 19 0.3370 0.0368 0.0851 0.0203 8 0.0648 0.0277 0.3533 0.0281 20 0.0000 0.0512 0.0682 0.0167 9 0.3441 0.0404 0.0008 0.0156 21 0.4024 0.0374 0.0835 0.0240 10 0.4546 0.0452 0.0000 0.0374 22 0.0000 0.0813 0.1707 0.0284 11 0.2444 0.0308 0.0267 0.0275 23 0.0993 0.0220 0.4478 0.0386 12 0.3133 0.0428 0.0156 0.0115 24 0.0000 0.0392 0.1861 0.0369 平均 0.2168 0.0414 0.1160 0.0230
伍、刪題後正式測驗試題分析
根據上述正式測驗的 DINA 模型之試題參數分析，得知第二題為不良試題，
決定將此此於正式測驗中刪除，以增加正式測驗之試題品質，研究發現刪除第二 題後的正式測驗之對於信度與試題品質重新進行分析，得知正式測驗的信度 Cronbach
係數為 0.870；平均難度指數為 0.60，難度指數(P
)範圍介於 0.40~0.72 之間；平均鑑別度(D
)為 0.61，鑑別度指數(D
)範圍介於 0.44~0.76 之間；DINA 模型之試題參數分析之平均猜測度(g)為 0.1952，猜測度(g)介於 0.000~0.4471 之 間 ， 各 試題 之 猜 測度 (g) 皆 小 於 0.500 ；平 均 粗 心度 為 0.1174， 粗 心度 介 於 0.000~0.3485 之間，顯示刪除第二題後正式測驗之試題，試題平均猜測度(g)由 0.2168 下降至 0.1952，有助於提升測驗試題品質。刪除第二題試題後，正式測驗如表 4-1-4、表 4-1-5 與表 4-1-6 所示。
表 4-1-4 刪除第二題後正式測驗之信度分析表 題
號
項目刪除時的 尺度平均數
項目刪除時的 尺度變異數
修正的 項目總相關
項目刪除時的 Cronbach's
值
1 57.10 489.956 0.515 0.863
3 57.25 485.367 0.552 0.862
4 57.67 485.320 0.509 0.863
5 57.87 506.743 0.251 0.871
6 57.25 489.662 0.496 0.863
7 57.21 486.586 0.542 0.862
8 58.03 488.928 0.455 0.864
9 57.21 491.187 0.483 0.864
10 56.80 489.682 0.597 0.861
11 57.95 498.045 0.349 0.868
12 57.18 496.857 0.414 0.866
13 58.38 478.583 0.474 0.864
14 57.60 498.398 0.356 0.867
15 56.88 491.215 0.549 0.862
16 57.29 483.859 0.565 0.861
17 57.14 505.745 0.304 0.869
18 56.58 482.208 0.452 0.865
19 56.81 471.432 0.541 0.861
20 57.21 493.772 0.449 0.865
21 57.39 497.246 0.385 0.866
22 57.87 498.682 0.343 0.868
23 58.50 485.060 0.419 0.866
24 58.16 492.421 0.323 0.870
表 4-1-5 刪除第二題後正式測驗之通過率、難度指數及鑑別度分析表
題號 通過率
P％
高分組 通過率
(PH)
低分組 通過率 (PL)
難度指數(P) P＝(PH＋PL)/2
鑑別度(D) D＝PH－PL
1 73.86 0.97 0.35 0.66 0.62
3 70.31 0.94 0.31 0.62 0.63
4 59.65 0.91 0.16 0.54 0.74
5 54.82 0.83 0.36 0.59 0.47
6 70.31 0.93 0.32 0.62 0.61
7 71.03 0.97 0.32 0.64 0.65
8 57.76 0.89 0.13 0.51 0.76
9 71.32 0.94 0.33 0.63 0.61
10 81.47 1.00 0.40 0.70 0.60
11 52.79 0.83 0.23 0.53 0.59
12 72.08 0.97 0.39 0.68 0.58
13 33.50 0.80 0.06 0.43 0.73
14 61.42 0.89 0.33 0.61 0.56
15 79.44 0.99 0.39 0.69 0.60
16 69.29 0.97 0.26 0.61 0.71
17 73.10 0.94 0.50 0.72 0.44
18 69.54 0.70 0.34 0.70 0.64
19 64.98 0.97 0.43 0.70 0.54
20 71.32 0.97 0.39 0.68 0.58
21 66.75 0.92 0.39 0.65 0.53
22 54.82 0.86 0.29 0.57 0.57
23 31.22 0.71 0.08 0.40 0.63
24 38.07 0.69 0.13 0.41 0.56
平均值 62.99 0.90 0.30 0.60 0.61
表 4-1-6 刪除第二題後正式測驗之 DINA 模型參數估計值分析表 試題 猜測(g) SE(g) 粗心(s) SE(s) 試題 猜測(g) SE(g) 粗心(s) SE(s)
1 0.0000 0.0691 0.0562 0.0147 14 0.4235 0.0547 0.3328 0.0270 3 0.1909 0.0377 0.0501 0.0141 15 0.4545 0.0427 0.0000 0.0090 4 0.2018 0.0351 0.1881 0.0252 16 0.1537 0.0383 0.1042 0.0184 5 0.3046 0.0317 0.0746 0.0301 17 0.0557 0.0323 0.0562 0.0151 6 0.0000 0.0602 0.0955 0.0177 18 0.0144 0.0156 0.0456 0.0157 7 0.3688 0.0388 0.0356 0.0133 19 0.3563 0.0374 0.1037 0.0218 8 0.0000 0.0890 0.3485 0.0277 20 0.0000 0.0871 0.0627 0.0162 9 0.3585 0.0404 0.0372 0.0146 21 0.3704 0.0381 0.0842 0.0223 10 0.4471 0.0453 0.0000 0.0262 22 0.0000 0.0768 0.1759 0.0284 11 0.2369 0.0308 0.0215 0.0274 23 0.0914 0.0204 0.3750 0.0416 12 0.3799 0.0414 0.0180 0.0126 23 0.0000 0.0382 0.2159 0.0365 13 0.0803 0.0199 0.2183 0.0405 平均 0.1952 0.0444 0.1174 0.0224
陸、小結
綜合上述研究發現，刪除第 2 題試題後有較佳正式測驗試題品質，因此，本 研究後續研究中分析使用之正式測驗試題共計 23 題，並以單選的測驗題型方式 呈現。
第二節 結合不同專家知識結構 Q 矩陣對 DINA 模型 概念診斷之影響
本研究正式測驗中第 23 題試題中，因編製試題過程中發現此試題具有雙重 解題策略的情形，因此研究者設計了兩種不同的專家知識結構之 Q 矩陣，即 Q 矩陣【A】與【B】。以下根據不同專家知識結構之 Q 矩陣，進行 DINA 模型之試 題分析與比較。
壹、結合不同專家知識結構 Q 矩陣之 DINA 模型參數估計
本研究使用兩種不同專家知識結構之 Q 矩陣，進行 DINA 模型估計試題猜測 度(
g
)分析時，發現使用 Q 矩陣【A】時，平均試題猜測度(g
)為 0.1962，猜測度 (g
)範圍介於 0.000~0.4576 之間，其平均標準誤為 0.0446；使用 Q 矩陣【B】時，平均試題猜測度(
g
)為 0.1952，猜測度(g
)範圍介於 0.000~0.4471 之間，顯示使用 Q 矩陣【B】在平均猜測度(g
)及其標準誤上皆較優於 Q 矩陣【A】以 DINA 模型估計試題粗心度(
s
)時，發現使用 Q 矩陣【A】時，平均試題粗 心度(s
)為 0.1145，粗心度(s
) 範圍介於 0.000~0.3734 之間，其平均標準誤為 0.0230；使用 Q 矩陣【B】時，平均試題粗心度(s
)為 0.1174，粗心度(s
) 範圍介 於 0.000~0.3750 之間，其平均標準誤為 0.0224，顯示使用 Q 矩陣【B】在平均粗 心度(s
)及其標準誤上皆較優於 Q 矩陣【A】。不同專家知識結構之 Q 矩陣對 DINA 模型分析正式測驗試題之猜測度(g
)、粗心度(s
)差異情形與結果，如圖 4-2-1、圖 4-2-2 與表 4-2-1 所示。圖 4-2-1 不同專家知識結構之 Q 矩陣【A】與【B】之猜測度比較圖
圖 4-2-2 不同專家知識結構之 Q 矩陣【A】與【B】之粗心度比較圖
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000
1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
測驗試題
粗心度
Q矩陣設計[A] Q矩陣設計[B]
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000
1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
測驗試題
猜測度
Q矩陣設計[A] Q矩陣設計[B]
表 4-2-1 不同專家知識結構之 Q 矩陣【A】與【B】之參數估計分析表 Q 矩陣
Q 矩陣
【A】 【B】 【A】 【B】
猜測(g) SE(g) 猜測(g) SE(g) 粗心(s) SE(s) 粗心(s) SE(s)
1 0.0000 0.0727 0.0000 0.0691 0.0549 0.0145 0.0562 0.0147 3 0.2011 0.0381 0.1909 0.0377 0.0511 0.0143 0.0501 0.0141 4 0.1895 0.0337 0.2018 0.0351 0.1668 0.0247 0.1881 0.0252 5 0.3110 0.0310 0.3046 0.0317 0.0617 0.0291 0.0746 0.0301 6 0.0000 0.0590 0.0000 0.0602 0.0886 0.0173 0.0955 0.0177 7 0.3627 0.0386 0.3688 0.0388 0.0297 0.0127 0.0356 0.0133 8 0.0602 0.0267 0.0000 0.0890 0.3561 0.0279 0.3485 0.0277 9 0.3593 0.0405 0.3585 0.0404 0.0411 0.0149 0.0372 0.0146 10 0.4485 0.0452 0.4471 0.0453 0.0000 0.0287 0.0000 0.0262 11 0.2411 0.0304 0.2369 0.0308 0.0005 0.0284 0.0215 0.0274 12 0.3017 0.0427 0.3799 0.0414 0.0000 0.0138 0.0180 0.0126 13 0.0968 0.0209 0.0803 0.0199 0.2608 0.0407 0.2183 0.0405 14 0.4237 0.0545 0.4235 0.0547 0.3325 0.0270 0.3328 0.0270 15 0.4576 0.0429 0.4545 0.0427 0.0000 0.0213 0.0000 0.0090 16 0.1917 0.0393 0.1537 0.0383 0.0976 0.0181 0.1042 0.0184 17 0.0365 0.0305 0.0557 0.0323 0.0569 0.0152 0.0562 0.0151 18 0.0007 0.0747 0.0144 0.0156 0.0276 0.0142 0.0456 0.0157 19 0.3664 0.0370 0.3563 0.0374 0.1022 0.0218 0.1037 0.0218 20 0.0000 0.0872 0.0000 0.0871 0.0710 0.0167 0.0627 0.0162 21 0.3595 0.0380 0.3704 0.0381 0.0794 0.0217 0.0842 0.0223 22 0.0000 0.0840 0.0000 0.0768 0.1790 0.0287 0.1759 0.0284 23 0.1050 0.0208 0.0914 0.0204 0.3734 0.0421 0.3750 0.0416 24 0.0000 0.0367 0.0000 0.0382 0.2030 0.0362 0.2159 0.0365 平均值 0.1962 0.0446 0.1952 0.0444 0.1145 0.0230 0.1174 0.0224
貳、結合不同專家知識結構 Q 矩陣之 DINA 模型概念辨識率
研究發現，使用 Q 矩陣【B】對於 DINA 模型估計平均概念辨識率可達到 0.8653，略高於 Q 矩陣【A】的平均概念辨識率 0.8584。以各個概念而言，使用 Q 矩陣【B】時，其概念辨識率的變動差距介於 0.00~0.09 之間，概念辨識率變動 差距並不大，但對於概念 14 的概念辨識率卻有較大的提昇情形。因此，本研究 採用辨識率較高的 Q 矩陣【B】為後續所使用之專家 Q 矩陣，進行本研究以 DINA 模型概念辨識率之估計。Q 矩陣【A】與【B】之DINA 模型概念辨識率差異情形，
如圖 4-2-3 與表 4-2-2 所示。
圖 4-2-3 不同專家知識結構之 Q 矩陣【A】與【B】概念辨識率概念比較
叄、小結
綜合上述研究發現，不同專家知識結構之 Q 矩陣【A】與【B】對於 DINA 模型參數估計及辨識率分析上，Q 矩陣【B】稍優於 Q 矩陣【A】，因此，本研究 決定於後續研究中選擇較佳的 Q 矩陣【B】成為本研究的專家知識結構之 Q 矩陣。
0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00
概 念
辨識率
Q矩陣設計[A] 0.88 0.88 0.84 0.79 0.97 0.87 0.88 0.91 0.78 0.89 0.81 0.80 0.93 0.71 0.94
Q矩陣設計[A] 0.88 0.88 0.84 0.79 0.97 0.87 0.88 0.91 0.78 0.89 0.81 0.80 0.93 0.71 0.94