國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
圖 5.1: 試題特徵曲線圖與相關係數
5.4
能力分布常態化後配適二參數邏輯式模型結果的分析
由國立台灣師範大學心理與教育測驗研究發展中心取得「九十八年第一次國中基 本學力測驗」5000 名測驗原始反應檔資料，發現考生能力分佈呈現雙峰的狀態，見圖 5.2，顯示該年度考生能力呈現兩極的反應。
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
圖 5.2: 考生能力分佈圖
能力分布呈現兩極的狀況明顯與 IRT 基本假設不合，因此將考生能力值分成 0-5、
6-8、9-10、11-13、14-18，19-23、24-26，27-28，29-30、31-32 、33、34 十二組，再分 別將各組中人數加總，人數分佈狀況調整為表 5.4.1。並以各組內能力的中間值當作該 組能力值，再畫一次考生能力分佈圖，如圖 5.3，便可將考生能力分佈轉換成較接近常 態分配。
表 5.4.1: 常態化後各能力值對應的考生人數
能力值 人數
3 93
7 367
9.5 380 12 463 16 684 21 821
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
25 621 27.5 456 29.5 431 31.5 374 33 191 34 119
圖 5.3: 常態化後的考生能力分佈圖
由於能力值經過分組，答對機率也必須按分組型式調整，例如能力值在區間 r− 1 到 r + 1 範圍內 (即常態化後的能力值為 r) 的答對第 i 題之機率值 Pi∗(r)計算方式說明 如下。為避免與能力分佈常態化前的符號混淆，因此皆加上 ∗ 以做區別。
Pi∗(r) = P (Xi = 1| X = r − 1, r, r + 1)
= P (Xi = 1, Xi = r− 1) + P (Xi = 1, Xi = r) + P (Xi = 1, Xi = r + 1) P (X = r− 1) + P (X = r) + P (X = r + 1)
= P (Xi = 1)P (X(i) = r− 2) + P (Xi = 1)P (X(i) = r− 1) + P (Xi = 1)P (X(i) = r) P (X = r− 1) + P (X = r) + P (X = r + 1)
(5.1)
‧
29-30、31-32 、33、34 的分組方式加總，並將結果置於表 D.1.1中。
2. 將 F(i)(t) 的係數值按答對 0-4、5-7、8-9、10-12、13-17，18-22、23-25，26-27，
28-29、30-31 、32、33 的分組方式加總，並將結果置於表 D.1.2到表 D.1.3中。
3. 利用表 A.1.1與步驟 1 到步驟 2 的結果，計算出各能力組對應之 Pi∗(θ∗)，並將結 果置於表 D.1.4至表 D.1.5中。
4. 利用步驟 3，計算出 Q∗i(θ∗)。
5. 利用步驟 3 與步驟 4 求得的結果，和各組能力值，配適線性模型公式 (5.3)，可 求得 a∗i 和 b∗i 的值。
‧
F (t) = 0.0000t34+0.0000t33+0.0000t32+0.0000t31+0.0002t30+0.0010t29+0.0033t28+ 0.0093t27+ 0.0215t26+ 0.0424t25+ 0.0715t24+ 0.1039t23+ 0.1312t22+ 0.1446t21+ 0.7390∗ 0.1534
0.1355 = 0.8366。
下方為能力分布常態化後配適 2PL 模型之難度與鑑別度，結果如下：
表 5.4.2: 能力分布常態化後 2PL 模型之難度與鑑別度
題號 難度 鑑別度
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
1 -1.2106 0.8304 2 -1.3254 0.8299 3 -1.64 0.8283 4 -0.3745 0.8321 5 -1.5142 0.829 6 -1.5319 0.8289 7 -1.3133 0.83 8 -0.8318 0.8316 9 -1.6322 0.8284 10 -1.0168 0.8311 11 -1.3499 0.8298 12 -0.7801 0.8317 13 -0.9562 0.8313 14 -0.8194 0.8316 15 -0.5539 0.832 16 -0.5015 0.8321 17 -0.679 0.8319 18 -0.4124 0.8321 19 -0.7073 0.8318
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
20 -0.3307 0.8321 21 -0.7008 0.8319 22 -0.6187 0.832 23 -0.2438 0.832 24 -0.4765 0.8321 25 -0.2579 0.832 26 0.0717 0.8313 27 0.5023 0.8293 28 0.5611 0.8289 29 0.7591 0.8275 30 0.2406 0.8307 31 0.1272 0.8311 32 0.5033 0.8293 33 1.3105 0.8221 34 0.6269 0.8285
能力分布常態化後，我們發現試題的難度值和鑑別度值都比常態化前低。由於常態 化後的 Pi∗(θ∗) 值較常態化前的 Pi(r) 值高，也就是各組答對第 i 題的機率會變高，因 此難度相對變低。表 5.4.2中顯示 1 到 26 題以及 30、31 都是簡單題型，第 27、28、
29、32、34 屬於〝偏難〞的題型。特別值得注意的是，能力分布常態化前原本被判定 為〝難題〞的第 29 題，在能力分布常態化後卻被判定為〝偏難〞的題型，新的判定結
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
果與 CTT 無母數方法、母數方法之判定結果吻合。對鑑別度而言，經比較表 4.3.3與表 5.4.2後，發現能力分布常態化後亦是比常態化前略低一些，但根據 Baker Frank(2004) 提出的鑑別度評鑑標準，即表 2.4.3，能力分布常態化後的鑑別度仍然在適中的範圍 內。在圖 5.4中, 我們也可看出能力分布常態化後之特徵曲線的狀況仍屬正常，可再次 排除鑑別度異常的狀況。能力值與轉換後答對率的線性相關係數也很高，表示配適出 的難度與鑑別度值可以反映真實狀況。
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
圖 5.4: 能力分布常態化後試題特徵曲線圖與相關係數