第四章 研究結果
第二節 試題項目分析
本節呈現古典測驗理論及試題反應理論之試題項目分析,茲分述如下:
壹、古典測驗理論
依古典理論,測驗難度計算方式為 P=(PH+PL)/2,鑑度計算方式為 D=PH
-PL,各推理能力測驗平均難度鑑別度一覽表如表 4-4,詳細數值如附錄三。
表 4-4
正式試題平均難度、鑑別度一覽表(CTT)
圖形推理 能力測驗
語文推理 能力測驗
數系推理 能力測驗
平均難度 0.56 0.58 0.52
平均鑑別度 0.53 0.54 0.53
一、圖形推理能力測驗
(一)難度分析
此測驗難度值介於 0.4~0.71,平均難度值為 0.56,有 59%的試題難度值介於 0.4~0.6 之間,屬於難度適中;難度值介於 0.6~0.8 之間,共佔 41%,屬於容易試 題,本試題並無難度值低於 0.2 的極困難試題或大於 0.8 極容易試題,由此可以 顯示圖形推理能力測驗難度適宜,如表 4-5。
表 4-5
圖形推理能力測驗難度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例
0.8≦P 極容易 0%
0.6≦P<0.8 容易 1、3、5、8、9、10、12
14、15 41%
0.4≦P<0.6 適中 2、4、6、7、11、13、16 59%
74
表 4-5
圖形推理能力測驗難度分析摘要表
17、18、19、20、21、22
0.2≦P<0.4 困難 0%
P<0.2
極困難 0%(二)鑑別度分析
此測驗鑑別度值介於 0.43~0.72,平均鑑別度為 0.56,有 100%的試題鑑別度 大於 0.4,屬於非常優良,由此可以顯示圖形推理能力測驗具有良好之鑑別度,
如表 4-6。
表 4-6
圖形推理能力測驗鑑別度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例 0.4≧D 非常優良 1、2、3、4、5、6、7、8
9、10、11、12、13、14 15、16、17、18、19、20
21、22
100%
0.3≦D<0.4 優良 0%
0.2≦D<0.3 尚可 0%
D<0.2
劣 0%二、語文推理能力測驗
(一)難度分析
此測驗難度值介於 0.35~0.72,平均難度值為 0.58,有 55%的試題難度值介 於 0.6~0.8 之間,屬於容易試題;有 35%的試題難度值介於 0.4~0.6 之間,屬於難 度適中試題;難度值介於 0.2~0.4 之間,共佔 10%,屬於困難試題,本試題並無 難度值低於 0.2 的極困難試題或大於 0.8 極容易試題,由此可以顯示語文推理能 力測驗難度適宜,如表 4-7。
75
表 4-7
語文推理能力測驗難度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例
0.8≦P 極容易 0%
0.6≦P<0.8 容易 5、7、8、9、12、13、14 16、17、20、21、22、23
24、25、29
55%
0.4≦P<0.6 適中 11、15、10、27、4、6、2
3、1、28 35%
0.2≦P<0.4 困難 18、19、26 10%
P<0.2
極困難 0%(二)鑑別度分析
此測驗鑑別度值介於 0.39~0.77,平均鑑別度為 0.54,有 90%的試題鑑別度 大於 0.4,屬於非常優良試題;有 10%的試題鑑別度值介於大於 0.2~0.4,屬於優 良試題,由此可以顯示語文推理能力測驗具有良好之鑑別度,如表 4-8。
表 4-8
語文推理能力測驗鑑別度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例 0.4≦D 非常優良 1、2、3、5、6、7、8、9
10、11、12、13、14、15 16、17、18、20、21、22 23、24、25、26、27、28
90%
0.3≦D<0.4 優良 4、19、29 10%
0.2≦D<0.3 尚可 0%
D<0.2
劣 0%76
三、數系推理能力測驗
(一)難度分析
此測驗難度值介於 0.33~0.70,平均難度值為 0.52,有 24%的試題難度值介 於 0.6~0.8 之間,屬於容易試題;有 67%的試題難度值介於 0.4~0.6 之間,屬於難 度適中試題;難度值介於 0.2~0.4 之間,共佔 9%,屬於困難試題,本試題並無難 度值低於 0.2 的極困難試題或大於 0.8 極容易試題,由此可以顯示數系推理能力 測驗難度適宜,如表 4-9。
表 4-9
數系推理能力測驗難度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例
0.8≦P 極容易 0%
0.6≦P<0.8 容易 1、5、9、13、15 24%
0.4≦P<0.6 適中 2、3、4、6、7、8、10 11、12、14、16、18、19
21
67%
0.2≦P<0.4 困難 17、20 9%
P<0.2
極困難 0%(二)鑑別度分析
此測驗鑑別度值介於 0.36~0.70,平均鑑別度為 0.53,有 95%的試題鑑別度 大於 0.4,屬於非常優良試題;有 5%的試題鑑別度值介於大於 0.2~0.4,屬於優良 試題,由此可以顯示數系推理能力測驗具有良好之鑑別度,如表 4-10。
77
表 4-10
數系推理能力測驗鑑別度分析摘要表
難度 試題評鑑 對應試題
(正試題號) 占試題比例 0.4≦D 非常優良 1、3、4、5、6、7、8、9
10、11、12、13、14、15 16、17、18、19、20、21
95%
0.3≦D<0.4 優良 2 5%
0.2≦D<0.3 尚可 0%
D<0.2
劣 0%貳、試題反應理論
一、模式適合度檢定
本研究針對單參數模式、二參數模式、三參數模式進行參數估計,並列出各 參數模式未符合該模式之題數(若卡方檢定的P值小於0.05,則表示該試題並不符 合該模式),如表4-11。
表4-11
各參數模式未符合該模式之題數一覽表
1PL 2PL 3PL
圖形推理能力測驗 6題 2題 6題
語文推理能力測驗 15題 15題 19題
數系推理能力測驗 11題 6題 9題
由各模式中可發現,在二參數模式不符合的題數較少,可知本份測驗在二參 數模式較單參數模式及三參數模式適合,故接下來就以二參數來進行難度和鑑別 度的分析,並以二參數所估計出之能力值進行之後的各項差異分析。
78
79
表 4-12
正試試題難度、試題鑑別度參數一覽表(IRT)
題號 圖形推理能力測驗 語文推理能力測驗 數系推理能力測驗 鑑別度參數 難度參數 鑑別度參數 難度參數 鑑別度參數 難度參數
26 0.71 0.85
27 1.10 0.08
28 0.46 -0.38
29 0.49 -1.11
平均 0.61 -0.33 0.72 -0.39 0.61 -0.12
由表 4-12 中可得知,各測驗在難度分析上,圖形推理能力測驗難度參數值 介於-1.25~0.65,平均難度為-0.33;語文推理能力測驗難度參數值介於-1.31~1.29,
平均難度為-0.39;數系推理能力測驗難度參數值介於-1.31~1.02,平均難度為 -0.12。
在各測驗的鑑別度分析上,圖形推理能力測驗鑑別度參數值介於 0.43~0.98,
平均鑑別度參數值為 0.61;語文推理能力測驗鑑別度參數值介於 0.42~1.55,平均 鑑別度參數值為 0.72;數系推理能力測驗鑑別度參數值介於 0.40~1.14,平均鑑別 度參數值為 0.61。
由試題反應理論中的試題難度分析,各測驗平均難度值皆接近於 0,顯示各 測驗之難易度適中;在試題鑑別度分析方面,皆未低於 0.4,顯示各測驗皆能區 別不同能力水準的受試者,具有良好的鑑別度。
由本節可得知,不管是採用古典理論或試題反應理論,研究者編製之圖形、
語文及數系推理能力測驗,皆具有良好的試題品質。
80