結果分析

第四章研究結果與討論

第一節結果分析

針對「高低鑑別指數核平滑化無參數估計值」、「相關鑑別指數核平滑化無參數估計值」及「核平滑化無參數IRT 模式常態 CDF 轉換遞迴估計」三種不同模式下，對不同人數(40 人、80 人、120 人、160 人)、不同題數(50 題、40 題、30 題)之 12 種組合樣本進行能力值之估計分析。為求精確並降低偏誤，每組情形分別抽樣 20 次、30 次、50 次、100 次。得到模擬試驗之能力值均方差

MSE

平均值共144 組，詳如附錄一、二。

以下分別針對測驗題數、受試者人數及抽樣次數之改變，對三種模式之能力值估計精準度作一比較分析如下：

壹、測驗題數之改變，對三種模式能力參數估計精準度之比較。

表 4-1 至表 4-4 依次為受試者人數固定 40 人、80 人、120 人、160 人之抽樣 20 次、30 次、50 次、100 次時，三種模式與不同題數組合下，能力參數估計誤差

MSE

比較表。依表 4-1 至表 4-4 數值，比較測驗題數之改變，對高低鑑別加權模式、相關鑑別加權模式、常態CDF 轉換模式之能力值參數估計效果。

一、高低鑑別加權模式

(一)、以表 4-1(抽樣 20 次)為例，受試者人數 40 人時，高低鑑別加權模式之測驗題數由30 題增至 40 題、50 題時，其能力參數估計誤差之

MSE

平均值由0.1481 逐漸下降至0.1186，能力估計精準度逐漸提高。同樣在受試者人數固定為 80 人、

120 人、160 人時，隨著測驗題數增加，其

MSE

值皆呈現逐漸下降之趨勢，能力估計精準度隨之逐漸提高。

(二)、在表 4-2(抽樣 30 次)、表 4-3(抽樣 50 次)、表 4-4(抽樣 100 次)皆可看出相同的

MSE

值變化情形，即測驗題數增加時，高低鑑別加權模式之

MSE

值下降，能力估計精準度提高。

(一)、以表 4-1(抽樣 20 次)為例，受試者人數 40 人時，相關鑑別加權模式之測驗題數由30 題增至 40 題、50 題時，其能力參數估計誤差

MSE

平均值由0.1382 逐漸下降至0.1156，能力估計精準度逐漸提高。一一檢視受試者人數固定為 80 人、120 人、160 人時，隨著測驗題數增加，

MSE

值皆呈現逐漸下降之趨勢，能力估計精準度隨之逐漸提高。

(二)、在表 4-2(抽樣 30 次)、表 4-3(抽樣 50 次)、表 4-4(抽樣 100 次)皆可看出相同的

MSE

值改變情形，即測驗題數增加時，相關鑑別指數模式之

MSE

值下降，能力估計精準度提高。

三、常態 CDF 轉換模式

(一)、以表 4-1(抽樣 20 次)為例，受試者人數 40 人時，常態 CDF 轉換模式之測驗題數由30 題增至 40 題、50 題時，其能力參數估計誤差

MSE

平均值由0.1295 逐漸下降至0.0993，能力估計精準度逐漸提高。逐一檢視受試者人數固定為 80 人、120 人、160 人時，隨著測驗題數增加，

MSE

值皆呈現逐漸下降之趨勢，能力估計精準度隨之逐漸提高。

(二)、在表 4-2(抽樣 30 次)、表 4-3(抽樣 50 次)、表 4-4(抽樣 100 次)皆可看出相同的

MSE

值改變情形，即測驗題數增加時，常態CDF 轉換模式之

MSE

值下降，能力估計精準度提高。

四、三種模式之能力值估計精準度比較

(一)、以表 4-1(抽樣 20 次)為例，受試者人數 40 人時，測驗題數為 30 題、

40 題、50 題之高低鑑別指數(模式 1)、相關鑑別指數(模式 2)及常態 CDF 轉換(模式3)能力參數估計誤差

MSE

平均值比較，高低鑑別加權模式

MSE

平均為0.1335，

相關鑑別加權模式

MSE

平均為0.1273，常態 CDF 轉換模式

MSE

平均為0.1152。

MSE

值平均顯示常態CDF 轉換模式之能力值估計精準度優於相關鑑別加權模式；相關鑑別加權模式之能力值估計精準度優於高低鑑別加權模式。在表4-1 中，

受試者人數固定為80 人、120 人、160 人時，同樣地，

MSE

平均仍呈現常態CDF 轉換模式之

MSE

值最小，其次相關鑑別加權模式

MSE

值，而高低鑑別加權模式之

MSE

值仍是三種模式中最大，其能力值估計精準度不如其他二模式。

(二)、在表 4-2(抽樣 30 次)、表 4-3(抽樣 50 次)、表 4-4(抽樣 100 次)皆可看出相同的

MSE

平均改變情形，即在不同的測驗題數下，常態CDF 轉換模式之

MSE

值最小，能力值估計精準度最高，其次為相關鑑別加權模式之估計精準度，且二者之能力值估計精準度皆優於高低鑑別加權模式。

表4-1 相同人數、不同題數之三種模式能力參數估計

MSE

值比較(抽樣20次)

人題抽樣20 次

數數模式1 高低鑑別指數

模式2 相關鑑別指數

模式3 常態CDF 轉換

30 題 .1481 .1382 .1295 40 題 .1339 .1281 .1167 50 題 .1186 .1156 .0993 40 人

平均

.1335 .1273 .1152

30 題 .1191 .1133 .1084 40 題 .1033 .0989 .0982 50 題 .0852 .0805 .0735 80 人

平均

.1025 .0976 .0934

30 題 .1129 .1084 .1051 40 題 .0881 .0829 .0818 50 題 .0733 .0697 .0689 120 人

平均

.0914 .0870 .0853

30 題 .1162 .1079 .1037 40 題 .0832 .0793 .0787 50 題 .0718 .0685 .0684 160 人

平均

.0904 .0852 .0836

表4-2 相同人數、不同題數之三種模式能力參數估計

MSE

值比較(抽樣30次)

人題抽樣30 次

數數模式1 高低鑑別指數

模式2 相關鑑別指數

模式3 常態CDF 轉換 30 題 .1282 .1206 .1124 40 題 .1256 .1205 .1050 50 題 .1211 .1170 .0925 40 人

平均

.1250 .1194 .1033

30 題 .1210 .1134 .1099 40 題 .1034 .0984 .0917 50 題 .0861 .0842 .0775 80 人

平均

.1035 .0987 .0930

30 題 .1089 .1041 .1031 40 題 .0912 .0837 .0793 50 題 .0768 .0725 .0707 120 人

平均

.0923 .0868 .0844

30 題 .1055 .1020 .0972 40 題 .0807 .0771 .0757 50 題 .0697 .0673 .0670 160 人

平均

.0853 .0821 .0800

表4-3 相同人數、不同題數之三種模式能力參數估計

MSE

值比較(抽樣50次)

人題抽樣50 次

數數模式1 高低鑑別指數

模式2 相關鑑別指數

模式3 常態CDF 轉換 30 題 .1411 .1353 .1275 40 題 .1249 .1200 .1105 50 題 .1126 .1088 .0974 40 人

平均

.1262 .1214 .1118

30 題 .1228 .1150 .1075 40 題 .1080 .1009 .1006 50 題 .0908 .0853 .0822 80 人

平均

.1072 .1004 .0968

30 題 .1097 .1069 .1022 40 題 .0905 .0859 .0857 50 題 .0732 .0700 .0666 120 人

平均

.0911 .0876 .0848

30 題 .1038 .0983 .0975 40 題 .0836 .0799 .0795 50 題 .0702 .0669 .0644 160 人

平均

.0859 .0817 .0805

表4-4 相同人數、不同題數之三種模式能力參數估計

MSE

比較(抽樣100次)

人題抽樣100 次

數數模式1 高低鑑別指數

模式2 相關鑑別指數

模式3 常態CDF 轉換 30 題 .1441 .1373 .1332 40 題 .1180 .1141 .1090 50 題 .1112 .1082 .0958 40 人

平均

.1244 .1199 .1127

30 題 .1205 .1143 .1120 40 題 .0997 .0941 .0894 50 題 .0816 .0777 .0773 80 人

平均

.1006 .0954 .0929

30 題 .1080 .1035 .1000 40 題 .0878 .0824 .0808 50 題 .0758 .0724 .0714 120 人

平均

.0905 .0861 .0841

30 題 .1034 .0994 .0976 40 題 .0847 .0800 .0774 50 題 .0713 .0680 .0672 160 人

平均

.0865 .0825 .0807

五、小結

綜合表4-1 至表 4-4 之資料，因資料數量不少，各組

MSE

比較折線圖如附錄 C，茲選擇不同人數、抽樣次數之組合：40 人抽樣 50 次、80 人抽樣 30 次、120 人抽樣100 次，以圖 4-1、圖 4-2、圖 4-3 分別呈現不同測驗題數之高低鑑別指數 (模式 1)、相關鑑別指數(模式 2)及常態 CDF 轉換(模式 3)之能力參數估計誤差

MSE

平均值比較折線圖。由折線圖可見模式3 之

MSE

＜模式2 之

MSE

＜模式1 之

MSE

外，且每一模式之

MSE

平均值隨著題數增加而下降，說明能力值估計精準度為模式3＞模式 2＞模式 1，且隨著題數增加而提高能力值估計精準度。綜合上述分析及觀察下列圖示，歸納如下結論：

(一)、受試者人數固定、抽樣次數也固定時，在估計過程中，不論是高低鑑別加權模式、相關鑑別加權模式、常態CDF 轉換模式，皆呈現測驗題數增加，

MSE

值逐漸下降，能力值估計精準度隨著測驗題數增加而提高。

(二)、不同模式下，測驗題數之改變，對三種模式之參數估計精準度來看，

相關鑑別加權模式之

MSE

值低於高低鑑別加權模式，而常態CDF 轉換模式之

MSE

值又低於相關鑑別加權模式。即常態CDF 轉換模式之能力值估計精準度最佳，其次為相關鑑別加權模式，且二者皆優於高低鑑別加權模式。

樣本40人抽樣50次

.090 .100 .110 .120 .130 .140 .150

30題 40題 50題 ^抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)

圖4-1 不同測驗題數之三種模式

MSE

平均值比較折線圖(40 人抽樣 50 次)

樣本80人抽樣30次

.070 .080 .090 .100 .110 .120 .130

30題 40題 50題 ^抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)

圖4-2 不同測驗題數之三種模式

MSE

平均值比較折線圖(80 人抽樣 30 次)

樣本120人抽樣100次

.065 .075 .085 .095 .105 .115

30題 40題 50題 ^抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)

圖4-3 不同測驗題數之三種模式

MSE

平均值比較折線圖(120 人抽樣 100 次)

貳、測驗人數之改變，對三種模式能力參數估計精準度之比較。

表4-5 至表 4-8 依次為測驗題數固定 30 題、40 題、50 題；分別抽樣 20 次、

30 次、50 次、100 次時，受試者人數在 200 以下，三種模式與不同受試者人數(40 人、80 人、120 人、160 人)之組合，能力參數估計誤差

MSE

值比較表。依表 4-5 至表4-8 數值，比較受試者人數改變，對高低鑑別加權模式、相關鑑別加權模式、

常態CDF 轉換模式之能力值參數估計效果。

一、高低鑑別加權模式

(一)、以表 4-5(抽樣 20 次)為例，測驗題數固定為 30 題，受試者人數由 40 人增至80 人時，高低鑑別加權模式之能力參數估計誤差

MSE

值由0.1481 明顯下降至0.1191，人數繼續增加為 120 人，

MSE

值隨之微幅下降為0.1129，估計精準度逐漸提升；但人數增至160 人，此時

MSE

值反而提高為0.1162，受試者人數 160 人的模擬結果能力參數估計不如120 人之估計精準。

(二)、當測驗題數固定為 40 題、50 題時，高低鑑別加權模式之能力參數估計誤差

MSE

值則隨著受試者人數增加，呈現逐漸下降之趨勢，能力估計精準度隨著受試者人數由40 人增至 160 人而逐漸提高。

(三)、在表 4-6(抽樣 30 次)、表 4-7(抽樣 50 次)、表 4-8(抽樣 100 次)中，高低鑑別加權模式之

MSE

值皆隨著受試者人數增加而逐漸下降，能力估計精準度隨著受試者人數增加而提高。

二、相關鑑別加權模式

(一)、以表 4-5(抽樣 20 次)為例，測驗題數固定為 30 題，受試者人數由 40 人增至80 人時，相關鑑別加權模式之能力參數估計誤差

MSE

平均值由0.1382 下降為0.1133，人數繼續增加為 120 人、160 人，

MSE

值隨之下降為0.1084、0.1079，

能力估計精準度逐漸提高。當測驗題數固定為40 題時，相關鑑別加權模式之能力參數估計誤差

MSE

值同樣隨著受試者人數增加，依次為0.1281＜0.0989＜

0.0829＜0.0793，呈現逐漸下降之趨勢；題數固定為 50 題時，相關鑑別加權模式之

MSE

值隨著受試者人數增加，依次為0.1156＜0.0805＜0.0697＜0.0685，

MSE

值逐漸下降，代表能力估計精準度隨著受試者人數由40 人增至 160 人而逐漸提高。

(二)、在表 4-6(抽樣 30 次)、表 4-7(抽樣 50 次)、表 4-8(抽樣 100 次)中，相關鑑別加權模式之

MSE

值變化情形與表4-5 同，即受試者人數增加時，相關鑑別加權模式之

MSE

值逐漸下降，能力估計精準度隨著受試者人數增加而提高。

三、常態 CDF 轉換模式

(一)、以表 4-5(抽樣 20 次)為例，測驗題數固定為 30 題，受試者人數由 40 人增至80 人時，常態 CDF 轉換模式之能力參數估計誤差

MSE

平均值由0.1295 明顯下降至0.1084，人數繼續增加為 120 人、160 人，

MSE

值隨之微幅下降為 0.1051、0.1037，能力估計精準度逐漸提高。當測驗題數固定為 40 題、50 題時，

常態CDF 轉換模式之能力參數估計誤差

MSE

值同樣隨著受試者人數增加，呈現逐漸下降之趨勢，能力估計精準度隨著受試者人數由40 人增至 160 人而逐漸提高。

(二)、在表 4-6(抽樣 30 次)、表 4-7(抽樣 50 次)、表 4-8(抽樣 100 次)中，常態CDF 轉換模式之

MSE

值變化與表4-5 同，即受試者人數增加時，常態 CDF 轉換模式之

MSE

值逐漸下降，能力估計精準度隨著受試者人數增加而提高。

四、測驗人數改變對三種模式之能力值估計精準度比較。

(一)、以表 4-5(抽樣 20 次)為例，測驗題數固定為 30 題，受試者人數由 40

式1)

MSE

平均0.1241＞相關鑑別指數(模式 2)

MSE

平均0.1170＞常態 CDF 轉換 (模式 3)

MSE

平均0.1117，

MSE

值平均顯示常態CDF 轉換模式之能力值估計精準度優於相關鑑別加權模式；相關鑑別加權模式之能力值估計精準度優於高低鑑別加權模式。在表4-6 中，題數固定為 40 題、50 題時，同樣地，

MSE

平均仍呈現常態CDF 轉換模式之

MSE

平均值最小，其次為相關鑑別加權模式

MSE

平均值，

而高低鑑別加權模式之

MSE

平均值仍是三種模式中最大，其能力值估計精準度最不理想。

(二)、在表 4-6(抽樣 30 次)、表 4-7(抽樣 50 次)、表 4-8(抽樣 100 次)皆呈現相同的

MSE

平均值變化情形，即在不同的受試者人數下，常態CDF 轉換模式之

MSE

平均值最小，能力值估計精準度最高，其次為相關鑑別加權模式之估計精準度，且二者之能力值估計精準度皆優於高低鑑別加權模式。

表4-5 相同題數、不同人數之三種模式能力參數估計

MSE

值比較(抽樣20次)

題人抽樣20 次

數數模式1 高低鑑別指數

模式2 相關鑑別指數

模式3 常態CDF 轉換 40 人 .1481 .1382 .1295 80 人 .1191 .1133 .1084 120 人 .1129 .1084 .1051 160 人 .1162 .1079 .1037 30 題

平均

.1241 .1170 .1117

40 人 .1339 .1281 .1167

80 人 .1033 .0989 .0982 120 人 .0881 .0829 .0818 160 人 .0832 .0793 .0787 40 題

平均

.1021 .0973 .0939

40 人 .1186 .1156 .0993

80 人 .0852 .0805 .0735 120 人 .0733 .0697 .0689 160 人 .0718 .0685 .0684 50 題

平均

.0872 .0836 .0775

表4-6 相同題數、不同人數之三種模式能力參數估計

MSE

值比較(抽樣30次)

表4-6 相同題數、不同人數之三種模式能力參數估計

MSE

值比較(抽樣30次)

在文檔中核平滑化無參數IRT模式常態轉換遞迴估計之蒙地卡羅模擬研究 (頁 51-70)

第四章 研究結果與討論

第一節 結果分析

MSE

壹、測驗題數之改變，對三種模式能力參數估計精準度之比較。

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

.1335 .1273 .1152

.1025 .0976 .0934

.0914 .0870 .0853

.0904 .0852 .0836

MSE

.1250 .1194 .1033

.1035 .0987 .0930

.0923 .0868 .0844

.0853 .0821 .0800

MSE

.1262 .1214 .1118

.1072 .1004 .0968

.0911 .0876 .0848

.0859 .0817 .0805

MSE

.1244 .1199 .1127

.1006 .0954 .0929

.0905 .0861 .0841

.0865 .0825 .0807

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

MSE

樣本40人 抽樣50次

.090 .100 .110 .120 .130 .140 .150

30題 40題 50題 抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴 估計(模式3)

MSE

樣本80人 抽樣30次

.070 .080 .090 .100 .110 .120 .130

30題 40題 50題 抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴 估計(模式3)

MSE

樣本120人 抽樣100次

.065 .075 .085 .095 .105 .115

30題 40題 50題 抽樣次數

MSE

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴 估計(模式3)

MSE

貳、測驗人數之改變，對三種模式能力參數估計精準度之比較。

MSE

MSE

MSE

第四章研究結果與討論

第一節結果分析

樣本40人抽樣50次

30題 40題 50題 ^抽樣次數

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)

樣本80人抽樣30次

30題 40題 50題 ^抽樣次數

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)

樣本120人抽樣100次

30題 40題 50題 ^抽樣次數

高低鑑別指數 (模式1) 相關鑑別指數 (模式2) CDF轉換遞迴估計(模式3)