• 沒有找到結果。

同時估計法與分開估計法等化結果比較

貳、不同能力水準差距下的等化結果

第三節 同時估計法與分開估計法等化結果比較

本研究採定錨測驗等化設計,參數估計方法主要有同時估計法與分開估計 法,其中分開估計時採用特徵曲線法進行參數量尺的連結,以下針對兩種等化結 果進行比較。

壹、不同題本數下的等化結果

以下針對二份、三份、四份題本三種設計下,各情境以同時估計法與分開估 計法估得受試者能力值、鑑別度參數、難度參數,求其估計值與真值的RMSE(θ)、

RMSE(a)、RMSE(b)。

一、受試者能力值

不同題本數設計下,以同時估計法與分開估計法得RMSE(θ)如表 4-13。

表4-13 不同題本數同時估計與分開估計 RMSE(θ)之比較

題本數 二份題本 三份題本 四份題本

情 境 同時估計 分開估計 同時估計 分開估計 同時估計 分開估計 3001 0.48992 0.50523 0.48913 0.51878 0.48613 0.51401 3010 0.48662 0.50013 0.48525 0.49894 0.48431 0.50468 3020 0.48609 0.49041 0.48241 0.48972 0.47986 0.48858 3030 0.48417 0.48773 0.47696 0.48342 0.47739 0.48435 4001 0.43353 0.46667 0.43445 0.47966 0.43429 0.47573 4010 0.43410 0.44437 0.43349 0.44658 0.43303 0.44377 4020 0.43240 0.43744 0.43208 0.43847 0.43316 0.44197 4030 0.43070 0.43489 0.43250 0.43627 0.43191 0.43782

題本數 二份題本 三份題本 四份題本 情 境 同時估計 分開估計 同時估計 分開估計 同時估計 分開估計

5001 0.39777 0.43144 0.39679 0.43140 0.39646 0.43631 5010 0.39769 0.40591 0.39612 0.40499 0.39606 0.40976 5020 0.39592 0.39967 0.39614 0.40133 0.39576 0.40057 5030 0.39572 0.39928 0.39539 0.39961 0.39497 0.39866 註:情境中數字前兩碼表示題本題數、末兩碼表定錨題比例(01 者為單題定錨

題設計)

同時觀察表4-13 中同時與分開兩估計法的 RMSE(θ),發現當題本題數為 30 題、40 題、50 題時,RMSE(θ)分別介於 0.47696~0.51401、0.43070~0.47966、

0.39497~0.43631,顯示題本題數仍是影響誤差的主要因素。因此,依據表 4-13

3001-2 3010-2 3020-2 3030-2 3001-3 3010-3 3020-3 3030-3 3001-4 3010-4 3020-4 3030-4

情境 RMSE

同時估計 分開估計

圖4-13.1 不同題本數同時估計與分開估計 RMSE(θ)之比較(30 題)

0.360

4001-2 4010-2 4020-2 4030-2 4001-3 4010-3 4020-3 4030-3 4001-4 4010-4 4020-4 4030-4

情境

5001-2 5010-2 5020-2 5030-2 5001-3 5010-3 5020-3 5030-3 5001-4 5010-4 5020-4 5030-4 情境 RMSE

二、鑑別度參數

不同題本數設計下以同時估計法與分開估計法所得RMSE(a)如表 4-14 表4-14 不同題本數同時估計與分開估計 RMSE(a)之比較

題本數 二份題本 三份題本 四份題本

情 境 同時估計 分開估計 同時估計 分開估計 同時估計 分開估計 3001 0.21537 0.23837 0.48148 0.22747 0.52906 0.29802 3010 0.21443 0.21795 0.48681 0.20367 0.51488 0.26181 3020 0.21330 0.21207 0.49166 0.19790 0.51106 0.28383 3030 0.21610 0.21383 0.49666 0.20533 0.50074 0.28150 4001 0.18812 0.21987 0.48434 0.23519 0.51090 0.28669 4010 0.18900 0.19473 0.48507 0.19760 0.49807 0.25903 4020 0.19324 0.19384 0.47745 0.19162 0.50687 0.26297 4030 0.18606 0.18799 0.47291 0.19145 0.51055 0.27112 5001 0.18163 0.21402 0.46752 0.22173 0.51002 0.31639 5010 0.18429 0.18980 0.46292 0.19555 0.50577 0.27090 5020 0.18366 0.18681 0.46886 0.19191 0.48615 0.24270 5030 0.17731 0.17784 0.46798 0.18426 0.48685 0.25885 註:情境部分:數字前兩碼表示題本題數,末兩碼表定錨題比例(01 者為單題定

錨題設計)。

圖4-14.1 二份題本下同時估計與分開估計 RMSE(a)之比較

圖4-14.2 三份題本下同時估計與分開估計 RMSE(a)之比較

圖4-14.3 四份題本下同時估計與分開估計 RMSE(a)之比較

RMSE(a)在二份題本時大多以同時估計法的估計誤差較小,不過,僅有在單 題定錨差異較明顯,其餘定錨比例兩種估計法的差異很小。但三份題本以上,分 開估計所得RMSE(a)一致性的小於同時估計,因隨著題本數的增加,同時估計的 誤差會劇增,但分開估計的RMSE(a)則增加較緩,兩者的差距因而隨之拉大。

三、難度參數

不同題本數設計下以同時估計法與分開估計法所得RMSE(b)如表 4-15 表4-15 不同題本數同時估計與分開估計 RMSE(b)之比較

題本數 二份題本 三份題本 四份題本

情 境 同時估計 分開估計 同時估計 分開估計 同時估計 分開估計

3001 0.34756 0.35998 0.36189 0.41191 0.52618 0.52777 3010 0.34327 0.34931 0.34337 0.34847 0.49320 0.49412 3020 0.35094 0.35070 0.35019 0.34905 0.54234 0.53524 3030 0.31835 0.31801 0.34818 0.34848 0.46675 0.46926 4001 0.33545 0.36055 0.35191 0.38316 0.56250 0.57789 4010 0.33669 0.34379 0.34380 0.34981 0.53353 0.53137 4020 0.34192 0.34391 0.35128 0.35152 0.53485 0.57342 4030 0.33970 0.34178 0.34791 0.35198 0.48976 0.49306 5001 0.33771 0.36182 0.32654 0.35502 0.52313 0.56855 5010 0.33715 0.34145 0.32509 0.32682 0.51870 0.51723 5020 0.34337 0.34878 0.32739 0.32975 0.53939 0.53642 5030 0.32430 0.32747 0.33781 0.32869 0.54147 0.54754 註:情境部分:數字前兩碼表示題本題數,後兩碼表定錨題比例 (01 者為單題定

錨題設計) 。

圖4-15.1 二份題本下同時估計與分開估計 RMSE(b)之比較

圖4-15.2 三份題本下同時估計與分開估計 RMSE(b)之比較

圖4-15.3 四份題本下同時估計與分開估計 RMSE(b)之比較

從上面圖表可以發現,RMSE(b)無論何種估計方法,大都隨著題本數的增加 而增加,且兩者誤差成長的趨勢差不多。若就同ㄧ種題本數各情境下觀察,分開 估計的RMSE(b)在單題定錨時明顯較同時估計大,但在其他定錨試題比例上雖然 同時估計的誤差較小,但兩者的差距很接近。

貳、不同能力水準差距下的等化結果

3001 0.4899 0.5052 0.5351 0.4978 0.5909 0.5231 0.7062 0.5569 3010 0.4866 0.5001 0.4955 0.4890 0.5589 0.5255 0.6360 0.5416 3020 0.4861 0.4904 0.4911 0.4900 0.5242 0.5218 0.5927 0.5406 3030 0.4842 0.4877 0.4871 0.4895 0.5295 0.5236 0.5793 0.5455 4001 0.4335 0.4667 0.6717 0.5125 0.7138 0.5652 0.8665 0.5991 4010 0.4341 0.4444 0.4507 0.4485 0.4836 0.4850 0.5503 0.5269 4020 0.4324 0.4374 0.4393 0.4432 0.4672 0.4663 0.5296 0.4884 4030 0.4307 0.4349 0.4387 0.4490 0.4663 0.4603 0.5296 0.4939 5001 0.3978 0.4314 0.6384 0.4392 0.7315 0.4682 0.8767 0.5144 5010 0.3977 0.4059 0.4144 0.4049 0.4476 0.4199 0.5136 0.4473 5020 0.3959 0.3997 0.4100 0.4046 0.4404 0.4216 0.5012 0.4494 5030 0.3957 0.3993 0.4068 0.4015 0.4347 0.4183 0.4976 0.4450 註:情境部分:數字前兩碼表示題本題數,末兩碼表定錨題比例(01 者為單題定

錨題設計)。

圖4-16.1 目標群 N(0,1)下 RMSE(θ)之比較

圖4-16.2 目標群 N(1,1)下 RMSE(θ)之比較

圖4-16.3 目標群 N(1.5,1)下 RMSE(θ)之比較

圖4-16.4 目標群 N(2,1)下 RMSE(θ)之比較

從表4-16 可以發現,無論是同時估計法或是分開估計法,隨著能力水準差 距的增加,RMSE(θ)亦增加。圖 4-16.1 為水平等化的研究結果,以同時估計的 誤差較小,不過,僅有一題定錨試題時差距較明顯,其餘定錨題比例兩者的誤 差趨於相近。

圖4-16.2 ~圖 4-16.4 可以發現,垂直等化時,分開估計的 RMSE(θ)均較小,

尤其以單題定錨的情境,差異十分顯著,且隨著能力水準的差距越大,兩種估 計法RMSE(θ)的差距也越大。

二、鑑別度參數 3001 0.2154 0.2384 0.1930 0.2157 0.1879 0.2238 0.1909 0.2367 3010 0.2144 0.2180 0.1969 0.1967 0.1971 0.1990 0.1973 0.2040 3020 0.2133 0.2121 0.1935 0.1944 0.1894 0.1942 0.1875 0.1985 3030 0.2161 0.2138 0.2001 0.1978 0.1982 0.2033 0.1956 0.2008 4001 0.1881 0.2199 0.1691 0.2123 0.1653 0.2165 0.1651 0.2343 4010 0.1890 0.1947 0.1683 0.1780 0.1752 0.1854 0.1795 0.1878 4020 0.1932 0.1938 0.1756 0.1800 0.1757 0.1788 0.1704 0.1754 4030 0.1861 0.1880 0.1764 0.1834 0.1712 0.1780 0.1707 0.1798 5001 0.1816 0.2140 0.1714 0.1990 0.1672 0.1948 0.1706 0.2077 5010 0.1843 0.1898 0.1628 0.1779 0.1574 0.1724 0.1569 0.1733 5020 0.1837 0.1868 0.1571 0.1696 0.1514 0.1652 0.1528 0.1673 5030 0.1773 0.1778 0.1572 0.1702 0.1518 0.1682 0.1505 0.1679 註:情境部分:數字前兩碼表示題本題數,末兩碼表定錨題比例(01 者為單題定

錨題設計)。

圖4-17.1 目標群 N(0,1)下 RMSE(a)之比較

圖4-17.2 目標群 N(1,1)下 RMSE(a)之比較

圖4-17.3 目標群 N(1.5,1)下 RMSE(a)之比較

圖4-17.4 目標群 N(2,1)下 RMSE(a)之比較

RMSE(a)在大致隨著題本題數的增加而降低,不過差異不大。此外,每ㄧ種 能力水準差距,除了少數情境外,大都以同時估計所估得的RMSE(a)較小,且在 單題定錨時差異更為顯著。

三、難度參數 3001 0.3476 0.3600 0.3829 0.3636 0.4078 0.3837 0.4742 0.4171 3010 0.3433 0.3493 0.3714 0.3486 0.3896 0.3616 0.4229 0.3881 3020 0.3509 0.3507 0.3529 0.3587 0.3614 0.3696 0.3864 0.3917 3030 0.3184 0.3180 0.3234 0.3169 0.3287 0.3335 0.3575 0.3484 4001 0.3355 0.3606 0.5568 0.4061 0.5540 0.4234 0.6473 0.4870 4010 0.3367 0.3438 0.3381 0.3622 0.3621 0.3805 0.3850 0.4008 4020 0.3419 0.3439 0.3423 0.3618 0.3555 0.3724 0.3659 0.3794 4030 0.3397 0.3418 0.3346 0.3558 0.3511 0.3672 0.3650 0.3781 5001 0.3377 0.3618 0.4711 0.3954 0.5164 0.5854 0.4310 5010 0.3372 0.3415 0.3252 0.3619 0.3324 0.3718 0.3483 0.3901 5020 0.3434 0.3488 0.3301 0.3606 0.3366 0.3696 0.3521 0.3885 5030 0.3243 0.3275 0.3160 0.3428 0.3197 0.3518 0.3299 0.3609

0.4012

註:情境部分:數字前兩碼表示題本題數,末兩碼表定錨題比例(01 者為單題定 錨題設計)。

圖4-18.1 目標群 N(0,1)下 RMSE(b)之比較

圖4-18.2 目標群 N(1,1)下 RMSE(b)之比較

圖4-18.3 目標群 N(1.5,1)下 RMSE(b)之比較

圖4-18.4 目標群 N(2,1)下 RMSE(b)之比較

從表4-18 可以發現,無論是同時估計法或是分開估計法,RMSE(b)隨著能力 水準差距的增加而增加。圖4-18.1~圖 14-18.4 為依據表 4-18 按各種能力水準差距 所繪製的長條圖。圖4-18.1 為水平等化情境,兩種估計法的誤差十分接近;圖 4-18.2~圖 4-18.4 為垂直等化情境,單題定錨時分開估計的誤差明顯小於同時估 計,題本題數為30 題時亦然,但其他研究情境均以同時估計的 RMSE(b)較小。

相關文件