• 沒有找到結果。

壹、MATLAB 7

本研究使用 MATLAB 程式產生受試者主要量尺能力、次級量尺能力 與試題參數,進而模擬其作答反應與 HCAT 程序,計算其 Bias、RMSE、

平均信度。

貳、WinBUGS

WinBUGS 為透過 MCMC 的方法處理貝氏模式架構所研發的統計軟體,

適性測驗模組

試題反應模式 選題策略 能力估計法

成果查詢模組

受試者診斷報告列表 管理者查詢介面

使用方法很彈性,目前版本(WinBUGS1.4)有程式撰寫和圖形操作兩種

(劉芝毓,2006)。WinBUGS 軟體可應用的模式相當的廣泛,包括一般線 性和非線性模式、處理連續和非連續性資料及多變量模式(Cowles, 2004;

Qiu, Song, & Tan, 2002;Sturtz, Ligges, & Gelman, 2005)

參、系統建置平台

一、作業系統:CentOS 5。

二、網站伺服器:Apache 2.2.11。

三、資料庫:MySQL 5.1.30。

四、網頁語言:PHP 5.2.8。

五、系統主機:ASUS RS162-E4/RX4。

肆、開發工具

一、PHP 程式編輯軟體:PSPad。

二、網頁編輯軟體:Macromedia Dreamweaver。

第四章 研究結果與討論

第一節 能力估計結果

本實驗之主要量尺數為 1,次級量尺數為 5,模型分為題間多向度與題 內多向度,能力估計模式有二,模式 1 為 Multidimensional CAT Approach,

模式 2 為 Unidimensional CAT Approach;能力估計法分別為 MAP 與 MLE。

表 5~10 分別為測驗長度 50 題與 100 題之 CAT 模擬結果。其詳細的 RMSE 變動圖如圖 16~23,其中,縱軸為 RMSE,橫軸為第 n 次能力估計,n 為 當前作答題數減初始測驗題數加 1,舉例來說,本研究之模型有五個子測 驗,故初始測驗設定為 5 題,則當測驗長度為 50 題時,n=50−5+1=46, 測驗長度為 100 題時,n=100−5+1=96。結果可歸納於以下幾點︰

一、如圖 16 與圖 20、圖 17 與圖 21, MAP 在模式 1 _題內或模式 1_題間,

其主要量尺與次級量尺均優於 MLE。

二、如圖 18 與圖 21、圖 19 與圖 22, MAP 在模式 2_題內或模式 2_題間,

其主要量尺與次級量尺均和 MLE 類似,但又以 MAP 稍好一些。

三、在 Huang(2009)的研究中,模型為題間多向度,能力估計法為 MAP,

其結果顯示模式 1 優於模式 2,而本研究在題間_MAP 之情境下,結 果與 Huang(2009)相同,如圖 16 與圖 18;如圖 20 與圖 22,模式 1 僅 有在主要量尺勝出,次級量尺均輸模式 2。

四、如圖 17 與圖 19,模式 1 在單一個子測驗對應到的次級量尺與主要量 尺優於模式 2;如圖 21 與圖 23,模式 1 僅在主要量尺勝出,次級量尺 均輸模式 2。

五、如圖 16 與圖 17、圖 20 與圖 21,題內多向度模型在多個子測驗對應 到的次級量尺與主要量尺會優於題間多向度,亦即L1L3H1;如圖

18 與圖 19、圖 22 與圖 23,題內多向度模型僅在多個子測驗對應到的

次級量尺會優於題間多向度,亦即L1L3

綜合上述結果,本研究推薦進行 HCAT 時,以模式 1 搭配 MAP 較佳。

表 5 HCAT 於於於於測驗長度測驗長度測驗長度 50 題之測驗長度 題之題之題之 RMSE

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 1_題間_MAP RMSE 0.4646 0.4671 0.4650 0.4659 0.4664 0.4105 STD 0.0084 0.0081 0.0086 0.0091 0.0072 0.0062 模式 1_題內_MAP RMSE 0.4147 0.4485 0.3731 0.4547 0.4555 0.3322 STD 0.0056 0.0079 0.0074 0.0088 0.0067 0.0073 模式 2_題間_MAP RMSE 0.4735 0.4754 0.4742 0.4740 0.4751 0.4305 STD 0.0093 0.0095 0.0081 0.0095 0.0079 0.0066 模式 2_題內_MAP RMSE 0.4026 0.5006 0.3525 0.5097 0.5103 0.4810 STD 0.0081 0.0077 0.0050 0.0090 0.0094 0.0125 模式 1_題間_MLE RMSE 0.7125 0.7061 0.7066 0.7096 0.7086 0.4398 STD 0.0110 0.0101 0.0100 0.0121 0.0102 0.0050 模式 1_題內_MLE RMSE 0.6986 1.0363 0.6993 1.0399 1.0357 0.4270 STD 0.0113 0.0152 0.0100 0.0180 0.0163 0.0143 模式 2_題間_MLE RMSE 0.4743 0.4763 0.4748 0.4752 0.4758 0.4312 STD 0.0085 0.0089 0.0067 0.0097 0.0084 0.0060 模式 2_題內_MLE RMSE 0.4061 0.5031 0.3525 0.5140 0.5153 0.5008 STD 0.0086 0.0083 0.0051 0.0094 0.0094 0.0153

表 6 HCAT 於於於於測驗長度測驗長度測驗長度 50 題之測驗長度 題之題之題之 Bias

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 1_題間_MAP Bias -0.0002 -0.0009 -0.0006 0.0000 -0.0007 -0.0006 STD 0.0065 0.0063 0.0077 0.0068 0.0073 0.0050 模式 1_題內_MAP Bias 0.0012 0.0005 0.0005 0.0008 -0.0013 0.0006 STD 0.0063 0.0061 0.0053 0.0065 0.0067 0.0047 模式 2_題間_MAP Bias -0.0008 0.0004 0.0000 -0.0007 -0.0013 -0.0006

STD 0.0080 0.0074 0.0076 0.0076 0.0073 0.0057 模式 2_題內_MAP Bias 0.0013 0.0001 0.0014 0.0032 -0.0011 0.0022 STD 0.0085 0.0100 0.0053 0.0101 0.0107 0.0143 模式 1_題間_MLE Bias -0.0008 0.0007 0.0024 0.0008 -0.0005 0.0004

表 6(續)

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 1_題內_MLE Bias 0.0004 0.0016 -0.0001 -0.0011 -0.0038 -0.0003 STD 0.0116 0.0195 0.0130 0.0224 0.0218 0.0085 模式 2_題間_MLE Bias 0.0006 -0.0001 0.0006 -0.0003 -0.0013 -0.0002

STD 0.0066 0.0069 0.0079 0.0071 0.0073 0.0049 模式 2_題內_MLE Bias 0.0018 0.0006 0.0009 0.0039 -0.0010 0.0028 STD 0.0089 0.0111 0.0058 0.0106 0.0127 0.0163

表 7 HCAT 於於於於測驗長度測驗長度測驗長度 50 題之測驗長度 題之題之題之平均信度平均信度平均信度平均信度 估計模式_模型_估計法

模式 1_題間_MAP 信度 0.7910

STD 0.0034

模式 1_題內_MAP 信度 0.8271

STD 0.0041

模式 2_題間_MAP 信度 0.7815

STD 0.0037

模式 2_題內_MAP 信度 0.7852

STD 0.0052

模式 1_題間_MLE 信度 0.5491

STD 0.0063

模式 1_題內_MLE 信度 0.2686

STD 0.0123

模式 2_題間_MLE 信度 0.7807

STD 0.0036

模式 2_題內_MLE 信度 0.7794

STD 0.0058

表 8 HCAT 於測驗長度於測驗長度於測驗長度於測驗長度 100 題之題之題之 RMSE題之

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 1_題間_MAP RMSE 0.3720 0.3727 0.3715 0.3724 0.3731 0.3485 STD 0.0058 0.0054 0.0055 0.0055 0.0051 0.0061 模式 1_題內_MAP RMSE 0.3282 0.4049 0.3235 0.4140 0.4146 0.3122 STD 0.0044 0.0066 0.0055 0.0067 0.0065 0.0072 模式 2_題間_MAP RMSE 0.3800 0.3817 0.3801 0.3805 0.3823 0.3789 STD 0.0071 0.0068 0.0057 0.0070 0.0065 0.0066 模式 2_題內_MAP RMSE 0.3243 0.4290 0.2920 0.4357 0.4371 0.4278 STD 0.0050 0.0061 0.0055 0.0076 0.0070 0.0105 模式 1_題間_MLE RMSE 0.4908 0.4894 0.4917 0.4911 0.4909 0.3603 STD 0.0061 0.0066 0.0070 0.0069 0.0077 0.0060 模式 1_題內_MLE RMSE 0.4781 0.7332 0.4784 0.7354 0.7312 0.3583 STD 0.0062 0.0128 0.0072 0.0120 0.0127 0.0099 模式 2_題間_MLE RMSE 0.3803 0.3817 0.3806 0.3815 0.3824 0.3787 STD 0.0063 0.0064 0.0050 0.0073 0.0065 0.0065 模式 2_題內_MLE RMSE 0.3252 0.4291 0.2925 0.4365 0.4379 0.4346 STD 0.0050 0.0056 0.0052 0.0072 0.0074 0.0110

表 9 HCAT 於測驗長度於測驗長度於測驗長度於測驗長度 100 題之題之題之 Bias 題之

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 1_題間_MAP Bias 0.0003 0.0001 -0.0003 -0.0009 -0.0010 -0.0005 STD 0.0053 0.0055 0.0066 0.0058 0.0060 0.0050 模式 1_題內_MAP Bias 0.0014 0.0011 0.0004 0.0009 -0.0018 0.0007 STD 0.0047 0.0060 0.0042 0.0065 0.0067 0.0048 模式 2_題間_MAP Bias 0.0006 0.0011 0.0003 -0.0002 -0.0009 0.0002 STD 0.0061 0.0059 0.0065 0.0067 0.0061 0.0049 模式 2_題內_MAP Bias 0.0017 0.0007 0.0001 0.0021 -0.0015 0.0017 STD 0.0056 0.0085 0.0043 0.0087 0.0087 0.0128 模式 1_題間_MLE Bias 0.0025 0.0012 0.0000 0.0000 -0.0010 0.0005 STD 0.0077 0.0095 0.0084 0.0083 0.0080 0.0055 模式 1_題內_MLE Bias 0.0009 0.0017 -0.0012 0.0015 -0.0019 0.0005 STD 0.0069 0.0120 0.0082 0.0127 0.0144 0.0061

表 9(續)

估計模式_模型_估計法

L

1

L

2

L

3

L

4

L

5

H

1

模式 2_題間_MLE Bias 0.0007 0.0006 0.0005 -0.0005 -0.0016 0.0000 STD 0.0055 0.0063 0.0065 0.0064 0.0064 0.0048 模式 2_題內_MLE Bias 0.0017 0.0013 -0.0004 0.0021 -0.0013 0.0019 STD 0.0051 0.0087 0.0046 0.0083 0.0092 0.0134

表 10 HCAT 於測驗長度於測驗長度於測驗長度 100 題之平均信度於測驗長度 題之平均信度題之平均信度 題之平均信度 估計模式_模型_估計法

模式 1_題間_MAP 信度 0.8642

STD 0.0021

模式 1_題內_MAP 信度 0.8638

STD 0.0030

模式 2_題間_MAP 信度 0.8551

STD 0.0023

模式 2_題內_MAP 信度 0.8436

STD 0.0035

模式 1_題間_MLE 信度 0.7776

STD 0.0025

模式 1_題內_MLE 信度 0.6334

STD 0.0065

模式 2_題間_MLE 信度 0.8549

STD 0.0023

模式 2_題內_MLE 信度 0.8422

STD 0.0035

圖 圖圖

圖20 模式1_題間_MLE之RMSE變動圖

圖圖圖

圖21 模式1_題內_MLE之RMSE變動圖

0.0000

圖 圖圖

圖22 模式2_題間_MLE之RMSE變動圖

圖圖圖

圖23 模式2_題內_MLE之RMSE變動圖

0.0000

相關文件