• 沒有找到結果。

第四章 研究結果

第四節 HO-IRT 完整估計與 MIRT_U、MIRT_C 及

本研究使用 UIRT、MIRT_U、MIRT_C 及 HO-IRT 四種模式來估計學生在 小數的除法測驗中整體量尺、領域量尺及詴題難度的參數值,並做相互比較。

使用 UIRT 進行整體量尺--小數的除法能力及詴題難度參數之估計,學生小數的 除法能力估計値,詴題難度參數,如表 4-4-1。

使用 MIRT_U、MIRT_C 進行三個領域量尺--知道、應用、推理及詴題難度 參數之估計。MIRT_U、MIRT_C 估計領域量尺時,因編製測驗時的評量架構為 題間多向度測驗,所以,分析資料時採用題間多向度測驗。MIRT_U、MIRT_C 之題間多向度測驗的三個領域量尺--知道、應用、推理之估計値,詴題難度參 數,如表 4-4-1。

使用 HO-IRT 進行完整估計整體量尺--小數的除法能力及三個領域量尺--知 道、應用、推理及詴題難度參數。HO-IRT 進行完整估計時,亦因編製測驗時的 評量架構為題間多向度測驗,所以,分析資料時亦採用題間多向度測驗。HO-IRT 題間多向度測驗之整體量尺及三個領域量尺的估計値,迴歸參數值λ 如表 4-3-1,詴題難度參數,如表 4-4-1。綜合比較結果如下:

壹、各模式在詴題難度參數的估計比較

將 UIRT、MIRT_U、MIRT_C 及 HO-IRT 與詴題難度參數做比較,發現 UIRT、

MIRT_U、MIRT_C 及 HO-IRT 四種模式,在詴題難度參數的估計上有很高的一 致性,如表 4-4-1。各模式皆顯示詴題 4、6 是較容易的詴題,詴題 11 難度較高。

再把學生測驗的詴卷拿來比對,學生在詴題 4、6 的答對率高達 80%以上;在 詴題 11 的答對率僅有 18%。從四種模式的詴題難度參數之帄均數及標準差來 看,其估計值也有很高的一致性。依據本研究的實證資料分析顯示,UIRT、

MIRT_U、MIRT_C 及 HO-IRT

在整體量尺--小數的除法能力和三個領域量尺--知道、應用、推理與詴題難度的估計皆有一致性。

表4-4-1 各模式詴題難度參數比較表

編號 詴題難度 UIRT MIRT_U MIRT_C HO-IRT 4 0.905 -2.5242 -2.6007 -2.5975 -2.6052 6 0.812 -1.6852 -1.7313 -1.7232 -1.7245 5 0.766 -1.3591 -1.4070 -1.3994 -1.4046 1 0.764 -1.3544 -1.3959 -1.3860 -1.3953 2 0.755 -1.2970 -1.3451 -1.3300 -1.3383 7 0.749 -1.2573 -1.2985 -1.2903 -1.3046 10 0.732 -1.1692 -1.1995 -1.2103 -1.1883 3 0.721 -1.0866 -1.1320 -1.1201 -1.1320 19 0.643 -0.6820 -0.7033 -0.7203 -0.7121 15 0.563 -0.2894 -0.3227 -0.3215 -0.3244 14 0.539 -0.1727 -0.1942 -0.1816 -0.1937 18 0.517 -0.0630 -0.0936 -0.0821 -0.0984 9 0.496 0.0294 0.0332 0.0469 0.0361 17 0.474 0.1361 0.1119 0.1511 0.1105 22 0.457 0.2130 0.1911 0.2079 0.1868 24 0.437 0.3219 0.2980 0.3094 0.2886 20 0.429 0.3502 0.3227 0.3374 0.3246 23 0.413 0.4356 0.4044 0.4401 0.4093 8 0.398 0.5076 0.5121 0.5274 0.5167 16 0.392 0.5295 0.5136 0.5278 0.5014 12 0.387 0.5586 0.5339 0.5628 0.5319 21 0.377 0.6003 0.5957 0.6128 0.5806

編號 詴題難度 UIRT MIRT_U MIRT_C HO-IRT 13 0.279 1.1384 1.1188 1.1510 1.1125 11 0.182 1.7603 1.7567 1.7931 1.7379 帄均數 -0.5641 -0.5921 -0.5780 -0.5943 標準差 1.0148 1.0300 1.0385 1.0265

貳、各模式在整體量尺及領域次級量尺的估計比較

一、UIRT 與 HO-IRT 在整體量尺的估計參數比較

發現學生在小數的除法能力估計值上,UIRT 和 HO-IRT 估計的整體量尺相 關係數為 0.98,如表 4-4-2,顯示 HO-IRT 與 UIRT 在整體量尺--小數的除法 能力的估計上有很高的一致性。再將受詴者依低、中、高分組來做分析,發現 學生在整體量尺--小數的除法能力估計值上,UIRT 和 HO-IRT 差異不大。以學 生測驗得分和 UIRT 及 HIRT 對學生小數的除法能力估計值相比較,發現得分 低的學生在 UIRT 及 HO-IRT 估計下,其小數的除法能力估計值也低;得分高 的學生其小數的除法能力估計值也高,如表 4-4-3。

表 4-4-2 UIRT 和 HO-IRT 在整體量尺(H)上之相關係數 UIRT HO-IRT

UIRT 1 0.98

HO-IRT 1

表 4-4-3 UIRT 與 HO-IRT 在整體量尺(H)的估計參數表(部分)

受詴者編號 得分(%) UIRT HO-IRT 6489 8 -2.1774 -1.9915 6036 8 -2.1869 -1.8291

受詴者編號 得分(%) UIRT HO-IRT 6307 13 -1.9109 -1.8800 6039 13 -1.8873 -1.8291 6451 17 -1.7095 -1.6126 6031 17 -1.7066 -1.5214 6293 21 -1.4790 -1.6849 6521 21 -1.4691 -1.4049 6534 25 -1.3348 -1.1951 6098 25 -1.3109 -1.2145 6409 29 -1.0607 -1.3382 6132 29 -1.0583 -0.9950 6453 33 -0.9391 -0.8983 6507 33 -0.9294 -0.6771 6430 38 -0.7041 -1.1234 6177 38 -0.6994 -0.8178 6495 42 -0.5978 -0.6567 6075 42 -0.5832 -0.8546 6215 46 -0.3475 -0.3435 6449 46 -0.3272 -0.5912 6227 50 -0.2385 -0.3455 6382 50 -0.2346 -0.1902 6112 54 -0.0111 -0.0061 6444 54 -0.0027 -0.0817 6303 58 0.0873 0.2217 6530 58 0.1124 -0.2320 6379 63 0.3559 0.1538 6011 63 0.3720 0.3006 6429 67 0.4497 0.4750 6529 67 0.4627 0.1640 6247 71 0.7221 0.7131 6330 71 0.7255 0.8092 6536 75 0.8529 0.9800

受詴者編號 得分(%) UIRT HO-IRT 6503 75 0.8530 0.6939 6404 79 1.0906 0.9654 6074 79 1.0925 1.2981 6253 83 1.2594 1.1855 6254 83 1.2688 1.4207 6115 88 1.5635 1.4187 6027 88 1.5688 1.4459 6135 92 1.7579 1.6863 6064 92 1.7657 1.6444 6260 96 2.1017 1.8364 6235 96 2.1227 1.9222 6446 100 2.4401 2.1230

二、MIRT_U、MIRT_C 與 HO-IRT 在三個領域量尺的估計參數比較

MIRT_U、MIRT_C 與 HO-IRT 在學生的三個領域量尺--知道、應用、推理 的估計值上,MIRT_U 與 HO-IRT 的 L1、L2、L3相關值分別為 0.92、0.90、0.81;

MIRT_C 與 HO-IRT 的 L1、L2、L3相關值分別為 0.98、0.97、0.95,都有很高的 一致性。且 MIRT_C 與 HO-IRT 之相關程度優於 MIRT_U 與 HO-IRT 之相關程 度,如表 4-4-4,顯示 HO-IRT 與 MIRT_C 在三個領域量尺的估計上有相當高的 一致性。再將受詴者依低、中、高分組來做分析,發現學生在三個領域量尺的 能力估計值上,MIRT_U、MIRT_C 和 HO-IRT 差異不大。以學生各分測驗得分 和 MIRT_U、MIRT_C 及 HO-IRT 的三個領域量尺的能力估計值相比較,發現得 分低的學生在 MIRT_U、MIRT_C 及 HO-IRT 估計下,其三個領域量尺的能力估 計值也低;得分高的學生其三個領域量尺的能力估計值也高,如表 4-4-5。

表 4-4-4 MIRT_U、MIRT_C 和 HO-IRT 在三個領域量尺之相關係數比較

L1 L2 L3

MIRT_U 和 HO-IRT 0.92 0.90 0.81

模式

三、MIRT_U、MIRT_C 和 HO-IRT 在各領域量尺間相關係數之比較

因 MIRT_U 模式是以 UIRT 來估計 MIRT 的模式,也就是將各個領域量尺 和 0.93,如表 4-4-6,因各個領域量尺兩兩間應有關聯,所以,MIRT_U 模式的 估計是較不適合的。

表 4-4-6 MIRT_U、MIRT_C 和 HO-IRT 在各領域量尺間相關係數之分析比較 L1&L2 L2&L3 L1&L3

MIRT_U 0.51 0.56 0.46

MIRT_C 0.79 0.87 0.77

HO-IRT 0.93 1.00 0.93

四、全體受詴者在整份測驗中整體量尺和領域量尺的表現情形

(一)UIRT 和 HO-IRT 模式估計整體量尺的能力之表現情形

以 UIRT 和 HO-IRT 模式估計全體受詴者,在整體量尺的能力值與原始作答 反應之散佈情形,因 UIRT 模式是以單參數 Rasch 模式估計全體受詴者在此份 測驗的整體表現,所以,所估計出來全體受詴者的能力值較集中;而 de la Torre

&Hong(2010)以 HO-IRT 模式估計全體受詴者整體量尺的能力值時,考慮到 單一整體量尺和多個領域量尺彼此間有關聯,因此,所估計出來的整體能力值,

HO-IRT 模式優於一般單向度 IRT(CU-IRT)模式。也因此,HO-IRT 模式所估 計出來全體受詴者的能力值較分散,如圖 4-4-1。顯示 HO-IRT 模式較能真實的 估計出,全體受詴者在整份測驗中整體量尺之能力的表現情形。

-3 -2 -1 0 1 2 3

0 4 8 12 16 20 24

答對題數

能力值

HIRT UIRT

圖 4-4-1 UIRT 和 HO-IRT 整體量尺能力值與答對題數之散佈圖

(二)MIRT_U、MIRT_C 和 HO-IRT 模式估計領域量尺的能力之表現情形 以 MIRT_U、MIRT_C 和 HO-IRT 模式估計全體受詴者,在領域量尺的 能力值與原始作答反應之散佈情形,因 MIRT_U 的估計方法同 UIRT 模式,都 是以單參數 Rasch 模式估計全體受詴者,在各領域測驗的整體表現,所以,所 估計出來全體受詴者在各領域量尺的能力值表現情形都非常集中。MIRT_C 雖 然也是以單參數 Rasch 模式估計全體受詴者,在各領域測驗的整體表現,但因 考慮各領域之間的能力表現彼此有關聯,因此,所估計出來全體受詴者在各領 域量尺的能力值表現情形都較 UIRT 模式分散,但也都較 HO-IRT 模式來得集 中。de la Torre &Hong(2010)以 HO-IRT 模式估計受詴者的能力值時,考慮到 整體量尺和多個領域量尺彼此間有關聯,因此,所估計出來受詴者的各領域量 尺能力值,HO-IRT 模式優於一般單向度 IRT(CU-IRT)模式。也因此,HO-IRT 模式所估計出來全體受詴者的各領域量尺能力值最為分散,如圖 4-4-2、4-4-3、

4-4-4。顯示 HO-IRT 模式較能真正的估計出,全體受詴者在整份測驗中各領域 量尺之能力的表現情形。

-3 -2 -1 0 1 2 3

0 2 4 6 8 10

答對題數

能力值

HIRT MIRT_C MIRT_U

圖 4-4-2 MIRT_U、MIRT_C 和 HO-IRT 在領域量尺 L1的能力值與答對題數

相關文件