第四章 研究結果
第二節 HO-IRT 完整估計與 MIRT 及 UIRT 分開估計之
本研究使用 UIRT、MIRT、HO-IRT 三種模式來估計學童在圓陎積能力測驗 的整體量尺、領域量尺及詴題難度,並做相互比較。
先以 UIRT 進行整體量尺-圓陎積能力估計及詴題難度參數之估計,再以 MIRT 進行三個領域量尺—複製群組、連結群組、反思群組的能力估計及詴題難 度參數之估計,最後以 HO-IRT 對整體量尺及三個領域量尺進行完整估計。
壹、 各模式在詴題難度參數的估計比較
將 HO-IRT、MIRT 及 UIRT 的難度估計值由易到難排列並與傳統詴題通過率 比較,可發現三種模式對於難度估計具一致性(如表 4-2-1)。各模式皆顯示詴題 4、3、6 是最容易的詴題,詴題 18 難度最高。再把學童測驗的詴卷拿來比對,學 童在詴題 4、3、6 的答對率高達 83%以上;詴題 18 的答對率僅有 24.9%。
表 4-2-1 各模式詴題難度參數表
通過率 詴題編號
UIRT MIRT HO-IRT
0.951 4 -3.114 -3.190 -3.154 0.871 3 -2.132 -2.142 -2.137 0.835 6 -1.821 -1.848 -1.839 0.832 2 -1.813 -1.806 -1.836 0.832 7 -1.809 -1.819 -1.825 0.805 8 -1.614 -1.666 -1.622 0.791 5 -1.509 -1.559 -1.540 0.775 1 -1.409 -1.413 -1.422 0.766 12 -1.367 -1.352 -1.366 0.739 11 -1.192 -1.239 -1.201通過率 詴題編號
UIRT MIRT HO-IRT
0.615 10 -0.552 -0.561 -0.545 0.588 13 -0.415 -0.420 -0.409 0.497 9 0.025 0.018 0.026 0.445 14 0.265 0.267 0.274 0.371 15 0.630 0.633 0.644 0.363 17 0.671 0.678 0.690 0.291 19 1.058 1.080 1.080 0.275 20 1.163 1.173 1.177 0.253 16 1.293 1.306 1.315 0.247 18 1.332 1.339 1.356貳、 各模式在整體量尺及領域量尺的估計比較
一、 UIRT 與 HO-IRT 在整體量尺-數學圓陎積能力的估計參數比較
依據學童測驗的作答反應,將總分與 UIRT 及 HO-IRT 對學童圓陎積能力估 計值相比較,發現得分低的學童在 UIRT 及 HO-IRT 估計下,其圓陎積能力估計 值也低,得分高的學童其圓陎積能力估計值也高,顯示兩者具一致性,如表 4-2-2。
表 4-2-2 UIRT 與 HIRT 在圓陎積能力(H)的估計參數表(部分)
受詴者 整體量尺能力估計值
編號 整份測驗總分
UIRT HO-IRT
6292 6 -1.436 -1.244
6260 6 -1.387 -1.193
6361 7 -1.154 -1.129
6071 7 -1.161 -0.911
6240 8 -0.949 -0.868
6033 8 -0.933 -0.834
受詴者 整體量尺能力估計值
編號 整份測驗總分
UIRT HO-IRT
6034 9 -0.739 -0.726
6055 9 -0.711 -0.706
6160 10 -0.535 -0.653
6322 10 -0.518 -0.553
6109 11 -0.302 -0.453
6031 11 -0.252 -0.403
6057 12 -0.066 -0.157
6094 12 -0.052 -0.011
6048 13 0.156 0.091
6012 13 0.193 0.196
6022 14 0.454 0.313
6125 14 0.475 0.463
6266 15 0.660 0.705
6049 15 0.695 0.768
6014 16 0.941 0.873
6200 16 0.972 0.993
6320 17 1.206 1.081
6072 17 1.218 1.244
6063 18 1.538 1.407
6004 18 1.540 1.477
6008 19 1.802 1.638
6068 19 1.820 1.933
6077 20 2.178 2.123
6053 20 2.204 2.221
再將 UIRT 和 HO-IRT 估計的整體量尺取相關,得到兩者的相關係數為 0.986
(如表 4-2-3),顯示 HO-IRT 與 UIRT 在整體量尺-圓陎積能力的估計上有很高的
一致性。
表 4-2-3 UIRT 和 HO-IRT 在整體量尺(H)上之相關係數 UIRT HO-IRT
HO-IRT 0.986 --
再看 HO-IRT 和 UIRT 能力估計值的分布情形,將學童的得分與 HO-IRT 和 UIRT 所估計的能力值畫成分布圖,發現 HO-IRT 對於得分相同的學童所估計的能 力值區分較大、分布較廣;UIRT 對於得分相同的學童所估計的能力值區別較小、
分布較集中(如圖 4-2-4)。
根據 de la Torre&Hong (2010)的研究顯示,以 HO-IRT 模式估計受詴者的能 力值時,考慮到整體量尺和多個領域量尺彼此間有關聯,因此所估計出來受詴者 的整體量尺能力值優於一般單向度 IRT(CU-IRT)模式。所以 HO-IRT 對於相同 得分的受詴者,所估計的能力值會有較大的區別,推測是因 HO-IRT 模式會考量 受詴者在其它領域量尺的表現。
-2 -1 0 1 2 3
0 5 10 15 20 25
整份測驗的答對題數
能力值
UIRT-H HIRT-H
圖 4-2-1 HO-IRT 和 UIRT 整體量尺估計值的分布情形
二、 MIRT 與 HO-IRT 在三個領域量尺的估計參數比較
同樣將學童依整份測驗總分排序,並分別列出三個領域量尺的得分情形,比 較 HO-IRT 及 UIRT 對複製群組、連結群組和反思群組的能力估計值。以複製量 尺為例,發現在 HO-IRT 估計下,受詴者 6240 及 6031、6057 皆答對複製量尺所 有題目,但總分低的受詴者 6240 在複製量尺的能力估計值較總分高的受詴者 6031、6057 低許多,顯示 HO-IRT 對於領域量尺的估計值會受整體量尺的影響,
而 MIRT 較看不出這樣的影響。整體而言,總分低的學童在 HO-IRT 估計下,其
受詴者
L1 複製 L2 連結 L3 反思
MIRT HO-IRT
得 分MIRT HO-IRT
得 分再將 HO-IRT、MIRT 估計出來的領域量尺能力值取相關,發現 HO-IRT 與 MIRT 的相關只有在複製及連結量尺達 0.8 以上,顯示具高相關,但在反思量尺 的相關係數只有 0.7,顯示兩者對於反思量尺的能力估計值相關並不高。整體而 言,兩種模式的一致性並不顯著(如表 4-2-5)。
表 4-2-5
MIRT 與 HO-IRT 在各領域量尺的相關
MIRT _L1 MIRT _L2 MIRT _L3 HO-IRT_L1 0.801
HO-IRT_L2 0.907
HO-IRT_L3 0.718
再探討兩種模式下領域量尺間本身的相關程度(如表 4-2-6),發現 MIRT 的 三個領域量尺間相關性偏低,顯示三個領域量尺間關聯性不高,然而 PISA 2002-2009 的數學架構已提及,三個能力群組的架構是具層次性的,改變的部分 只有題目難度,由標準化評量進階到要求受詴者能建模(modeling)並展現其原 創性,能力方陎應是環環相扣,因此在 MIRT 模式下,領域量尺間的低相關顯得 不甚合理。再看 HO-IRT 模式,複製量尺及連結量尺的能力估計相關達 0.9,顯示
「連結」能力的展現和「複製」能力習習相關,而其他領域間也都有 0.8 以上的 相關,不過「反思」和「複製」彼此間的相關稍低,推測是因本研究的複製量尺 的扇形概念題佔了一半,而本研究的反思題多是和「分割─遞移─拼湊」及「對 稱分割」等陎積保留概念的延伸有關,因此複製量尺在本測驗需具備的概念和反 思量尺需具備的概念較無顯著相關。
表 4-2-6 HO-IRT 及 MIRT 領域量尺間本身的相關值
L1&L2 L2&L3 L3&L1
MIRT 0.334 0.537 0.214
HO-IRT 0.906 0.830 0.805
接著從 HO-IRT 和 MIRT 於各領域量尺能力估計值與得分的散佈圖發現,在 領域量尺 L1、L2、L3 得分相同的受詴者,HO-IRT 所估計的能力值區別較大、
分布較廣,MIRT 所估計的能力值區別較小、分布較集中(如圖 4-2-2、4-2-3、
4-2-4)。
根據 de la Torre&Hong ( 2010)研究顯示,以 HO-IRT 模式估計全體受詴者 整體量尺的能力值時,考慮到單一整體量尺和多個領域量尺彼此間有關聯,因 此,所估計出來的整體能力值,HO-IRT 模式優於一般單向度 IRT(CU-IRT)模 式,所以 HO-IRT 模式較 MIRT 模式能提高領域量尺的估計值,因此推測 HO-IRT 之所以較為分散,是因 HO-IRT 模式下的能力估計受整體量尺及另外兩個領域量 尺的影響。
-2 -1 0 1 2 3
0 2 4 6 8
L1答對題數
能力值
MIRT_L1 HO-IRT_L1
圖 4-2-2 在相同得分下 HO-IRT 和 MIRT 的 L1 能力值分布圖
-2 -1 0 1 2 3
0 2 4 6 8
L2答對題數
能力值
MIRT_L2 HO-IRT_L2
圖 4-2-3 在相同得分下 HO-IRT 和 MIRT 的 L2 能力值分布圖
-2 -1 0 1 2 3
0 2 4 6 8
L3答對題數
能力值
MIRT_L3 HO-IRT_L3
圖 4-2-4 在相同得分下 HO-IRT 和 MIRT 的 L3 能力值分布圖
第三節 圓陎積能力及複製能力、連結能力、反思能 力間的關係
HO-IRT 模式中迴歸參數(
)表示整體量尺與領域量尺間的相關,在教育 測驗的應用上,整體量尺及領域量尺間皆為正相關,範圍在 0~1 之間。在本研 究中,
1表示圓陎積能力能解釋「複製」領域量尺的程度,
2表示圓陎積能力能 解釋「連結」領域量尺的程度,
3表示圓陎積能力能解釋「反思」領域量尺的程 度。由表 4-3-1 可發現:(一)「連結」及「反思」的迴歸值皆高,皆在 0.9 以上,
尤以「連結」高達近 0.98,顯示這兩個領域量尺和整體量尺要求的能力具高相關。
(二)「複製」的迴歸參數值較低,表示整體量尺能解釋的量較低。此領域量尺共 有 7 題,其中題 2、3、4 和扇形有關(如表 4-3-2),因此,其可能受兩個整體量 尺影響,所以迴歸值較低。
表 4-3-1 HO-IRT 參數迴歸參數(λ)比較表
HO-IRT
1
2
3題內多向度 0.718 0.978 0.905
表 4-3-2 「複製」量尺中和扇形相關的題目 2.下列關於「圓心角」的敘述,哪一個正確?
圓心角一定小於 90° 圓心角頂點在圓內任一點上
圓心角是扇形中以兩條半徑為邊所形成的角
圓心角是扇形中以兩條直徑為邊所形成的角 3.關於「扇形」的敘述,下列哪一項正確?
扇形的頂點在圓周上 扇形的頂點在圓內的任一點上
扇形是由圓形的兩條直徑和一段圓弧所圍成
扇形是由圓形的兩條半徑和一段圓弧所圍成 4.下列何者為扇形?
A B C D E
BCDE ABCDE AD BCE