第三章 研究方法
第三節 模擬條件與估計方法設定
L-M7 H-M7(包含由 L-M7中的選出的定錨題) 每個高年級試題區塊中,皆包含由相對對應低年級試題區塊中選出來的 難度較高的題目,做為連結高低年級間的定錨題。
第三節 模擬條件與估計方法設定
本研究係利用電腦模擬產生作答反應,並重覆進行 50 次的資料模擬後,分 別計算在不同等化設計及不同情境下各種估計方法所估計受試者的能力值及群 體參數的根均方差。變項設定如表 3-5,並分別說明如下:
表 3-5 不同等化設計之變項設定
實驗變項 變項設定
試題長度 每個題本施測題數 18 題及 36 題
受試者群能力分布 如表3-8
每個年級施測人數 10920 人及 16128 人
試題難度參數分布(b) 截尾常態分布,高年級組:-2~4,低年級組:
2~-4
估計方法 PV、PV_W、EAP_AV、EAP、MLE、WLE
等化設計 BIB、NEAT
每一情形模擬資料集個數 50 次
壹、試題長度
本次研究參考王暄博(2006)之實驗設計,模擬每個題本施測題數為 36 題,
因為試題區塊數為 3,故每個試題區塊之試題數 12 題。而依據王暄博(2006)的 研究發現,定錨題數愈多愈好;但在施測題本題數為 36 題的情形下,定錨題數 6 題和 9 題的精確度差異不大,故本次設定定錨題數為 6 題。此外,同時模擬施測 題數 18 題、定錨題 3 題之情形以做為參照比較,如表 3-6 說明。
表 3-6 試題長度設定一覽表 題本題數 試題區塊
題數 定錨題數 施測總題數
(NEAT)
施測總題數
(BIB)
36 12 6 162 154
18 6 3 81 77
貳、受試者能力分布設定
本研究參考王暄博(2006)的實驗設計,將高低年級群體能力平均數分別設 定為 1 及-1,並同時參考 von Davier、Gonzalez 和 Mislevy(2009)設計,分別將高 低年級各設定 2 組背景變項,分別是父母社經地位(Socioeconomic Status, SES)類 別(高(SH)低(SL))及學校類別((A)校及(B)校)。學校間群體能力 平均差異為 0,高底社經地位分別差距群體能力平均各正負 0.707,不同群體之標 準差皆為 0.707,而群體標準差為 1.000(0.7072+0.7072)詳如表 3-7。
表 3-7 受試者能力分布設定一覽表 年級
社經地位
學校 S-L S-H 平均
G-L
A -1.707(0.707) -0.293(0.707) -1(1.000) B -1.707(0.707) -0.293(0.707) -1(1.000)
G-H
A 0.293(0.707) 1.707(0.707) 1(1.000) B 0.293(0.707) 1.707(0.707) 1(1.000) 平均 -0.707(1.000) 0.707(1.000) 0(1.000)
參、受試者人數設定
參考 TASA2006 及 TASA2007 小四數學受測人數並配合等化設計要求,分別 設定高低年級受試者各 8064 人(總和 16128 人)及各 5460 人(總和 10920 人),
每個獨立群體之施測人數為 2016(8064÷4)人與 1365(5460÷4)人。
肆、試題難度參數設定
高年級組試題難度參數設定平均數為 1,低年級組為-1,標準差皆為 1,並採 平均數上下 3 個標準差之截尾常態分布,故高年級組之範圍界定於 -2~4,記為 N(1,1);低年級組之範圍界定於 2~-4,記為 N(-1,1)。
伍、估計方法
本研究主要為探討不同估計方法對於個體能力估計與群體參數估計之效 果,估計方法分計有單向度納入輔助變數之可能值方法(PV)、加入輔助變數之 期望後驗估計法(EAP_AV )、期望後驗估計法(EAP )、最大概似估計法(MLE)
以及加權最大概似估計法(WLE)五種。
有關 PV 法估計個體能力的部份係用 5 個可能值平均數來表示受試者個體能 力值,此種方法於 von Davier, Gonzalez,& Mislevy(2009)的研究中以 PV_W(“W”
為 wrong)表示,這是常見的錯誤使用 PV 法,如公式 3-1:
5
PV PV
PV PV
PVi PVi1 i2 i3 i4 i5
(3-1) 其中,i 表示受試者人數,i1,2,3,...,N;
PVi1~PVi5 為第 i 位受試者抽取的 5 個可能值。