第二章 文獻探討
第三節 大型測驗之等化估計方法
NAEP、TIMSS、PISA、TASA 等大型測驗在同年度不同測驗皆使用同時估計法來 進行量尺化程序(Allen & Schoeps, 2001;Mullis, Martin, Ruddock, O'Sullivan, Arora &
Eberber, 2005;臺灣學生學習成就評量資料庫網站,2011)。然而,並沒有相關研究探 討不同年度間測驗量尺化程序使用何等化方法有較佳的等化效果,因此,本研究欲探 討大型測驗不同年度間量尺化方法。
壹、 NAEP 與 TIMSS 使用之量尺化方法
NAEP 是由 ETS 協助進行研究,於不同年度間量尺化程序是經由同時校準連結兩 個年度的測驗,再藉由共同群體(common population)及線性轉換(linear transformation)
將兩次測驗連結在一起。以連結 NAEP2003 與 NAEP20005 兩個年度測驗為例,其量 尺化程序如下(Allen & Schoeps, 2001):
一、 取得 2003 年公布的 NAEP2003 測驗估計值之平均數與標準差;
二、 將 2003 與 2005 兩個不同母群的測驗結果同時估計;
三、 取出步驟二中 2003 的估計值,將其平均數與標準差轉換至步驟一所取得之平均 數與標準差;
四、 取出步驟二 2005 的估計值,使用步驟三的轉換方法得一新估計值。
John, Michael 與 Ina(2008)指出,TIMSS 量尺化程序亦是由 ETS 執行,以 TIMSS2003 與 TIMSS2007 不同年度間的量尺化程序為例,步驟有三:
一、 將 2007 測驗透過定錨試題與 2003 測驗同時估計;
二、 將前一步驟所得之 2003 測驗分布透過線性轉換至 2003 年公布之 TIMSS2003 測驗 分布;
三、 將步驟二之線性轉換公式運用於步驟一所產生之 2007 測驗分布,即可建立 2003 與 2007 兩個年度測驗共同量尺。
上述步驟中第一年度在之前報告中所得的能力分布,與兩年度透過定錨試題同時
估計後的能力分布有些微的位移,但差距不大,透過線性轉換的步驟可以消除此差距,
而建立兩年度的共同量尺(John, Michael, & Ina, 2008)。
綜合以上,NAEP 及 TIMSS 的量尺化程序皆由 ETS 執行,所使用的量尺化方法 相同,本研究將兩大型測驗不同年度間的等化方法稱為 NAEP 與 TIMSS 使用之量尺化 方法。
貳、 PISA 使用之量尺化方法
PISA 是由 OECD 主辦的研究計畫,本研究將其不同年度間的等化方法稱為 PISA 使用之量尺化方法。其量尺化方法如下,以 PISA2000 與 PISA2003 兩個不同年度間量 尺化程序為例(OECD, 2009):
一、 單獨估計 2003 之試題參數;
二、 將 2000 測驗資料在固定 2003 定錨試題參數後重新估計;
三、 比較步驟二所得之平均數與標準差與 PISA2000 年報告之平均數與標準差,將 2003 之量尺分數透過線性轉換至 2000,以建立共同量尺。
參、 TASA 使用之固定試題參數量尺化方法
TASA 在 不 同 年 度 間 量 尺 化 程 序 是 採 取 固 定 試 題 參 數 法 ( fixed-item linking method),再運用同時估計法將所有試題一起估計,獲得新的量尺分數。以 TASA2006 與 TASA2007 兩年度間量尺化程序為例,將 2006 年報告之 2006 定錨試題參數固定後,
放進 2007 資料中,估計 2007 試題參數及能力值。Zhang(2010)指出當兩組受試者能 力分布相似時進行量尺化程序,使用固定試題參數法與同時估計法的估計誤差值差異 不大,但兩組受試者能力分布差異變大時,使用固定試題參數法比同時估計法產生更 大的估計誤差值。