第三章 研究方法
第一節 研究步驟
第一節 研究步驟
本研究首先設定研究主題,在探討相關文獻後,將關注焦點放不同垂直等化 設計下各種估計方法對個體能力與群體參數的估計準確度的比較。於是參考相關 文獻設定不同實驗情境,然後依不同實驗情境分別產生模擬資料,接著就不同的 模擬資料進行不同估計方法之參數估計,然分別就產出結果進行比較分析,最後 撰寫研究結果。研究流程圖如圖 3-1:
圖 3-1 研究流程圖 研究主題
確定研究主題
設計 NEAT 題本連結 並設定估計方法
產生模擬作答反應
進行不同估計方法 的參數估計
估計結果比較
撰寫研究結果
設計 BIB 題本連結 並設定估計方法
產生模擬作答反應
進行不同估計方法 的參數估計 可能值相關
文獻探討
等化設計相 關文獻探討
第二節 測驗等化設計
本研究中探討不同等化設計對於個體能力估計之效果與群體參數的回復 性,王暄博(2006 )研究顯示,不論在 BIB 或 NEAT 設計中,隨著試題區塊 數增加,受試者能力值之風險值也跟著增加,故本研究僅針對試題區塊數為 7 的 BIB 與 NEAT 等化設計進行探討。
壹、NEAT 等化設計
表 3-1 為 NEAT 設計表,共包含 7 個題本、每題本 3 個區塊、每個區塊包含 12 個試題數,其中 M1 為定錨試題區塊。
表 3-1 NEAT 設計表
題本序號 區塊(K1) 區塊(K2) 區塊(K3)
S1 M1 M2 M3
S2 M1 M4 M5
S3 M1 M6 M7
題本(b)=3、區塊(t)=7、試題區塊數(k)=3、每個區塊試題數=12
關於高低年級年級間的等化連結,係由低年級的 M1 區塊中,挑選出難度參 數較高的數題做為定錨題,並將之放入高年級的 M1 區塊中,做為高年級 M1 區 塊的的試題。排列方式如表 3-2 所示
表 3-2 NEAT 高低年級垂直等化連結設計表
低(L)年級 高(H)年級
L-M1(定錨區塊) H-M1(包含由 L-M1中的選出的定錨題)
L-M2 H-M2
L-M3 H-M3
→
L-M7 H-M7
1. H-M1 及 L-M1 分別為高低年級的定錨區塊。
2. H-M1 中包含由 L-M1 裡選出來的難度較高的題目,做為連結高低年級 間的定錨題。
貳、BIB 等化設計
表 3-3 為 BIB 設計表,共包含 7 個題本、7 個試題區塊,每個題本包含 3 個 試題區塊、每一試題區塊在題本中出現的次數為 3 次、以及成對試題區塊在題 本中出現的次數只有 1 次。根據 BIB 設計之條件,每個題本中試題區塊的組合 不重複。
表 3-3 BIB 等化設計
題本序號 區塊 (k1) 區塊 (k2) 區塊 (k3)
S1 M1 M2 M4
S2 M2 M3 M5
S3 M3 M4 M6
S4 M4 M5 M7
S5 M5 M6 M1
S6 M6 M7 M2
S7 M7 M1 M3
BIB 垂直等化設計中不同兩年級的試題排列均依照 BIB 設計排列,在定錨題 部分是將 H 年級中每個試題區塊中,放入 L 年級對應試題區塊中難度較難的試 題,如表 3-4 中,H 年級的試題區塊 1(H-M1)中,包含 L 年級試題區塊 1 內試
題難度較難的 g 題(L-M1-1~L-M1-g)定錨試題。
表 3-4 BIB 高低年級垂直等化連結設計表
低(L)年級 高(H)年級
L-M1 H-M1(包含由 L-M1中的選出的定錨題) L-M2 H-M2(包含由 L-M2中的選出的定錨題) L-M3 H-M3(包含由 L-M3中的選出的定錨題)
→
L-M7 H-M7(包含由 L-M7中的選出的定錨題) 每個高年級試題區塊中,皆包含由相對對應低年級試題區塊中選出來的 難度較高的題目,做為連結高低年級間的定錨題。