模擬設計與實證資料

本研究分為以模擬資料與實證資料進行分析探討，以下分別說明模擬資料之 變項設定與實證資料之介紹。

壹、模擬資料之變項設定

本研究利用電腦模擬產生作答反應，探討不同等化設計進行不同情況下之測 驗等化模擬。每一種情境下，均重覆進行 50 次的資料模擬，以不同的估計方法 估計受試者能力值，並計算各參數之估計誤差。共同變項設定如表 3-4，並分別 說明如下：

表 3-4 不同等化設計之共同變項設定

實驗變項 變項設定

受試者群能力分布 如表3-5

試題長度 每個題本施測題數 15 題及 30 題

每個年級施測人數 5460 人及 8064 人

試題難度參數分布(b) 截尾常態分布N (0,1)，範圍−3~3

估計方法 PV、PV_NoAV、EAP_AV、EAP、MLE 等化設計 complete、BIB、NEAT

每一情形模擬資料集個數 50 次

一、受試者群能力分布

本研究中受試者群體能力主要參考 von Davier、Gonzalez 和 Mislevy（2009）

進行設定，受試者具有兩組背景變項，分別為學校類別（A、B）以及父母親社 經地位（Socioeconomic Status, SES）之高（H）、低（L），並能區分成四個獨立 的群體，如表 3-5。在模擬中假設學校 A 與 B 之群體能力平均差為 0.000；高社 經地位群體能力平均為+0.707，低社經地位群體能力平均為-0.707，高低社經地 位之群體能力平均差為 1.414；不同群體之標準差皆為 0.707，而群體總標準差為 1.000（0.707²＋0.707²），且假設分別來自常態分布，平均數及標準差分別如表 3-5。

表 3-5 不同群體能力平均數與標準差之設定 School

SES A B Average

L -0.707 (0.707) -0.707 (0.707) -0.707 (0.707) H +0.707 (0.707) +0.707 (0.707) +0.707 (0.707) Total 0.000 (1.000) 0.000 (1.000) 0.000 (1.000)

二、試題長度

本研究欲探討不同題數下估計方法與等化設計於個體能力估計與群體參數 估計之效果，故模擬每個題本施測題數為 15 題與 30 題兩種情況，試題區塊數為 3，因此每個試題區塊之試題數為 5 題與 10 題，施測總試題數分別為 35（7×5）

題與 70（7×10）題。三種等化設計之題數設定如表 3-6。

三、受試者人數

本研究參考 TASA2006 年與 2007 年小四數學科實證資料之受試人數並配合 等化設計之要求，故模擬兩種施測人數（5460 人與 8064 人），每個獨立群體之施 測人數為 1365（5460÷4）人與 2016（8064÷4）人，每個題本施測人數為 780（5460÷7）

人與 1152（8064÷7）人，每個試題施測人數為 2340（780×3）人與 3456（1152×3）

人。三種等化設計之人數設定如表 3-7。

表 3-6 BIB 與 NEAT 等化設計之題數設定 等化設計 試題區塊數 每個試題區塊之

試題數

每個題本施測 題數

施測總試 題數

X X 35

complete X

X X 70

5 15 35

BIB 7

10 30 70

5 15 35

NEAT 7

10 30 70

註：“X＂表示受試者被施測全部之試題，無區塊數與題本之設計

表 3-7 BIB 與 NEAT 等化設計之人數設定

等化設計 每個題本施測人數 每個試題施測人數 施測總人數

X 5460 5460

complete

X 8064 8064

780 2340 5460

BIB 1152 3456 8064

780 2340 5460

NEAT

1152 3456 8064

註：“X＂表示受試者被施測全部之試題，無區塊數與題本之設計

四、試題難度參數分布

試題難度參數設定為截尾常態分布，平均數為 0，標準差為 1，將範圍界定 於−3~3，記為N(0,1)。

五、估計方法

本研究探討不同估計方法對於個體能力估計與群體參數估計之效果，估計方 法分為單向度納入輔助變數之可能值方法（PV）、未納入輔助變數之可能值方法

（PV_NoAV）加入輔助變數之期望後驗估計法（EAP_AV）、期望後驗估計法

（EAP）以及最大概似估計法（MLE）五種。

貳、實證資料

本研究中實證資料分析是利用 TASA2006 年與 2007 年，數學科四年級之作 答反應與輔助變數進行分析，分別作為 BIB 與 NEAT 等化設計之驗證。以下分別 介紹 TASA2006 年與 2007 年四年級數學科之施測題本設計、學生問卷與估計模 式。

一、TASA2006 數學科

2006 年四年級數學科採用 BIB 設計題本模式，施測樣本數為 8083 人，共有 104 題選擇題，如表 3-8 所示，共有 13 個題本（S1~S13）；13 個試題區塊

（M1~M13），每一試題區塊共有 8 題試題；每個學生作答三個試題區塊（區塊 I~區塊 III），因此每一個題本中共有 24 題試題（國家教育研究院籌備處，2009）。

表 3-8 TASA2006 四年級數學科題本設計表

題本序號 區塊 I 區塊 II 區塊 III 題本序號 區塊 I 區塊 II 區塊 III

S1 M1 M2 M5 S8 M8 M9 M12

S2 M2 M3 M6 S9 M9 M10 M13

S3 M3 M4 M7 S10 M10 M11 M1

S4 M4 M5 M8 S11 M11 M12 M2

S5 M5 M6 M9 S12 M12 M13 M3

S6 M6 M7 M10 S13 M13 M1 M4

S7 M7 M8 M11

資料來源︰TASA2006 資料使用手冊（頁 18，未出版）

二、TASA2007 數學科

2007 年四年級數學科採用 NEAT 設計題本模式，施測樣本數為 8200 人，共 有 96 題選擇題，其特點為多份測驗題本給予多組考生施測，而所有題本均包含 一共同區塊，該區塊的試題即定錨試題，藉此等化所有試題的量尺。如表 3-9 所 示，10 個題本（S1~S10）均包含兩個試題區塊（區塊 I、區塊 II），區塊 I 為共同 試題區塊（M），包含 16 題選擇題；區塊 II 為特有的獨立試題區塊（M1~M10），

表 3-9 TASA2007 四年級數學科題本設計表

題本序號 區塊 I 區塊 II 題本序號 區塊 I 區塊 II

S1 M M1 S6 M M6 S2 M M2 S7 M M7 S3 M M3 S8 M M8 S4 M M4 S9 M M9 S5 M M5 S10 M M10

資料來源︰TASA2007 資料使用手冊（頁 18，未出版）

三、學生問卷

TASA2006、2007 年之學生問卷主要是蒐集影響學生學習成就之相關因素資 料，而影響學生學習成就之相關因素，大致可歸納為三大類：（國家教育研究院 籌備處，2009）

1. 學生個人基本資料，包括性別、居住地、喜歡科目、交友情形、課餘的學 習情形。

2. 學生家庭資料，包括家庭結構、家庭經濟，父母教育程度、婚姻狀況、社 經地位、父母對子女的教養態度、教育期望及家庭讀書、生活環境。

3. 班級結構，包括人數、編班情形、班級氣氛。

2006 年學生問卷資料題數分別為，數學問卷 13 題與共同問卷 28 題；2007 年學生個人問卷資料題數共 103 題。本研究中以可能值方法納入輔助變數估計學 生群體參數，故學生問卷即為本研究之輔助變數。

四、估計模式

本研究以單維度 IRT 單參數模式進行能力估計，使用可能值方法估計群體能 力參數。本研究模擬設定兩個背景變項，故進行實證資料估計時，於學生問卷挑 選兩個背景變項作為輔助變項。分別將所有背景變項與能力值進行二系列相關，

並於 2006 年與 2007 年中分別挑出最高相關與最低相關的兩個變項，將高低相關 兩變項納轉為虛擬編碼後納入模式中，以可能值方法進行群體參數估計。

如表 3-10 分別為 2006 年與 2007 年問卷題目中與能力值高相關與低相關的兩 個問卷試題；2006 年高相關與低相關之相關係數分別為 0.242 與 0.018；2007 年 高相關與低相關之相關係數分別為 0.031 與 0.000；故本研究於 2006 年與 2007 年 的實證資料分析時，分別納入表 3-10 之問卷題目進行估計。

表 3-10 TASA2006 與 2007 數學科背景問卷題目

年度 題號 問卷題目 相關係數

2006 數學問卷 08 家中適合你閱讀的書籍大約有多少？ 0.242

2006 共同問卷 24 你每個禮拜平均要考試幾次？ 0.018

2007 學生個人問卷 9_4 您家裡有「字典」嗎？ 0.031

2007 學生個人問卷 10_1 這學期，您是否在放學後參加過「補習、家教、

或課輔（安親）班」的校外課程？ 0.000