PBIB 設計

根據本研究目的設定題本依測驗長度分為三種，設計如表 3-12：第一種題本 為了與 BIB2、NEAT1 比較，各題本包含三個試題區塊，測驗長度為 12 道多元計 分試題；第二種是為了與第一種題本探究題本試題區塊數對連結效果的影響，故 各題本包含四個試題區塊，即測驗長度為 16 道多元計分試題；第三種題本為仿 照 NAEP 之題本配置方式，各題本為 2 道多元計分試題。以下則分別介紹本研究 使用之 PBIB 設計。

表 3-12 本研究之 PBIB 設計相關參數 連結

設計

題庫

總長度 b t k 測驗 長度 PBIB1 24 4 6 3 12 PBIB2 24 3 6 4 16 PBIB3 20 40 20 2 2

一、PBIB1 設計

PBIB1 設計是利用 BIB2 設計的試題區塊數排列設計而來，欲比較 NEAT、

PBIB 與 BIB 設計之等化效果，設計如表 3-13。此設計共包含 4 個題本、6 個試 題區塊、每個區塊包含 4 道試題，每個題本包含 3 個試題區塊、每一試題區塊在 題本中出現的次數為 2 次且成對區塊在題本中出現的次數只有一次，各題本之測 驗長度為 12。此設計之所以為 PBIB 設計，乃由於缺少(M1,M5)、(M2,M4)、(M3,M6) 成對出現之情境。

表 3-13 PBIB1 設計表

題本序號 區塊位置 區塊位置 區塊位置 S1 M1 M2 M6 S2 M1 M3 M4 S3 M2 M3 M5 S4 M4 M5 M6

33

二、PBIB2 設計

PBIB2 設計共包含 3 個題本、6 個試題區塊、每個區塊包含 4 道試題，每個 題本包含 4 個試題區塊，各題本之測驗長度為 16，設計如表 3-14。每一試題區塊 在題本中出現的次數和 PBIB1 設計同為 2 次（r=2），但是成對試題區塊(M1,M4)、

(M2,M5)和(M3,M6)皆同時重複出現於二個題本，其餘成對試題區塊則在所有題 本中僅出現一次。例如(M2,M4)出現於題本 S1 中，則不會在其它題本內出現。本 設計是為了與 PBIB1 設計比較題庫試題固定之情境下，不同之試題區塊數對連結 所造成的影響並與 NEAT3 設計探討在測驗長度為固定時，PBIB 設計與 NEAT 設 計之連結效益。

表 3-14 PBIB2 設計表

題本序號 區塊位置 區塊位置 區塊位置 區塊位置 S1 M1 M4 M2 M5 S2 M2 M5 M3 M6 S3 M3 M6 M1 M4

三、PBIB3 設計

PBIB3 設計共包含 40 個題本、20 個試題區塊、每個區塊包含 1 道試題，每 個題本包含 2 個試題區塊、每一試題區塊在題本中出現的次數為 4 次，各題本之 測驗長度為 2，設計如表 3-15。本設計是為瞭解 NAEP 對於寫作評量設計之等化 成效，因此題本完全仿照其對寫作評量題本之配置方式。

34

表 3-15 PBIB3 設計表 題本

序號 區塊 位置

區塊 位置

題本 序號

區塊 位置

區塊 位置 S1 P2 P14 S21 P6 P20 S2 P14 P9 S22 P20 P11 S3 P9 P1 S23 P11 P7 S4 P1 P16 S24 P7 P2 S5 P16 P17 S25 P2 P1 S6 P17 P18 S26 P1 P3 S7 P18 P10 S27 P3 P4 S8 P10 P5 S28 P4 P5 S9 P5 P19 S29 P5 P6 S10 P19 P20 S30 P6 P7 S11 P20 P16 S31 P7 P8 S12 P16 P12 S32 P8 P9 S13 P12 P3 S33 P9 P12 S14 P3 P17 S34 P12 P15 S15 P17 P15 S35 P15 P10 S16 P15 P4 S36 P10 P13 S17 P4 P18 S37 P13 P11 S18 P18 P19 S38 P11 P14 S19 P19 P13 S39 P14 P8 S20 P13 P6 S40 P8 P2

資料來源： Allen, Donoghue & Schoeps (2001)

35

第六節 研究工具

本研究所使用到的軟體工具及其功能如下：

壹、MATLAB

MATLAB 的程式語法簡單，具有強大的函數庫功能，尤其是針對矩陣運算應 用上相當方便，故研究者選用 MATLAB 來模擬出 BIB 設計、NEAT 設計與 PBIB 設計下受試者的作答反應組型、進行資料檔案轉換、計算試題參數與能力參數的 估計誤差以求得估算精準度。

貳、MULTILOG

本研究使用 MULTILOG(Thissen, 1991)進行測驗之水平等化，分析 GRM 模 式下的作答反應資料，以獲得試題參數的估計值與受試者的能力估計值。

36

STD 0.0058 0.0081 0.0213 0.0125 0.0086 0.0126 0.0199 RMSE 0.3775 0.0562 0.1050 0.0594 0.0477 0.0645 0.0981 5598

STD 0.0035 0.0081 0.0213 0.0125 0.0086 0.0126 0.0199 RMSE 0.3776 0.0492 0.0926 0.0527 0.0411 0.0567 0.0853 7560

STD 0.0032 0.0069 0.0159 0.0090 0.0071 0.0091 0.0140 RMSE 0.3660* 0.0325* 0.0585* 0.0325* 0.0252* 0.0363* 0.0555*

BIB1

19880

STD 0.0018 0.0043 0.0102 0.0057 0.0044 0.0055 0.0098 RMSE 0.3562 0.0751 0.1364 0.0778 0.0603 0.0830 0.1265 2800

STD 0.0044 0.0114 0.0295 0.0147 0.0117 0.0153 0.0306 RMSE 0.3555* 0.0554 0.0995 0.0552 0.0427 0.0613 0.0918 5600

STD 0.0034 0.0094 0.0177 0.0100 0.0085 0.0107 0.0198 RMSE 0.3556 0.0471 0.0803 0.0469 0.0384 0.0531 0.0800 7560

STD 0.0028 0.0068 0.0160 0.0089 0.0087 0.0115 0.0194 RMSE 0.3556 0.0321* 0.0532* 0.0300* 0.0230* 0.0334* 0.0522*

BIB2

19880

STD 0.0018 0.0046 0.0102 0.0054 0.0047 0.0066 0.0099