模擬條件與估計方法設定

本研究透過電腦進行不同評量架構之測驗模擬，產生受試者作答反應。每一 種情況均重覆進行 50 次的資料模擬，分別計算不同情境下各種估計方法所估計 受試者的能力值及群體參數的根均方差。各個變項設定如表 3-1，並分別說明如 下：

表 3－1 研究變項設定

實驗變項 變項設定

受試者能力分佈 多變量常態分佈

能力向度間的相關(s) 0.3、0.5、0.9

施測人數(N) 4000 人

輔助變數數量(p) 二個

輔助變數與能力值間的相關(h) ^無輔助變數、

有輔助變數的相關為[0.3, -0.3] 、 [0.3,0.7]

測驗架構 題間多向度

測驗向度(dim) 二向度和四向度

試題難度參數分佈(b) 難度在3和-3之間，每個向度試題難度平均值為

0，標準差為1

試題長度(n) 每個向度施測題數 2 題、5 題、10 題及 20 題 估計方法 EAP、EAP_AV、MLE、WLE、PV、PV_noAV

使用模式 MRCMLM

每一情形模擬資料集個數 50 次

壹、受試者能力分佈設定

受試者各向度能力值的產生，參考 de la Torre( 2009 )的研究設計，以迴歸參 數（輔助變數與能力值間的相關）乘上輔助變數作為平均數，而能力向度間的相 關作為標準差的多變量常態分佈，產生方式如下：

研究中使用二個間斷的輔助變數，其各包含二個類別，則可分成四個次群體

BV00、BV01、BV10、BV11，以矩陣

貳、能力向度間的相關

試題中所測量的能力，其向度間的相關參考 de la Torre( 2009 )的研究設計，

設為 0.5 與 0.9 並增加 0.3，以探討能力向度間的相關在低、中、高不同相關情形 下，對於個體能力估計以及群體參數估計的影響。

參、受試者人數設定

參考 von Davier M., Gonzalez, E., & Mislevy, R. J. ( 2009 )的人數設定，每個條 件樣本大小為 4000 人，依輔助變數分為四個次群體，每個次群體 1000 人。

肆、輔助變數數量以及與能力值間的相關

本研究模擬設定受試者有兩個輔助變數，因此可將受試者分為四個次群體做 細部分析。在有輔助變數的情況下，設定輔助變數與能力值間的相關為[ 0.3,-0.3 ] 以及[ 0.3,0.7 ]，用來瞭解不同的能力分佈狀態下，作答難度參數平均數為 0 的試 題，其估計結果的差異，以分析不同的相關程度對於估計的影響。

相關為[ 0.3,-0.3 ]時，依輔助變數分成的四個次群體平均數分別為 BV00=0、

BV10=0.3、BV01=-0.3、BV11=0，其群體平均數為 0；相關為[ 0.3, 0.7 ]時，依輔 助變數分成的四個次群體平均數分別為 BV00=0、BV10=0.3、BV01=0.7、

BV11=1，其群體平均數為 0.5。以此探討能力值高於試題參數、符合試題參數、

低於試題參數時的估計情形，並比較不同估計方法在次群體的表現。

在實務上相關很高的情況並不多見，而文獻上在輔助變數為連續的情況下相 關設得很高是為了凸顯方法的優點。設定相關為[ 0.3,-0.3 ]的原因在於使用軟體的 限制，因為 Acer ConQuest 2.0 軟體在量尺定義時必須設定試題參數平均為 0 或群 體參數為 0，由於研究中採用固定試題參數、將試題參數平均定為 0，而[ 0.3,-0.3 ] 的設計較能符合該量尺。

限制了試題參數，造成對能力量尺估計的影響，如相關為[ 0.3, 0.7 ]的設定，

因為納入輔助變數後始得群體平均數不是 0，這樣的情形對能力估計上產生的影 響亦待解釋。

伍、試題長度設定

本研究欲探討不同題數下各種估計方法對於個體能力估計與群體參數估計 之效果，故參考 de la Torre( 2009 )之設計，模擬每個向度施測題數為 10 題與 20 題情況。Wu( 2005 )在模擬研究中發現可能值方法在題數 3 題時有良好的估計準 確性，而 von Davier M., Gonzalez, E., and Mislevy, R. J. ( 2009 )則發現當只有涉及 少數試題時，最大概似估計法( MLE )傾向於太極端。為瞭解各種估計法在少數試 題的表現，因此增加每個向度施測題數為 2 題與 5 題的情形，最後進行四種試題 長度的分析。

陸、測驗架構與向度數設定

本次研究站在多向度試題反應理論的角度，採用題間多向度的形式進行資料 的模擬，因此從最基本的二向度著手，並增加四向度作為比較。

柒、試題難度參數設定

雖然理論上難度參數的值在正負無窮大之間，但典型的值在範圍-3 與 3 之間 ( Baker,1985 )，因此限制難度值範圍介於-3 與 3 之間，並將每個向度試題難度參 數設定為平均數為 0、標準差為 1 的常態分配，且每一架構的試題參數在每一次 的資料模擬中固定。

捌、估計方法

本研究主要在探討不同評量架構下，不同估計方法對於個體能力估計與群體 參數估計之效果。在無輔助變數的情況下，估計方法有期望後驗估計法( EAP )、

最大概似估計法( MLE )、加權概似估計法( WLE )以及沒有納入輔助變數的可能 值方法( PV_noAV )四種；在有輔助變數的情況下，估計方法有期望後驗估計法 ( EAP )、納入輔助變數的期望後驗估計法( EAP_AV )、最大概似估計法( MLE )、

加權概似估計法( WLE )、沒有納入輔助變數的可能值方法( PV_noAV )以及可能 值方法( PV )六種。