第三章 研究方法與設計
第一節 研究架構
根據研究目的，研究者參閱相關文獻後，以試題數、樣本數、題組效果程度 為因子，在兩個題組下，依照不同因子水準，模擬產生受試者的反應組型，並以 1-P HGLLM 與 Rasch 模式，在忽略題組效果的情況下，分別估計試題難度與能力 值，探討兩種模式在各因子組合下，估計試題難度與能力值的精準度情形。
本研究的資料模擬結構如圖 3-1，題組包含不同試題，且學生皆作答每一個 題組中的試題。因本研究是探討忽略題組效果時的估計精準度，故在資料模擬時 有模擬題組效果，但在估計參數時，則忽略題組的存在，即沒有圖 3-1 中的虛線 部分。研究架構如圖 3-2，現就研究架構圖分述如下。
試題 3
試題 4
題組 1
題組 2
學生 4 學生 2
學生 3
圖 3-1 本研究的資料模擬結構圖 試題 1
試題 2
學生 1 ,
...
, 2 ,
1
I
i
=m
=1,2,...,M
j
=1,2,...,J
文獻探討與評述
階層線性模式 多層次試題反應理論 局部獨立性 題組反應模式
確認模擬因子
‧試題數：( 20，40，80 )
‧樣本數：( 100，300，900 )
‧題組效果程度 ( 2 2)
2
1
γ
γ σ
σ
， :(0，0)、(0，2)、(0，8)、
(2，2)、(2，8)
資料模擬
分析結果比較
結論與建議
圖 3-2 研究架構圖
1-P HGLLM
‧試題難度估計
‧能力值估計 Rasch 模式
‧試題難度估計
‧能力值估計 確認模擬工具效度
試題局部獨立性檢驗
一、理論基礎
(二) 1-P HGLLM 參數估計
以 1-P HGLLM 估計參數時，階層一為試題，階層二為受試者，數學式如公 式 (12)、(14) 與 (15)。
二、模擬因子與重複次數
(一) 模擬因子
Kamata (1998b) 以階層線性模式說明對數模式的模擬研究中，試題數、樣本 數為因子之一，進一步發現其他情況不變時，題數越多能力值估計的越精準；除 此之外，許多研究中，題組數和試題數，也為題組反應模式的模擬因子之一 (DeMars, 2006; Jiao et al., 2005)。在 Jiao et al. 的研究中，更發現其他情況不變時，
題組效果程度會影響試題參數的估計精準度。
(二) 因子水準
IRT 的模擬研究裡，試題數方面，一個題組包含 5～100 個試題不等 (Du, 1998;
Jiao & Kamata, 2001; Wainer, Kaplan, & Lewis, 1992)；樣本數則從 1000 以內 (Kamata, 1998b; Tuerlinckx & Boeck, 2001; Wang, Bradlow, & Wainer, 2002) 到 5000 以上不等 (Du, 1998; Ferrara, Huynh, & Michaels,1999; Li, Bolt, & Fu, 2005)；
就題組效果程度而言，有研究者將其程度設在 2 以下 (DeMars, 2006; Du, 1998)。
綜合以上文獻可知，因子水準的選取頗具彈性，唯獨在題組效果程度部分，未對 比較嚴重的程度進行探討，也成為本研究設定題組效果程度之重要參考。
基於上述，本研究考量人力、物力等成本後，設定為兩個題組，並以試題數、
樣本數、題組效果程度為模擬因子，共 45 (3×3×5=45) 種組合。三個因子的水 準選取如下：
(1) 試題數 ( i )：20、40、80 題。在此指「試題總數」，其平均分配在兩個題組，
例如：試題數為 20 時，表兩個題組各包含 10 題。
(2) 樣本數 ( N )：100、300、900 人，代表小、中、大樣本。
(3) 題組效果程度 ： 表第一個題組的題組效果程度， 表第二個
關於每種因子組合的重複 (replication) 次數研究，Drasgow (1989) 重複 10 次，Seong (1990) 重複 5 次，以進行二參數對數模式相關研究；Yang (1995) 重 複 50 次，進行二元計分的階層線性模式分析；Tuerlinckx and Boeck (2001) 於對 數模式相關研究中，每種組合重複 50 次；Stone (1992) 則指出重複 100 次時，其 結果較穩定，不易受樣本浮動 (sample fluent) 干擾；而 Kamata (1998b) 針對 Rasch 模式的研究，指出重複 50 次和重複 100 次的效果無顯著差異。
(一) Root Mean Square Deviation (RMSE) (三) Monte Carlo Standard Error (MCSE)
此為穩定度、一致性的指標，其表示如下，檢查是否有一致性的低估或高估，
Kamata, 1998b; Rijmen, Tuerlinckx, Meulders, Smits, & Balazes, 2005)，Rijmen et al.
更提到精準度指標之間的數學關係式： ，故本研究利用
上述幾種指標，做為參數估計精準度的依據。
2 2
2