• 沒有找到結果。

第三章 研究架構與研究方法

3.3 研究方法

數常態肩形模式(two-parameter normal ogive model)之參數估計方法與應用,

其在「成就」與「性向」測驗之研究成果被視為試題反應理論之起源。後來的學

試題反應理論具有下列幾項特點[11],[12][13],[14]:(1)所採用的試題參數是 likelihood; MML)及條件最大概似法(conditional maximum likelihood; CML)。當 受測者能力已知時,可使用最大概似估計法來校估參數;當受測者能力及試題參 數皆未知之情況下,則可使用聯合最大概似估計法及邊際最大概似估計法,對試 題參數及受測者能力參數進行同時之校估。目前單向度模式已有許多不同校估分 析軟體,在使用上應依研究之需要選擇適當之軟體。目前已有許多軟體可用來校 估 多 向 度 隨 機 係 數 多 項 羅 吉 模 式 之 參 數 , 包 括 ACER ConQuest 、 SAS NLMIXED、STATA gllamm、MIXOR 及 MIXNO,其中 ACER ConQuest 收斂 速度最快。其原理是利用邊際最大概似估計法(marginal maximum likelihood estimation;MMLE)來進行參數校估。在試題與受測者為條件獨立(Conditional

[ ( )]

估計參數量較少,且參數估計較精準。其缺點為指定的試題向度若有問題,參數 亦無法收斂,或忽略某些題目測到其他能力向度的可能性。

3.3.3 信度檢測

試題反應理論提供評估潛在變數之信度及效度指標,信度指標通常是指測驗 者填答每個試題的一致性,對於每個試題的選項感受程度不因試題的不同而改 變。在單向度試題反應理論中有試題信度(Item Reliability)及受測者信度(Person Reliability),試題反應理論之信度部份觀念源自Cronbach’s α信度指數。受測者 信度(Rp)為解釋之受測者變異量(SA2p)與受測者總變異量(SD2p)之比值,如式(9) 所示,受測者信度界於0至1之間。其中SAP2為受測者總變異與誤差項變異之差,

如式(10)所示。

2 2 p p

p

R SA

= SD ………(9)

2 2 2

p p p

SA = SDSE ………..……(10)

受測者分離指標(person separation index,Gp)是受測者可被區分出能力 級段(strata)差異的統計參數,其公式如式(11)所示,一般而言,受測者分離指 標越大,表示受測者間的區分越明顯,測驗信度也越佳,根據 Duncan[15]指 出分離指標等於 1.5 為可接受分離程度;2.0 為好分離程度;3.0 為極佳分離 程度。

受測者分離指標可用來計算受測者能力之級段(strata),其計算方式如公 式(12)所示。

p p

p

G SA

= SE ………(11)

(4 1) 3 Gp

strata +

= ………(12)

3.3.4 效度檢測

試題反應理論之效度是指量測結果如預期測量的目標,也就是問卷的試題必 須與研究目標相符合。試題反應理論利用 適配度(Fit)指標 及差 異試題功能 (Differential Item Functioning, DIF)檢定來評估模式是否符合向度假設,下列將 分別介紹配適度指標與差異試題功能。

配適度指標

試題反應理論之適配度指標包括有Z standardized fit statistics(Zstd)指標及 均方誤差(Mean Square Error, MNSQ)指標。本研究抽樣樣本數大於500,因此 將採用均方誤差指標。均方誤差指標包括未加權均方誤差指標(outfit MNSQ)及 加權均方誤差指標(infit MNSQ),未加權均方誤差指標即將所有受測者在該題之 標準化殘差之平方和除以受測者人數;加權均方誤差指標即將所有受測者在該題

相關文件