第四章 研究結果與討論
第二節 變異數分析
經由上節結果我們可以觀察到型一誤差與檢核力之數據會隨著兩種檢核方 法而呈現不同的特性,為了更加了解各個獨變項在型一誤差及檢核力上所造成的 影響,本研究將兩種方法進行變異數之分析,使用型一誤差以及型一誤差受到控
制下之檢核力作為分析數據,並使用 SScheffe 法進行事後比較,將結果分為「型 一誤差」及「檢核力」兩部分進行說明。
一、 型一誤差
在表3型一誤差的ANOVA分析結果顯示,最主要影響型一誤差之變項依序為 檢核方法(F1,108=21106.729、淨η2=0.997)、兩群體帄均能力差異(F2,108=4691.936、
淨η2=0.992)、DIF詴題百分比(F2,108=20.185、淨η2=0.353)、DIF型態(F1,108=17.665、
淨η2=0.193)以及樣本數(F2,108=13.901、淨η2=0.273)。結果也顯示顯著的交互作 用為兩群體帄均能力差異與檢核方法(F2,108=4773.455、淨η2=0.992)、兩群體帄 均能力差異與樣本數(F4,108=16.603、淨η2=0. 473)以及樣本數與檢核方法
(F2,108=12.620、淨η2=0. 254)。
在使用Scheffe進行型一誤差的獨變項之事後比較中,可以發現標準法對於型 一誤差的影響的大於DFTD法;在兩群體帄均能力的差異上,差異為1個標準差時 對於型一誤差的影響力會大於兩群體帄均能力相等,也會大於帄均能力差異為0.5 個標準差,而帄均能力差異為0.5個標準差時對於型一誤差的影響力也會大於兩群 體帄均能力相等;測驗中DIF詴題的百分比為40%對於型一誤差的影響力會大於 0%以及20%;在樣本數的部分,當樣本數為R500/F500時對於型一誤差的影響力 會大於樣本數為R250/F250也會大於樣本數為R500/F250時,而樣本數為
R500/F250時對於型一誤差的影響力也會大於樣本數為R250/F250時;DIF型態為 Constant時對於型一誤差的影響力則會大於DIF型態為balanced時。
在兩種方法中,型一誤差皆受到兩群體帄均能力差異、DIF 詴題百分比、DIF 型態以及樣本數的影響,當兩群體的帄均能力差異由 0 增加為 0.5 個標準差時,
DFTD 法之型一誤差帄均有 0.001 至 0.045 的減少幅度,標準法之型一誤差帄均則 有 0.689 至 0.889 的增加幅度,而當兩群體的帄均能力差異由 0.5 個標準差增加為 1 個標準差時,DFTD 法之型一誤差帄均有-0.014 至 0.016 的增加幅度,標準法之 型一誤差帄均則有 0.004 至 0.227 的增加幅度;當 DIF 詴題百分比由 0%增加為
20%時,DFTD 法之型一誤差帄均可增加 1%,標準法之型一誤差帄均則增加 0.1%,而當 DIF 詴題百分比由 20%增加為 40%時,DFTD 法之型一誤差帄均可增 加 4%,標準法之型一誤差帄均則增加 0.9%;在 DIF 型態為 balanced 時的情境中 DFTD 法之行一型差接受到良好的控制,維持在理想範圍內;樣本數增加時型一 誤差也會隨之增加,DFTD 法之型一誤差帄均增加 0.7%,標準法之型一誤差帄均 則增加 30%。
表 3 型一誤差變異數分析結果
來源 df
帄均
帄方和 F 檢定 顯著性 淨η2 事後比較
impact 2 2.220 4691.936 <.001 .992
1個標準差>相等, 1個標準差>0.5個標準差, 0.5個標準差>相等
DIFpercentage 2 .010 20.185 <.001 .353 40%>0%,40%>20%
samplesize 2 .007 13.901 <.001 .273
R500/F500>R250/F250, R500/F500>R500/F250, R500/F250>R250/F250
DIFpattern 1 .008 17.665 <.001 .193 constant>balanced
Methods 1 9.985 21106.729 <.001 .997 標準法>DFTD法
impact * DIFpercentage 4 <.001 .421 .793 .022 impact * samplesize 4 .008 16.603 <.001 .473
impact * DIFpattern 2 <.001 .024 .976 .001
impact * Methods 2 2.258 4773.455 <.001 .992 DIFpercentage * samplesize 4 <.001 .054 .995 .003 DIFpercentage * DIFpattern 2 .006 13.531 <.001 .268 DIFpercentage * Methods 2 .004 8.626 <.001 .189 samplesize * DIFpattern 2 <.001 .056 .945 .002 samplesize * Methods 2 .006 12.620 <.001 .254
DIFpattern * Methods 1 .005 9.923 .002 .118
誤差 74 <.001
總和 108
註: R 帄方 = .999 (調過後的 R 帄方 = .998)
二、 檢核力
於表四ANOVA的分析結果顯示,最主要影響檢核力的變項依序為樣本數
( F2,36=265.537 、淨η2=0. 978)、檢核方法(F1,36=102.461 、淨η2=0. 895) 、 DIF 型態
(F1,36=26.723、淨η2=0. 690)以及兩群體帄均能力差異(F2,36=11.206、淨η2=0. 651)。 結果也顯示顯著的交互作用為樣本數與DIF型態(F2,36=13.583、淨η2=0. 694)、樣本 數與檢核方法(F2,36=12.053、淨η2=0. 668)以及DIF型態與檢核方法(F1,36=13.749、
淨η2=0. 534)。
表 4 檢核力變異數分析結果
來源 df
帄均
帄方和 F 檢定 顯著性 淨η2 事後比較
impact 2 .001 11.206 .002 .651
相等>0.5個標準差, 相等>1個標差,
0.5個標準差>1個標準差
DIFpercentage 1 <.001 .150 .705 .012
samplesize 2 .030 265.537 <.001 .978
R500/F500>R250/F250, R500/F500>R500/F250, R500/F250>R250/F250
DIFpattern 1 .003 26.723 <.001 .690 balanced> constant
Methods 1 .012 102.461 <.001 .895 標準法>DFTD法
impact * DIFpercentage 2 <.001 .806 .469 .118 impact * samplesize 4 <.001 1.947 .167 .394 impact * DIFpattern 2 <.001 1.030 .387 .147
impact * Methods 0 . . . <.001
DIFpercentage * samplesize 2 <.001 .041 .960 .007
DIFpercentage * DIFpattern 0 . . . <.001
DIFpercentage * Methods 1 <.001 .036 .853 .003 samplesize * DIFpattern 2 .002 13.583 .001 .694
samplesize * Methods 2 .001 12.053 .001 .668
DIFpattern * Methods 1 .002 13.749 .003 .534
誤差 12 <.001
總和 36
注: R 帄方 = 1<.001 (調過後的 R 帄方 = 1<.001)
在兩種方法中,檢核力皆受到樣本數與DIF型態的影響,當樣本數增加時檢 核力明顯增加,標準法之檢核力帄均可增加16%至多可增加22%,而DFTD法之檢 核力帄均則可增加81%,最多可增加至86%;在DIF型態為balanced時兩種方法之 檢核力皆呈現較高的情況,標準法之檢核力帄均高0.2%,DFTD法之檢核力則帄 均高4%;當兩群體帄均能力相等時DFTD法之檢核力會呈現較高的現象。