第四章 研究結果與討論
第一節 三種選題法篩選 DIF-free 試題之正確率
本模擬研究一之數據結果列於表 2 及表 3 各別為利用三種選題方法篩選 2 道 及 4 道定錨題為 DIF-free 試題之平均正確率，以下將針對數據結果以兩種 DIF 型態進行說明。
壹、DIF 型態為 constant
由表 2 的實驗數據可知，兩群體能力相等時，DIF 試題高百分比會使選題 正確率會有較低的趨勢。在篩選 2 道定錨題時，RB 法在 DIF 試題百分比為 30%
以內，正確率可達 100%，當 DIF 試題百分比在 40%時，正確率些微下降至 99%；SP 法即使在 DIF 試題百分比遞增，高達 40%時，選題正確率仍可達 100%，而 ICI 法在 DIF 試題百分比 20%以內時，正確率可高達 100%，DIF 試題 百分比增加到 30%以上，正確率皆達到 97%以上。當選擇 4 道定錨題時，RB 法 在 DIF 百分比 20%以內，正確率可達 100%；DIF 試題百分比為 30%以上時，正 確率有些微下降到 99%。SP 法即使 DIF 試題百分比高達 40%，選題正確率都可 達 100%，而 ICI 法在 DIF 試題百分比遞增的情況下，正確率也隨之遞減，但皆 可達 95%以上。
當兩群體能力為不相等且 DIF 試題百分比高時，選題正確率有些微降低的 現象。在篩選 2 道定錨題時，RB 法在 DIF 試題百分比 40%時，正確率會有些微 降低，但正確率仍然有 98%；SP 法在 DIF 試題百分比 40%時，正確率也略為下 降，但正確率依然有 98%；ICI 法在 DIF 試題百分比為 10%時，正確率為 100%，DIF 試題百分比在 20%以上，正確率隨著測驗中 DIF 試題百分比遞增而 有些微遞減，但可達 91%以上。在篩選 4 道定錨題時，RB 法在 DIF 試題百分比 40%時，正確率有下降的趨勢，但正確率仍可達 97%；SP 法在 DIF 試題百分比
為 10%時，正確率為 100%，DIF 試題百分比在 20%以上，正確率有些微下降，
可達 100%，但在高 DIF 試題百分比，正確率有些微下降至 99%，而 ICI 法在所 有 DIF 試題百分比情境時，正確率皆可達 100%。而當選擇 4 道定錨題時，RB 法即使在 DIF 試題百分比遞增的情況下，正確率可達 99%以上； SP 法也在 DIF 試題百分比遞增的情況下，正確率可達 99%以上，而 ICI 法在 DIF 試題百 分比為 20%以內時，正確率可達 100%，之後隨著 DIF 試題百分比增加而遞減，
但依然可達 98%以上。
當兩群體能力為不相等時，雖然 DIF 試題百分比遞增，選題正確率幾乎都 能達 84%以上。在篩選 2 道定錨題時，RB 法在 DIF 試題百分比為 20%以內的情 況下，正確率可達 100%，在高 DIF 試題百分比時，正確率有些微降低，仍可達 99%；SP 法在 DIF 試題百分比為 20%以內，正確率都可達 100%，在高 DIF 試 題百分比，選題正確率有些微下降，也可達 99%，而 ICI 法在 DIF 試題百分比 為 20%以內，正確率都可達 100%，但在高 DIF 試題百分比，選題正確率略 降， 但也可達 92%。而當選擇 4 道定錨題時，RB 法在高 DIF 試題百分比的情 況下，正確率也會些微下降，但可達 98%以上； SP 法也在 DIF 試題百分比遞 增的情況下，正確率可達 98%以上，而 ICI 法在 DIF 試題百分比為 20%以內 時，正確率可達 100%，之後隨著 DIF 試題百分比增加而遞減。
由上述的實驗數據結果可知，在 DIF 型態為 balanced 的情境下，當兩群體 能力不相等時，三種選題法的選題正確率會受到影響，相較於兩群體能力相等 時，正確率略微下降。而當 DIF 試題百分比遞增時，正確率仍會受到 DIF 試題 百分比的影響，在高 DIF 試題百分比時，選題正確率還是會比低 DIF 試題百分 比時來得低一些。而本研究在 balanced 的情境下，ASA 數值為 0，且當兩群體 能力相等時，三種方法篩選 DIF-free 試題的正確率並無太大差異，正確率至少 皆在 98%以上，若當兩群體能力有差異時，在高 DIF 試題百分比時 RB 法以及 SP 法的正確率仍會受到些微影響至 98%，則 ICI 法的正確率皆顯著受到 DIF 試 題百分比遞增的影響，當 DIF 試題比例為 40%時，正確率隨之下降至 84%，可
見當兩群體能力分配不同的情況下，即便當 ASA 為 0，試題中 DIF 試題所佔的 DIF-free 試題的表現相差不大，正確率幾乎都能達 98%以上，均為理想；DIF 型 態為 constant 時，SP 法篩選 DIF-free 試題之正確率幾乎都較 RB 選題法來得高
同時，ASA 遞增，三種選題法都隨之下降，不過，也可發現當 ASA 為 0 時，三 種選題法之正確率會比兩群體能力相同時來得低一些。
圖 3 兩群體能力相等時 ASA 與正確率相關圖- 2 anchors 圖 4 兩群體能力不相等時 ASA 與正確率相關圖- 2 anchors
圖 5 及圖 6 為兩群體能力相等及不相等的情境下，ASA 與 4 道定錨題之正 確率的相關圖。由圖 5 兩群體能力相等與 ASA 的相關圖來看，可發現 RB 法與 ICI 法會受到 ASA 增加而影響到選題正確率，也就是當 ASA 遞增時，選題正確 率下降，但 SP 法則無。圖 6 可觀察到當兩群體能力不等時，三種選題法均受到 ASA 遞增的情況，因而選題正確率遞減，也可觀察到當 ASA 為 0 時，ICI 法依 然有一個情境的選題正確率較低，故由此四個相關圖來看，可發現 SP 法與 RB 法之選題正確率相差不大，兩者所得之選題正確率幾乎均優於 ICI 法，尤其是當 兩群體能力不等時， ICI 法所得之選題正確率明顯較其他兩種選題法來得低，
總而言之，在大部份的情境下 SP 法比 RB 法及 ICI 法可得較高的正確率，表現 也較穩定。
圖 5 兩群體能力相等時 ASA 與正確率相關圖- 4 anchors 圖 6 兩群體能力不等時 ASA 與正確率相關圖- 4 anchors
由上述的實驗結果可以發現選題正確率會隨著不同的選題方法而有些微的 差異，為更知悉本研究各獨變項對於選題正確率的影響，將針對不同選題方法 對進行各獨變項的變異數分析（Analysis of Variance）。在變異數分析上，可知 F 值易受到樣本數數量的關係而達到顯著，當 F 值已達到顯著水準但淨相關 η 2 係數太小時，在統計上已有其意義，但本研究欲找出高度關聯性的獨變項，也 就是當淨η 2 係數大於 0.14（Cohen, 1988），故結果分析只列出淨 η 2 係數在大 於 0.14 數值的獨立變項，顯示此獨立變項對於其依變項的差異不但具有統計意 義，也可顯示對其依變項的相關性。除使用變異數分析針對各獨立變項進行分 析之外，另外使用 Scheffe 法進行事後比較，以進一步了解各獨立變項間的關聯 性。
由表 4 選題正確率變異數分析結果可知，主要影響選題正確率之獨立變項 依序為測驗中 DIF 試題的百分比（F(3,63)=23.712、淨 η 2=0.530）、定錨題選題 法（F(2,63)=29.114、淨 η 2=0.480）、受試者的能力分配（F(1,63)=43.171、淨 η
2=0.407）及 DIF 型態（F(1,63)=12.394、淨 η 2=0.164）。表 4 也可觀察到有達顯 著 的 交 互 作 用 影 響 依 序 為 測 驗 中 DIF 試 題 的 百 分 比 與 定 錨 題 選 題 法
（F(6,63)=10.906、淨 η 2=0.509）、受試者的能力分配與測驗中 DIF 試題的百分 比 （ F(3,63)=10.924 、 淨 η 2=0.342 ） 及 受 試 者 的 能 力 分 配 與 定 錨 題 選 題 法
（F(2,63)=10.785、淨 η 2=0.255）。
使用 Scheffe 法進行選題正確率的獨立變項之事後比較，可以發現在受試者 的能力分配上，兩群體能力相等對於選題正確率的影響力大於兩群體能力不相 等；在 DIF 型態上，balanced 型態對選題正確率影響較大；測驗中 DIF 試題的 百分比為 10%對正確率的影響力分別大於 30%及 40%，20%大於 40%，30%則 大於 40%。在定錨題選題法上，則為 RB 法及 SP 對於正確率的影響均大於 ICI 法。
選擇定錨題時，易受到測驗中 DIF 百分比的影響，尤其是測驗中含有高
DIF 百分比時，選題正確率會些微下降，也會受到三種選題法的篩選步驟影響，
篩選出 DIF-free 的正確率會有所差異，當受試者的能力分配有差異且 DIF 型態 為 constant 時，也可發現選題正確率會較其它情境來得低。
表 4 選題正確率變異數分析結果
來源 df 平均
平方和 F 值 顯著性 淨η 2 事後比較
Ability difference 1 .008 43.171 <.001 .407 相等>不等
DIF pattern 1 .002 12.394 .001 .164 balanced>constant
DIF percentage 3 .004 23.712 <.001 .530 10%>30%,10%>40%
20%>40%,30%>40%
Anchors 1 .002 9.771 .003 .134
Methods 2 .005 29.114 <.001 .480 RB>ICI, SP>ICI
Ability difference * DIF pattern 1 .001 3.714 .058 .056 Ability difference * DIF percentage 3 .002 10.924 <.001 .342 Ability difference * Anchors 1 .001 3.371 .071 .051 Ability difference * Methods 2 .002 10.785 <.001 .255 DIF pattern * DIFpercentage 3 <.001 1.369 .260 .061 DIF pattern * Anchors 1 <.001 .722 .399 .011
DIF pattern * Methods 2 .001 2.895 .063 .084
DIF percentage *Anchors 3 .000 2.744 .050 .116 DIF percentage * Methods 6 .002 10.906 <.001 .509
Anchors * Methods 2 .001 4.063 .022 .114
誤差 63 <.001
總和 96
註：R平方 = 1.000 (調過後的 R 平方 = 1.000)
第二節 三種選題法用於先定錨後檢核策略之型一 誤差及檢核力
在前一節研究篩選 DIF-free 試題之正確率結果中，SP 法較 RB 法與 ICI 法 在各情境下篩選 DIF-free 試題之正確率較高且穩定。接下來，本章節將接續模 擬研究一所篩選出的 DIF-free 試題進行定題法 DIF 檢核，以測試各選題法所篩 選出 DIF-free 試題的檢核效能。本階段研究結果之數據結果分列於表 5 至表 12。表 5 及表 6 分別呈現三種選題法於不同 DIF 型態篩選 2 道定錨題進行先定 錨後檢核策略後所得之型一誤差及檢核力，表 9 及表 10 分別呈現三種選題法於 不同 DIF 型態篩選 4 道定錨題進行先定錨後檢核策略後所得之型一誤差及檢核 力。
表 7、表 8、表 11 及表 12 則分別呈現本研究混合性 DIF 選項試題於利用 2 道定錨題及 4 道定錨題進行先定錨後檢核策略後各題 DIF 選項數不同所得之檢 核力。表格中所呈現的 Type I error 數據為試題在 100 次的模擬實驗中進行 DIF 檢核後，檢核方法將非 DIF 試題判定為 DIF 試題的平均機率，而表格中所呈現 的檢核力則為試題在 100 次的模擬實驗中進行 DIF 檢核後，檢核方法能正確檢 測出 DIF 試題的平均機率，以下內容將結果數據以兩種定錨題數進行說明。
壹、定錨題數為 2 題
由表 5 數據結果顯示，以 DIF 型態為 constant 而言，不管兩群體平均能力 相等或是平均能力有差異時，以三種選題法所篩選出 2 道定錨題進行 DFTD 策 略時，所得之型一誤差皆在所能接受的合理範圍之內，約在 0.02~0.05 之間，
發現兩群體平均能力有差異時，所得之型一誤差相較兩群體平均能力相同時較 高，也可發現當即使 DIF 百分比高達 40%且 ASA 為 0.30 時，型一誤差也都控 制得相當良好。
檢核力的部分，可發現兩群體能力有差異時，所得檢核力也會相較於兩群 體能力相同時略低一些。由表 5 可發現不管能力是否相同，測驗中 DIF 百分比 為 10%時，檢核力較佳，可達 90%以上。
表 5 進行 DFTD 策略之型一誤差及檢核力（constant、2 anchors）
ability
difference DIF% ASA Type I error Power
RB SP ICI RB SP ICI
RB SP ICI RB SP ICI