試題鑑別度的相關研究

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

生的理解、應用、分析或評鑑的能力(歐滄和，2002)。

2.2 試題鑑別度的相關研究

王麗雯(1993)提出以雙隨機變項迴歸法定義試題鑑別度，賦予鑑別度統計意 義，不但可探討鑑別度的區間估計並可做檢定，相較於傳統以高低分組通過率差 所定義的鑑別度，此研究以雙隨機變項迴歸法定義的鑑別度在分析試題良莠時有 更客觀的標準。另外，以雙隨機變項迴歸法定義的鑑別度，在應用時不僅限於只 有答對或答錯的試題，甚至適用於部份給分的試題。研究結果發現以雙隨機變項 迴歸方法所定義的鑑別度，其鑑別力與以高低分組通過率差所定義的鑑別度之鑑 別力相近，且優於相關係數的鑑別度定義。

謝佩瑾(2001)考慮小班教學之教育需求，研究提出利用中間 P 值作為判斷「二 元給分試題」是否具有鑑別度以及費雪正確檢定P 值作為判斷「部份給分試題」

是否具有鑑別度之方法，相較於傳統以高低分組通過率差所定義的鑑別度，此研 究利用統計檢定的過程來評斷試題是否具有鑑別度，賦予試題鑑別度更客觀的判 斷標準。研究結果發現利用中間P 值與費雪正確檢定 P 值皆與傳統以高低分組 通過率之差所定義的鑑別度及臨界比有一致性。

傅怡銅(2003)提出當考生作答情形只有答對與答錯兩種，利用古典測驗理論 D 值、點二系列相關係數、項目反應理論、卡方適合度檢定、羅吉斯迴歸模式下 卡方適合度檢定、概似比函數等六種方法，進行試題鑑別度的比較與分析，研究 結果發現六種鑑別力之評定方法無絕對之優劣，需視評鑑者的需求決定使用方 式。大致為古典測驗理論寬鬆、羅吉斯迴歸模式下概似比函數次之、卡方適合度 檢定、羅吉斯迴歸模式下卡方適合度檢定再其次、項目反應理論嚴苛。

由於本文研究主題與施焱騰(2008)同為題組型試題的鑑別度，且施焱騰的研 究架構又為呂金川(2008)的延伸，因此本文研究內容與施焱騰與呂金川的研究關 聯性高。故接下來將針對兩人提出的研究結果作詳細的介紹，並各列舉一範例輔

‧

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

1. 機率模式下計算試題難度與鑑別度值比傳統鑑別度複雜。

2. 可利用數學軟體，依研究操作程序解決機率模式的計算問題。

3. 傳統的難度與鑑別度不受中間群體表現的影響；而機率模式的難度與鑑別度 因有考慮全體的作答情形，故會隨中間群體答題資料變動。

4. 一般而言，機率模式之高分組答對率會小於傳統模式高分組答對率、機率模 式之低分組答對率會小於傳統模式低分組答對率，此研究之實例分析亦呈現 該現象。

5. 機率模式的難度與傳統的難度接近，而機率模式的鑑別度通常小於傳統的鑑 別度。

6. 不同試題之通過率相同時，傳統的難度和鑑別度未必相同，而機率模式下的 難度與鑑別度卻相同。

【例1】呂金川(2008)第二章第四節範例 1

假設一份試卷共有五題試題，試題間彼此獨立，且每一題配分皆相同，現有 八名學生應試，將八位學生答對題數由高至低排序如表2-5。

表2-5 例1 之學生作答情形 學生

編號 第一題 第二題 第三題 第四題 第五題 答對 題數

1 1 1 1 1 1 5

4 1 1 1 1 1 5

6 0 1 1 1 1 4

8 1 0 1 1 1 4

3 0 0 1 0 1 2

5 0 1 0 1 0 2

7 0 0 1 0 0 1

2 0 0 0 0 0 0

註：上表中答對該題以 1 表示，答錯該題以 0 表示

步驟一：將答對題數由高至低排列，選取前27%作為高分組及後 27%作為低分 組，本例之高分組取答對五題以上者，即r_H 5，低分組取答錯一題以 下者，即r_L 1

‧

4096 4096 4096 X    

‧

‧

‧

‧

‧

144 192 576 144 192 576

F t t t t t t t

t t t t t t

     

     

‧

144 192 576 P X    

將步驟一所得機率生成函數G t 中次數至多為一次的各項係數加總 _x( ) 25 25 25

( 1)

192 576 144 P X    

144 192 576 P X  且C    

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

[ ] [ ]

31 31

31 0.6250 2

H L

P P

P 

 

[ ] [ ]

31 31^H 31^L 0.7500 D P P 

同理可得

32 0.5000

P  ； D₃₂ 1.0000

33 0.8557

P  ； D₃₃ 0.7113

同理，重複上述步驟可得其他題組之難度與鑑別度，結果如表2-8。

表2-8 例2 的傳統模式與機率模式之子題難度與鑑別度比較表

題號 傳統模式 機率模式

難度 鑑別度 難度 鑑別度

題組一 1 0.500 0.50 0.5719 0.4338 題組二 1 0.625 0.75 0.7250 0.5500 2 0.375 0.75 0.3918 0.7835 題組三 1 0.625 0.75 0.6250 0.7500 2 0.500 1 0.5000 1.0000 3 0.375 0.75 0.3557 0.7113

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y