選項特徵曲線與試題分析理論

壹、 理論基礎

隨著測驗形式的改變以及逐漸增加的需求量，測驗理論已從「古典測 驗理論」（classical test theory，CTT）發展至「試題反應理論」（item response theory，IRT）。試題反應理論之目的是從大範圍中找出一個起 始值來針對試題或是選項特徵函數（option characteristic function）

做有效的估計，而將此函數之關係以圖形的方式表示，則稱為選項特徵曲 線（option characteristic curve，OCC）（吳慧怋，2001）。

加拿大心理計量教授J.O.Ramsay在1991年於Psychometrika期刊上發 表「核平滑法無參數試題特徵曲線估算法」（Kernel Smoothing Approaches to Nonparametric Item Characteristic Curve Estimation），此方法 首次結合了「高低試題鑑別指數」與「核平滑無參數估算法」，並可以同 時分析正確選項與誘答選項（吳慧怋，2001）。核平滑化（kernel smoothing）

就是被估計的受試者加以排序後的函數和試題選項是否被選（選則指示值 為1，否則為0）而成為二元變數（binary variable）之間的關係。此方 法並無假設任何適當的模式，完全根據受試者實際作答資料來進行分析，

是一種無參數（nonparameter）的試題反應理論（Ramsay，1991）。

Ramsay根據上述理論，發展出TestGraf98應用軟體，用來估算並繪製 選項特徵曲線（option characteristic curve，OCC）。

貳、 選項特徵曲線

TestGraf98軟體並不像其他傳統的試題分析軟體，直接分析試題的難 度指數、鑑別度指數或各試題選項的選答率，而是繪製出試題之選項特徵 曲線（option characteristic curve，OCC），並用之來解釋試題的難度、

鑑別度與選項誘答力（楊志強，2004）。因此相較於文字敘述或數據資料

的方式，利用選項特徵曲線之圖示表達將更容易也更清楚呈現出不同能力 的受試者，於各試題之不同表現。選項特徵曲線的繪製事先並無假設其服 從某一特定之試題反應模式，完全根據受試者之作答資料，配合上述之核 平滑化法，始得一平滑之曲線圖（吳慧怋，2001）。以下茲將選項特徵曲 線圖作說明：

一、 選項特徵曲線圖之說明

選項特徵曲線圖以受試者的能力為橫軸，並以受試者在某一試題 之選答率為縱軸，而圖中的選項特徵曲線數目因試題選項個數而異。

因此可以透過曲線圖來區辨不同能力受試者，對於各試題選項之選達 率，藉此判斷試題選項之特性，並瞭解各能力受試者之不同表現。

二、 選項特徵曲線之特性

選項特徵曲線能有效診斷有問題的試題或選項，它能幫助試題編 製者決定是否重新命題，來消除題意不明的試題選項，或再編製針對 不同能力受試者較具誘答力之選項，以提昇試題之鑑別度。

三、 選項特徵曲線之判讀

以下將以幾個選項特徵曲線圖來說明其代表之意涵與解釋方式

（吳慧怋，2001）：

（一）解釋試題之難易度

1. 第五題試題之正確選項為第2選項。由圖2－3－1顯示，此試題中低 能力受試者之通過率較低，只有高能力之受試者才可能答對此試 題，因此是屬於較難的試題。

圖2－3－1選項特徵曲線圖（一）

2. 第二試題之正確選項為第4選項。圖2－3－2顯示，這是一題相當容 易的試題，任何能力之受試者對於正確選項均有很高的選答率。

圖2－3－2選項特徵曲線圖（二）

（二）解釋試題之鑑別度

1. 第六十九題試題之正確選項為第4選項。圖2－3－3顯示，能力值高 於1.2之受試者，對正確選項之選答率急遽增加，即表示受試者需 要具備此題之解題概念，才能正確選答，所以此一試題具有良好的 鑑別度。良好的正確試題選項，在某一範圍之能力值，其選項特徵 曲線會急遽上升。

圖2－3－3選項特徵曲線圖（三）

2. 圖2－3－2顯示，整體而言，此試題過於簡單，因此對於中高能力 之受試者不具鑑別度。

（三）解釋選項之誘答力

1. 由圖2－3－1顯示，選項4對於中低能力之受試者有較高的誘答力。

2. 第十三題試題之正確選項為第1選項。圖2－3－4顯示，對於低能力 者來說，並無具備此題正確選項之解題概念，反而有第4誘答選項 之錯誤概念。

圖2－3－4選項特徵曲線圖（四）

3. 第十七題試題之正確選項為第1選項。圖2－3－5顯示，選項1和選

項2之選項特徵曲線幾乎呈現對稱，可見選項2具有高誘答力，而影 響部份受試者之選答。

圖2－3－5選項特徵曲線圖（五）

4. 第八十七題試題之正確選項為第3選項。圖2－3－6顯示，中等能力 者即可做出正確選答，而選項4對於低能力之受試者具有較高的誘 答力。

圖2－3－6選項特徵曲線圖（六）

5. 第十題試題之正確選項為第1選項。圖2－3－7顯示，三個誘答選項 之選項特徵曲線近似，可見此試題之誘答選項均具有良好之誘答 力。

圖2－3－7選項特徵曲線圖（七）

（四）診斷有問題之試題

1. 第五十八題試題之正確選項為第1選項。圖2－3－8顯示，選項1和 選項3之選項特徵曲線相互纏繞，可能是選項之答案不明確，而使 得各能力之受試者皆不容易做出正確選答。

圖2－3－8選項特徵曲線圖（八）

2. 第七題試題之正確選項為第1選項。圖2－3－9顯示，正確選項的選 答率非常低，甚至低於其他誘答選項，可見這是一題有問題的試 題，可能是題意不清楚等原因而造成此現象。

圖2－3－9選項特徵曲線圖（九）

3. 第九十九題試題之正確選項為第3選項。圖2－3－10顯示，正確選 項之選答率隨著受試者能力值之升高而降低，此種曲線在參數型試 題特徵曲線是不可能出現的，可見該試題為有問題之試題。

圖2－3－10選項特徵曲線圖（十）

透過TestGraf98軟體繪製選項特徵曲線，測驗編製者能清楚瞭解受試 者的真實作答反應，達到量化並客觀的試題分析；並透過特徵曲線分析，

保留良好的試題選項，進而刪除題意不明或不具誘答力之選項，以提升測 驗試題的品質。其次，教師也能利用選項特徵曲線來發現學童可能出現的 迷思概念，協助不同能力之學童，克服學習障礙，以作為改善教學或補救

教學之依據。