第二章 文獻探討
第二節 試題與測驗分析
試題是構成一份測驗最基本的單位,有良好的試題才有良好的測驗。但要如 何評鑑試題的優劣呢?必須同時透過試題質與量的分析,也就是題目邏輯的分析 與試題選項統計的分析。質的分析是針對試題的內容與形式,從取材的適切性與 編製試題的技術等方面加以評鑑;而量的分析是根據實際測驗後所蒐集的考生作 答反應資料進行統計,與分析試題的難易度、鑑別度、猜測度與受試者對各誘答 選項的反應情形等,以作為審題及修題的依據。就測驗的理論觀點,所有的試題 均須經過質與量的分析,以挑出不符合測驗目的需求的試題,並予以刪除或是加 以修改,經過篩選過程後,將優良的試題而納入題庫中,日後抽取組合後的試卷,
才能發揮測驗評量的功能(曾建銘,2006),以下將進一步說明有關質與量的分 析:
一、質的分析─試題內容與形式的分析
編製試題時,應配合測驗目的與其命題原則,才能編出適當的試題。試題在 質方面的分析,可就試題的內容請相關學科專家或資深教師,就內容審查、有效 命題原則及教學目標等評鑑工作來進行,此為試題在質方面所做的邏輯分析(余 民寧,2006)。
二、量的分析─難易度、鑑別度、猜測度的分析
試題經過質的分析後,僅可確定試題是否符合測驗的基本原則,為避免測驗 中出現難易度過難或鑑別度過低的試題,所有命題後的試題均須經過預試,並根 據施測後所有考生之作答反應進行測驗統計分析,以確定每個試題有關量的分析 各項數值(曾建銘,2006)。
(一) 難易度(古典測驗理論)
難易度適當的試題是構成一份優良測驗的必要條件。一般以P代表試題的難 易度,N代表全體受試者人數,R為答對該題的人數,PH表示高分組(全體受試 者分數前面的27%)答對該題的百分比,PL表示低分組(全體受試者分數後面的 27%)答對該題的百分比。難易度有下列三種計算方式(簡茂發,1991):
1. 10000 N
P R
例如:一個測驗,共有100位受試者,其中某一題答對的人數為60人,則此題的 難易度為 100 0.6
100 60
00
P 。
2. 2
L
H P
P P
例如:一個測驗,共有100位受試者,其中某一題高分組答對的人數為60人,低 分組答對的人數為20人,則此題的難易度為 0.4
2
% 20
%
60
P
P值介於0與1之間,愈大表示愈容易,相反地,愈小則表示愈困難。
3. 等距量尺分析:
美國教育測驗服務社(ETS)另外設計的標準化等距難度係數,難易度指數 以∆(delta)表示,Δ=13+4Z。它是一種以 13 為平均數,4 為標準差,下限為 1,
上限為 25 的標準分數,∆值愈大表示愈困難,相反地,愈小表示愈容易。其算法 是根據答對某一試題的人數百分比與答錯該題人數的百分比,使前者在右,後者 在左,找出二者在常態分配曲線橫軸上的分界點,此點的相對位置以標準差為單 位表示,例如:某一試題的答對人數為 84%,即 P=0.84,則可知其 Z 值為-1,帶 入公式,則其∆值為 13+4(-1)=9。關於如何利用難度值來挑選試題,美國的測 驗學者 Ebel & Frisbie(1991)將試題的難度區分為五個等級,如下表 2-2 所示:
表2-2 試題難易度等級表 準(Chase, 1978),但平均而言,整份測驗的平均難度值還是以接近0.5為佳。
(二) 鑑別度
但鑑別度要多少才算好呢?根據Noll, Scannell & Craig(1979)的看法,至少要達 到0.25以上,低於0.25者即為鑑別度不佳或品質不良之試題。美國測驗學者Ebel
(1979)曾提出一套判斷鑑別度的標準如表2-3,供測驗試題命題者作為選擇試題 的參考。
表2-3 鑑別度評鑑標準表
鑑別度指標 試題評鑑結果 0.40以上 非常優良
0.30~0.39 優良,但可能需要小幅度修改 0.20~0.29 尚可,但需做局部修改
0.19以下 劣,需要大幅刪除或修改 註:採自余民寧,2006
(三) 難度、鑑別度與猜測度(試題反應理論)
在試題反應理論中若以三參數模式為例,模式中有三個參數:a、b、c,分別 代表試題的鑑別度、難度與猜測度。鑑別度與難度的值介於-∞與+∞之間,一 般而言,鑑別度只取正,以0至2之間為多,值愈大代表鑑別度愈大;難度則通常 介於+3到-3之間,同樣地,值愈大代表試題難度愈難;猜測度則介於0與1之間,
值愈大亦代表試題猜測度愈大,通常試題選項越多,猜測度就會較小。
三、選項分析
選擇題的選項包括正確選項與誘答選項,正確答案選項必須明確,而誘答選 項則必須具有誘答的功能,要知道是否符合正確選項與誘答選項的性質,則需透 過選項分析。選項分析可以讓施測者清楚地了解每一道試題的所有選項是否符合 命題的原則,分析過程是比較高分組與低分組對正確與誘答選項的選答率,分析 的結果如果符合下面兩項原則,則表示該試題的所有選項是合理且有效的(郭生 玉,1999):
1. 高分組選答正確選項的比率必須高於低分組。
2. 每個誘答選項均要有低分組的受試者選答,且低分組對於每個誘答選 項的選答率都必須比高分組還要高。
四、試題分析的功能
試題經過質的分析評估,對試題內容進行檢驗後,再透過客觀的量化統 計分析,可以分析出每一試題的統計特徵,幫助命題者了解測驗試題的品質,若
經過上述質與量的分析後,確認該試題為優良,則可納入題庫中,作為日後組卷 時使用。試題在經過質和量的分析後,可以讓命題者知道試題是否有預期的測量 功能、試題的資訊─如:難易度、鑑別度、猜測度、試題特徵曲線、試題訊息量 及選項是否具有誘答力等,而這些試題資訊如果再加上教材內容與教學目標後分 類儲存,並提供關鍵字後納入題庫,將可提供教師於日後實施測驗時的參考。教 師可以根據雙向細目表,自題庫中選出適當之試題,組成一份測驗,如此可以降 低命題時間並節省人力及物力,而且所選出的試題均為經過試題分析後的優良試 題(曾建銘,2006)。這些試題分析結果的資訊並可提供作為考生加強其學習盲 點的參考、老師作為實施補救教學的依據、課程編製者修改課程內容的考量,以 及增進命題者編製試題的經驗(郭生玉,2004)。