第二章 文獻探討
第二節 試題分析
構成一份測驗的基本單位即為試題，有良好的試題才能構成優良的測驗，學 者簡茂發（1974）指出在測驗的編製過程中，逐一檢驗個別試題的性能是重要的 步驟；而試題性能的檢核須透過邏輯與統計的分析( logical and statistical
analysis )，亦即試題分析包括兩大部分：質的分析( qualitative analysis )與量的分析 ( quantitative analsis )，且就依據之測驗理論的不同又可分為基於 CTT 的傳統試題 分析法( conventional item anaiysis method )以及基於 IRT 的現代試題分析法
( modem item analysis method )。質的分析係就試題的內容和形式，是否適切教學目 標及符合編擬試題原則加以評鑑；量的分析則是根據受試者的試題作答情形，逐 一分析試題的難度度( item difficulty )、鑑別度( item discrimination ) 和利用
Testgraf98 所產生的試題特徵曲線( item characteristic, [ICC] )進而作選項分析( item options analysis )包括正答力及誘答力，以作為修改試題或選擇試題的依據。不論基 於何種測驗理論，測驗所有試題均須經過質與量兩方面的分析，方能顯示其特性及 相對效力之高低，藉以決定試題的取捨，然後組成一份可靠又有效之測驗，以發揮 其測量及評量應有的功能。以下將詳細說明有關質的分析與量的分析。
壹、質的分析
試題內容與形式之分析主要是指試題在質的方面所作的邏輯分析而言，每一 種測驗皆有其特定的功能及適用的範圍，因此在編擬試題時，應以測驗的目的來 編製適切的試題，以學科成就測驗為例，其主要目的是在測量受試者進行某一學 科教學活動後的學習成果，故試題須符合課程之內容，依照教學目標，就受試者 行為變化的不同層面予以評量（簡茂發，1991）。此一分析可利用試題檢核表檢視 試題的品質，來檢查試題是否符合命題原則，包含一系列的檢查項目—內容、題 幹及選項要素；另利用雙向細目表來檢視試題是否符合課程內容和教學目標，並 知道各教學單元中所佔試題的比例是否適當，使命題者可以很清楚的知道試題的 缺失，以作為改進試題的依據，以達到對試題品質的要求。
- 31 - ( ordinal scale )，差距單位並不相等，其值只代表試題難易度的相對位置，無法指 出各難度之間差異的大小，也就是說兩個難易度的差不具任何意義，故上面的例 子，是不能說明第一題和第二題的難易度差別與第二題和第三題的難易度差別是 一樣的。
- 32 -
（三）等距量尺
美國教育測驗服務社( Educational Testing Service, [ETS] ) 另創一種等距量尺 ( interval scale )特性的難度指數，以
( delta )表示。它是一種以 13 為平均數、4 為 標準差、下限為 1、上限為 25 的標準分數。
值愈小，難度愈低，試題愈容易；
值愈大，難度愈高，試題愈難。它不但可以表示試題難易度的相對位置，也可以 指出不同難易度之間的差異數值。此種難易度是基於試題所測量的特質呈現常態 分配假設，認為試題的難易度可以在常態分配曲線的橫軸上某一點，以離差分數 ( deviation score )表示之。其求法係根據答對某一題的人數百分比與答錯該題的人 數（含未作答者）百分比，使前者在右，後者在左，找出兩者在常態分配曲線橫- 33 -
是有些困難。因此有學者便主張 0.40 到 0.80 之間的難易度範圍作為選擇題的挑選 標準( Chase, 1978 )，但平均而言，整份測驗的平均難易值還是以接近 0.50 為最佳。
二、鑑別度
構成測驗的試題必須具有鑑別某種心理特質的作用，這樣的測驗，方能成為 可靠又正確的測量工具。其基本的假設為「在教材或心理構念上的高能力者能正 確地回答者能正確地回答該試題的比例較低能力者高，亦即，總分得分高者，在 試題的得分亦偏高，總分得分低者，其在該題的得分亦偏低」（張靖宜，2005）。
也就是說，試題的鑑別度高低與測驗的信度和效度有著密切的關係。欲增進測驗 的準確度，必須要很仔細的分析試題的鑑別度，分析鑑別度的方式有二：
（一）內部一致性( internal consistency )的分析
此項鑑別度分析主要目的，在於檢查個別試題與整份測驗之間的一致性分 析，分析的方法如下（余民寧，1997）：
1. 探求試題反應( item response )與測驗總分之間的關聯性
受試者對某一試題的作答反應可分為答錯或答對兩種情形，屬於二分變項 ( dichotomous variable )；而每人對整份測驗有一個總分，屬於連續變數，兩者之間 的關聯性可以使用二系列相關係數(
bis )或點二系列相關係數(
pb )來表示內部 一致性的高低。2. 鑑別指數( index of discrimination )
D 為鑑別指數，其公式為D
PH
PL，其中P 、H P 的定義與難易度相同。例L 如：某一試題的PH
0.91，PL
0.46，則此題的鑑別指數D 0.91 0.46 0.45
， 鑑別指數為介於 1
到 1 之間的數值，愈接近 1 表示個別試題反應與測驗總分之間 的一致性愈高，一般而言，鑑別指數 D 與
bis或
pb的單位雖不相等，但卻有高度 的正相關存在( Bridgman, 1964 )。如果指數為 0，表示題目沒有鑑別作用；鑑別指 數介於 1
~ 0 之間，表試題為相當異值的題目，與整份測驗所測的向度不同。發 生這種情形的原因有兩種，一種試題目太難或太簡單，結果所有受試者皆答錯或 皆答對；另一種是題意不清，結果低分組答對百分比高於高分組，則鑑別指數為 負的，宜淘汰此種具有反相作用的試題。由上述可知，鑑別度高的試題，應該可以清楚地將能力高與能力低的受試者
- 34 -
分辨得很仔細，但到底鑑別度要高到什麼程度才能算是一個好的試題呢？一般可 接受的最低標準至少要 0.25 以上，低於此標準者，即可視為鑑別度不佳或品質不 良的試題( Noll, Scannell & Craig, 1979 )。美國的測驗學者 Ebel & Frisbie( 1991 ) 曾 提出一套鑑別度的判斷標準如表 2-3，供試題命題者作為選題的參考。
表 2-3 鑑別度評鑑標準表
鑑別指數 試題評鑑
0.4
D
非常優良0.30 D 0.4
優良，但需小幅度修改0.20 D 0.30
尚可，但需部分修改0.20
D
劣，需要大幅度修改或刪除在內部一致性分析裡，不管是用第一種或是第二種方法計算，數值雖不完全 相同，但卻是很接近，當題目多且計算機、電腦方便使用時，可考慮使用第一種；
當題目少且必須簡易計算時，可考慮使用第二種（張靖宜，2005）。
（二）外部效度( external validity )的分析
此即試題的效度分析，也就是在檢驗每一個試題是否具有預定的某種鑑別作 用。它是以外在效標( external validation criterion )為依據來衡量試題反應與效標分 數的相關程度，或是分別求出各效標組( criterion groups )在某一試題上答對的百分 比，以其差數作為效標指數( index of validity )。外在效度分析的方法和步驟，與前 述內部一致性的分析相似，所不同者只是參照標準不同而已。通常先須決定一個 外在的效標，諸如學業成績、工作表現或評定的分數等，然後依據效標分數，將 受試者分成高、低分兩組，再分別求出兩組在各個試題上答對的百分比，然後以 前者減去後者，其差數的大小，即可顯示各個試題在預定功能上的鑑別力（簡茂 發，1993）。本研究主要在做內部一致性分析，而不進行外在效度分析，並且採用 鑑別指數作為內部一致性分析的依據。
三、試題特徵曲線
試題特徵曲線是用來描述所測量的潛在特質與其在試題上正確反應的機率所 對應的迴歸線。在標準化的座標中，橫軸為受試者潛在能力縱軸為相對於此能力
- 35 - 漢禱，1999; Safrit, Cohen & Costa, 1989）。
試題特徵曲線主要是以圖形的方式來表達試題的特性，這是因為利用圖示法
- 36 -
率為該測量特質的函數，而圖形的位置、斜率及截距代表各個試題的難度、鑑別 度及猜測度（許天維、殷志文，1995）。
基本上，試題特徵曲線必須滿足單調遞增( monotonic increasing )的原則，也 就是能力值增加，試題的答對機率不能減少。而且此一曲線能充分顯示出試題特 徵的相對性，換言之，試題的難度與鑑別度會隨著受試者能力的不同而改變， 古 典測驗用一個固定數值來描述試題的難度與鑑別度是不合理的。因此應用試題特徵 曲線來分析試題的特徵是更加合理的。
試題特徵曲線的應用原則，有下列幾點：
1. 在任一特定的能力範圍內，曲線的斜率( slope )可當作試題在該能力範圍內的 鑑別度。
2. 透過試題特徵曲線可以求得的是試題的總體難易度和總鑑別度。即當通過比 率等於 0.5 時的對應總分或能力值，這個數值可當作試題的總體難易度。此 外，在總體難易度這點上的斜率亦可以當試題的總鑑別度。
3. 好的試題其試題特徵曲線應該呈現出正的斜率與適中的難度。
四、選項分析
客觀測驗（如：選擇題）之所以要進行選項分析的誘答力分析( distraction ananlysis )，乃因為藉此分析，可以進一步提供試題分析的指標，作為判斷試題編 製的好壞與診斷學生反應的依據。因此，經過試題的誘答力分析，選擇型試題的 測驗便更能夠發揮診斷與判斷的警示作用，充分協助教師改進編製試題的技巧與 初步瞭解整體學生的答題情形，以便進一步調整或改變教學策略( Haladyna, 1994 )。
選擇題的選項包括正確選項與誘答選項，正確選項必須明確且不會引起任何 爭議的語句或者訊息出現，而誘答選項則必須具有誘答的功能，要知道這些性質 是否成立，則需透過選項分析。
選項分析可以讓施測者清楚知道，每一試題的所有選項是否符合命題的原 則，選項分析是透過比較高分組與低分組對正確、誘答選項的選答率，如果分析 的結果符合下面兩項要求，則表示該試題的所有選項是合理、有效的（郭生玉，
1989）：
1. 正確選項的選答率，高分組必須高於低分組。若不符合的話，表示此試題具
- 37 -
有負向的鑑別度，不能清楚區別高分組與低分組
2. 每一個誘答選項均有低分組的受試者選答，且低分組的選答率高於高分組。
若不符合的話，需分兩方面來討論，首先是如果一個選項沒有低分組或高分
若不符合的話，需分兩方面來討論，首先是如果一個選項沒有低分組或高分