試題分析的理論基礎

構成一份測驗的最基本單位為試題，有好的試題才會有好的測驗(李 坤崇，2006)。試題編制者在編製或選用測驗時，首先要考慮的就是「一 個良好的測驗，應具備哪些品質?」而要了解每一道試題的效用，就必須 仰賴試題分析(陳英豪、吳裕益，1991)。試題分析在整個測驗編製過程 之中，扮演著一個相當重要的角色，分析後的資料有著可提供客觀的試 題特徵指標，供測驗使用者者參考，以作為評鑑測驗的良窳、驗證測驗 效度、和增進命題技巧等許多功能(余民寧，1997)。

試題分析方法可以分成質的分析與量的分析兩大類(李坤崇，2006)，

質的分析在於題目的編制歷程、命題原則、雙向細目表等重點進行了解；

而量的分析則著重於試題中各種客觀的參數，例如難度、鑑別度等題目 特質。在編製試題的過程中，應同時考慮質與量的分析結果。根據不同 的目的，應該採用不同的分析方式。本節將針對試題分析時所使用分析 工具做討論。下頁圖 2-1 為試題分析之架構。

圖 2-1 試題分析架構圖

資料來源：本研究整理

一、質的分析

質的分析包括內容效度的評鑑與有效命題的評鑑(郭生玉，1985)。

內容效度的評鑑可以視為：一個測驗能夠測量到所想要測量特質的程度。

在這個前提之下，若要檢視一個測驗之內容效度，則必須先確定其教學 目標為何，並利用教學目標當做規準來檢視測驗的內容。而有關教學目 標的分類，國內最常見的分類方式是依據布魯姆的教育分類法，該分類 法將教學目標分成認知、情意、與技能等三個領域。另外根據各個領域 下的細目，配合雙向細目表作為分析的工具，來了解試題所要測驗受試 者之認知能力(張春興，1994)。分析者可透過雙向細目表分析的過程以 確保試題具有教學內容的代表性，能夠測量到所要測量之教學目標的功 能，亦可確保試題具有一定的內容效度(余民寧，1997)。

有效命題評鑑可以將其解釋為：試題的類型是否能夠實現測量的目 標。ㄧ般來說，試題的類型可以分成選擇反應試題(select-response item) 和建構反應試題(constructed-response item)(郭生玉，1985)。在測驗中，

不同類型的試題，所能達到的測量功能亦不相同。故在編寫試題時，必 須審慎考慮預測量之特質，並根據該特質選擇適合之試題類型，才能夠 提高測驗的品質。而在眾多的試題類型之中，余民寧(1997)認為，選擇 題被認為是最基本、使用最廣、影響最深的一種題型。因為選擇題的設

試題分析

質的分析

量的分析

內容效度評鑑

有效命題評鑑

難度

鑑別度

計方式可以測量從低層次到高層次的認知目標，而且配合電腦的使用，

使得閱卷過程、記分、以及試題分析的結果均相當快速與正確 (郭生玉，

1985)。

二、量的分析

量的分析是從難度(difficulty)、鑑別度(discrimination)、等試題統計 特徵做分析。其功用可以幫助命題者了解試題的品質，以作為修改和選 擇的依據(簡茂發，1974)。

難度分析，即在計算全體學生中，答對某個試題的人數佔總人數的 百分比值，這個百分比值即被用來當作「難度指標」(item difficulty index)。

在本研究中，為了和統計中所用的 P 做區分，故使用P_T表示難度。其計 算方式如下，其中P_T表示難度指數，R 表示答對該題人數，N 表示全班 人數。在使用難度指標時需注意，難度指標的數值越高，表示答對該題 目的人數比例是越高的。

難度 100%

N

P_T





分析試題鑑別度的主要目的，在於想要明瞭該題目區分受試者能力 高下的效果高低；換句話說，若某試題之鑑別度高，則表示高分組的學 生答對該試題之比率高，低分組答對該試題之比率低，若在測驗中使用 該試題，則可較容易區分出程度較好與程度不佳的學生。

而分析試題鑑別度的步驟，根據 Kelley (1939)的看法：一開始需要 把全部學生的得分依高低排序，將成績分佈在前 27%的學生定義為高分 組(higher group)，後 27%的學生定義為低分組(lower group)，使用 27%

當作分類依據是因為：當測驗分數是常態分配時，此種分類方式可以使 試題鑑別力獲得最大準確度。接著可根據鑑別度的公式進行計算，以獲 得鑑別度指數；在公式中 D 表示鑑別度指數，P_H表示高分組答對率，P_L 表示低分組答對率。鑑別度D



由以上難度及鑑別度的公式中可以看出，試題的難度以及鑑別度之 間並非完全獨立，而是有密切的關係，其關係可從下圖 2-2 中看出。

圖 2-2 試題難度與鑑別度關係圖

資料來源：出自郭生玉(1985：276)

在分數是常態分配的前提之下，當難度P =0.00 或_T P =1.00 時，其鑑_T 別度均為 0；但當難度P =0.50 時，鑑別度達到最大值+1.00；因此在選_T 擇題目上應儘可能以難度接近 0.50 的題目為宜。但根據 Anastasi (1988) 的看法，在實際編制測驗的過程之中，若所有題目之難度P_T值控制在全 部為 0.50，且假設所有題目都是完全交互相關時，將有 50%的人全獲得 滿分，而其餘的人將獲得零分，為了避免這樣的狀況產生，故 Ahmann 和 Glock (1981)認為，可以將難度P_T的範圍放寬到 0.30 至 0.70 之間，如 此一來，便可削弱各試題間交互相關(Intercorrelated)的影響。除此之外，

在常模參照中，若測驗目的是要選擇最優秀的 30%的成員，則試題難度 則可以挑選P =0.30 左右的題目(李大偉，1986)。由以上討論內容可知，_T 對於不同測驗中，選擇試題的難度標準，是可以有調整的空間。

1.0

0.8

0.6

0.4

0.2

-0.2

-0.4

-0.6

-0.8

-1.0

0.5 難度

鑑 別 度

在試題分析的目的中提到：試題分析的數據可作為選擇題目的標準。

整體來說，鑑別力越高，測驗的信度愈高(Ebel, 1967)。對於測驗題目鑑 別度的標準，各學者有不同的看法：Noll (1979)等人認為可接受之鑑別 度標準為 0.25 以上；Hopkins (1998)針對數人數在 30 人以上，測驗分數 為常態分配之實驗對象當作母群體，提出鑑別度評判之標準，其內容如 下表 2-1。本研究在計算完試題之難度及鑑別度後，採 Hopkins (1998)之 論點，作為分析題目之依據。

表 2-1 鑑別度評鑑標準

鑑別指數 試題評鑑

0.40 或以上 非常優良 0.30-0.39 優良 0.10-0.29 尚可 0.01-0.10 不佳

負值 錯誤解答或題意不清

資料來源：出自 Hopkins(1998:260)

雖然試題的難度以及鑑別度屬於判斷試題好壞的重要指標之ㄧ，但 在使用上有些細節需要注意。例如：有些題目是所測驗的內容為基本觀 念，其難度P_T雖然很高(表示該題目答對的人數比例多)進而影響到該題 目鑑別力很低，但因為其題目內容為重要觀念，故仍然有存在之價值。

另試題之難度及鑑別度並非固定不變的特質，而會隨著受試者的背景不 同而有所改變。是故，在編製題目的過程之中，題目的選用與否仍須以 邏輯的判斷為依據，而非以統計資料作為唯一的考慮項目(郭生玉，

1985)。

三、本研究所採用之分析類目

根據試題分析方法，對於本研究之分析對象：國中生活科技教師甄 試筆試試題，本研究所採用之分析類目有三，分別為(1)國中生活科技課 程綱要；(2)布魯姆認知領域教育目標分類修訂版；(3)難度與鑑別度；其

原因分述如下。

蔡炳修(2002)提出：國中教師甄試所舉辦的意義在於提升教學的專業，

利用客觀的甄選方式，在眾多的應試者之中，選擇出最適合的人才來擔 任教師之相關工作。而生活科技教師應具備的基本能力之一，便是具備 生活科技課程內容的教學知識。故本研究中所討論的生活科技教師甄試 應能夠測得受試者完整的科技知識概念；由此觀點可知，試題內容在性 質上是屬於總結性評量。陳英豪及吳裕益(1991)認為：總結性測驗的題 目必須有綜合性以及代表性，所以其試題應針對國中的生活科技課程內 容抽取適當樣本作為測驗內容，在本研究中針對國中生活科技教師甄試 筆試試題作為分析對象，而其試題內容的分佈依據應須涵蓋國中生活科 技課程；故選用國中課程綱要作為分析類目之一。

挑選試題的原則除了要能夠測試教學目標之外，也應考慮其相對應 的認知能力指標；教師甄試的目的是為了要能夠篩選出合適的人選做為 正式的生活科技教師，所以在認知能力指標上除了要能夠測試低層次的 記憶與了解等概念知識之外，也應須具備高層次的評鑑、創造等後設認 知知識的能力；為了解國中生活科技教師甄試筆試試題是否測驗完整認 知領域目標的所有概念，以求進一步能夠篩選出具適合的人選作為國中 生活科技教師，故本研究在此面相選用布魯姆認知領域教育目標分類修 訂版作為分析類目之二。

最後就其分數解釋的方式來討論：因甄試所錄取的名額有限，故測 驗分數必須要能夠區分應試者的相對等第，如此才能達成甄試中選才的 目的；故在題目的選擇上題目應有足夠的鑑別度，以便能可靠的區分受 試者的能力高低。是故，設法了解筆試之出題方向與難度或鑑別度等量 化資料，除了可以提供給應考者作為準備方向之參考資料，也可以提供 給出題者作為檢視出題內容是否適合之依據，以增進其測驗的效能，故

選擇難度與鑑別度的分析為本研究中第三種分析的類目。

從本節的文獻分析中可以得知：所有的試題均須經過質和量的分析 後，才能獲知何者為優良試題(余民寧，1997)；本研究為求研究的完整 性，故從質和量的角度，分析國中教師甄試生活科技科之筆試題目。在 質化內容分析的部份，利用國中生活科技課程綱要以及布魯姆認知分類 修正版分類做為分析類目，分析該試題之出題方向，以及所欲評量之認 知歷程向度及知識歷程向度為何，並且在最後以量化的方式呈現；另外 在量化分析部分，則選取擁有合格生活科技教師資格之人選作為試答對

從本節的文獻分析中可以得知：所有的試題均須經過質和量的分析 後，才能獲知何者為優良試題(余民寧，1997)；本研究為求研究的完整 性，故從質和量的角度，分析國中教師甄試生活科技科之筆試題目。在 質化內容分析的部份，利用國中生活科技課程綱要以及布魯姆認知分類 修正版分類做為分析類目，分析該試題之出題方向，以及所欲評量之認 知歷程向度及知識歷程向度為何，並且在最後以量化的方式呈現；另外 在量化分析部分，則選取擁有合格生活科技教師資格之人選作為試答對