第二章 文獻探討
第二節 測驗分析
為提供回饋給教師及學生，作為修改課程、改進教學、實施補救的參考，在 測驗編製過程中，測驗試題分析是不可或缺的步驟。本節分為兩部分，分別就試 題的質、量分析及測驗的信度、效度兩大特徵進行探討，最後再說明本研究所採 用之分析方式。
壹、 試題分析
試題分析（item analysis）是檢查試題品質優劣的方法，可分為質的分析 (qualitative analysis) 與量的分析(quantitative analysis)。前者在確保試題的內容符 合測驗目的、試題形式符合編製原則；後者則是對試題的測試結果進行統計分 析，以作為修改試題的依據。簡茂發（1991）指出所有試題必須經過質和量兩方 面的分析，始能顯示其特性和相對效力的高低，經過取捨，然後以適當的試題構 成有效的測驗，進而發揮其測驗與評量的功能。
一、 質的分析 (一) 內容分析
不同的測驗有不同的適用範圍與功用，試題的編製應以測驗目的為依歸，藉 由教學目標、命題原則進行試題內容的邏輯分析、審查，以確保試題切合教材內 容、形式符合測驗編製原理。有鑑於此，測驗編製應請專家學者審閱題目，再輔 以雙向細目表檢核，以確認試題是否能有效反映教材內容和教學目標。
(二) 形式分析
試題的結構也須符合測驗編製原理的要求，本研究之測驗為選擇題型式，選 擇題在結構上分為題幹和選項兩部分。茲就簡茂發（1993）在「測驗的編製」中 選擇題型的相關編製要領在此探究。
1. 一般原則
（1）注重原理的活用，而非零碎的知識
（2）題意須明確，不可遺漏解題要件
（3）試題彼此獨立，不可含有暗示的線索
（4）應有不引起爭議的正確答案
（5）試題文句應重新組織，不可抄襲教材
2. 選擇題命題原則
3.美國教育測驗服務社（Educational Testing Service）另創一種以Δ（delta）
表示的難易度指數，因為其假設為試題所欲測量的特質是常態分配，這 個指數能以在常態分配曲線的橫軸上某一點的離差分數(deviation score) 表示之，所以具有等距量尺的特性。其計算公式為：Δ=13+4Z （公 式3）
上式中，Δ為試題難度，Z為σ值，這是一種以13為平均數，4為標準差，下 限為1，上限為25的標準分數。當通過率為84%時，查表得知Z=-1，則Δ=9；Δ 值越大表示題目越困難，Δ值越小則題目越簡單，Δ值不但能表示試題間的相對 難度，也能指出不同難度之間的差異數值。
(二) 鑑別度分析
測驗的試題必須能區別出所欲測量的特質，方能稱之為可靠的測驗。鑑別度 分析的目的在分析受試者對試題的作答反應與某些參照標準之間的相關程度，以 判定試題的性能及其對整個測驗的貢獻。依分析的參照標準，鑑別度的分析方式 有二（簡茂發，1991）：
1. 內部一致性分析
本分析法旨在瞭解各個試題的功能是否和整個測驗的功能具一致性。公式如 下：
D＝PH － PL （公式4）
D ：鑑別度指數
PH：高分組答對百分比 PL：低分組答對百分比
鑑別度指數介於-1~1之間，愈靠近1，表示個別試題反應與測驗總分之間的一 致性愈高。依據鑑別度的定義，可以知道鑑別度高的試題越能有效區分出高能力 與低能力的受試。一般而言，鑑別度以0.25以上為標準，高於0.4為優良試題。
2. 外在效度分析
外在效度分析旨在檢驗試題是否具有預定的某種鑑別作用。目的在分析學生 在試題上的反應與在效標上表現之間的關係，或學生在某試題的反應（答對或答 錯）與測驗總分之間的關係。
(三) 選項分析
選擇題的選項分為正確選項及誘答選項，除了注意正確答案不應引起爭議 外，誘答選項的設計也要具備能吸引學習不夠精熟的受試者選答的功能，因此透 過選項分析除了得以使測驗順利進行，更能對施測者提供明確、有效的回饋。郭 生玉(1990)表示若想知道選項是否合理、有效，必須符合下列兩項要求：
1. 正確選項的選答率，高分組必須高於低分組
2. 每個誘答選項均有低分組的受試者選答，且選答率高於高分組
貳、 信度與效度分析
信度與效度是測驗的兩個重要特徵，兩項特徵受試題品質影響，因此優良的 測驗必須具備相當水準的信度和效度，而藉由測驗分析可提高試題品質。
一、 信度分析
信度指的是可信、可靠的程度。理論上，同一份測驗對相同的受試者施測，
結果應該完全相同，為了確保測驗的一致性、測驗結果的可靠性，因而要求測驗 必須具備相當水準的信度。Carmines & Zeller（1979）認為，一份優良的測驗至 少應有0.80以上的信度，才具有使用的價值。最常用的信度估計方法有三種（余 民寧，2002）：
(一) 再測信度
同一群受試者在不同的時間重複測量同一份測驗，根據這兩次分數求得的相 關係數。
(二) 複本信度
同一群受試者接受兩份內容、形式、難度類似的測驗，依據這兩次分數求得 的相關係數。在同一時間連續實施的稱等值係數；間隔一段期間實施的稱穩定係 數。
(三) 內部一致性
只根據一次測驗結果就可以估計信度的方法。此種計算方法可分折半法、庫 李法、α係數。
二、 效度分析
效度指的是有效、準確的程度。研究的目的是要能測出研究所欲了解的特 質，縱使一份測驗具有相當水準的信度，但如果測驗結果卻無法有效的解釋測驗 目的，例如：用閱讀測驗解釋計算能力，則此份測驗對該研究就不具使用價值。
效度分為三種類型：（余民寧，2002）
(一) 內容效度
依教材內容與教學目標所建立的雙向細目表來判斷測驗的內容效度。
(二) 效標關聯效度
研究測驗分數與外在效標的關係，以推估受試者在效標表現上的可能狀況。
(三) 構念效度
指測驗能夠測量到理論上的構念或特質的程度，以推論受試者是否具備某種 理論特質。
參、 本研究的測驗分析方式
基於以上探討，本研究在測驗試題分析上，將採下列方式：
一、 質的分析
本研究就雙向細目表逐一審查試題是否符合能力指標，並依選擇題命題原則 檢視試題呈現的形式，以提高試題提供有效資訊的水準或降低因猜測而影響試題
功能的機率。
二、 量的分析
所有的試題均須經過預試，並根據施測結果進行統計分析，以作為修訂試題 的依據，使正式施測達到良好的評量成效。本研究以全體受試者通過的百分比表 示整份測驗的通過率，以每題通過人數的百分比作為各試題的難度，使用鑑別度 指數來區別受試者能力高低的程度、鑑別試題反應與測驗總分之間的一致性，並 且本研究試題鑑別度應該具有0.25以上的水準。
三、 選項分析
為了確切瞭解學生不精熟或錯誤迷思之處，將迷思概念設計成誘答選項，透 過預試後的選項分析，確認所有選項是合理且有效的。
四、 信度分析
α係數的內部一致性分析法適用於二元記分的測驗資料，能依據受試者對所 有試題的反應，分析試題間的一致性。本研究只設計一份試卷，且不重複施測，
資料的登錄採用二元計分方式，因此採用此法，而且本研究應該具有0.80以上的 信度。
五、 效度分析
本研究在比較受試學生在「整數四則混合運算」的知識結構與認知診斷模式 上的差異，而非推估受試者在外在效標表現的可能狀態，因此採用內容效度分析 法。