試題編製技術與分析

教育測驗具有達成教學評量、診斷學習、幫助學習等三方面的功能，在幫助教 師教學及學生學習上貢獻良多（余民寧，2002）。因此，測驗是提供教學者回饋訊息 及教育研究用途所需資料的一種客觀工具，換言之，一份品質優良的測驗，可以提升 教學及研究品質的可靠性。而一份優良的測驗應具備哪些特徵，將是本節的討論重點。

根據郭生玉（1987）的說法，信度（reliability）及效度（validity）是測驗 的兩個主要的特徵。而一份測驗效度高，可以保證其信度也一定高，但反之則不然，

效度低並不代表信度不一定低；信度低，則效度一定低，但信度高，效度不一定高。

以下便就信度及效度此二要素作說明：

壹、信度

信度是指測驗之測量結果的穩定性或一致性，通常信度愈高，即表示多次測量結 果間的一致性愈高，測驗分數的變異情形不大，則測驗分數精確性愈高；信度愈低則 反之。一般而言，一份測驗的信度分析的方法為：

一、重測信度（test-retest reliability）：

以同一測驗於不同時間對同一群體測量兩次，並以此兩次測驗分數的相關係數，來 探討測驗結果是否維持穩定一致。

二、複本信度（parallel-forms reliability）：

以兩份試題內容不相同之等值測驗，在不同時間或同一時間連續對同一群體施 測，並以此兩次測驗分數的相關係數，來探討測驗測得潛在特質之程度。

三、 內部一致性信度（internal consistency reliability）：

根據一次測驗結果以公式估算出信度係數，並藉此係數來探討測驗題目一致性之高 低。

四、 評分者信度（scorer reliability）：

以主觀測驗（如：論文題）測量時，為避免評分者誤差存在，以確保測驗結果的 一致性之指標。（余民寧，2002）。

貳、效度

效度是指測驗能否測量到所欲測量特質之程度。實際上，效度是指一個測驗在使 用目的上的有效性（Noll, Scannell, ＆ Carig,1979）。在本質上，效度是一個測驗 最重要的特徵，其重要性比信度更受重視，通常效度愈高，即表示該測驗愈能達到其 編製目的，亦即愈能測量到其欲測量之特質；效度愈低則反之。一般而言，一份測驗 的效度分析的方法為：

一、 專家效度（expert validity）：

邀請學科或測驗專家以其專家知識對試題內容進行審核，來確定試題內容是否符合 所欲測驗之目的，藉此對試題提出建議，據以增刪修改。

二、內容效度（content validity）：

比較測驗試題內容與教材內容及教學目標是否一致，並根據雙向細目表來命題，

且有代表性則可謂之。

三、 同時效度（concurrent validity）：

分析測驗分數與測驗所欲預測之某些行為或特質表現標準，以探討測驗之預測能 力。（陳英豪、吳裕益，1997）

參、試題編製技術

李坤崇(2002)綜合余民寧(1997)、陳李綢(1997)及陳英豪、吳裕益(1991)等多位 國內外學者的觀點，將教師自編測驗的編製步驟分為下列六個部份：

一、決定測驗目的

評量包括教學目標、教學活動、測驗等三階段，在決定測驗目的之前，必須確立 教學目標，而測驗題目必須有效評量教學目標。意即試題應落在確定的內容領域 或確定的心智活動，如記憶、理解、批判思考或問題解決等。

二、設計雙向細目表(two-way table or specification)

教師決定測驗目的並分析教學目標與教材內容後，以教學目標為橫軸，教材內容 為縱軸來設計雙向細目表。編製雙向細目表通常應有四個步驟：確定測驗的教學 目標與教材內容、選取試題類型評估教材內容與教學目標相對於各試題類型的重 要性以及決定各細格的配分與題數。

三、決定試題類型

李坤崇(2002)將試題分為客觀測驗(objective test)與論文測驗(essay test) 兩大類。客觀測驗包括是非題(true-false items)、配合題(matching items)、

選 擇 題 (multiple-choice items) 、 填 充 題 (completion items) 、 簡 答 題 (short-answer items)。論文測驗分為申論題(extended response items)、限 制反應題(restricter response items)。就試題的類型而言，各試題類型的配 分必須顧及高低層次思考、預期測驗難度、學生認知發展等因素。決定各試題類 型配分時，必須同時決定各試題類型的題數。

四、編擬測驗試題

編製測驗試題時，必須兼顧雙向細目表、試題難度和命題原則。無論編擬何種類 的題目，都應注意幾項較重要的命題原則(郭生玉，1988；Airasian，1996；Linn

& Gronlund，1995；李坤崇，2002)：

1.試題分布依據雙向細目表，且題目內容有代表性。

2.避免使用曖昧不明和容易使人混淆的言詞或語句。

3.敘述應該簡潔扼要，直接切入重點。

4.使用的字彙要適合受試者的能力。

5.試題的答案必須是公認的正確答案，避免爭議性。

6.作答方式應表達清楚，讓作答者易於作答的內容或方向。

7.每個試題必須是獨立的，內容不宜互相重疊。

8.不要提供正確答案的線索。

五、 審查與修改測驗試題

編擬測驗試題後，應該重新閱讀或檢查，或可請同事朋友幫忙校對。

六、 編製測驗試題

教師應該仔細的編製試題，提高測驗的信度與效度。選擇題(multiple-choice item) 是指從多項選擇答案中挑選一項正確選項的試題類型，在結構上由兩部分構成：

題幹(stem)和選項(包含解答（key）及若干誘答（distractor）)。選擇題通常被認 為是現今客觀測驗中較適合評量高級心理歷程的一種測驗方式，基於此本研究之 自編測驗題目類型亦都採用選擇型試題以下就選擇題的編製原則歸納如下（劉 好，2006）：

1.試題的題幹應僅提出一個明確概念。

2.試題的題幹意義應該完整、清楚界定問題。

3.試題的題幹不應中斷。

4.題幹盡量以正面、肯定的的字詞來敘述。

5.盡量將各選項共同的字詞放在題幹中。

6.所有的選項語法應力求一致。

7.標準答案必須是正確或最佳的答案。

8.提高誘答選項的似真性及吸引力。

9.選項長度接近，以減少提供解題線索。

10.正確答案宜隨機排列，且每個選項出現的次數盡量相同。

11.測驗中每個試題必須彼此獨立。

肆、試題分析

信度與效度是測驗編製的兩項要素，然而試題品質優劣決定測驗能否具備此二要 素，試題分析（item analysis）在測驗編製過程中扮演相當重要的角色，可提高測 驗的信度與效度，並可用以選擇優良試題，藉以提昇測驗品質，如此可達教學評量的 功能。一般而言，試題分析的方法如下：

一、 難度（difficulty）：

答對百分比法（number correct ratio）為最簡單的難度分析方法，此法即在計 算全體學生中，答對每道試題的人數佔總人數的百分比值。其數值愈大則表示題目愈 簡單，反之則否。但以答對百分比為指標無法同時顯示試題的區別功能，亦即難度相 同的試題無法單由答對百分比顯示出高分組學生答對較多？抑或低分組學生答對較 多？（余民寧，2002）。另因難度與鑑別度常常同時進行分析，故本研究不單純以答 對百分比法為難度指標，而選取高、低分組學生為對象，以下列公式計算試題難度：

難度 2

L

H P

P P +

= P_H：高分組答對的百分比

P_L：低分組答對的百分比

二、 鑑別度（discrimination）：

試題具有區別學生能力高低的功能，即高分組傾向答對，低分組傾向答錯，便 為具有鑑別度的試題。通常測驗編製者都會期望：所編製的試題都是有用的試題，

能具有區分不同能力學生的作用。一般在進行鑑別度分析時，為方便起見，往往以 內部一致性分析法來分析，其旨在瞭解各個試題的功能是否與整份測驗的功能一 致，換言之，測驗總分高者每道試題答對率比測驗總分低者高。因此，本研究以下 列公式計算鑑別度：

鑑別度 D＝P_H −P_L

三、 選項誘答力（distraction）：

此項分析主要在探討測驗試題各個選項的有效性，藉此可以判斷試題編製良 窳與學生作答反應之診斷。就一個良好的選擇題而言，不正確選項應具有良好誘 答力誘使學習不完全或據部份知識的學生去選擇它，即能發揮辨識診斷作用。此 項分析之原則如下：

1.每一不正確選項至少有一位以上的低分組學生選擇它。

2.任何誘答選項低分組選它之人數應多於高分組選它之人數。

根據上述文獻可知：一份編製良好的測驗除具備良好的信度與效度外，試題分析 在編製過程中亦為驗證測驗信、效度的重要依據。具有良好信、效度的測驗可達成品 質分析以確保優良試題的品質；具有合適的難度、鑑別度與選項誘答力的測驗可達成 量化分析以提高試題之客觀性。本研究目的在編製一份兼具良好質與量化分析的測 驗，故據此項結論，在資料處理上作了以上各項分析，分析結果詳述於後面章節。