試題難易度及鑑別度分析

本研究為了取得學生對於程式設計課程相關之知識屬性的精熟模式，設計了 35 道測驗試題，同時為決定可用的試題組合，刪除不良題目，因而使用當代測驗理論之 試題分析(item analysis)方法，應用其鑑別度與難度兩大指數來幫助確認最後正式的測 驗統計分析量表。試題分析(item analysis)方法，分為難度及鑑別度兩大指數分析。

詳細介紹如下：

4.1.1 難度指數分析

所謂難度分析是指每一個試題的難易程度，通常以一群受試者答對(或通過)某個 測驗試題的人數百分比，來表示該測驗試題的難度。答對的人數百分比愈高，則該測 驗試題愈容易；反之，答對的人數百分比愈低者，則該測驗試題愈難。(葉重新，2004)

測驗試題的難度有兩種計算方法，第一種為「單一組法」，其計算公式如下：

N P

R

R：答對的人數 N：受測者總人數

例如：在120 受試學生中，答對某一測驗試題者有 45 人，則其難度為：

375 . 0

% 120 100

45 × =

=

P

第二種計算試題難度的方法為「極端組法」，本研究係採極端組法。這種方法是 將受試者依照其測驗總分排列高低次序，將得分在最前面與最後面的受試者，各取全 體人數的27%，作為高分組與低分組，再分別計算這兩組受測者，在某一測驗試題答 對人數的百分比，然後以這兩組答對人數百分比的平均數，作為該測驗試題的難度。

其計算公式如下：

2

PL P

PH

PH：高分組答對某題目的人數百分比 PL：低分組答對某題目的人數百分比

例如，某測驗試題的測驗結果，高分組有 85%答對，低分組有 23%答對，則該題難 度為0.54 (54%)

% 2 54

% 23

%

85 + =

=

P

測驗試題難度P 值介於 0 與 1 之間，P 值愈接近 0，表示測驗試題愈難；P 值愈 接近1，表示測驗項目愈簡單。即 P 值愈小，難度愈高；P 值愈大者，難度愈低例如：

在某一測驗中，第一題、第二題、第三題答對的人數百分比依次為：58%、68%、78%，

則第一題的難度最高，第二題的難度次之，第三題的難度最低，但第一題與第二題的 難度的差異量，並不等於第二題與第三題難度的差異量。

4.1.2 鑑別度分析

所謂鑑別度分析係指測驗試題能夠鑑別受測者能力的程度，鑑別度愈高的測驗試 題，愈能夠測量出它所愈測量的特質。鑑別度的計算方法也可分為單一組法與極端組 法 等 兩 種 ， 而 本 研 究 採 用 極 端 組 法 ， 此 種 方 法 又 可 分 為 鑑 別 指 數(index of discrimin-ation)與臨界比(critical ratio，簡稱 CR)，本研究屬於認知測驗，故採用鑑別 指數之高低來測量測驗項目之可用性。(葉重新，2004)

鑑別指數的計算方法為：將受測者測驗總分依高低次序排列，將得分在最前面與 最後面的受測者，各取27%作為高分組與低分組，然後分別計算這兩組受測者在個別 測驗試題的答對人數百分比，以高組的百分比減去低分組的百分比，兩者的差即為鑑 別指數，其計算公式如下：

D = PH – PL

D：鑑別指數

PH：高分組答對的人數百分比 PL：低分組答對的人數百分比

例如，高分組答對某測驗試題的人數百分比為0.80，低分組答對該試題的人數百 分比為0.25，則該測驗試題的鑑別指數(D)為 0.80 - 0.25 = 0.55。鑑別指數愈大的測驗 試題愈佳，表示該測驗試題與測驗總分愈一致。下表可作為判斷測驗試題良箛的標準。

表18 試題評鑑指數區間

鑑別指數 試題評鑑

0.40 以上 非常優良 0.30~0.39 良好 0.10~0.29 尚可 0.01~0.09 劣

0.00 以下(負數) 試題有誤或題意不明 取自Hopkins, 1998, P.260

以上引用自葉重新(2004)。教育研究法。心理學出版社。P25-38

本研究根據學生施測結果，將受試者依照其測驗總分排列高低次序，將得分在最 前面與最後面的受試者，各取全體人數共計100 名的 27%，作為高分群與低分群，再 分別計算這兩群受測者，在每一測驗試題答對人數的百分比，以這兩群答對人數百分 比的平均數，作為該測驗試題的「難度」，而以高組的百分比減去低分組的百分比，

兩者的差即為「鑑別指數」，計算結果如表19 所示:

表19 難度與鑑別度分析表

依表20 所示，本研究將鑑別指數「劣」及「尚可」之題型篩選移除， 分別為第 1、2、4、5、8、9、15、26、29、35 等題刪除，再重新統計每一個知識屬性之題數，

若有遺缺之屬性，依據當代測驗理論之試題反應理論之特色(余民寧，2003)，除前述 已提及樣本獨立外，提供個別差異的測量誤差指標，並且在同質性試題組成中，可作 分次測驗，測量估計出受試者個人的能力，不受測驗的影響(test-free)，故本研究擬針 對該遺缺的屬性另行設計題型，進行重點知識屬性之單獨施測。