• 沒有找到結果。

考題難易度與鑑別度分析

第四章 結果與分析

第二節 考題難易度與鑑別度分析

以教育部教育部高級中學以下學校及幼兒園教師資格檢定考試,國民小學類 科中的「課程與教學」一科,依據教育部考試命題作業要點,將民國 97 年-106 年「國民小學課程與教學」試題分類為課程理念、課程發展模式、課程設計原則、

課程政策與改革、教學原理、教學活動與設計(包括教學資源及情境規劃)、教學 策略及方法、學習評量概念及原理、學習評量方法及應用、班級經營理念原則、

班級經營方法及應用等 11 類項,各大類分別以代碼編號表示來分類。

將各類佔民國 97 年-106 年試題出題率與所佔題數分析後,蒐集十年來總共 題數有 328 題,並依據平均各編碼所佔比率以亂數表隨機抽出模擬試題 40 題,施 測對象為台東大學教育系大四學生與小教學程二師培生,施測結束後回收試卷整 理答題情況,將學生分為高分組與低分組,進行試題難易度與鑑別度之分析。

將民國 97 年-106 年教師檢定考試試題,依照各類項站十年總題數所占百分

比,隨機抽出模擬試題,如下表。

表 7 民國 97 年-106 年「課程與教學」試題出題比率

各類代碼 97-106 年試題出題比率 模擬卷出題數

各類十年總題數 %

1-a 23 題 7.01% 3 題

1-b 12 題 3.66% 1 題

1-c 29 題 8.84% 3 題

1-d 21 題 6.40% 3 題

2-a 37 題 11.28% 4 題

2-b 55 題 16.77% 7 題

2-c 39 題 11.89% 5 題

3-a 22 題 6.71% 3 題

3-b 39 題 11.89% 5 題

4-a 6 題 1.83% 1 題

4-b 45 題 13.72% 5 題

總計 328 題 100.0% 40 題

由上表可觀察到民國 97 年-106 年的教檢試題中,2-b 教學活動與設計(包括 教學資源及情境規劃)所占總出題數最高為 16.7%,並且可以了解在教學原理與設 計一科中所包含三項命題要點所出題比率都較高,因此可知從民國 97 年-106 年

「國民小學課程與教學」試題中以「教學原理與設計」為出題重點科目;較少出 現則為班級經營理念原則僅佔 1.8%,由此可知在「班級經營」這科較偏重方法及 應用,占比為 13.7%。

壹、鑑別度分析

對台東大學教育學程二學生與教育系學生施測模擬試卷回收,將各題答題狀 況分別結果算出各試題之鑑別度,並做下列說明與分析表。

鑑別度為觀察試題能否具有區別施測學生能力高低的功能。鑑別度越高,表 示高分組在該題答對率高,低分組答錯率高;反之,如果試題太容易或是太困難,

試題無法區別答對或答錯學生,例如情況為:高分組、低分組全都答錯,那鑑別 度則為 0,因此無法區別試題對施測學生之能力。一個好的試題是能夠區分能力較 高的受試者較高的答對率,而能力較弱的受試者較低答對率,也就是有鑑別度試 題。以下根據 D= PiH- PiL 獲得模擬試題鑑別度指標,鑑別度 0.4 以上為優良試題 以黑粗題標示,如下表:

表 8 模擬試題鑑別度數值表

試題分類代碼 試題題號 PiH PiL 鑑別度

1-a 1 0.78 0.29 0.48

1-a 2 0.83 0.65 0.19

1-a 3 0.67 0.41 0.25

1-b 4 0.78 0.47 0.31

1-c 5 0.72 0.41 0.31

1-c 6 0.89 0.59 0.30

1-c 7 0.44 0.06 0.39

1-d 8 0.67 0.47 0.20

1-d 9 0.94 0.47 0.47

1-d 10 1.00 0.59 0.41 2-a 11 0.83 0.47 0.36 2-a 12 0.89 0.24 0.65

2-a 13 0.17 0.12 0.05 2-a 14 0.83 0.35 0.48 2-b 15 0.78 0.76 0.01 2-b 16 0.72 0.18 0.55 2-b 17 0.72 0.65 0.08 2-b 18 1.00 0.47 0.53 2-b 19 0.67 0.53 0.14 2-b 20 1.00 0.53 0.47 2-b 21 0.44 0.24 0.21 2-c 22 1.00 0.65 0.35 2-c 23 0.94 0.59 0.36 2-c 24 0.78 0.29 0.48 2-c 25 1.00 0.59 0.41 2-c 26 0.94 0.65 0.30 3-a 27 0.44 0.12 0.33 3-a 28 0.72 0.53 0.19 3-a 29 0.94 0.12 0.83 3-b 30 0.72 0.35 0.37 3-b 31 0.89 0.71 0.18 3-b 32 1.00 0.47 0.53 3-b 33 0.67 0.53 0.14 3-b 34 0.89 0.24 0.65 4-a 35 0.78 0.18 0.60 4-b 36 0.89 0.35 0.54 4-b 37 0.72 0.53 0.19 4-b 38 1.00 0.41 0.59 4-b 39 1.00 0.59 0.41 4-b 40 0.89 0.47 0.42 鑑別度越高代表示題越能測出學生能力,在上述表格中以粗體表示之,分別 為題號 1、9、10、12、14、16、18、20、24、25、29、32、34、35、36、38、39、

40 的試題鑑別度值皆在數值 0.4 以上,可觀察到這些題目對於受測學生較有鑑別度,

以下圖中的長條圖表示各題的鑑別度數值。

圖 28 模擬試題鑑別度長條圖

0.53 18.張老師打算藉由小紅帽故事來培養學生的批判思考能力。下列哪一項教學

(C) 宣導教育政策 (D) 評論其他教師

0.41 39.小明上課時故意走動,藉以引起教師注意。教師採取不理睬的態度,經過 幾次後小明就不再有此種行為。教師的此種做法屬於下列何者?

(A) 同化原則 (B) 調適原則 (C) 消弱原則 (D) 增強原則

0.42 40.教師在接一個新班級時,想要和家長就班級各種事務進行討論,在親師溝 通上,應該選用何種方式比較適當?

(A) 電話聯繫 (B) 約見面談 (C) 家庭聯絡簿 (D) 班級家長會

鑑別度值在 0.4 以上為優良試題,能測出學生高低分組答對率的落差數,鑑別 度數值越高代表試題能夠清楚明顯的區分受測學生能力。整理上述試題中可發現 能有效測出學生能力試題為:1-a(課程理念)1 題、1-d(課程政策與改革)2 題、

2-a(教學原理)2 題、2-b(教學活動及設計)3 題、2-c(教學策略及方法)2 題、

3-a(學習評量-概念及原理)1 題、3-b(學習評量-方法及應用)2 題、4-a(班 級經營-理念原則)1 題、4-b(班級經營-方法及應用)4 題。

由題數上可發現在班級經方法應用鑑別度在 0.4 以上的試題最多,也可觀察到 可能原因為相關試題 36~40 題中,高分組的答對率皆偏高,其中有兩題高分組答 對率為 100%,有實際的班級經營情境也對學生來說相較容易,因此計算出的鑑別 度值較高;而鑑別度最高題目為 3-a(學習評量-概念及原理)試題題號 29,鑑別 度數值為 0.83,可發現在此試題中高分組答對率相當高,而低分組答對率僅為 0.12,

此試題能明顯區別出高低分組學生的能力。

觀察完 0.4 以上優良試題後,研究者就鑑別度較低的試題表列為下,以鑑別度 0.19 以下試題進行探討施測學生答題情形,並討論高分組與低分組答題情形為何:

表 10 模擬試題鑑別度 0.19 以下試題分析說明表

鑑別度 題號與題目

0.05 13.學生在教室中把相同大小的積木放進長方形與正方形的框架中,以計算邊 長與面積。根據布魯納(J. Burner)的研究,學生們的學習行為屬於哪一種認知 表徵方式?

(A) 動作表徵 (B) 影像表徵 (C) 具體表徵 (D) 符號表徵

0.01 15.廖老師向學生提問:「讀完《狼來了》的故事,你們覺得牧羊童說謊的次 數與故事的結局是否有關係呢?為什麼?」此問題的性質屬於下列何者?

(A) 理解性問題 (B) 應用性問題 (C) 分析性問題 (D) 評鑑性問題 0.08 17.下列有關教學資源的敘述,何者最為適切?B

(A)上課時,使用的教學資源越多越好 (B)經費、設備、時間都屬於教學資源

(C)使用教學資源可以讓教師與學生變得更加輕鬆 (D)讓學生在家使用網路蒐集資料,是公平的方式

0.14 19.麗麗老師進行教學時,讓原住民學童從快失傳的手工藝、家家戶戶會做的 醃魚、老祖母的織布中,發現科學概念。這種作法屬於下列哪一種教學取向?

(A) 直接教學 (B) 間接教學 (C) 連結式教學 (D) 文化回應教學

0.18 31.在一次定期評量中,甲生的分數剛好是班上的平均數。甲生的 T 分數是多 少?

(A) 40 (B) 50 (C) 60 (D) 70

0.14 33.曾老師對全班學生的期中考成績進行排序,將前 27%的學生當成高分組,

後 27%當成低分組,再計算每一題高分組和低分組答對人數百分比的差異。

此做法是為了獲知下列何種資訊?

(A) 難度 (B) 猜測度 (C) 鑑別度 (D) 評分者信度

由上表得知鑑別度較低試題 0.19 以下共 6 題,分別為 13、15、17、19、31、

33,其中 2-a(教學原理)1 題、2-b(教學活動及設計)3 題、3-b(學習評量-方 法及應用)2 題,鑑別度最低值為 0.01 是第 15 題,依表 8 中數值顯示在該題高分 組與低分組答對率數值差不多,在此題中作答高低分組答對人數僅差一人,是造 成該題鑑別度低的原因;而鑑別度 0.05 中的第 13 題,高分組與低分組答對率皆非 常低,答對率值分別僅 0.17 與 0.12,可知在布魯納(J. Burner)的認知表徵方式,施 測學生的概念較為不清楚,因此此題的高分組與低分組答錯率都非常高,而造成 試題鑑別度低;在試題 33 題中,高低分組答對率皆有在五成以上數值相當接近,

因此看不太出試題鑑別度。

綜上所述,從鑑別度值中除了能觀察學生高分組與低分組在試題中答對率情 形,也可以藉由鑑別度去了解試題的優劣,進一步去分析造成鑑別度偏高或是鑑 別度低的原因,也能從高分組與低分組的答題表現去思考試題的難度,來觀察試 題是否能夠區分出學生的能力。

貳、難易度分析

根據施測學生模擬試題答題情形結果,經 Excel 依序總分分數由高往低排序,

選取總受測人數前 27%當成高分組學生;並由原始分數選取後 27%當成低分組,

而此次受試者研究者選出高分組 18 人計算出答對率,與低分組 18 人之答對率,進 行模擬試題的難易度分析。

分別計算高分組與低分組答對人數百分比,可得高分組=PiH;低分組=PiL,即 為高分組答對率;低分組答對率,再將(PiH+PiL)∕2 算出此試題難易度,意旨 每題試題中高分組、低分組答對人數百分比之平均數。模擬試題難易度數值如下 表分析之,0.4 以下為偏難試題以黑粗體示之:

表 11 模擬試題難易度數值表

試題分類代碼 試題題號 難易度數值

1-a 1 0.54

1-a 2 0.74

1-a 3 0.54

1-b 4 0.62

1-c 5 0.57

1-c 6 0.74

1-c 7 0.25

1-d 8 0.57

1-d 9 0.71

1-d 10 0.79

2-a 11 0.65

2-a 12 0.56

2-a 13 0.14

2-a 14 0.59

2-b 15 0.77

2-b 16 0.45

2-b 17 0.68

2-b 18 0.74

2-b 19 0.60

2-b 20 0.76

0.00

由上述表圖中難易度在模擬試題 40 題中,研究者將難易度數值 0.4 以下偏難 0.28 27.下列何者為實作評量計分中常見的「邏輯偏誤」(logical error)?

(A)評分者傾向根據平日對學生的認識打分數

由上表可發現偏難試題中為 7、13、21、27;偏易試題為 22、26、31。在偏難 試題中難度試題為第 13 題,在上述鑑別度時數值也相當低為 0.05,可得知不論是 高分組或是低分組在這題的答對率都非常低,而在全體 66 位受測學生中只有 9 位 學生答對,可得知學生在認知表徵中動作與具體表徵兩項容易落入陷阱之中搞混,

概念不夠清楚造成答題錯誤率提高;在第 27 題試題中,學習評量的概念原理對學 生來說也是較難的試題,學生可能會計算類型的題目,例如第 31 題 T 分數計算就 為偏易試題,但若是考概念原則的題型則會因定義上沒有清楚的觀念,而無法理 解題意造成選不出正確答案。

在偏易試題中,其中兩題皆為編碼 2-c(教學原理與設計-教學方法與策略),

可以得知可能原因除了此類型試題學生的概念較清楚,推測也可能是在題目的敘 述上讓答案有機可循,所以在這兩題題目難易度數值皆在八成以上。由圖 29 難易 度長條圖中也可發現在整體模擬試題 40 題中,試題的難度約落在難度適中與試題 難易偏易為大多數題目,相較之下偏難試題的題數較低,僅為上述分析表中的四 題,由此可觀察到施測學生在此份模擬試題中整體答題情形還不錯,也可知整份 試卷試題對施測學生來說難度適中偏易,從此章節的難易度與鑑別度分析中能了 解到學生在不同分類的命題要點中,高分組與低分組的答題表現情形,進而了解 模擬試題的難易度與鑑別度,而在下一章節則將受測學生以班級區分後,進行答

可以得知可能原因除了此類型試題學生的概念較清楚,推測也可能是在題目的敘 述上讓答案有機可循,所以在這兩題題目難易度數值皆在八成以上。由圖 29 難易 度長條圖中也可發現在整體模擬試題 40 題中,試題的難度約落在難度適中與試題 難易偏易為大多數題目,相較之下偏難試題的題數較低,僅為上述分析表中的四 題,由此可觀察到施測學生在此份模擬試題中整體答題情形還不錯,也可知整份 試卷試題對施測學生來說難度適中偏易,從此章節的難易度與鑑別度分析中能了 解到學生在不同分類的命題要點中,高分組與低分組的答題表現情形,進而了解 模擬試題的難易度與鑑別度,而在下一章節則將受測學生以班級區分後,進行答