紙筆測驗的前測與後測

筆者將「歷史科能力測驗」定位為認知取向的評量，以能否測得學生的歷史思維能 力為原則，因此以具體行為目標中之第五類－「建立歷史思維與解決問題的能力」為依 據(表 2-11)，並配合課堂節數的限制，參酌現今大考中心的指考命題形式，筆試時間與 題數均以指考的 1/4 來進行設計(表 4-1)。

表 4-1 歷史科能力測驗形式的設計

項目 大考中心的指考命題 筆者設計的歷史科能力測驗

筆試時間 80 分鐘 20 分鐘

單選題 36 題 8 題

多選題 4 題 1 題

非選題 10 小題 2~3 小題

大考中心近年來所編製的指考試題力求難度適中、鑑別度良好，且已逐漸轉向閱 讀、思考、分析、推理等歷史思維能力的運用¹⁶⁰，為了讓設計的歷史科能力測驗能測得 所預期的學習結果，筆者先針對近五年的指考試題進行篩選，選出偏向史學方法，又符 合表 4-1 中 5-1～5-9 行為目標的試題，製作成雙向細目表進行分析(表 4-2)。

159 陳豐祥，《歷史教學評量的理論與實際》，台北：台灣學生書局，1994 年，頁 1-3。

160 大學入學考試中心，指定考試科目簡介。http://www.ceec.edu.tw/AppointExam/AppointExamProfile.htm 指考是為大學選才需要而設計，因此其測驗目標在於檢測考生應具備的學科知識，以及對於資料的閱

讀、判斷等能力，推理、分析等思考能力，表達能力及學科知識的應用能力。為了達到大學選才的命 題需要並兼顧高中教學，指考將其測驗目標歸納為下列四項：(1)測驗考生對重要學科知識的了解；(2) 測驗考生資料閱讀、資料判斷、推理、分析等能力；(3)測驗考生表達的能力；(4)測驗考生應用學科知 識的能力。

表 4-2 歷史科能力測驗選題分析之雙向細目表

前後測試題(表 4-3~表 4-4)，試題內容請詳見附錄(附錄十七、附錄十八)。

表 4-3 預試試題(一)分析結果

行為

目標 原題號 預試 題號

難度 (P)

鑑別度 (D)

選擇 與否

正式測驗 題號 97 指考 5 一、1 0.21 0.36

96 指考 30 一、2 0.29 0.40

95 指考 11 一、3 0.53 0.63 ˇ 前測一、1 94 指考 14 一、4 0.13 0.18

5-1

94 指考 36 一、5 0.45 0.68 ˇ 後測一、1 97 指考 11 一、6 0.42 0.65 ˇ 前測一、2 5-2 95 指考 8 一、7 0.58 0.49 ˇ 後測一、2

98 指考 19 一、8 0.76 0.18 98 指考 29 一、9 0.26 0.38 96 指考 3 一、10 0.79 0.15

96 指考 11 一、11 0.68 0.62 ˇ 前測一、3 96 指考 16 一、12 0.58 0.69 ˇ 後測一、3 95 指考 15 一、13 0.37 0.38

95 指考 20 一、14 0.74 0.19 5-3

94 指考 9 一、15 0.34 0.38

98 指考 12 一、16 0.34 0.63 ˇ 前測一、4 5-4 95 指考 33 一、17 0.26 0.40 ˇ 後測一、4 5-5 98 指考 36 一、18 0.71 0.16

96 指考 38 二、1 0.11 0.12 5-3 94 指考 40 二、2 0.53 0.37 98 指考 37 二、3 0.68 0.33

98 指考 38 二、4 0.53 0.52 ˇ 前測二、1 5-5

98 指考 40 二、5 0.50 0.54 ˇ 後測二、1 5-1 95 指考 2a 三、1 0.34 0.40

97 指考 2e 三、2 0.18 0.18 94 指考 3a 三、3 0.58 0.48 94 指考 3b 三、4 0.66 0.44 94 指考 3c 三、5 0.61 0.47 5-3

98 指考 2a 三、6 0.58 0.51 ˇ 前測三、1

表 4-4 預試試題(二)分析結果

「信度」方面，在前後測預試後，筆者求得兩份測驗結果的積差相關係數 r 為 0.83，

以量化分析表示測驗的穩定性與一致性良好；「效度」方面，筆者採取內容效度，以具 有行為目標與測驗試題的雙向細目表的質化分析(表 4-2~表 4-4)，來表示測驗確實能測量 到它所欲測量的特質或功能。

貳、前後測施測結果分析

本研究採實驗組前後測設計，於 98 年 9 月 25 日班會課，對學生進行紙筆測驗 A(前 測)，於 99 年 6 月 4 日班會課，對學生進行紙筆測驗 B(後測)，並將其成績呈現如下(表 4-5)。為了解學生在接受建構教學後的歷史思維能力是否有所提升，先考量整體，針對 學生前後測成績進行相依樣本 t 考驗；再考量個別，了解每位學生進退分情形。

表 4-5 實驗班級學生的前後測成績

項目 實驗班級

學生座號 前測(X¹) 後測(X²) 後測-前測(X^2- X¹)

1 18 18 0

2 18 20 +2

3 13 14 +1

4 18 17 -1

5 14 13 -1

6 18 18 0

7 15 15 0

8 17 16 -1

9 17 15 -2

10 12 15 +3

11 17 15 -2

12 13 14 +1

13 13 12 -1

14 16 16 0

15 17 18 +1

16 15 16 +1

17 15 17 +2

18 18 19 +1

19 18 16 -2

20 17 19 +2

21 19 20 +1

22 12 14 +2

23 17 16 -1

24 17 17 0

25 17 20 +3

26 17 20 +3

27 19 19 0

28 19 22 +3

29 18 19 +1

30 17 20 +3

31 15 18 +3

32 18 19 +1

33 16 16 0

34 12 11 -1

35 12 14 +2

36 19 21 +2

37 17 20 +3

38 16 15 -1

39 21 19 -2

和 637 663 26

平方和 10603 11533 930 乘積和 11009

相關 0.80

平均 16.33 17.00 0.67 標準差 2.26 2.59 4.84

(一) 整體部分－對學生的前後測成績進行相依樣本 t 考驗

假設學生在接受建構教學後的歷史思維能力有所提升因此，統計假設為：

H⁰ : μ^{x1 ≧}μ^x2 H¹ : μ^{x1 ＜} μ^x2

由對立假設H¹ : μ^x1－μ^{x2 ＜} 0 得知，此為左尾的單側考驗，如果犯第一類型錯誤便 是很嚴重的，筆者決定使用.01 顯著水準，df(自由度)=N^x-1=39-1=38，查閱 t 分配的自由 度與百分點估算得知，t^.01(38) = -2.43。實際計算所得 t 值=-2.56，落入拒絕區，所以拒絕 H⁰、接受H¹，學生在接受建構教學後的歷史思維能力有所提升。

(二) 個別部分－了解每位學生進退分情形(表 4-6)

表 4-6 每位學生的進退分情形

進退分(分) -3 -2 -1 0 +1 +2 +3 人數(人) 0 4 7 7 8 6 7

總計(人) 11 7 21

筆者將每位學生的進退分情形予以統整後發現，超過一半的學生在紙筆測驗中有所 進步，且進步 1 分、2 分、3 分者均有 6 人以上；相對而言，退步者較少，且多集中於 退步 1 分，可見多數學生在接受建構教學後的歷史思維能力確實有所提升。此外，在具 有信度與效度的前後測施測中發現¹⁶¹，雖仍有少數維持不變或退步者，可能與當時應答 者的心理狀態等不易操控的因素有關，應不致影響整體的推論。

161 前後測的積差相關係數 r 值為 0.80。