第三章 研究方法
第四節 研究工具
一、數學成效測驗
本測驗分為前測與後測,前測的目的在瞭解學生對於本階段授課內容先備知識的 認知程度,屬於預備性評量;後測的目的在評量此次教學後的學習成效,屬於總結性 評量。
圖6
成效測驗編製流程圖
一份優良的試卷必須能符合教學目標與測驗出受試者的某項欲測試的心理特質,
學者布魯姆 Bloom (1956) 將對事物的認知領域分成下列六個層次:記憶、理解、應 用、分析、綜合、評鑑。編製數學科的成就測驗,我們可以根據Bloom(1956)對認知 領域能力的分類(包含記憶、理解、應用、分析、綜合、評鑑等)來建立教學目標橫軸;
再根據數學科的學習內容(包含等差數列與級數、平面圖形、垂直平分與線對稱等) 建立縱軸。再根據兩軸所交集成的細格來建立評量目標的測驗雙向細目表。
表14 質與量分析說明表:
分析項目 分析方法
質的分析 試題的內容審查、有效命題原則、教學目標進行邏輯分析 量的分析 難度分析
鑑別度分析
(一)成效測驗前測試題編製
1.由研究者依測驗目標與範圍,先行編製試題,初步完稿後,與校內數學領域教師共 同審題,做第1階段的討論與修正。
2.修正後之成效測驗前測預試試題,雙向細目表及教材單元與測驗題型配分表,
確定目的與範圍 進行試題編製
與領域教師 討論與修正
進行 預試
質與量 分析
第二次 討論與修正
完成 試題
如下表所示:
表15 前測預試試題雙向細目表及教材單元與測驗題型配分表
教材單元 測驗
題型 記憶 理解 應用 分析 綜合 評鑑 合 計 題 數
題 型 配 分
配分 合計
等差數列
選擇題 1,5 2 14 4 12
26 填充題 1 2,3 4,6 5 10
計算題 4 1 4
等差級數
選擇題 8 7 3 4 4 12
26
填充題 7 5 2 4
計算題 1 2 3 3 10
平面圖形
選擇題 6,13 10 9,10 5 15
23 填充題 8 9,10 11 4 8
計算題 0 0
垂直平分 與線對稱
選擇題 12 1 3
25 填充題 12,13 14,15
16,17 18,19 8 16
計算題 5 6 2 6
3.第1階段的修正後的前測預試試題,如附錄A。
4.試題預試安排研究者任教學校,二年級1個班級學生進行預試工作。
5.前測預試試題難度與鑑別度分析。
此份前測預試試題的難度與鑑別度分析資料如下:
(1)選擇題部分:
表16 前測預試試題選擇題部分量化分析表 選擇
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 8 4 1.00 0.50 0.75 0.50
2 7 2 0.88 0.25 0.5625 0.63 3 6 2 0.75 0.25 0.5 0.50
4 6 4 0.75 0.50 0.625 0.25 刪除 5 8 3 1.00 0.38 0.6875 0.63
6 8 3 1.00 0.38 0.6875 0.63 7 7 3 0.88 0.38 0.625 0.50 8 8 4 1.00 0.50 0.75 0.50
9 4 1 0.50 0.13 0.3125 0.38 刪除 10 7 1 0.88 0.13 0.5 0.75
11 6 2 0.75 0.25 0.5 0.50 12 8 2 1.00 0.25 0.625 0.75 13 7 3 0.88 0.38 0.625 0.50 14 6 1 0.75 0.13 0.4375 0.63 說明:
題號4,因為鑑別度D < 0.4 ,故予以刪除。
題號9,因為難度P偏高,同時鑑別度D偏低,故予以刪除。
(2)填充題部分:
表17 前測預試試題填充題部分量化分析表 填充
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 7 3 0.88 0.38 0.625 0.50 2 8 2 1.00 0.25 0.625 0.75 3 6 1 0.75 0.13 0.4375 0.63 4 5 2 0.63 0.25 0.4375 0.38 刪除 5 6 0 0.75 0.00 0.375 0.75 6 8 3 1.00 0.38 0.6875 0.63 7 7 2 0.88 0.25 0.5625 0.63 8 8 3 1.00 0.38 0.6875 0.63 9 8 4 1.00 0.50 0.75 0.50 10 7 2 0.88 0.25 0.5625 0.63 11 6 1 0.75 0.13 0.4375 0.63 12 8 2 1.00 0.25 0.625 0.75 13 7 1 0.88 0.13 0.5 0.75 14 7 5 0.88 0.63 0.75 0.25 刪除 15 8 5 1.00 0.63 0.8125 0.38 刪除 16 8 6 1.00 0.75 0.875 0.25 刪除 17 7 6 0.88 0.75 0.8125 0.13 刪除 18 4 1 0.50 0.13 0.3125 0.38 19 8 2 1.00 0.25 0.625 0.75 說明:
題號4,因為鑑別度偏低 ,故予以刪除。
題號14~17,因為難度與鑑別度均不在理想值範圍,故予以刪除。
(3)計算題部分:
表18 前測預試試題計算題部分量化分析表 計算
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 7 3 0.88 0.38 0.625 0.50
2 6 1 0.75 0.13 0.4375 0.63
3 7 5 0.88 0.63 0.75 0.25 刪除 4 8 2 1.00 0.25 0.625 0.75
5 6 0 0.75 0.00 0.375 0.75 6 8 1 1.00 0.13 0.5625 0.88 說明:
題號3,因為難度與鑑別度均不在理想值範圍,故予以刪除。
6.前測正式試題(附錄 B)的難度與鑑別度分析圖表如下:
圖7 前測正式試題選擇題難度次數分配圖
圖8 前測正式試題選擇題鑑別度次數分配圖 0
7
5
0 0 0
2 4 6 8
極容易 容易 適中 困難 極困難
題數
選擇題難度
前測正式試題選擇題難度次數分配圖
題數
12
0 0 0
0 5 10 15
非常優良 優良 尚可 不佳
題數
選擇題鑑別度
前測正式試題選擇題鑑別度次數分配圖
題…
圖9 前測正式試題填充題難度次數分配圖
圖10 前測正式試題填充題鑑別度次數分配圖
圖11 前測正式試題計算題難度次數分配圖 0
7
5
2
0 0
2 4 6 8
極容易 容易 適中 困難 極困難
題數
填充題難度
前測正式試題填充題難度次數分配圖
題數
13
1 0 0
0 5 10 15
非常優良 優良 尚可 不佳
題數
填充題鑑別度
前測正式試題填充題鑑別度次數分配圖
題數
1
3
1
0 0 0
1 2 3 4
極容易 容易 適中 困難 極困難
題數
計算題難度
前測正式試題計算題難度次數分配圖
題…
圖12 前測正式試題計算題鑑別度次數分配圖
圖13 前測正式試題難度次數分配圖
圖14 前測正式試題鑑別度次數分配圖 5
0 0 0
0 1 2 3 4 5 6
非常優良 優良 尚可 不佳
題數
計算題鑑別度
前測正式試題計算題鑑別度次數分配圖
題…
1
17
11
2 0
0 5 10 15 20
極容易 容易 適中 困難 極困難
題數
前測正式試題難度
前測正式試題難度次數分配圖
題…
30
1 0 0
0 10 20 30 40
非常優良 優良 尚可 不佳
題數
前測正式試題鑑別度
前測正式試題鑑別度次數分配圖
題…
一般來說,試題的難度值接近0.5時,此時試題之鑑別度最好(郭生玉,2004)。
本次試題在難度部分,極容易1題;容易17題;適中11題;困難2題,總平均難度值約 0.57。鑑別度部分,所有試題皆達到優良以上等級,平均鑑別度達0.625。
教育學者Ebel(1967)認為試題鑑別力與測驗的信度也有密切關係。當試題的平均 鑑別力愈高時,測驗的信度也愈高。因此一個可靠的測驗,試題的組成應選擇鑑別力 高的題目為適宜。平均而言,一份優良的測驗試題至少應具有0.80以上的信度值才具 有使用的價值(Carmines & Zeller,1979)。
7.前測正式試題的信度與效度
本前測試題信度採用內部一致性柯能畢曲α係數(Cronbachα係數)衡量信度。
Cronbach α係數是由Cronbach (1951) 年所設計使用,他以α係數來代表測 驗或量表的內部一致性信度,α係數愈高,代表測驗或量表的內部一致性愈佳。
在完成預試刪除不適當試題後,對31題正式試題進行試題信度分析,得到本測驗 Cronbachα信度值為0.878,顯示本測驗信度良好。在效度方面,本試題的效度採內 容效度,主要透過雙向細目表檢討內容效度,針對試題內容進行評量時所要達到教學 目標的一致性程度。
(二)成效測驗後測試題編製
1.由研究者依測驗目標與範圍,先行編製試題,初步完稿後,與校內數學領域教師共 同審題,做第1階段的討論與修正。
2.修正後之成效測驗後測預試試題(附錄C),雙向細目表及教材單元與測驗題型配 分表,如下表所示:
表19 後測預試試題雙向細目表及教材單元與測驗題型配分表 教材單元 測驗
題型 記憶 理解 應用 分析 綜合 評鑑 合計 題數
題型 配分
配分 合計
等差數列
選擇題 1 3,6 3 9
38 填充題 1 2,3 4,7 5,6 7 14
計算題 2 1 5 3 15
等差級數
選擇題 2 4 5 3 9
27 填充題 9 8,10 11 4 8
計算題 3 4 2 10
平面圖形
選擇題 11 7,9 8 4 12
23 填充題 12 13 14 3 6
計算題 6 1 5
垂直平分 與線對稱
選擇題 12 10 2 6
12 填充題 15 16 17 3 6
計算題 0
3.第1階段的修正後的後測預試試題,如附錄C。
4.試題預試安排研究者任教學校,二年級1個班級學生進行預試工作。
5.後測預試試題難度與鑑別度分析。
此份後測預試試題的難度與鑑別度分析資料如下:
(1)選擇題部分:
表20 後測預試試題選擇題部分量化分析表 選擇
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 8 3 1.00 0.38 0.6875 0.63
2 7 2 0.88 0.25 0.5625 0.63 3 7 1 0.88 0.13 0.5 0.75 4 6 1 0.75 0.13 0.4375 0.63 5 7 0 0.88 0.00 0.4375 0.88
6 7 5 0.88 0.63 0.75 0.25 刪除 7 8 3 1.00 0.38 0.6875 0.63
8 7 2 0.88 0.25 0.5625 0.63 9 7 1 0.88 0.13 0.5 0.75 10 8 2 1.00 0.25 0.625 0.75
11 8 6 1.00 0.75 0.875 0.25 刪除 12 8 3 1.00 0.38 0.6875 0.63
說明:
題號6,因為鑑別度過低,故予以刪除。
題號11,因為難度與鑑別度不在理想值範圍,故予以刪除。
(2)填充題部分:
表21 後測預試試題填充題部分量化分析表 填充
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 8 4 1.00 0.50 0.75 0.50
2 8 2 1.00 0.25 0.625 0.75 3 8 3 1.00 0.38 0.6875 0.63 4 7 2 0.88 0.25 0.5625 0.63 5 7 2 0.88 0.25 0.5625 0.63 6 7 1 0.88 0.13 0.5 0.75 7 7 3 0.88 0.38 0.625 0.50 8 7 1 0.88 0.13 0.5 0.75 9 8 2 1.00 0.25 0.625 0.75 10 7 1 0.88 0.13 0.5 0.75
11 5 2 0.63 0.25 0.4375 0.38 刪除 12 8 2 1.00 0.25 0.625 0.75
13 6 1 0.75 0.13 0.4375 0.63 14 6 0 0.75 0.00 0.375 0.75 15 8 2 1.00 0.25 0.625 0.75 16 7 1 0.88 0.13 0.5 0.75
17 4 0 0.50 0.00 0.25 0.50 刪除 說明:
題號11,因為鑑別度偏低 ,故予以刪除。
題號17,因為試題難度過高,故予以刪除。
(3)計算題部分:
表22 後測預試試題計算題部分量化分析表 計算
題號
高分組 答對人數
低分組
答對人數 PH PL 難度 P 鑑別度 D 試題處理 1 8 2 1.00 0.25 0.625 0.75
2 6 1 0.75 0.13 0.4375 0.63 3 7 3 0.88 0.38 0.625 0.50
4 8 6 1.00 0.75 0.875 0.25 刪除 5 6 0 0.75 0.00 0.375 0.75
6 8 1 1.00 0.13 0.5625 0.88 說明:
題號4,因為難度與鑑別度均不在理想值範圍,故予以刪除。
6.後測正式試題(附錄 D)的難度與鑑別度分析圖表如下:
圖15 後測正式試題選擇題難度次數分配圖
圖16 後測正式試題選擇題鑑別度次數分配圖
圖17 後測正式試題填充題難度次數分配圖 0
4
6
0 0
0 2 4 6 8
極容易 容易 適中 困難 極困難
題數
選擇題難度
後測正式試題選擇題難度次數分配圖
題數
10
0 0 0
0 5 10 15
非常優良 優良 尚可 不佳
題數
選擇題鑑別度
後測正式試題選擇題鑑別度次數分配圖
題數
0
7 7
1
0 0
2 4 6 8
極容易 容易 適中 困難 極困難
題數
填充題難度
後測正式試題填充題難度次數分配圖
題…
圖18 後測正式試題填充題鑑別度次數分配圖
圖19 後測正式試題計算題難度次數分配圖
圖20 後測正式試題計算題鑑別度次數分配圖 15
0 0 0
0 5 10 15 20
非常優良 優良 尚可 不佳
題數
填充題鑑別度
後測正式試題填充題鑑別度次數分配圖
題…
0
2 2
1
0 0
0.5 1 1.5 2 2.5
極容易 容易 適中 困難 極困難
題數
計算題難度
後測正式試題計算題難度次數分配圖
題…
5
0 0 0
0 1 2 3 4 5 6
非常優良 優良 尚可 不佳
題數
計算題鑑別度
後測正式試題計算題鑑別度次數分配圖
題…
圖 21 後測正式試題難度次數分配圖
圖22 後測正式試題鑑別度次數分配圖
一般來說,試題的難度值接近0.5時,此時試題之鑑別度最好(郭生玉,2004)。
本次試題在難度部分,容易13題;適中15題;困難2題,總平均難度值約0.56。鑑別 度部分,所有試題皆達到非常優良以上等級,平均鑑別度達0.688。
教育學者Ebel(1967)認為試題鑑別力與測驗的信度也有密切關係。當試題的平均 鑑別力愈高時,測驗的信度也愈高。因此一個可靠的測驗,試題的組成應選擇鑑別力 高的題目為適宜。平均而言,一份優良的測驗試題至少應具有0.80以上的信度值才具 有使用的價值(Carmines & Zeller,1979)。
7.前測正式試題的信度與效度
本後測試題信度採用內部一致性柯能畢曲α係數(Cronbachα係數)衡量信度,在 完成預試刪除不適當試題後,對30題正式試題進行試題信度分析,得到本測驗
0
13 15
2 0
0 5 10 15 20
極容易 容易 適中 困難 極困難
題數
後測正式試題難度
後測正式試題難度次數分配圖
題…
30
0 0 0
0 10 20 30 40
非常優良 優良 尚可 不佳
題數
後測正式試題鑑別度
後測正式試題鑑別度次數分配圖
題數
Cronbachα信度值為0.862,顯示本測驗信度良好。在效度方面,本試題的效度採內 容效度,主要透過雙向細目表檢討內容效度,針對試題內容進行評量時所要達到教學 目標的一致性程度。
二、數學領域學習態度量表(修正版)
(一)量表編製
此份量表係修改自林星秀(2001)所編製之數學領域態度量表 (附錄E)。本量表主 要功能在瞭解國中學生數學的學習態度,進而分析學生進行實驗教學前與實驗教學後 其在數學域學習態度變化情形。
(二)量表內容說明及計分
修正後的數學態度量表,共32題。其中包含4個分量表及量表總分,分量表分別 為「學習方法」、「學習過程」、「學習慾望」與「數學信念」。
此量表採用李克特五點量表(Five-points Likert Scale)的計分方法,而選項部分分 成非常同意、同意、沒意見、不同意、非常不同意五種選項。正向題計分依照上述順 序依序給5、4、3、2、1的分數。反向題則給予1、2、3、4、5的分數。
表23 數學態度量表題目配分表
項目配分 題型/題號
非常
同意 同意 沒意見 不同意 非常 不同意
正向題
2、3、4、7、8、10、13、
17、19、21、23、25、26、
30、31、32
5分 4分 3分 2分 1分
反向題
1、5、6、9、11、12、14、
15、16、18、20、22、24、
27、28、29
1分 2分 3分 4分 5分
(三)修正版態度量表內在信度與外在信度分析 1.內在信度(internal reliability)
內在信度指的是每一個量表是否測量單一概念,同時,組成量表題項的內在一致 性程度如何。本量表採用Cronbach α係數作為內在信度的數據指標。Cronbach(1951) 提出之α信賴係數,是目前行為研究最常使用之信度指標,也最適用於李克特式量表