第三章 研究方法
第三節 研究工具
一、研究工具的編製
本研究根據九年一貫課程綱要數學領域中，五年級數與量 19 個分年細 目，先將 19 個分年細目分成 4 個概念子題「整數及其進階應用」、「分 數」、「小數」和「量與實測」，並由研究者以此為依據自行編製數學填 充題測驗。分年細目內容與概念子題之對應如表 3-3 所示，測驗試題經由 三位數學教育系教授與五位現職國小教師共同審題並進行校正，製成預試 試卷 A、B 兩卷，如附錄一和附錄二所示。
34
35
36
矩陣中的「1」代表該試題有測量到該項概念，而矩陣中的「0」，代表 該試題沒有測量到該項概念，例如：試題 Q1 測量到的是概念 6；試題 Q3、
Q16、Q20 和 Q24 測量可測到概念 1，因此概念 1 為五元計分。本測驗試 題 原 為 二 元 計 分 ， 需 轉 換 成 多 元 計 分 矩 陣 。 若
N
(n = 1 , 2 , , N
) 、M
(m = 1 , 2 , , M
)、A
(a = 1 , 2 , , A
) 分別表示人數、試題數和概念數，則學 童 的 試 題 反 應 矩 陣 為D
=( ) d
nm N×M ， 概 念 屬 性 矩 陣 為K
=( ) k
ma M×A ( 如 表 3-4)，則概念的計分矩陣為S
=( ) ( ) d
nm N×Mk
ma M×A =( ) s
na N×A，可據此利用多元 計分試題關聯結構軟體進行概念結構圖繪製。二、預試工具分析
研究者完成預試試卷 A、B 卷後，於 2009 年 5 月中旬採取方便抽樣，
抽取台中市 70 名國民小學五年級學童進行預試，A、B 卷預試結果資料分 析如下表 3-5 及表 3-6 所示。
(一) 信度
預試試卷 A 卷的內部一致性 Cronbach’s α 值為.883，預試試卷 B 卷的 內部一致性 Cronbach’s α 值為.858，所以本測驗的信度優良。利用 SPSS 統計軟體信度分析中刪除試題後的信度作為刪除或修改試題之參考，其中 發現 A、B 卷刪除試題不會異常提高信度。只有 A 卷 A02、A09、A14 以 及 B 卷 B04、B19、B20 共 6 題α 值還是相同，因此這六題可能需要加以 修改，而其他試題良好。
(二) 難度分析
預試難度以全體平均通過率以及高分組(前 27％)和低分組(後 27％)的 平均通過率之平均兩種方式來表示。A 卷全體通過率的平均值為.579，而 高分組與低分組平均通過率的平均為.583，代表 A 卷試題難度適中。B 卷 全 體 通 過 率 的 平 均 值 為 .601 ， 而 高 分 組 與 低 分 組 平 均 通 過 率 的 平 均
37
為.591，代表 B 卷試題難度適中偏易。但試題 A13 的難度僅有.145 和.237；
B20 的難度僅有.097 和.079；B22 的難度僅有.129 和.184，顯示這三試題對 學童而言太難或題意不清無法正確作答，需要加以修改。而試題 A02 的難 度分別是.935 和.941；A12 的難度分別是.952 和.912；B11 的難度分別是.935 和.912；B12 的難度分別是.919 和.912；B17 的難度分別是.984 和.971；B21 的難度分別是.952 和.971，表示試題太過簡單或有暗示答案的可能，也需 要加以修改。
(三) 鑑別度分析
鑑別度則採用高分組平均通過率減去低分組平均通過率和每一試題與 總分之相關係數兩種方法來檢定。鑑別度 D=
P
H-P
L＞.4 的題目表示鑑別度 十分良好，A 卷有 17 題，B 卷有 15 題，而其他的試題中 A02、A12、 B11、B12、B17 及 B21 鑑別度偏低，需要特別注意。
在各題與總分的相關係數中，大部分的試題與總分皆有達到顯著水 準，且具有鑑別力，但其中 B17 沒有達顯著水準，所以此題必須進行修改 或刪除。
根據 A 卷與 B 卷的信度、難度與鑑別度分析，先挑選當刪除試題時的 Cronbach’s α 值小於.883 和.858，再從中刪除 D 值小於.4 的試題，最後從 中挑選難度適中之試題，並確認挑選出的試題確實有所要測驗的概念，之 後進行再次審題，挑出 28 題預試試題，並編製成正式施測的工具。
38
39
40
2009 年 6 月中旬進行施測。正式施測工具結果資料分析如表 3-9。
表 3-7 分年細目與概念間之關聯 概念
編號 細目代號 測量該細目的試題編號 概念
總分
1 5-n-01 3 , 16 , 20 , 24 4
2 5-n-02 19 , 22, 28 3
3 5-n-03 5 , 7 , 8 , 27 4
4 5-n-04 4 , 16 2
5 5-n-05 4 , 6 , 16 3
6 5-n-06 1 , 14 2
7 5-n-07 11 , 18 2
8 5-n-08 2 , 3 , 16 , 21 4
9 5-n-09 12 , 17 2
10 5-n-10 21 , 23 2
11 5-n-11 10 , 13, 25 3
12 5-n-12 9 , 12 , 17 , 23 4
13 5-n-13 7 , 20 , 24 3
14 5-n-14 2 , 21 2
15 5-n-15 11 , 15 , 21 3
16 5-n-16 11 , 22 2
17 5-n-17 8 , 26 2
18 5-n-18 8 , 19 , 26 , 27 , 28 5
19 5-n-19 3 , 19 , 27 , 28 4
(一) 信度分析
正式施測的試題，內部一致性 Cronbach’s α 值為.902，信度優良，且 比預試的α 值提高了.2 和.4，且刪除試題後無異常的提高，表示正式施測 之工具具有更良好的信度。
(二) 效度分析 1. 內容效度
依據表 3-4 試題與概念屬性矩陣，可檢查到測驗的題目確實有包含所 要測驗的概念，故本測驗具有內容效度。
41
2. 專家效度
本研究所自編的數與量概念測驗，經由三位數學教育系教授與五位任 職五年以上的現職國小教師共同審題，其相關背景如表 3-8 所示，故本測 驗具有專家效度。
表 3-8 數與量試題評量參與編製人員
(三) 難度分析
本份試題之難度介於.1 到.723，平均難度為.483，大部分的試題難度適 中，無試題太過困難或太過簡單的情形。
(四) 鑑別度分析
全部試題之鑑別度 D 皆達.40 以上，且各試題與總分之相關係數皆達 顯著水準，顯示此測驗工具具有良好的鑑別度。
編製人員 相關背景
A 數學評量領域專長，現職數學教育學系教授 B 數學評量領域專長，現職數學教育學系教授 C 數學評量領域專長，現職數學教育學系教授
D 教學年資10~15年，現職國小五年級教師及教育研究所進修中 E 教學年資10~15年，現職國小五年級教師
F 教學年資6~10年，現職五年級教師
G 教學年資6~10年，現職國小教師及數學教育研究所畢業 H 教學年資6~10年，現職五年級教師
42
43