第三章 研究設計與實施
第五節 資料處理
本研究主要採取量化研究的分析方式來探究學童在時間概念的知識結構,
此次研究在筆測資料的處理上,使用Excel及SPSS/PC 統計套裝軟體,進行試題 性質的分析,例如試題之信度。
另外,利用試題關聯結構法,進行群體受試者試題關聯結構圖之分析,繪 圖工具為IRSP 軟體。此種軟體可繪出試題關聯結構圖於電腦上,並可以用印表 機將其列印出來,以便於分析群體受試者之試題關聯結構圖。
將試題性質的分析,包括測驗之信度、效度、難易度及鑑別度的分析及試 題關聯順序性係數的分析,分述如下:
ㄧ、試題性質分析
(一)信度分析
信度(Reliability)又稱為可靠性,係指測驗結果的穩定性而言。本研究 採用 Cronbac’s α 係數來代表其測驗之內部一致性,經 SPSS/PC 分析後,刪除 修正的項目總相關分別為-1.24、0.38 的第 7 題與第 20 題,得測驗整體之α係 數為.835,即表示測驗之信度尚可接受,其信度分析情形如表 3-4 所示:
(二)效度分析
專家效度,在學科專家的部分,則在本測驗編製之初先請五位擔任國小五、
六年級已長達六年以上之資深的級任老師先校閱,修改試題中不適合學童的詞 句;另一方面,在測驗專家部分再與師範學院二位數學教育教授進行討論與修 正,以作為專家效度之依據。
(三)難易度與鑑別度分析
本研究根據古典測驗理論的觀點,就量的研究方面而言,必須對試題的難 易度及鑑別度進行分析。
在難易度方面,本研究採內部一致性(internal consistency)的方式,
分別將受試者之總分依高低排序,由最高分數向下取全體受試人數的 27%為高分 組,再從最低部分向上取 27%為低分組,再分別求出高分組及低分組在每個試題 的答對率;最後將高分組之答對率 PH和低分組之答對率 PL,求其平均即可得該 題號 刪除此題後的α值 刪除情形 題號 刪除此題後的α值 刪除情形
1 .827 15 .819
2 .815 16 .825
3 .814 17 .819
4 .821 18 .812
5 .830 19 .832
6 .824 20 .835
7 .835 21 .807
8 .826 22 .809
9 .818 23 .820
10 .824 24 .823
11 .821 25 .817
12 .818 26 .827
13 .822 27 .824
14 .821
測驗整體α係數=.827
表 3-4 測驗之 Cronbach’s α 信度分析
46
試題之難易度指數(item difficulty index)。
而在鑑別度方面,則以高分組之答對率 PH減掉低分組之答對率 PL,即得該 試題之鑑別指數(item discrimination index)。另外,試題鑑別力的分析,
亦可用每個試題得分反應與測驗總分的關聯性來表示(簡茂發,1987)。若試題 得分與總分的相關程度愈高,表示試題的得分高低與總分高低愈一致,亦即該 試題鑑別度就愈高。因此本研究求出試題與總分的點值二系列相關係數(point biserial correlation)rab來表示試題的鑑別力。經 SPSS/PC 套裝軟體進行分 析,其結果如表 3-5 所示。
表 3-5 試題之難易度及鑑別度
48
二、試題關聯順序性係數之分析
由受試的答題原始資料,可以計算出兩測驗題目之間的順序性係數,然後 利用此順序性係數建立試題關聯結構圖。
假設A、B、C、D分別表示如下的意義:
A:試題Ⅰ與試題Ⅱ均答對的人數 B:試題Ⅰ答對而試題Ⅱ答錯的人數 C:試題Ⅰ答錯而試題Ⅱ答對的人數 D:試題Ⅰ與試題Ⅱ均答錯的人數
又設N=A+B+C+D,按照下表的試題關聯順序性係數公式,即可求 得Ⅰ題到Ⅱ題的 r*值。
r*
=
1-
) )(
(C D A C CN
+ +
其中,試題Ⅰ與試題乙之間的關係如下表所示:
試 題 Ⅱ
對 錯 合計
對 A B A+B
錯 C D C+D
試題Ⅰ
合計 A+C B+D N
研究者根據筆測資料中受試者答題反應的原始資料,利用 IOSP 軟體求出試 題與試題之間的試題關聯順序性係數 r*值,並將其整理如表 3-6(注意:下表 是從縱座標的題號到橫座標題號的順序性係數一覽表)。
題 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
1 - 0.222 -0.043 0.286 -0.100 0.000 0.000 -0.031 -0.071 0.167 0.200 -0.200 0.053 0.069 0.125 0.129 0.250 0.286 0.500 -0.125 -0.043 0.222 0.032 0.036 0.036 -0.065 0.276
2 0.500 - 0.522 0.476 -0.100 1.000 0.083 -0.031 0.411 0.389 0.083 0.340 0.711 0.052 0.312 0.113 0.312 0.476 -0.375 0.312 0.522 0.593 0.113 0.018 0.411 -0.065 0.431
3 -0.050 0.267 - 0.214 0.010 1.000 0.010 0.072 0.293 0.267 0.010 0.472 0.305 0.090 0.038 0.042 0.038 0.529 -0.100 0.175 0.713 0.267 0.148 0.175 0.293 0.042 0.090
4 0.250 0.185 0.163 - -0.008 1.000 -0.008 -0.031 0.116 0.236 0.175 0.120 -0.013 0.147 0.312 0.024 0.427 0.083 0.083 0.656 0.402 0.185 0.024 -0.080 0.018 -0.065 -0.043
5 -0.500 -0.222 0.043 -0.048 - 1.000 -0.100 0.312 0.214 0.389 -0.100 0.560 -0.158 0.241 0.083 -0.065 -0.375 -0.048 1.000 -0.375 0.043 0.185 -0.065 0.214 0.214 0.290 -0.138
6 0.000 0.022 0.043 0.057 0.010 - -0.027 0.003 0.018 0.022 0.010 0.032 0.016 0.014 0.038 0.006 0.038 0.057 0.083 0.312 0.043 0.022 0.006 -0.021 0.018 0.006 0.014
7 0.000 0.185 0.043 -0.048 -0.100 -2.667 - -0.031 0.214 -0.833 -0.100 0.120 -0.158 -0.138 -0.375 -0.065 0.083 -0.048 -1.750 -0.375 0.043 0.185 -0.065 -0.179 0.214 -0.065 -0.138
8 -0.500 -0.222 1.000 -0.571 1.000 1.000 -0.100 - 1.000 1.000 -0.100 1.000 -0.737 -0.138 -0.375 -0.065 -0.375 1.000 1.000 -3.125 1.000 1.000 -0.065 1.000 1.000 1.000 -0.138
9 -0.200 0.511 0.713 0.371 0.120 1.000 0.120 0.175 - 0.267 -0.100 1.000 0.305 -0.138 -0.100 -0.065 0.175 0.371 -0.650 0.175 1.000 0.511 0.148 0.293 0.764 0.148 -0.138
10 0.100 0.104 0.139 0.162 0.047 0.267 -0.100 0.038 0.057 - 0.047 0.120 -0.042 0.014 0.175 0.077 0.175 0.162 0.083 0.450 0.235 0.022 0.006 0.136 -0.021 0.077 0.090
11 1.000 0.185 0.043 1.000 -0.100 1.000 -0.100 -0.031 -0.179 0.389 - -0.320 0.421 0.621 1.000 0.290 1.000 0.476 1.000 -0.375 0.522 0.593 0.290 0.214 -0.179 -0.065 0.241
12 -0.312 0.236 0.641 0.214 0.175 1.000 0.038 0.098 0.558 0.312 -0.100 - 0.349 0.147 -0.031 -0.065 -0.031 0.411 -0.031 0.484 0.821 0.236 0.069 0.116 0.411 0.069 -0.138
13 0.036 0.214 0.180 -0.010 -0.021 0.214 -0.021 -0.031 0.074 -0.048 0.057 0.151 - 0.187 0.214 0.012 0.214 0.214 0.018 -0.179 0.180 0.214 0.088 0.074 0.158 0.012 0.106
14 0.250 0.083 0.283 0.607 0.175 1.000 -0.100 -0.031 -0.179 0.083 0.450 0.340 1.000 - 0.656 0.202 0.312 0.214 1.000 -0.031 0.641 0.389 0.202 0.116 -0.179 -0.065 0.147
15 0.167 0.185 0.043 0.476 0.022 1.000 -0.100 -0.031 -0.048 0.389 0.267 -0.027 0.421 0.241 - 0.054 0.389 0.476 0.694 -0.375 0.203 0.321 0.054 -0.048 0.083 0.054 0.115
16 1.000 0.389 0.283 0.214 -0.100 1.000 -0.100 -0.031 -0.179 1.000 0.450 -0.320 0.132 0.431 0.312 - 0.312 0.214 -0.375 1.000 0.283 0.389 0.468 0.411 -0.179 -0.065 0.431
17 0.333 0.185 0.043 0.651 -0.100 1.000 0.022 -0.031 0.083 0.389 0.267 -0.027 0.421 0.115 0.389 0.054 - 0.302 -0.222 0.542 0.362 0.321 0.054 0.083 0.083 0.054 -0.011
18 0.250 0.185 0.402 0.083 -0.008 1.000 -0.008 0.055 0.116 0.236 0.083 0.230 0.276 0.052 0.312 0.024 0.198 - 0.771 -0.031 0.283 0.185 0.113 0.116 0.214 0.113 0.147
19 0.143 -0.048 -0.025 0.027 0.057 0.476 -0.100 0.018 -0.066 0.040 0.057 -0.006 0.008 0.079 0.149 -0.014 -0.048 0.252 - -0.179 -0.025 0.011 0.037 0.046 -0.010 0.037 0.079
20 -0.020 0.022 0.024 0.120 -0.012 1.000 -0.012 -0.031 0.010 0.120 -0.012 0.050 -0.042 -0.001 -0.045 0.021 0.065 -0.006 -0.100 - 0.024 -0.076 0.021 -0.037 -0.037 -0.022 -0.001
21 -0.050 0.267 0.713 0.529 0.010 1.000 0.010 0.072 0.411 0.450 0.120 0.604 0.305 0.203 0.175 0.042 0.312 0.371 -0.100 0.175 - 0.389 0.148 0.175 0.293 0.042 -0.024
22 0.500 0.593 0.522 0.476 0.083 1.000 0.083 0.141 0.411 0.083 0.267 0.340 0.711 0.241 0.542 0.113 0.542 0.476 0.083 -1.062 0.761 - 0.113 0.214 0.607 0.113 0.241
23 0.250 0.389 1.000 0.214 -0.100 1.000 -0.100 -0.031 0.411 0.083 0.450 0.340 1.000 0.431 0.312 0.468 0.312 1.000 1.000 1.000 1.000 0.389 - 1.000 0.411 -0.065 0.431
24 0.100 0.022 0.426 -0.257 0.120 -1.200 -0.100 0.175 0.293 0.633 0.120 0.208 0.305 0.090 -0.100 0.148 0.175 0.371 0.450 -0.650 0.426 0.267 0.361 - 0.293 0.148 0.090
25 0.100 0.511 0.713 0.057 0.120 1.000 0.120 0.175 0.764 -0.100 -0.100 0.736 0.653 -0.138 0.175 -0.065 0.175 0.686 -0.100 -0.650 0.713 0.756 0.148 0.293 - 0.148 0.090
26 -0.500 -0.222 0.283 -0.571 0.450 1.000 -0.100 0.484 0.411 1.000 -0.100 0.340 0.132 -0.138 0.312 -0.065 0.312 1.000 1.000 -1.062 0.283 0.389 -0.065 0.411 0.411 - -0.138
27 1.000 0.694 0.283 -0.179 -0.100 1.000 -0.100 -0.031 -0.179 0.542 0.175 -0.320 0.566 0.147 0.312 0.202 -0.031 0.607 1.000 -0.031 -0.076 0.389 0.202 0.116 0.116 -0.065 -
表 3-6 試題關聯順序性係數一覽表
50
其次,假設Hp表示為 J. Loevinger 所提出的所有試題之等質性係數
(Homogeneity index),又設順序性係數的閥值為μ*,則依照竹谷誠的研究,
全部試題間順序指向的煩雜程度是以Hp值為尺度,而且當全部試題間均具全順 序指向構造,即上下位關聯弱推移性時,表示Hp接近μ*;當全部試題間均呈現 彼此獨立而無任何順序指向時,表示Hp<2μ*-1;當全部試題間有半數具順序 指向現象時,表示Hp接近μ*。因此當選擇順序性係數閥值為μ*=0.5 時,則可 整理出:(引自許天維,1995)
(1)若全部試題間無順序指向,即全部試題間呈現彼此獨立,則表示Hp 接近 0。
(2)若全部試題間有半數具順序指向,則表示Hp接近μ*=0.5。
(3)若全部試題間均具順序指向,則表示Hp接近 1。
另一方面,因全部試題間具順序指向的個數佔總試題間兩兩成對的個數比 值是閥值μ*的線函數,所以本研究為使試題間具有順序指向個數不過半,以免 造成順序指向過於煩雜,而先選擇最常用的順序性係數閥值以進行分析,亦即 將其閥值設為μ*=0.5。值得注意的是若順序指向過少,可以減小閥值;若順序 指向過多,可以加大閥值;一般所取閥值是介於 0.4 與 0.6 之間。根據第二章 第四節所示,當 r*jk≧μ*=0.5 時,就會有第j試題到第k試題的順序存在,在 此情況下,以 1 來表示此種順序的指向存在;反之,則以 0 來表示無第j試題 到第k試題的順序性指向存在。於是在此方式的處理原則下,把前頁表 3-6 順 序性係數一覽表中之大於 0.5 的係數改寫為 1,而小於 0.5 的係數改寫為 0,因 此可修改表 3-6 的順序性係數表成為簡便的 0-1 表,此表亦稱為 0-1 矩陣表,
非常有益於畫出指出指向結構圖,其結果呈現如表 3-7 所示:
題 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 1 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 2 1 - 1 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 3 0 0 - 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 4 0 0 0 - 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 5 0 0 0 0 - 1 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 6 0 0 0 0 0 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 0 0 1 0 1 1 0 - 1 1 0 1 0 0 0 0 0 1 1 0 1 1 0 1 1 1 0 9 0 1 1 0 0 1 0 0 - 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 1 0 0 10 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11 1 0 0 1 0 1 0 0 0 0 - 0 0 1 1 0 1 0 1 0 1 1 0 0 0 0 0 12 0 0 1 0 0 1 0 0 1 0 0 - 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 13 0 0 0 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 14 0 0 0 1 0 1 0 0 0 0 0 0 1 - 1 0 0 0 1 0 1 0 0 0 0 0 0 15 0 0 0 0 0 1 0 0 0 0 0 0 0 0 - 0 0 0 1 0 0 0 0 0 0 0 0 16 1 0 0 0 0 1 0 0 0 1 0 0 0 0 0 - 0 0 0 1 0 0 0 0 0 0 0 17 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 - 0 0 1 0 0 0 0 0 0 0 18 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 - 1 0 0 0 0 0 0 0 0 19 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 0 0 0 20 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 0 0 21 0 0 1 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 - 0 0 0 0 0 0 22 1 1 1 0 0 1 0 0 0 0 0 0 1 0 1 0 1 0 0 0 1 - 0 0 1 0 0 23 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 0 0 1 1 1 1 0 - 1 0 0 0 24 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 - 0 0 0 25 0 1 1 0 0 1 0 0 1 0 0 1 1 0 0 0 0 1 0 0 1 1 0 0 - 0 0 26 0 0 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 - 0 27 1 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0
-表 3-7 順序性係數之 0-1 矩陣-表
52
三、試題關聯結構圖的繪製
由上一頁的順序性係數之 0-1 矩陣表,經 IOSP 軟體的處理後,可以在電腦 螢幕上顯示出試題關聯結構圖,其處理方式重點如下所述(引自許天維,1995):
(1)以縱座標表示通過率,上方座標表示通過率低,下方座標表示通過 率高,將試題依通過率高低加以標示試題題號於座標上。
(2)在順序性係數 0-1 表中,若有 1 則繪出從「縱座標的試題題號」至
「橫座標的試題題號」的指向箭頭。
(3)為避免指向箭頭過多,影響分析工作進行,故需簡化圖形,例如儘 量將通過率相差懸殊的指向或遞移性指向加以簡略,或依圖形理論 將順序性 0-1 表,經由矩陣運算化為最簡,再行標示。
試舉竹谷誠的一個例子,若其順序性 0-1 表的兩試題間的關係如下:
試題 1 試題 2 試題 3 試題 4 試題 5 試題 6
試題 1 0 0 0 0 0
試題 2 1 0 0 0 0
試題 3 1 1 0 0 0
試題 4 1 0 0 0 0
試題 5 1 0 0 1 1
試題 6 1 0 0 1 1
此時以答對率為縱座標,可將所有相關的指向箭頭標示出來,並依下列程序形 成完整的試題關聯結構圖,如下所示:
答對率 試題關聯結構圖 答對率 試題關聯結構圖
54