• 沒有找到結果。

研究工具

在文檔中 第二節 第二節 (頁 103-114)

本研究所採用的研究工具包括「分數問題測驗甲卷」、「分數 問題測驗乙卷」及「瑞文氏非文字推理測驗」,茲分別詳述如下:

壹 壹 壹

壹、、、分數問題測驗甲卷、分數問題測驗甲卷分數問題測驗甲卷分數問題測驗甲卷、、、、乙卷乙卷乙卷 乙卷

一一一、一、、、測驗編製的依據測驗編製的依據測驗編製的依據 測驗編製的依據

本測驗係研究者依據小學二至四年級現行課程綱要為藍 本,參酌 Steffe (2002)、Olive (2001a, 2001b, 2002, 2003) 之分數 基模相關研究所發展而成。測驗之問題情境分為基準單位量為連 續量、離散量及無具體情境等三大類,其中離散量又分為單位分 數內容物為單一及多個個物兩種情況。

現行 2000 年頒布的九年一貫課程暫行綱要,國小四年級的 分數能力指標只學到同分母分數的加減。然,有部分版本在四年

級下學期加入異分母分數加減做為前置經驗,因此本研究亦將異 分母加減問題列為測驗的試題。此外,依據 2003 年頒布的九年 一貫課程綱要明列四年級要學會等值分數,所以等值分數概念亦 納為本測驗內容。

二二二

二、、、、測驗的編製過程測驗的編製過程測驗的編製過程 測驗的編製過程

正式測驗的形成係歷經兩階段的預試始完成:

第一階段,研究者先擬訂雙向細目表編製試卷。編製完成後 請 3 位具有多年教學經驗的國小老師提供意見,並讓 3 位國小四 年級學生試作,以修改題意不清或不適切的題目。接著,請兩位 指導教授審閱並提供修改意見。最後,完成第一階段預試試題共 48 題。

第二階段預試試題的編製係依據第一階段預試結果篩選出 部分題目,並據以發展成「分數問題測驗甲卷」和「分數問題測 驗乙卷」。在編製完成後,仍請兩位指導教授審閱並提供修改意 見。兩份測驗各有 29 題,其中有 19 題為相同結構問題,其餘 10 題為「定錨試題」(吳裕益,2004),以做為兩份測驗所有題 目之單參數 IRT 估計。

茲將預試的樣本及項目分析的結果依序說明如下:

( ((

(一一一一))))預試樣本預試樣本預試樣本 預試樣本

1. 1. 1.第一階段預試樣本 1.第一階段預試樣本第一階段預試樣本 第一階段預試樣本

第一階段預試於 2004 年 9 月上旬實施,選取高雄市兩所學

校四年級 139 位學童(男生 75 人,女生 64 人)做為預試樣本。

2. 2. 2.第二階段預試樣本 2.第二階段預試樣本第二階段預試樣本 第二階段預試樣本

第二階段預試於 2004 年 10 月中旬實施,選取高雄市兩所學 校四年級共 6 班,有效樣本 221 人。以班為單位,採取「定錨測 驗不等組設計」(吳裕益,2004;Hambleton & Swaminathan, 1985),將 6 個班級以隨機分派的方式將每 3 個班歸為同一組,

一組接受「分數問題測驗甲卷」,另一組則接受「分數問題測驗 乙卷」。

(((

(二二二二))))預試之項目分析預試之項目分析預試之項目分析 預試之項目分析 1.

1.1.

1. 第一階段項目分析第一階段項目分析第一階段項目分析 第一階段項目分析

第一階段以 48 題測驗題目進行預試,將預試樣本的答題結 果建立原始資料,再利用吳裕益(2004)所撰寫之 SPSSWIN 程式 進行項目分析。

2.

2.2.

2. 第二階段項目分析第二階段項目分析第二階段項目分析 第二階段項目分析

(1)(1)(1)(1)傳統難度及鑑別度分析傳統難度及鑑別度分析傳統難度及鑑別度分析 傳統難度及鑑別度分析

研究者將本階段預試所蒐集之學生答題資料建立原始資料 檔後,利用 Bilog 3.0 試題分析軟體進行項目分析,傳統難度及鑑 別度(Pearson 積差相關)如表 3-6 所示。

表 3-6 分數問題測驗預試之項目分析摘要表

題 號 分 數 問 題 測 驗 甲 卷 分 數 問 題 測 驗 乙 卷 備 註

難 度 指 數 鑑 別 度 (Pearson 積

差 相 關 )

難 度 指 數 鑑 別 度 (Pearson 積

差 相 關 )

第 1 題 甲 0.89 0.30 0.89 0.30 共 同 試 題 第 1 題 乙 0.74 0.47 0.74 0.47 共 同 試 題 第 2 題 0.28 0.52 0.19 0.24

第 3 題 甲 0.52 0.60 0.56 0.40 第 3 題 乙 0.59 0.56 0.58 0.43 第 4 題 0.92 0.21 0.92 0.24 第 5 題 0.73 0.63 0.59 0.51

第 6 題 0.25 0.49 0.25 0.49 共 同 試 題 第 7 題 0.55 0.52 0.37 0.53

第 8 題 甲 0.55 0.66 0.38 0.63 第 8 題 乙 0.37 0.60 0.35 0.70

第 9 題 甲 0.53 0.58 0.53 0.58 共 同 試 題 第 9 題 乙 0.46 0.54 0.46 0.54 共 同 試 題 第 10 題 甲 0.45 0.62 0.45 0.62 共 同 試 題 第 10 題 乙 0.46 0.60 0.42 0.52

第 10 題 丙 0.67 -0.12 0.62 -0.22 刪 除 第 11 題 0.10 0.35 0.10 0.35 共 同 試 題 第 12 題 甲 0.53 0.65 0.30 0.65

第 12 題 乙 0.43 0.66 0.26 0.59 第 12 題 丙 0.23 0.45 0.27 0.67 第 13 題 0.94 0.73

第 14 題 0.58 0.72

第 15 題 0.72 0.83

甲 15 乙 14 同

第 16 題 0.37 0.47

第 17 題 0.77 0.49 0.77 0.49 共 同 試 題

第 18 題 0.57 0.50

第 19 題 甲 0.32 0.32 共 同 試 題 第 19 題 乙 0.58 0.58 共 同 試 題 第 20 題 0.44 0.50 0.44 0.50 共 同 試 題

平 均 0.51 0.54 0.47 0.52

由表 3-4 可以得知,甲、乙兩卷的二元計分題難度介於.10

~.92 之間,平均難度為.51 及.47,屬中等難度。

郭生玉(1997)、陳英豪與吳裕益(1994)均指出,題目平均難 度愈接近.50 為最佳,因為鑑別力和信度都會因此而愈高。所以,

本研究兩個測驗工具的難度堪稱良好。

鑑別度方面,「第 10 題丙」的問題呈現與總分負相關,顯示 低分組答對的情形比高分組佳的異常現象,應予刪除外,其餘鑑

別度皆介於.21~.94 之間,整體鑑別度分別為.54 及.52。

吳裕益(1992)指出當鑑別度介於.30~.39 之間為良好試題,

介於.40 以上可以算是優良試題。所以就甲、乙兩卷的內容觀之,

此兩份測驗在剔除鑑別度不良題目後,具有良好之鑑別度。

(2) (2)(2)

(2)試題反應理論試題反應理論試題反應理論(IRT)試題反應理論(IRT)(IRT)分析(IRT)分析分析 分析

就 IRT 單參數估計結果分析,整體而言,乙卷稍難於甲卷。

兩份試卷的參數估計詳細情形如表 3-7 所示。

表 3-7 第二階段預試單參數估計摘要表

題 號 甲 卷 單 參 數 估 計 值 乙 卷 單 參 數 估 計 值 備 註

第 1 題 甲 -1.69 -1.69 共 同 試 題

第 1 題 乙 -0.58 -0.58 共 同 試 題

第 2 題 +0.52 +1.57

第 3 題 甲 +0.00 -0.25

第 3 題 乙 -0.13 -0.29

第 4 題 -1.60 -1.84

第 5 題 -0.38 -0.28

第 6 題 +0.68 +0.68 共 同 試 題

第 7 題 -0.06 +0.29

第 8 題 甲 -0.04 +0.18

第 8 題 乙 +0.28 +0.20

第 9 題 甲 -0.06 -0.06 共 同 試 題

第 9 題 乙 +0.10 +0.10 共 同 試 題

第 10 題 甲 +0.10 +0.10 共 同 試 題

第 10 題 乙 +0.14 +0.14

第 10 題 丙 -0.09 -0.07 刪 除

第 11 題 +1.35 +1.35 共 同 試 題

第 12 題 甲 -0.02 +0.28

第 12 題 乙 +0.17 +0.44

第 12 題 丙 +0.87 +0.34

第 13 題 +0.14 +0.26

第 14 題 -1.30 +0.51 甲 15 乙 14 同

第 15 題 +0.51 +0.32

第 16 題 +2.35 +2.01

第 17 題 -0.55 -0.55 共 同 試 題

第 18 題 +1.52 +1.93

第 19 題 甲 +2.96 +2.96 共 同 試 題

第 19 題 乙 +1.11 +1.11 共 同 試 題

第 20 題 +0.14 +0.14 共 同 試 題

平 均 +0.23 +0.33

二二二

二、、、、正式測驗的內容正式測驗的內容正式測驗的內容、正式測驗的內容、、、計分與信效度計分與信效度計分與信效度 計分與信效度 (

((

(一一一一)))) 正式測驗的內容正式測驗的內容正式測驗的內容 正式測驗的內容

依據兩階段的預試結果得到甲卷、乙卷兩式正式測驗(如 附錄 5、6),每式測驗包括 28 個問題,題目依據由易到難及答 題性質(二元計分及多元計分)原則排列。題目之雙向細目表如表 3-8 所示。

表 3-8 正式測驗雙向細目表

主 要 概念 情 境

等 分 割 與 組 成

單 位 量 分

連 續 量 (1)甲

(1)乙 (2) (3)甲 (3)乙

(6) (7) (8)甲 (8)乙 (13)

(12)甲 (12)乙 (12)丙

(16)* (14) (19) * (20)甲*

(20)乙*

48

離 散 量 情 境 單 位 分 數 內 容 物 為 單 一 個 物

(4) 2

離 散 量 情 境 單 位 分 數 內 容 物 為 多 個 個 物

(5) (9)甲 (9)乙

(15)* (17)*

(18)*

21

無 具 體情 境 (10)甲

(10)乙 (11)

6

數 14 14 6 11 15 17 77

註:「*」多元計分題

由表 3-8 得知,甲乙兩個測驗二元計分題共有 21 題,包括:

(1)甲、(1)乙、(2)、(3)甲、(3)乙、(4)、(5)、(6)、(7)、(8) 甲、(8)乙、(9)甲、(9)乙、(10)甲、(10)乙、(11)、(12)甲、

(12)乙、(12)丙、(13)及(14)。多元計分題共有 7 題,包括:(15)、

(16)、(17)、(18)、(19)、(20)甲、(20)乙。其中,(20)甲和(20)

乙係為兩量相比較,在分數的意義上並非「部分整體」,而本研 究採用的理由是將它視為「學習遷移題」,期望透過此兩題瞭解 學生在學習的既有基礎上,對於不同類型的問題,能否運用習得 的知識解決新問題。所以,雖然兩個題目明顯比其他題目較難,

但是仍將它列為測驗的範圍。

( ((

(二二二二)))) 正式測驗的計分正式測驗的計分正式測驗的計分 正式測驗的計分

二元計分題,每題答對得 2 分、答錯得 0 分;多元計分題最 高 5 分,最低 0 分,兩項合計最高 77 分。

多元計分題的評分工作主要由研究者及另兩位具有多年實 施紙筆實作評量經驗的國小老師進行,取兩位評分者所評分數的 平均值代表該題分數。當兩位評分者對同一個問題的評分差距超 過 2 分時,則交由第 3 位評分者複評。評分者所使用的評分規準 如表 3-9 所示:

表 3-9 分數問題測驗多元計分規準

得分 評

5 分 解題正確,所陳述的理由(包括繪圖或說明)充分。

4 分 解題正確,但所陳述的理由不完全充分或有些小 瑕疵。

3 分 解題方向正確或僅呈現部分正確解題。

2 分 未完全正確解題,但理由說明或推理有部分正確。

1 分 由文字或圖畫明顯看得出嘗試回答。

0 分 完全空白,未作答;或毫無章法亂演算。

(((

(三三三三)))) 正式測驗的信度正式測驗的信度正式測驗的信度 正式測驗的信度

本研究所採用兩份測驗之信度係以內部一致性係數

(Cronbach’s α)做為主要依據。兩份測驗經前述預試刪除不適當題 目後,兩份測驗的內部一致性如表 3-10 所示:

表 3-10 研究工具的信度係數

測驗卷別 二元計分量表 多元計分量表 整體量表

甲卷 .87 .68 .88

乙卷 .86 .79 .87

由表 3-10 可知,甲卷二元計分量表的內部一致性係數 (Cronbach’s α)為.87,多元計分量表則為.68,整體量表為.88。乙 卷二元計分量表的內部一致性係數(Cronbach’s α)為.86,多元計 分量表則為.79,整體量表為.87。

依據洪碧霞(1992)的看法,一般的成就測驗如果信度達到.90 以上算是「優」,而.80 到.90 之間為「良」。所以就整體量表觀之,

兩個量表之信度堪稱良好。

( ((

(四四四四)))) 正式測驗的效度正式測驗的效度正式測驗的效度 正式測驗的效度

效度方面,主要採取內容效度(content validity)及建構效度 (construct validity)二種方式。在內容效度層面,除依雙向細目表 編製試卷,再請四位具有相當分數教學經驗的國小老師做試題初 步的審閱,並委請兩位指導教授及另一位具數學學習心理學專長 的教授依據試題的內容及向度做審查。在建構效度層面,採用結 構方程模式(structural equation model)軟體 AMOS 5.0 版分別對於 甲卷、乙卷兩卷進行驗證性因素分析檢驗。檢驗的各項指標及理 想的評鑑結果則依陳正昌、程炳林、陳新豐與劉子鍵(2005)所列

如表 3-11。

表 3-11 驗證性因素分析模式適配度評鑑表

評 鑑 標 準 理想的評鑑結果

負的誤差變異? 沒有

參數間相關的絕對值未太接近 1? 是 基本

適配

指標 因素負荷量介於 0.5-0.95 之間? 是

X2值未顯著? 是

GFI 指數大於.09? 是

AGFI 指數大於.09? 是 NFI 指數大於 0.9? 是 整體

模式 適配 標準

CFI 指數大於 0.9? 是

修改自: 多變量分析方法多變量分析方法多變量分析方法多變量分析方法-統計軟體應用統計軟體應用統計軟體應用統計軟體應用(頁 440),陳正昌、

程炳林、陳新豐與劉子鍵, 2005,台北:五南。

依據上述的評鑑標準,本研究測驗工具甲卷和乙卷模式適合 度分析結果如下:

1.基本適配度

(1)甲卷基本適配度

由表 3-12 可知 R2均小於 1,殘差變異均大於 0,即所有參 數估計值並沒有負的誤差變異。就標準化迴歸估計值(因素負荷 量)來看,除「遞迴分割」一項外稍低於.50 外,其餘皆大於.50。

顯示理論模式與實際資料之間的基本適配度尚佳,其因素結構圖 如附錄 7。

表 3-12 甲卷驗證性因素分析模式之基本適配度

未 標 準化 標 準 化 標 準 化殘

因 素 與量 表名 稱

λ 估 計值 T 值 迴 歸 估計 值 R2 差 變 異 等 分 割與 組成 →

分 數 解題

1.00 .71 .51 1.52

單 位 量→ 分數 解 題 1.30 7.10 *** .77 .60 1.81 分 數 比較 →

分 數 解題

0.50 5.47 *** .56 .32 0.84

等 值 分數 → 分 數 解題

1.38 6.95 *** .77 .58 2.14

分 數 合成 與分 解 → 分 數 解題

0.96 5.05*** .55 .30 3.43

遞 迴 分割 → 分 數 解題

1.03 4.68 *** .50 .25 5.13

***p<.001 (n=115)

(2)乙卷之基本適配度

由表 3-13 可知 R2均小於 1,殘差變異均大於 0,即所有參 數估計值並沒有負的誤差變異。就標準化迴歸估計值(因素負荷 量)來看,所有的因素皆大於.50。顯示理論模式與實際資料之間 的基本適配度頗佳,其因素結構圖如附錄 8。

表 3-13 乙卷驗證性因素分析模式之基本適配度

因 素 與量 表名 稱 未 標 準化 標 準 化 標 準 化殘

λ 估 計值 T 值 迴 歸 估計 值 R2 差 變 異 等 分 割與 組成 →

分 數 解題

1.00 .57 .40 1.96

單 位 量→ 分數 解 題 1.58 5.35 *** .74 .60 1.96 分 數 比較 →

分 數 解題

0.55 4.03 *** .50 .64 0.83

等 值 分數 → 分 數 解題

1.90 5.59 *** .80 .25 1.92

分 數 合成 與分 解 → 分 數 解題

2.44 5.67*** .77 .55 3.82

遞 迴 分割 → 分 數 解題

1.51 4.90 *** .63 .33 3.24

***p<.001 (n=106)

在文檔中 第二節 第二節 (頁 103-114)