• 沒有找到結果。

研究工具與試題分析

第三章 研究方法

第三節 研究工具與試題分析

本研究所使用的工具為自編「國小六年級比與比值概念測驗評量」,

其說明如下:

壹、「國小六年級比與比值概念測驗評量」編製依據

本試題的編製係由研究者依據教育部(2003) 國民中小學九年一貫課 程綱要,以及各教科書出版社:南一(2006 年版)、康軒(2006 年版)、翰林 (2006 年版)所出版的教科書、教師手冊內容,再參酌比與比值概念的相關 文獻,以及配合學生的認知發展,並請教數學教育專家及多位任教於國小 有多年教學經驗教師共同檢視,最後形成自編的「國小六年級比與比值概 念測驗評量」試題,總計有題 16 題,題型為選擇題、填充題、文字題。

貳、「國小六年級比與比值概念測驗評量」雙向細目表 一、雙向細目表(two-way specification table)的意義

雙向細目表示測驗的架構藍圖,它描述了一份測驗中所應該包含的內 容以及所評量到的能力,也是命題的依據。它是以教學目標和學習內容為 兩個軸,分別說明各項評量目標。

(一)教學目標(以橫軸表示)

以美國教育學者 Bloom(1956)所提的認知領域(cognitive domain)六個 教學目標為依 據:

1. 知識(knowledge) :包括記憶名詞、事實、規則和原理原則。

2. 理解(comprehension) :只能把握所學過的知識或概念。

3. 應用(application) :將所學到的規則、方法、步驟、原理、原則、概念,

應用到新情境。

4. 分析(analysis) : 將所學的概念或原則,分析為各個構成的部分,或找 出各部分間的相互關係。

5. 綜合(synthesis) :將所學到的片段概念或知識、原理原則與事實等統合

成新的整體。

6. 評鑑(evaluation) :依據某項標準作價值判斷的能力。

(二) 學習內容(以縱軸表示)

以出題的範圍,表示出包含幾個不同的單元(或概念)。

二、雙向細目表的用途

建立雙向細目表可以幫助命題者釐清教學目標和學習內容的關係,以 確保測驗能反映學習的內容,並能夠真正評量到預期之學習結果 (王文 中,呂金燮,吳毓營,張郁雯,張淑慧,1999) 。

因此本研究為了瞭解國小六年級學童比與比值概念之知識結構圖,將 比與比值概念細分為「等值分數概念」、「分數的整數倍概念」、「比的概 念」、「比值的概念」四個概念後,依此概念編製成雙向細目表,作為評鑑 國小六年級學童比與比值概念的評量依據,達到瞭解國小六年級比與比值 概念知識結構的目的。表 3-3-1 為國小六年級比與比值概念測驗評量工具 之雙向細目表內容:

表 3-3-1 國小六年級比與比值概念測驗評量工具之雙向細目表 認知層次

數學概念

知識 理解 應用 合計

等值分數 1,2 3,6,7 5

分數的整數倍 10,11,12 3

比的概念 4 15 2

比值的概念 5 8,9,13 14,16 6

合計 4 6 6 16

參、實施程序

本測驗工具依據四個概念發展共計16題,在經過專家的審查後,進行

修改、預試、信度考驗、正式完成「國小六年級比與比值概念測驗評量」

工具。試卷內容詳見附錄一。

肆、計分方式

本測驗共計16題,答對每題給一分,答錯不給分,故「國小六年級比 與比值概念測驗評量」最高為16分。

伍、研究工具的信度與效度

一、預試

(一)預試與正式試題

本研究選擇台中縣某國小六年級四班有效樣本114名學生,依據預試 題本測試結果,本測驗之試題鑑別度大致介於0.3以上,屬於良好的試題。

以及以下各項試題分析顯示本測驗預試十六題試題是足以構成一份很有 信效度的正式試題,因此本研究預試與正式式題是相同的。

(二)信度

「國小六年級比與比值概念測驗評量」經過有效樣本114名學生預試 資料整理後,經統計套裝軟體SPSS信度分析,Cronbach α係數為0.8540,

顯示本工具有良好的內部一致性與信度。

(三)效度 1.專家效度

本測驗之試題經過數學教育專家及多位任教於國小有多年教學經驗 教師共同檢視(檢核表如附錄六),判斷題目是否合於國小學童認知能力層 次,並針對試題提出修改建議,確認試題內容具代表性,以建立本測驗之 專家效度。

2.內容效度

在編製試題過程,遵循著國小六年級比與比值概念雙向細目表來命 題,可以有系統的檢查到測驗的題目、內容和所想要測驗的目標概念相符 合,因此本研究之預試試卷應具有足夠的內容效度。

(四)適合度考驗

以SPSS統計軟體做因素分析資料判讀,如表3-3-2所示,KMO值為 0.849,大於0.5很好,而Bartlett球形檢定顯著性小於0.05,具顯著性,故此 份試卷可做為正式試卷。

表 3-3-2 國小六年級比與比值概念測驗預試評量 KMO 與 Bartlett 檢定表 Kaiser-Meyer-Olkin 取樣適量適切性量數: .849

Bartlett球形檢定 666.527***

***p<.001

(五)試題的項目分析(主成分因素分析)

經 SPSS 算出每一題的通過率、難度及鑑別度,如表 3-3-2,並經過因 素分析了解其最大變異法 (Varimax) 轉軸後之成份矩陣如表 3-3-4,取特 徵值大於 1,萃取出五個成份,成份因素一(試題 14、試題 8、試題 5、試 題 13、試題 9、試題 16)主要屬於比值概念試題,成份因素二(試題 10、試 題 11、試題 12)主要屬於分數的整數倍試題,成份因素三(試題 6、試題 3、

試題 7)、成份因素五(試題 1、試題 2)主要屬於等值分數試題,成份因素四 (試題 15、試題 4)主要屬於比的概念試題。此結果與依據理論所設計的試 題組成頗為吻合。綜合上述結果與分析,發現因素分析結果與比與比值概 念理論架構,在實質內涵上相當吻合,顯示本研究之比與比值概念學習成 就測驗具有效度。且總解釋變異量高達 66.387%,解釋量達 50%如表 3-3-4 屬較佳試題,本測驗工具已屬良好試題。

表 3-3-3 解說總變異量

成份 平方和負荷量萃取 轉軸平方和負荷量

總和 變異數的% 累積% 總和 變異數的% 累積%

1 5.234 32.711 32.711 2.951 18.447 18.447 2 2.108 13.177 45.888 2.680 16.747 35.194 3 1.153 7.208 53.096 1.893 11.833 47.028 4 1.080 6.749 59.844 1.646 10.290 57.317 5 1.047 6.543 66.387 1.451 9.070 66.387 萃取法:主成份分析。

表3-3-4 最大變異法轉軸後之成份矩陣 試題 成份因素

編號 一 二 三 四 五

V14 .805 .108

V8 .724 .264 .182

V5 .717 -.168

V13 .661 .107 .242 .310

V9 .646 .128 -.133 .311 .142 V16 .476 .252 .349 .367

V10 .140 .893 .155 .141 V11 .127 .875 .185 .116 .150 V12 .105 .860 .190 .117 .109

V6 .193 .712 .150

V3 .195 .259 .682

V7 .208 .576 .421 .264 V15 .166 .107 -.101 .838 .144 V4 .205 .397 .563 -.117

V1 .108 .856

V2 .331 .186 .116 .717 (六).難易度與鑑別度

本研究採內部一致性 (internal consistency) 的方式,將學生依總分高 低排列,取極端的27%為高低分組,然後求出高分組與低分組在每一個試 題的答對率,分別以P

H

及P

L

表示。依試題分析原則,以「P=(P

H

+P

L

)/2」

表示試題的難易度指數 (item difficulty index)。另外,以答對百分比亦即通

過率,來加以分析試題的難易度。以「D=(P

H

-P

L

)」表示試題的鑑別度指 數 (item discrimination index) ,一般而言,試題鑑別度應在.2以上,高於.4 則為優良試題 (Ebel & Frisbie, 1979)。下表3-3-5為比與比值概念測驗評量 之難易度指數及鑑別度指數分析表。

0.4;在刪除後Alpha值欄可看到,每題該值皆落在Cronbach α係數為0.854 之下;在決斷值中發現,各題皆達顯著差異。綜合以上數據,顯示本預試 試題不需刪除不佳者,故全數保留成為正式施測試題,共計16題。

二、正式施測 (一)信度

「國小六年級比與比值概念測驗評量」經過852名學生資料整理後,

經統計套裝軟體SPSS信度分析,Cronbach α係數為.829,顯示本工具有良 好的內部一致性信度。

(二)適合度考驗

以SPSS統計軟體做因素分析資料判讀,如表3-3-6 所示,KMO值為 0.885,滿足大於0.5,且又大於預試的KMO值0.849;而Bartlett球形檢定顯 著性P值小於0.05,已達統計上之顯著性,顯示此份試卷非常適合正式施測 評量。

表3-3-6 國小六年級比與比值概念測驗正式評量KMO與Bartlett 檢定表 Kaiser-Meyer-Olkin 取樣適切性量數。 .885

Bartlett 球形檢定 2860.714***

***p<.001

(三)難易度與鑑別度

本研究採內部一致性(internal consistency)的方式,將學生依總分高低 排列,取極端的27%為高低分組,然後求出高分組與低分組在每一個試題 的答對率,分別以P

H

及P

L

表示。依試題分析原則,以「P=(P

H

+P

L

)/2」表 示試題的難易度指數(item difficulty index)。另外,以答對百分比亦即通過 率,來加以分析試題的難易度。以「D=(P

H

-P

L

)」表示試題的鑑別度指數 (item discrimination index) , Ebel and Frisbie (1991) 曾依據其編製測驗的經 驗,提出試題的鑑別指數與優劣之評鑑:鑑別度小於.20,屬於劣的試題,

須淘汰;介於.20與.29 之間,屬於尚可的試題,需修改;介於.30與.39 之 間,屬於良好的試題,如能修改更佳;鑑別度大於.39,屬於非常良好的試

題(引自黃光雄、簡茂發,2003)。下表3-3-7為六年級學童比與比值概念測

數的整數倍概念對六年級學童而言較為容易。在比值的概念,整體通過率 最低,為.2230,其中試題9通過率僅.4648,其原因可能為試題9是比值表 示法與比的表示法,國小六年級學童還會混淆不清楚,因此錯誤的國小六 年級學童大都將比值表示法寫成比的表示法,因此學生在看到這個題目 時,直覺的會把題目給的訊息判斷錯誤。但此題是屬於比值的概念的,因 此不予剔除。總而言之,本測驗為適當之試題。

(四)試題信度分析

比與比值概念的試卷,經過858人之正式施測,扣除6個無效的試卷,

共852份試卷,資料整理後經統計套裝軟體SPSS信度分析,以Cronbach α 係數來分析測驗的內部一致性,所得整份試卷的

值為.829,顯示本測驗 具有不錯的內部一致性。再以 Pearson 相關係數(附錄五),將每個試題及 每個分概念的答案結果與總分之間的相關係數求出,以了解測驗中每一個 試題與其分概念的ㄧ致情形。結果所有試題均達到顯著水準。

(五)效度 1.內容效度

根據表3-3-1試題內容雙向細目表,我們可以有系統的檢查到測驗的題 目、內容和所欲測驗的目標相符合。

2.專家效度

本測驗試題經指導教授、二位服務十五年以上之資深現職國小教師、

一位服務十年以上之現職國小教師的檢閱(檢核表如附錄六),提供有關研 究工具的修改建議,以避免研究者過於主觀的看法,以確定本研究之專家 效度。

(六)試題答對機率與能力值

以學生原始作答資料矩陣(「1」表示答對,「0」表示答錯),利用試題 反應理論的電腦軟體程式 BILOG-MG,求出第

k

位學生的能力值

k

,以及

試題鑑別度參數

a i

,試題難度參數

b i

,猜測參數

c i

。下表採用參數的卡方 值與顯著值

表 3-3-8 比與比值概念測驗評量採用參數模式的卡方值

*p<.05 **p<.01 ***p<.001

研究者分別以不同的試題反應模式估計相關參數,由上表可看出,在 各題卡方值達顯著的題數比例中,以二參數模式有二題不適用此模式比例 最低,故採用二參數試題反應模式所得結果為最佳。

題號 單參數 二參數 三參數

1 9.5 2.2 9.5

2 3.5 2.6 3.5

3 18.5** 10.8 18.5**

4 1.8 8.0 1.8

5 25.7*** 33.0*** 25.7***

6 3.8 5.8 3.8

7 7.1 1.4 7.1

8 17.7** 10.3 17.7

9 11.6 14.1* 11.6

10 10.7 4.7 10.7

11 5.3 3.3 5.3

12 8.3 8.0 8.3

13 6.3 10.7 6.3

14 22.4** 11.1 22.4**

15 16.0* 7.4 16.0*

16 5.7 2.0 5.7

達顯著的

題數比例 5/16 2/16 4/16

相關文件