• 沒有找到結果。

試題難度多元迴歸分析的結果

根據第二節試題類型的分析結果,研究者發現試題可分為三大類型,分別是 演算與知識回憶、概念理解(含圖形理解、多重或綜合概念)與較高認知技能的 試題,而且,這三大類型的試題與試題難度密切相關,即演算與知識回憶的難度 較低,概念理解在中間,較高階認知的試題則是難度最高。綜合第二節的結果與 第貳章的文獻探討,本研究設計了 6 個影響試題難度的試題屬性,利用 96-100 指考化學考科選擇題的難度為應變數,影響試題難度的因素為自變數,進行迴歸 分析。這6 個影響試題難度的因素是解題所需的知識類別數量(C1)、步驟數(C2)、 認知層次(C3)、選項之間的差異程度(C4)、圖表有無(C5)與試題新穎程度

(C6)。表 4-3-1 是試題舉例的題號與試題屬性的編碼說明。此試題屬性編碼,

由2 位學科專家(含 1 位高中化學教師與 1 位大學化學系教授)再加上研究者 3 人進行判斷。

就試題難度的屬性而言,包括下列幾個向度,分別是:

․解題所需的知識類別數量(C1)

包括陳述性知識(事實、概念或理論)或程序性知識(演算步驟或規則)的 數量,以1 代表 1 種、2 代表 2 種,數目愈高代表所需的知識類別數量愈多。

․步驟數(C2)

指解題中所需的步驟數,1 代表一種步驟,2 代表二種步驟,3 代表三種步驟。

․認知層次(C3)

分為記憶、了解、應用、分析、評鑑、創造。以兩種層次為一層級,共分為 三種層級。以1 代表記憶、了解,2 代表應用、分析,3 代表評鑑、創造。

․選項之間的差異程度(C4)

包括差異小,選項僅有一種類型,以1 表示;差異中等,有 2 種類型,以 2 表示;差異大,有3 種以上的類型,以 3 表示。

120 

․圖表有無(C5)

題幹或選項均無圖表,以0 表示;題幹或選項具圖表,以 1 表示。

․試題的新穎程度(C6)

包含低、中、高三種,低是指過去曾有類似題、以1 表示;中是指介於新穎 與考古題之間,以2 表示;高是指一般坊間書籍較少出現,以 3 表示。

根據上述兩個面向6 種變因,可將試題進行分類,並與試題的難度(答對率 或得分率)進行迴歸分析,了解這些因素對試題難度變異量的解釋程度。舉例來 說,以100 學年度化學考科的其中兩題的 6 種變因進行分類,說明如下:

 

表4-3-1 試題難度的因素預估表

題號

解題所需 的知識類 別數量

步驟數 認知層次 選項之間

差異程度 圖表有無 試題的 新穎程度

100-4 2 1 1 2 0 1

100-8 2 2 3 1 1 3

根據表4-3-1,可對試題難度的影響因素進行預估,舉例來說[100-4]的試 題如附錄一所示,是測驗考生對元素標示的理解,並需要了解此元素的電子組態,

以判斷其核心電子組態與氧化數,故其知識類別數量為2 種;因為要寫出電子組 態,故解題步驟是1;認知層次則是屬於知識、理解範疇;至於試題的新穎程度,

此試題屬於一般常見的試題,故以1 表示是過去常見的題型;本題並無圖形或表 格,故以0 表示;就選項差異程度而言,有 2 種異質選項,分別是元素標示法與 電子組態,雖然氧化數與週期表的位置,屬異質選項,但只要寫出電子組態,這 兩項概念也同時獲得解決,故就選項異質性而言,這兩個選項並未增加選項的異 質性。

再以[100-8]為例,試題如附錄一所示。本題可以用兩種方式解題,第一 種是記憶法,因656.3nm 的譜線屬於可見光系列之一,即可知某外殼層電子躍遷 回到第二殼層(即n=2)所放射的可見光;第二種是計算法,利用E hv h c

  , 則可計算出能量與波長的關係,再利用圖1 所示的軌域能量,則可求解。以解題 所需的知識類別數量而言,除了需要知道能量與波長的關係外,尚需了解不同軌 域的能量的差異,故知識類別的數量為2 種;因計算的步驟有 2,故解題步驟是 2;認知層次是屬於應用、分析範疇;至於試題的新穎程度,本題一般坊間書籍 較不易見到,故屬於較新穎的創新題;至於圖表有無,本題有兩張圖,故以1 表 示;關於選項之間的異質程度,五個選項都是不同軌域間的能量差異,故表差異 小,只有一種類型。

根據上述的試題屬性,對 96-100 學年度指考化學考科的選擇題進行估計。

96-100 學年度的選擇題共有 115 題,除了 96 年的第 5 題及與第 6 題,是單選題 有兩個答案,未納入多元迴歸分析之外,其餘113 題皆納入分析。試題的難度指 數是採古典測驗理論的答對率(或稱得分率),故難度值愈大,表試題答對的人 數比例愈高。利用1 位大學教授、1 位高中教師與研究者三者對每一道試題的屬 性判斷。

對試題屬性一致性的計算,是採兩兩之間評分作比較,以113 題 6 種試題屬 性為分母,相同者為分子,分別計算兩兩之間的一致性。大學教授與高中教師的 一致性為0.48,大學教授與研究者的一致性為 0.52,高中教師與研究者一致性為 0.48,顯示三者之間的一致性並不高。

為了解大學教授、高中教師與研究者所估計的影響試題難度變項與試題難度 之間的相關,本研究分別計算大學教授、高中教師與研究者的相關矩陣,其結果 分別如表4-3-2、4-3-3 與 4-3-5 所示。就大學教授所估計影響試題難度變項與試 題難度的相關矩陣而言,與試題難度達顯著相關的變項僅 C6 試題的新穎程度,

122 

其p 值小於.01;其餘 C1~C5 的相關性,皆未達顯著水準。就自變數之間的相關 性而言,C1 解題所需的知識類別數量與 C4 選項之間的差異程度,以及 C4 與 C6 間的相關達顯著水準。

表4-3-2 大學教授估計影響試題難度變項與試題難度的相關矩陣

變項 難度(P) C1 C2 C3 C4 C5

難度(P)

解題所需的知識類別數量(C1) -.18

步驟數(C2) .00 -.25**

認知層次(C3) -.12 -.07 .31**

選項之間差異程度(C4) -.03 .36** -.08 -.07

圖表有無(C5) -.08 .01 .14 .22* .11

試題新穎程度(C6) -.25** -.02 -.01 .08 .36** .21*

*P<.05 **P<.01

就高中教師所估計影響試題難度變項與試題難度的相關矩陣而言,僅C3 認 知層次與難度之間的相關達顯著水準。這兩項結果顯示,大學教授與高中教師所 估計影響試題難度變項與試題難度之間,僅 C6 試題的新穎程度與 C3 認知層次 達顯著相關,其所推估的難度預測模式,能夠解釋試題難度的變異量亦十分有限,

僅能分別解釋9%與 4%試題難度的變異量。此項結果與 Enright 等人(1993)邀 請三位評分者(rater),對NAEP 試題屬性與試題難度的估計的結果相似,Enright 等人發現,有些評分者對知識層級與難度預估對試題的實際難度呈現高相關,但 對選項誘答力的編碼則與試題難度低相關;但有些評分者對知識層級的編碼與試 題難度僅呈中等程度相關,但其選項誘答力的編碼與預估難度卻是試題難度較好 的預測變項。

   

表4-3-3 高中教師估計影響試題難度變項與試題難度的相關矩陣

變項 難度(P) C1 C2 C3 C4 C5

難度(P)

解題所需的知識類別數量(C1) -.11

步驟數(C2) -.18 .21*

認知層次(C3) -.20* .03 .35**

選項之間差異程度(C4) -.10 .42** -.09 -.01

圖表有無(C5) -.06 -.00 .25** .42** -.21*

試題新穎程度(C6) -.14 .21* .14 .49** .07 .44**

*P<.05 **P<.01

為進一步了解不同的學科專家所估計的試題屬性,對試題難度進行多元迴歸 分析後所具有的解釋力。本研究利用四種不同的數值,進行多元迴歸分析。此四 種數值分別由大學教授、高中教師與研究者三者所分別估計影響試題難度的變項,

以及綜合三人所得的綜合法。所謂綜合法是採大學教授、高中教師與研究者三人,

對試題屬性估計綜合而得,即這113 試題的 6 種試題屬性,若 3 者一致者,則採 一致之數值;若有2 人一致者,則採 2 人一致之數值;若 3 人皆不同者,則採研 究者之數值。以這四種方法所得的試題屬性,進行的迴歸分析結果,以研究者估 計的數值模式為最優,各種模式的解釋力請見表 4-3-6。以下為研究者所估計的 試題屬性與試題難度所進行迴歸分析的結果。

表4-3-4 為試題難度的 6 種試題屬性的敘述統計,題數共有 113 題,難度的 平均為50.85,標準差為 17.23,6 種試題屬性的平均值與標準差如表所示。

   

124 

表4-3-4 96-100 化學考科難度與 6 種試題屬性敘述統計(題數 N=113)

變項 最小值 最大值 平均數 標準差

難度(答對率) 8 94 58.3 15.8

解題所需的知識類別數量 1 5 1.88 0.87

步驟數 1 3 1.96 0.78

認知層次 1 3 1.86 0.64

選項之間差異程度 1 3 2.07 0.93

圖表有無 0 1 0.30 0.49

試題新穎程度 1 3 1.86 0.76

表4-3-5 是 96-100 學年度指考化學考科,研究者所估計的 6 種試題屬性與試 題難度的相關矩陣。其中,試題難度與認知層次相關最高,其次是試題新穎程度、

解題所需的知識類別數量、步驟數與選項之間差異程度,都達顯著性,相關較低 的是圖表有無。此外,各試題屬性之間彼此亦有相關性,例如,解題所需的知識 類別數量與認知層次有較高的相關。

表4-3-5 96-100 化學考科試題難度與試題屬性的相關矩陣(題數 N=113)

變項 難度(P) C1 C2 C3 C4 C5

難度(P)

解題所需的知識類別數量(C1) -.53**

步驟數(C2) -.49** .28**

認知層次(C3) -.74** .53** .43**

選項之間差異程度(C4) -.21* .34** .25** .12

圖表有無(C5) .12 -.08 -.02 .03 .00

試題新穎程度(C6) -.59** .38** .45** .58** .18 .32**

*P<.05 **P<.01

本研究是採逐步迴歸分析的方法,逐步檢視不同的試題屬性對試題難度的 R2值,表4-3-6 是利用六種不同的預估模式所得的結果。其中,認知層次(C3)

對試題難度具有最高的R2貢獻,其獨特解釋力約為 55%,其次是試題新穎程度

(C6)、圖表有無(C5)與解題所需的知識類別數量(C1)。由上述四個影響試 題難度的屬性,對試題難度調整後的解釋力約為64%。比較由大學教授、高中教 師與研究者三人所進行試題難度屬性的綜合法,與由研究者本身進行預估所得的 R2,發現綜合法的R2為.41,並未優於研究者本身所進行試題難度預估的迴歸模 式,故本研究採模式5 利用研究者編碼的四種試題屬性來解釋試題難度的變異量,

其解釋力約為64%。

表4-3-6 預測模式的整理結果

模式 R R2 調整R 2 估計標準誤

1 .74a .53 .55 11.57

2 .77b .59 .58 11.14

3 .80c .64 .63 10.50

4 .78d .62 .60 10.90

5 .81e .65 .64 10.38

6 .65f .43 .41 13.27

a:預測因子 C3 b:預測因子 C3、C6 c:預測因子 C3、C6、C5 d:預測因子 C3、C6、C1 e:預測因子 C3、C6、C5、C1

f:預測因子 C3、C6、C5、C1(綜合法)

 

表4-3-7 是利用 4 種試題屬性,對試題難度進行多元迴歸分析所得的結果,

表4-3-7 是利用 4 種試題屬性,對試題難度進行多元迴歸分析所得的結果,