第三章 試題分析
3.4 整卷分析
3.4.2 難度與鑑別度分佈
九十六學年度第二學期微積分會考的考生成績分布在13分至100分之間,平均成績 61.75分,標準差16.46非常大,表示學生的成績非常分散,程度差異不小。圖3-1為考生 成績分布圖。
類型
學習 目標
題號
0 6
0~9 10~19 20~29 30~39 40~49 50~59 60~69 70~79 80~89 90~100 人數
若觀察學生未作答情形,由各組各選項作答情形(如附件四)可看出,單選題共有 六題有學生未作答的情形,其中,單選第 5 題的未作答比例最高,為百分之零點三八;
複選題無學生未作答;填充題未作答率最高的是填充第 2 題,未作答比例有百分之三十 點八六。
由於填充未作答代表學生對該題毫無概念或未能完成,進一步觀察填充各題的未作 答比例,由圖 3-2 可看出填充第 1 題的未作答比例僅百分之四點四八,表示絕大部分學 生都能執行計算向量函數極限的程序;而填充第 2、4 題的未作答比例則高達百分之三 十點八六與百分之二十八點六七,試題分別為
填充第 2 題-Find the first four terms ___(2)____ of the Maclaurin series of ( ) cos
1 f x x
= x
−
填充第 4 題-____(4)____ is the highest point on the plane curve that is given by the intersection of x+ + =y z 0,x2+y2+z2 = . 1
顯 示 學 生 對 於 求 函 數 的 馬 克 勞 林 級 數 ( Maclaurin series )與利用拉格朗日乘數法
(Lagrange multipliers)求解多變數函數極值的應用問題此兩程序較不熟悉。
從試題難易度的分佈情形來探討整份試卷的難易。本研究採用Ebel與Frisbie(1991)
的難易度等級表(如表2-1)與鑑別度評鑑標準(如表2-2)分別作為試題難易度與鑑別 度的判斷準則。
表3-7為全體考生各題的難易度(P值)與鑑別度(D值)指數,並依試題難易度,
由易至難排列。(各組各題的答對率總表請見附錄二;各組各題的鑑別度總表請見附錄 三)。若題型為單選題與填充題,則答對率P值為答對該題的學生比例;若為複選題,則 答對率P值指該題的加權平均,即全對的學生比率加上得部分分的學生比例乘上零點 六。鑑別度D值則為高、低分組考生的答對率之差。
表3-7、九十六學年度第二學期微積分會考試題P、D值(依P值大小排列)
題號
P
值(%)D
值單選題第 8 題 88.76 0.2352 單選題第 3 題 86.00 0.2035 單選題第 4 題 85.90 0.2399 單選題第 10 題 84.19 0.3501 單選題第 9 題 83.24 0.4225 單選題第 6 題 82.38 0.3249 單選題第 1 題 81.52 0.4338 單選題第 7 題 74.29 0.3318 複選題第 5 題 72.17 0.3350 填充題第 1 題 69.24 0.4982 複選題第 2 題 67.09 0.5339 複選題第 4 題 64.10 0.5017 填充題第 5 題 53.81 0.7023 複選題第 3 題 52.99 0.3050 單選題第 5 題 48.38 0.5699 單選題第 2 題 41.24 0.4520 填充題第 3 題 37.24 0.5917 複選題第 1 題 24.65 0.1458 填充題第 4 題 24.00 0.4459 填充題第 2 題 13.81 0.3056
資料來源:本研究結果
由表 3-7,全卷答對率最高的試題是單選第 8 題,答對率約為百分之八十九,為判
斷給定不同積分次序的三重迭代積分是否相同的程序性問題。由於被積分函數為 ( , , ) 1
f x y z = ,學生只要計算出迭代積分即可判斷(B)選項正確;答對率最低的試題為
填充第 2 題,答對率僅約百分之十四,學生若不知特殊函數 1 , cos
1 x
−x 的馬克勞林級數,
或無法執行寫出函數 f g⋅ 的馬克勞林級數的前n項的程序,就無法正確完成此題。
表3-8依Ebel與Frisbie的難易度等級表(如表2-1)將九十六年度第二學期微積分會考 試題分為極容易、容易、難易適中、困難、與極困難等五等級,並列出各等級試題實際 佔分比例。
表3-8、微積分會考試題難度分布
難易度等級 難易度(P) 題數 題號 佔分比例
極容易 P≥0.80 7 單選題第 1,3,4,6,8,9,10 題 35%
容易 0.60≤ <P 0.80 5
單選題第 7 題;複選題第 2,4,5 題;填充題第 1 題
25%
難易適中 0.40≤ <P 0.60 4
單選題第 2,5 題;複選題第 3 題;填充題第 5 題
20%
困難 0.20≤ <P 0.40 3 複選題第 1 題;填充題第 3,4 題 15%
極困難 P<0.20 1 填充題第 2 題 5%
資料來源:本研究整理
由表3-8,答對率在百分之八十以上,難易度等級屬於極容易的試題有七題,佔分 比例達百分之三十五,比重最重;各難度等級的試題數隨難易度(P)降低(即越困難)
而減少。而答對率在百分之六十以上的題目共有十二題,佔分比例百分之六十;換句話 說,若學生能答對此十二題,就可得到六十分之會考成績。然而,由圖3-1,成績在六
十分以上之人數只達約百分之五十六的學生。由此也能看出本份試卷尚未達到會考通過 學生能有百分之七十五的預期。
所以,若希望達到能有四分之三的學生能通過此測驗學生是否具備基本能力的微積 分會考,勢必必須加重基本與簡單的題目佔分比例,使答對率大於百分之七十五的題目 達六十分,而由表3-7,本卷答對率在百分之七十五以上的題目共有七題,佔分僅三十 五分。就試題內容來看,此七題中有超過一半的題目為多重積分單元,分別為單選第6、
8、9、10題;其餘單元各有一題,分別為無窮數列與極限單元的單選第1題,空間幾何 與向量函數的單選第3題、多變數微分單元的單選第4題。
表3-9將試題依D值依Ebel與Frisbie的鑑別度評鑑標準分為非常優良、優良、尚可、
極不佳的試題等四等級,並列出各等級試題實際佔分比例。由表3-9,九十六學年度第 二學期微積分會考試題,評鑑為非常優良、優良、尚可、劣之試題所佔比例依次為百分 之五十、百分之三十、百分之十五、與百分之五。有百分之八十的試題鑑別度達優良以 上的等級,且有一半的試題鑑別度達非常優良,顯示大部份題目的鑑別度都很好。
表3-9、微積分會考試題鑑別度分布
試題評鑑 鑑別度(D) 題數 題號 佔分比例
非常優良 D>0.40 10
單選題第 1,2,5,9 題;複選題第 2,4 題;填充題第 1,3,4,5 題
50%
優良 0.30≤ <D 0.40 6
單選題第 6,7,10 題;複選題第 3,5 題;填充題第 2 題
30%
尚可 0.20≤D<0.30 3 單選題第 3,4,8 題 15%
劣 D<0.20 1 複選題第 1 題 5%
資料來源:教育測驗與評量:成就測驗與教學評量,余民寧,民 91,臺北市:心理、本研究整理
九十六學年度第二學期微積分會考PD值散佈圖
-0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000
- 20.00 40.00 60.00 80.00 100.00
答對率(P) 鑑
別 度 ( D
)
圖 3-3、答對率與鑑別度的散佈圖
圖 3-3 為各題答對率與鑑別度的散佈圖,可看出答對率在百分之六十以上的題目有 十二題,鑑別度約介於 0.2 至 0.5 之間,其中答對率約在百分之七十五以上的九題,為 密度最高的區域,亦屬於學生應答對的基本簡單題,本研究將在後續針對這些題目分組 比較其答對率折線圖。為瞭解分布題號以做進一步分析,圖 3-4 畫出答對率與鑑別度的 雙軸折線圖,可看出這九題由答對率從高至低排列分別為單選第 8、3、4、10、9、6、1、
7 題,與複選第 5 題;而圖 3-3 左下角鑑別度最低的點可由圖 3-4 藍色曲線的最低點相 呼應,為複選第 1 題,其答對率僅約 20%;鑑別度最高的點為填充第五題,其答對率約 為所有考生中的一半。
答對率與鑑別度雙軸折線圖
將圖 3-4 所得結果整理於表 3-10,可得九十六學年度第二學期微積分會考試題的難 易度與鑑別度分佈表,由表中可看出共有一半的題目鑑別度超過 0.40,鑑別等級為非常 優良,其難易度平均分散在各等級中,分別為單選第 1、2、5、9 題、複選第 2、4 題,
與填充第 1、3、4、5 題等十題。
而根據Noll, Scannell & Craig(1979)的界定,「一般可接受的最低標準至少為0.25 以上,低於此標準者,即可視為鑑別度不佳或是品質不良的試題」(余民寧,民91)。由 附錄三的各題鑑別度指數來看,評量向量導數與向量外積的單選第3題、計算雙變數函 數極限
2 2
2 2
( , ) (0,0)
sin( )
x ylim
x y
x y
→
+
+ 的單選第4題、判斷不同積分次序的三重迭代積分是否相同的 單選第8題,與評量學生是否能判斷無窮數列(或級數)各項性質的邏輯關係的複選第1 題這四題的鑑別度均未達0.25。
再根據試題難易度與鑑別度分布表(如表3-10),單選第3、4、8等三題雖鑑別度 等級僅為尚可(0.20≤D<0.30),但難易度均為極容易(P≥0.80)表示為基本與簡單 的題目,故本研究建議可將其保留但做些修改(請見3.3個別試題分析);複選第1題的 鑑別度等級為極不佳(D<0.20)且難度等級為困難(0.20≤ <P 0.40),但由各組各題 的鑑別度總表(如附錄三),雖其對第c、d兩組有小幅的負鑑別力(D= −0.0095),但 對第a、b兩組的學生有很好的鑑別能力(D1=0.1839),本研究建議可將其做大幅修改 後保留(請見3.3個別試題分析)。
此外,對照表 3-10 與表 3-4 微積分會考各題的單元配置,各單元均包含至少一題 鑑別度非常優良且難度為容易或極容易之試題,表示本份試卷能鑑別學生各單元的學習 情形。
表3-10、九十六學年度第二學期微積分會考試題難易度與鑑別度分布表
表 3-11):A 類(如圖 3-5(A))為答對率有百分之七十五以上的試題,為試題難度分 布(如表 3-10)中,全部難易度等級為極容易之試題與部份難易度等極為容易之試題,
計有單選第 1 題等七題;B 類(如圖 3-5(B))為答對率百分之六十以上,未滿百分之 七十五的試題,其難易度等級均屬於容易,計有單選第 7 題等五題;C 類(如圖圖 3-5
(C))為所有難易度等級為困難或極困難之試題,其答對率未滿百分之四十,計有複選 第 1 題等四題。
表 3-11、九十六學年度第二學期微積分會考試題答對率分類表
類別 答對率範圍 難易度落點 試題
A P≥0.75 容易、極容易 單選第 1、3、4、6、8、9、10 題
B 0.60≤ <P 0.75 容易 單選第 7 題;複選第 2、4、5 題;
填充第 1 題
C P<0.4 困難或極困難 複選第 1 題;填充第 2、3、4 題
資料來源:本研究整理
答對率75%以上試題折線圖
40 50 60 70 80 90 100
第a組 第b組 第c組 第d組 第e組
組別 答
對 率
單選第8題 單選第3題 單選第4題 單選第10題 單選第9題 單選第6題 單選第1題
圖 3-5(A)
圖 3-5、區分各類考生的答對率折線圖
圖 3-5(A)為答對率百分之七十五以上的試題,共有七題,佔分三十五分。
由圖可發現,單選第 3、4、8 題三題,所有學生均達六十分以上,表示五組學生都 及格,是屬於簡單但鑑別度差的題目。除了單選第 8 題對第 d、e 兩組有不錯的鑑別能 力,其餘各組在這三題的鑑別情形都不佳。從內容來看,分別為評量向量導數與向量外 積的單選第 3 題、計算解雙變數函數極限的單選第 4 題、與判斷給定不同積分次序的三 重迭代積分是否相同的單選第 8 題。
其餘四題對第 c、d 與對 d、e 組間的學生,都有很好的鑑別能力,分別為單選第 1、
其餘四題對第 c、d 與對 d、e 組間的學生,都有很好的鑑別能力,分別為單選第 1、