第四章 結果與討論
第一節 中文閱讀理解測驗的預試結果說明與分析
本測驗於兩次預試都使用內部一致性信度及古典測驗理論的鑑別度與難 度做試題的分析,效度則使用專家效度。以下就信度、鑑別度、難度與專家效 度做簡單的說明。
所謂信度(reliability),就是指相同測驗測量多次所得結果的一致性或穩 定性,而信度係數的值會在 0~1 之間,數值愈大,表示信度愈高(余民寧,
2011)。本研究使用內部一致性信度中的 Cronbach's α 係數進行測驗的信度分 析,Cronbach's α 係數與信度高低的對照表,如表 4-1。
表 4-1
Cronbach's α 係數與信度高低對照表
Cronbach's α 係數 信度 0≦Cronbach's α<0.4 低 0.4≦Cronbach's α<0.8 中 Cronbach's α≧0.8 高
鑑別度(discrimination)是指試題能分出受試者能力高低的程度,其公式 為:
D= -
其中 為總分前 27%高分組的答對率, 為總分後 27%低分組的答對率。D 值 介於-1~1 之間,D 值愈大,表示鑑別度愈好;D 值愈小,表示鑑別度愈差。
D 值為 0,表示沒有鑑別度,可能是因為試題太簡單、太難或題意不清,使得 所有人都答對或都答錯。若 D 值為負的,表示低分組的答對率高於高分組,
58
則該試題應予刪除。因為此結果可能是能力低的受試者碰巧猜對答案,而能力 高的受試者因為誤解題意或粗心大意而答錯(鄭湧涇、楊坤原,2000)。D 值 與鑑別度高低的對照表,如表 4-2。
表 4-2
D 值與鑑別度高低的對照表
D 值 鑑別度
0≦D<0.19 不良 0.2≦D<0.39 尚可
D≧0.4 非常優良
難度(percentage passing)是指試題的難易程度,其公式為:
P= +
其中 為總分前 27%高分組的答對率, 為總分後 27%低分組的答對率。P 值 介於 0~1 之間,P 值愈小,表示難度愈高;P 值愈大,表示難度愈低(簡茂 發,2000)。
效度(validity)是指測驗所能測量的有效程度(余民寧,2011),本研究 採用專家效度進行試題的審視。研究者在編製完第一次預試的試題後,便商請 3 位現職且資深的國小教師(1 位國小普通班教師及 2 位國小資源班教師)協 助進行試題內容的審查。並在兩次預試後,根據結果做試題的修正與新增,以 提升測驗品質。
壹、 第一次預試
在編製閱讀理解測驗前,研究者先行分析目前二年級各版本國語課本中的 生字,瞭解目前國小二年級學童學過的生字,並參考國內現有的標準化閱讀理 解測驗、坊間出版社自編的閱讀理解測驗及報章雜誌等,編製出 62 題的閱讀 理解測驗,並於 103 年 2 月 26 日~3 月 5 日請兩班普通班教師協助施測。施 測結果如下:
一、信度分析
59
本研究以 SPSS 進行第一次預試的內部一致性信度分析,分析結果如表 4-3。整份測驗的信度介為.691,顯示本測驗的信度中等。試題刪除時的 Cronbach's α 值中也沒有因為刪除哪一題而使整體信度值大幅提升,因此需 進一步參考鑑別度及難度來決定應予試題需要刪除或修改。
60
61
字詞能力鑑別度的平均值為 0.136,難度為 0.788;句法能力鑑別度的平均 值為 0.201,難度為 0.681;摘要能力鑑別度的平均值為 0.238,難度為 0.670;
推論能力鑑別度的平均值為 0.151,難度為 0.768。可以發現字詞及推論能
62
63
選項 ① ② ③ ④ 未答 鑑別度 難度 高分組
選答率 0.5 0.38 0.06 0.06 0
-0.227 0.614 低分組
選答率 0.73 0.18 0.05 0.05 0
正確答案為①。可以發現本試題的難度適中,但鑑別度為負值,應該刪 除。從選項的誘答力分析可知,選項②對高分組學童而言,比對低分組 學童更具誘答力,顯示無論高分組或低分組的學童對「謙虛」這個語詞 都不夠理解。而低分組學童選①的比率較高,可能是因為隨機猜測的結 果,造成低分組答對人數多於高分組答對人數的現象。
9.「向凱神氣的說:『我是這次比賽的冠軍。』」
這句話的意思是?
①向凱喜歡比賽
②向凱雖然得了冠軍,卻很謙虛
③向凱覺得自己很厲害
④向凱覺得得冠軍很難
選項 ① ② ③ ④ 未答 鑑別度 難度 高分組
選答率 0 0.31 0.69 0 0
-0.131 0.753 低分組
選答率 0 0.14 0.77 0.09 0
正確答案為③。可以發現本試題的難度偏易,但鑑別度為負值,應該刪 除。從選項的誘答力分析可知,選項①完全不具誘答力,應該予以修改;
而選項②對高分組學童而言,比對低分組學童更具誘答力,顯示無論高 分組或低分組的學童對「神氣」這個語詞都不夠理解。而低分組學童選
③的比率較高,可能是因為隨機猜測的結果,造成低分組答對人數多於 高分組答對人數的現象。
貳、 第二次預試
64
65
66
鑑別度的平均值為 0.421,難度為 0.581;句法能力鑑別度的平均值為 0.370,
難度為 0.672;摘要能力鑑別度的平均值為 0.225,難度為 0.613;推論能 力鑑別度的平均值為 0.192,難度為 0.673。可以發現各向度的試題品質均
67
根據信度、鑑別度及難度的數值,需要刪除的試題如下:
(一)語法測驗:
5.哥哥深吸了一口氣,然後潛入水中。「然後」
可以換成哪一個語詞呢?
①最後 ②終於 ③接著 ④於是
選項 ① ② ③ ④ 未答 鑑別度 難度 高分組
選答率 0.29 0 0.71 0 0
-0.286 0.857 低分組
選答率 0 0 1.0 0 0
正確答案為③。可以發現本試題的難度偏易,但鑑別度為負值,應該刪 除。從選項的誘答力分析可知,選項②、④完全不具誘答力,應該予以 修改;選項①對高分組學童卻具誘答力,顯示高分組學童對題意有所誤 解,導致低分組答對人數多於高分組答對人數的現象。
(二)文意測驗:
4.「昨天晚上,我和姐姐一起去逛夜市。我們吃 了大腸包小腸、鴨肉捲餅和脆皮雞蛋糕,又玩 了彈珠台、撈金魚和棒球九宮格,真是個有趣 的地方。」上面的敘述可以用下面哪一個句子 表示?
①夜市是個好吃又好玩的地方
②夜市裡面有好多好吃的東西
③夜市裡面有好多好玩的遊戲
④我很喜歡和姐姐一起逛夜市
選項 ① ② ③ ④ 未答 鑑別度 難度 高分組
選答率 0.57 0.14 0 0.29 0
-0.262 0.702 低分組
選答率 0.83 0.17 0 0 0
68
正確答案為①。可以發現本試題的難度偏易,但鑑別度為負值,應該刪 除。從選項的誘答力分析可知,選項③完全不具誘答力,應該予以修改;
選項④對高分組學童卻具誘答力,顯示高分組學童粗心答題,使得低分 組答對人數多於高分組答對人數的現象。
6.「天文學家表示,明天晚上將有獅子座流星雨 可以觀賞,建議民眾到視野開闊、光害較少的 地方觀賞。」上面的敘述可以用下面哪一個句 子表示?
①明天晚上會下雨
②明天晚上有流星雨可以觀賞
③可以到視野開闊的地方觀賞流星雨
④可以到光害較少的地方觀賞流星雨
選項 ① ② ③ ④ 未答 鑑別度 難度 高分組
選答率 0.14 0.29 0.29 0.29 0
-0.381 0.476 低分組
選答率 0.17 0.67 0 0 0.17
正確答案為②。可以發現本試題的難度適中,但鑑別度為負值,應該刪 除。從選項的誘答力分析可知,選項①對高低分組的學童皆具誘答力,
表示學童對「流星雨」一詞的意義並不清楚;而選項③、④對高分組卻 具誘答力,顯示高分組學童誤解題意,導致低分組答對人數多於高分組 答對人數的現象。
69