信度與試題參數分析

本研究藉由信度與試題參數估計瞭解試題特性，本節中，分別呈現信度分析 與試題參數分析之結果。

壹、信度分析

本研究以SPSS 軟體來分析信度，可得到 α 係數為 0.9，顯示此份試卷有良好 的信度。此外進行刪除試題後整體信度分析，並將其結果呈現如表4-13。

表4-13 試題刪除後整體信度

題號 刪除後之信度 題號 刪除後之信度 題號 刪除後之信度 題號 刪除後之信度

1 0.901 14 0.902 27 0.897 40 0.897

2 0.897 15 0.902 28 0.897 41 0.902

3 0.897 16 0.896 29 0.897 42 0.904

4 0.898 17 0.897 30 0.901 43 0.901

5 0.904 18 0.896 31 0.896 44 0.904

6 0.901 19 0.903 32 0.902 45 0.900

7 0.896 20 0.901 33 0.896 46 0.901

8 0.897 21 0.901 34 0.897 47 0.902

9 0.901 22 0.902 35 0.898 48 0.903

10 0.902 23 0.902 36 0.898 49 0.896 11 0.901 24 0.898 37 0.896 50 0.898

12 0.902 25 0.896 38 0.896

13 0.902 26 0.898 39 0.896

貳、試題參數分析

本研究係將預試後收集到的學生作答反應，以 BILOG-MG 估計試題參數，

採用試題反應理論三參數模式分析。表4-14 為未刪題前之試題參數，分別呈現 IRT 之鑑別度、難度與猜測度，並列出古典測驗的通過率與鑑別度來評鑑試題。

表4-14 刪題前之試題參數表

在表4-14 中，試題 3、5、19 題古典鑑別度為負數，故先將此三題試題刪除 後再進行一次試題參數估計，如表4-15。

表4-15 為刪除古典鑑別度為負的試題之參數估計結果，惠與學科專家進行修 審題，以下針對不良試題分別由 CTT 與 IRT 之參數估計結果進行討論，判定該 題是否刪除，亦或者將試題修審後入庫。

一、古典測驗理論

（一）通過率方面

此份試題通過率小於0.25 時，則標記為不良試題。在試題 2、6、17、42 題 中，試題之通過率皆小於0.25。

（二）鑑別度方面

當試題之古典鑑別度小於 0.2 時，則標記為不良試題。在試題 2、12、15、

17、27、28、34、36、42 題中，試題之古典鑑別度皆小於 0.2。

二、試題反應理論

（一）鑑別度

當試題之IRT 鑑別度介於 0~0.4 之間時，則標記為不良試題。本測驗中，所 有試題之鑑別度皆大於0.4，故無試題需要修審即可入庫。

（二）難度

當試題之IRT 難度大於 3 或小於-3 時，則標記為不良試題。在試題 27 題中，

試題之難度大於3。

（三）猜測度

當試題之IRT 猜測度大於 0.3 時，則標記為不良試題。在試題 27 題中，試題 之猜測度大於0.3。

表4-15 第一次刪題後之試題參數表

從上述古典測驗理論與試題反應理論兩方面標記不良試題中，可以發現需要 惠與學科專家進行修審題之題目有：2、6、12、15、17、27、28、34、36、42 題。

並將待修審之試題進行選項分析統計，將各個選項與未作答個數進行統計並計算 其百分比，如表4-16。待修審之試題經由學科專家討論後，以下分別針對這些題 目進行說明。

表4-16 待修審試題之選項分析統計

題號 正確選項 A B C D 未作答

2 A 20.39% 30.74% 23.62% 24.60% 0.65%

6 D 10.03% 60.52% 10.03% 19.42% 0.00%

12 A 28.48% 25.57% 27.83% 18.12% 0.00%

15 C 4.21% 3.88% 51.13% 40.78% 0.00%

17 B 15.53% 22.33% 40.45% 20.71% 0.97%

27 A 36.89% 12.62% 11.65% 38.51% 0.32%

28 A 35.28% 20.39% 21.04% 22.65% 0.65%

34 B 23.62% 36.25% 26.86% 12.62% 0.65%

36 B 20.06% 43.04% 20.71% 15.21% 0.97%

42 B 5.83% 14.24% 52.43% 26.86% 0.65%

一、第2 題

三、第12 題

此題之古典鑑別度為 0.148，屬於不良試題之標準，另外，選項分析結果發 現：選項 A、B、C 作答機率較為平均。學科專家建議將該試題題幹之語法稍作 修改，使題意更為明確。試題如下：

試題12 修改前

「這件事的真相已經昭然若揭了，你再講這些，不過是…………………，一點 用處也沒有！」上述缺空中，宜填入下列哪一句諺語？

（A）此地無銀三百兩 （B）半瓶子醋響叮噹

（C）偷雞不著蝕把米 （D）煮熟的鴨子飛了

試題12 修改後

「這件事已經真相大白了，你再講這些，不過是…………………，一點用處也 沒有！」上述缺空中，宜填入下列哪一句諺語？

（A）此地無銀三百兩 （B）半瓶子醋響叮噹

（C）偷雞不著蝕把米 （D）煮熟的鴨子飛了

CTT IRT

通過率 鑑別度 鑑別度 難度 猜測度

試題

參數 28.5 0.148* 0.951 1.960 0.213 選項分析

選項 A B C D k

百分比 28.48% 25.57% 27.83% 18.12% 0.00%

四、第15 題

此題之古典鑑別度為0.176，屬於不良試題之標準，另外，選項分析結果發現：選 項D 之學生作答比率較高。學科專家建議將正確選項 C 之語法稍作修改使得選項 C 與 D 之語意較為清楚。試題如下：

試題 15 修改前

八八風災後，看著新聞上小林村滅村的報導，怡禎不免感嘆：「我們往往只 利用山林，很少考慮與自然共生存。」下列何者與怡禎這句話的涵義接近？

（A）物競天擇，適者生存。

（B）自然的滅亡是與我們無關的。

（C）人在開發自然的時候，也應服從自然的法則。

（D）人們總是毫不猶豫的把大自然破壞得體無完膚。

試題15 修改後

八八風災後，看著新聞上小林村滅村的報導，怡禎不免感嘆：「我們往往只 利用山林，很少考慮與自然共生存。」怡禎這句話的涵義接近下列何者？

（A）物競天擇，適者生存。

（B）自然的滅亡是與我們無關的。

（C）人在開發自然的時候，也應該學習尊重自然。

（D）人們總是毫不猶豫的把大自然破壞得體無完膚。

CTT IRT

通過率 鑑別度 鑑別度 難度 猜測度

試題

參數 51.1 0.176* 0.454 1.041 0.261 選項分析

選項 A B C D k

百分比 4.21% 3.88% 51.13% 40.78% 0.00%

五、第17 題

此題之古典通過率為22.3%，古典鑑別度為 0.142，皆屬於不良試題之標準，另外，

選項分析結果發現：選項C 學生作答的比率高於正確答案選項 B。學科專家建議，

選項B 之推測語氣可能較為困難，故將題幹中「大約大去之期不遠矣！」與選項 B 之內容對調。試題如下：

試題 17 修改前

「大約大去之期不遠矣！」此句是推測語氣。下列何者也是？

（A）人若能知足，雖貧不苦。

（B）應是母慈重，使爾悲不任。

（C）飽食終日，無所用心，難矣哉！

（D）要不是我粗心大意，要得滿分並不難。

試題17 修改後

「應是母慈重，使爾悲不任。」此句是推測語氣。下列何者也是？

（A）人若能知足，雖貧不苦。

（B）大約大去之期不遠矣！

（C）飽食終日，無所用心，難矣哉！

（D）要不是我粗心大意，要得滿分並不難。

CTT IRT

通過率 鑑別度 鑑別度 難度 猜測度

試題

參數 22.3* 0.142* 1.272 1.833 0.164 選項分析

選項 A B C D k

百分比 15.53% 22.33% 40.45% 20.71% 0.97%

六、第27 題

此題之古典鑑別度為0.024 試題較無鑑別度，無法區分出高分群與低分群的 學生；IRT 之難度為 3.277，試題難度偏高；IRT 之猜測度為 0.304，學生猜測情 形過高；另外，選項分析結果發現：選項D 學生作答的比率高於正確答案選項 A。

因各項標顯示出該試題為不良試題，故學科專家建議將此試題予以刪除。試題如 下：

試題27

「水田是鏡子／照映著藍天／照映著白雲／照映著青山／照映著綠樹  農夫在插秧／插在綠樹上／插在青山上／插在白雲上／插在藍天上」（詹冰 插秧）試評鑑這首詩的寫作特色為何？ 

（A）具有濃厚的鄉土氣息和生活情趣。

（B）詩人把注意力集中在農夫辛勤的工作上。

（C）聽覺摹寫和整體意象相結合，極富詩情。

（D）全篇單純的以字來組合，彷如幽靜的水墨畫。

CTT IRT

通過率 鑑別度 鑑別度 難度 猜測度

試題

參數 36.9 0.024* 0.472 3.277* 0.304*

選項分析

選項 A B C D k

百分比 36.89% 12.62% 11.65% 38.51% 0.32%

七、第28 題

九、第36 題

表4-17 刪除第 27 題後之試題參數表