電腦化適性診斷測驗應用成效分析

第一節 電腦化適性診斷測驗應用成效分析

本研究所發展的電腦化適性診斷測驗是知識結構結合貝氏網路之應用，利用 學生試題結構作為電腦施測時適性出題的依據，若學生答對了上位概念的試題，

代表學生應具備解決其下位所有的概念試題的能力，因此系統便會判斷其具有解 決下位概念問題的技能，進而節省施測題目，縮短施測時間之效。以下便針對適 性省題率與預測精準度的結果加以分析說明。

本研究在進行電腦診斷測驗時，為驗證此電腦適性診斷評量是否能達到節省 題目之效果，系統將依據學生試題結構關係適性化出題。為驗證其成效，受測學 生需完成所有試題，施測過程中，系統會記錄每位學生實際反應與系統推論之適 性反應結果，作為判斷適性出題成效的依據。

表 4-1-1 為「多項式與其加減」單元前測與後測適性判斷之結果，表 4-1-2 為「多項式的乘除」單元前測與後測適性判斷之結果，其中「適性省題率」為「適 性預測總題數」佔「測驗總題數」的比率，「正確」欄為適性預測正確且學生實 際答題正確之統計，「錯誤」欄為適性預測正確但學生實際答題卻錯誤之統計。

表 4-1-1 多項式與其加減之前測與後測適性判斷結果統計表

前測 後測

測驗總題數

(109 人，35 題/人) 3815 3815

適性預測總題數 1095 1505

適性省題率 28.70％ 39.45％

正確 錯誤 正確 錯誤 適性預測題數 756 339 1162 343 平均適性預測題數 6.94 3.11 10.66 3.15

適性出題預測率 19.82％ 8.89％ 30.46％ 8.99％

由上表4-1-1 結果得知：

1.前測適性省題率達 28.70%，即前測經適性預測之平均題數為 10.05 題，後測適 性省題率達39.45%，即後測經適性預測之平均題數為 13.81 題。亦即整份完整 試卷為35 題，若系統以知識結構適性出題，前測省題率佔全部試題的 28.70％，

則約可節省10.05 題；而後測省題率佔全部試題的 39.45％，則約可節省 13.81 題，具節省試題成效。

2.分析適性出題的預測錯誤率，前測為 8.89％，後測 8.99％，亦即適性測驗的預 測精準度，前測達91.11％，而後測達 91.01％。總體而言，結合知識結構及貝 氏網路之電腦適性化出題，能準確推斷下位概念之有無，運用於節省試題。

表 4-1-2 多項式的乘除之前測與後測適性判斷結果統計表

前測 後測

測驗總題數

(88 人，34 題/人) 2992 2992

適性預測總題數 1240 1319

適性省題率 41.44％ 44.08％

正確 錯誤 正確 錯誤

適性預測題數 682 558 771 548

平均適性預測題數 7.75 6.34 8.76 6.23 適性全測出題預測率 22.79％ 18.65％ 25.77％ 18.32％

由上表4-1-2 結果得知：

1.前測經適性預測之平均正確題數為 14.09 題，後測為 14.99 題。亦即整份完整 試卷為34 題，若系統以知識結構適性出題，則前測題目約可節省 14.09 題，佔 全部試題的41.44％；而後測約節省 14.99 題，佔全部試題的 44.08％，具節省 試題成效。

2.分析適性出題的預測錯誤率，前測為 18.65％，後測 18.32％，亦即適性測驗的 預測精準度，前測達81.35％，而後測達 81.68％。本研究所預設 threshold 為 0.05，預測錯誤率卻高於此數值，可能在貝氏網路結構圖的部分連線不甚理想，

但總體而言，結合知識結構及貝氏網路之電腦適性化出題，運用於節省試題 上，有其效果及可行性。