電腦適性診斷測驗成效分析

為整合「教學、診斷測驗與補救教學」，本研究所研發之教材係採用數位個 別指導模式，並搭配BNAT系統進行教學實驗。為瞭解以知識結構及貝氏網路 為基礎的BNAT電腦適性診斷測驗系統，其診斷成效是否仍如過去研究結果一 樣具有「能節省試題、預測精準度高」的優點。故本研究依據能力指標6n01內 涵設計「質數與合數」單元紙筆施測試題，經過分析與修正，完成診斷測驗編 製工作，測驗信度Cronbach's α係數為0.91。並使用學生試題結構分析軟體，

設定閾值分析學生試題結構，作為BNAT的選題依據。

圖4-2-1即為本研究所使用之BNAT電腦適性診斷測驗平台。本實驗分別由 三種指導模式下組成的3個班級，於教學及補救教學結束後進行線上施測，每位 學生都擁有一組個人帳號可登入此平台受測。登入後，學生可看到該次電腦適 性診斷測驗的總題數、題幹及其4個選項。每一題當學生點選完正確答案後，再 按下方按鈕進入下一題做答，答完為止。如圖4-2-2。

圖 4-2-1 BNAT電腦適性診斷測驗暨學習系統平台

圖 4-2-2 電腦適性診斷測驗做答畫面

線上測驗時，系統首先依照適性測驗流程，選取學生試題結構中最上位概 念的試題施測，同時依據學生的答題反應，依序適性選題施測，直到系統的診 斷工作已有結果為止。由於未來需研判診斷系統的正確率，學生需將全部試題 答完，故繼續出現該次測驗中未於前述適性測驗中出現的試題繼續進行施測，

使全部學生答完該次測驗中的所有試題，如此方可計算電腦適性診斷測驗可節 省的題數與預測精準度。同時藉由學生的作答反應，分析BNAT分別在適性選 題與完整作答之下所診斷出的學生錯誤類型與子技能有無情形的一致性，若一 致性愈高，表示未來使用BNAT系統者將可以減少評量時間，改善學習成效。

診斷結果分析如下：

壹、電腦適性診斷測驗的省題率及預測精準度

表 4-2-1 是系統於學生前、後測時分別施予適性測驗及完整測驗後的平均 作答題數與平均分數。學生在課堂教學完後需接受前測，適性測驗平均作答 19.2 題，完整測驗題數為 35 題，平均可以節省 15.8 題，省題率約為 45%。通常電 腦適性診斷測驗所預估的分數會比完整作答的分數高，原因是電腦預估受試者 應該答對，而學生實際上未答對所造成。由表 4-2-1 可知，學生做完適性測驗 前測的預估平均分數是 86.8 分，完整作答後的真正平均分數是 81.1 分，的確 高出 5.7 分，換算成題數約 2 題，表示適性測驗前測有 94.3%的預測精準度。

學生在補救教學完後需接受後測，適性測驗平均作答 18.8 題，完整測驗題 數為 35 題，平均可以節省 16.2 題，省題率約為 46%。由表 4-2-1 可知，學生 做完適性測驗後測的預估平均分數是 91.7 分，完整作答後的真正平均分數是 88.0 分，高出 3.7 分，換算成題數約 1.3 題，表示適性測驗後測有 96.3%的預 測精準度。

表 4-2-1 電腦適性診斷測驗預測精準度及省題率成效分析表

平均施測題數 平均分數 省題數 省題率 預測精準度 適性測驗 19.2 86.8

前

測 完整作答 35 81.1

15.8 45.1% 94.3%

適性測驗 18.8 91.7 後

測 完整作答 35 88.0

16.2 46.4% 96.3%

適性測驗前測的預測精準度為 94.3%，適性測驗後測的預測精準度更達到 96.3%，前、後測的預測誤差分別為 5.7%和 3.7%，與理論上 5%的預測誤差率非 常接近，顯示將紙筆測驗轉換成電腦適性診斷測驗，並應用在能力指標 6-n-01 知識結構診斷測驗時，其診斷成效仍如過去研究結果一樣具有「能節省試題、

預測精準度高」的優點。

貳、電腦適性診斷測驗在錯誤類型與子技能辨識上的成效

BNAT 系統將貝氏網路推論應用於電腦適性診斷測驗，故可比較出在適性 選題與完整作答之下所診斷出的學生錯誤類型與子技能有無情形的一致性。表 4-2-2 是系統分別在前、後測完，在適性選題與完整作答下，研判學生錯誤類 型和子技能有無的一致性。

表4-2-2 錯誤類型和子技能在適性選題與完整作答下的一致性

一致性（%） 一致性（%）

錯誤類型 前測 後測 子技能

前測 後測

b01 100.00 100.00 s01 100.00 100.00 b02 98.95 98.95 s02 100.00 100.00 b03 94.74 97.89 s03 93.68 98.95 b04 94.74 97.89 s04 93.68 98.95 b05 100.00 100.00 s05 92.63 97.89 b06 100.00 100.00 s06 97.89 97.89 b07 93.68 98.95 s07 89.47 91.58 b08 100.00 100.00 s08 98.95 100.00 b09 100.00 100.00 s09 97.89 97.89 b10 92.63 96.84 s10 100.00 98.95 b11 98.95 96.84 s11 100.00 96.84 b12 100.00 100.00 s12 98.95 100.00 b13 82.11 84.21 s13 86.32 89.47 b14 100.00 100.00 s14 98.95 97.89 b15 89.47 98.95 s15 97.89 97.89 b16 90.53 96.84 s16 90.53 92.63 b17 92.63 90.53 s17 82.11 84.21 b18 97.89 100.00 s18 93.68 97.89 b19 97.89 94.74 s19 93.68 90.53 指標 6n01 78.95 82.11 s20 95.79 93.68 s21 100.00 97.89

＊前測錯誤類型、子技能和能力指標的平均一致性為 95.25%

＊後測錯誤類型、子技能和能力指標的平均一致性為 96.48%

＊灰底部份為平均一致性＜85%

從表4-2-2中可看出，系統在研判學生前測時錯誤類型和子技能的有無情形

，在適性測驗和完整作答之間的平均一致性達95.25%，但美中不足的是在錯誤類 型b13「對質因數分解的定義不清楚」、子技能s17「質因數分解的意義」及能力 指標6-n-01「能認識質數、合數，並作質因數的分解」的一致性分別只有82.11%

、82.11%及78.95%，這三者恰好是一連串有因果關係的變數。原本專家只針對子

技能s17設計一道試題來診斷學生有無錯誤類型b13，但在人工批閱學生實際作答 反應後，發現學生在計算子技能s18「質因數分解計算」的幾道試題時，過程完 全正確且已有答案產生，但選答時卻不照自己的答案選答，因此專家判定除了原 先s17的命題能偵測到錯誤類型b13的有無外，學生作答s18的幾道試題時也可能 偵測到錯誤類型b13的有無，因此在這部份曾重新修正過貝氏網路的圖形架構。

然而上述所謂的「學生不照自己的答案選答」情況也可能是因粗心看錯選項號碼 所引起，由此可知，貝氏網路的機率推論是牽一髮而動全身，更動了極其小部份 的貝氏網路架構，則代表了更動了一連串有因果關係變數的強度，導致系統在判 別b13、s17和指標6-n-01這三個有因果關係節點的發生機率時，出現比較大的誤 差。同理，對照表4-2-2，同樣可發現系統在研判學生後測時錯誤類型和子技能 的有無情形時，b13、s17和指標6-n-01三者的一致性仍舊是不理想的。由於學生 經過補救教學後，將使適性測驗後測中預測答對卻答錯的比率降低，因此系統在 研判學生後測時整體錯誤類型和子技能的有無情形時，在適性測驗和完整作答之 間的平均一致性更進一步達到96.48%。

綜上分析，適性測驗前測的預測精準度接近95%，適性測驗後測的預測精準 度則達到95%以上。前、後測時錯誤類型和子技能的判別，在適性測驗和完整作 答之間的平均一致性也均達95%以上。學生在後測時答對答錯的預測精準度及錯 誤類型與子技能判別的一致性都明顯高於前測，主要是在前測施測時，學生因 為猜對了上位概念，而導致下位試題不必施測，造成無法準確預測學生真正的 答對答錯情形。但是透過貝氏網路的機率圖形模式推論出每位學生的錯誤類型

，並接受補救教學釐清錯誤概念後，學生在後測施測時，上位概念對、下位概 念也對的機率就提高了。因此，以知識結構及貝氏網路為基礎的電腦適性診斷 測驗確能達到省時省題、高預測精準度及高一致性的目的。