選擇題與建構反應題之貝氏網路的成效分析

參考林孟君（2010）的文章中所提到的比較模式，本研究將根據其方法設計 不同的比較模式，進行「傳統選擇題」與「加入建構反應題」之貝氏網路的分析 成效比較。

壹、貝氏網路模式

此部分將分別介紹 4 種不同的貝氏網路，試題形式分為選擇題（I1~I23）與 建構反應題（CR1~CR8），其中選擇題（I6~I9、I14、I20~I21、I23）是將建構反 應題（CR1~CR8）視為選擇題，僅輸入對錯資料進行分析。

一、模式 1

本模式僅納入 15 題選擇題，節點由左至右分別為試題（I1~I5、I10~I13、I15~I19、

I22）、錯誤 類型（B1~B10）及子技能（S1~S5、S9~S13、S15~S18）。模式 1 貝氏 網路如圖 4-9。

二、模式 2

本模式除了模式 1 的 15 題選擇題外，另加入建構反應題（I6~I9、I14、I20~I21、

I23），但只輸入建構反應題的對錯，不單獨討論其對應之錯誤類型，節點由左至 右分別為試題（I1~I23）、錯誤 類型（B1~B10）及子技能（S1~S5、S9~S13、S15~S18）。

模式 2 貝氏網路如圖 4-10，模式 1 與模式 2 貝氏網路之差異歸納如表 4-11。

66

表 4-11 模式 1 與模式 2 貝氏網路之差異 增加之試題

I6、I7、I8、I9、I14、I20、I21、I23 增加之錯誤類型與試題間連線

錯誤類型 對應之試題

B1 I21

B2 I20

B4 I23

B5 I8、I23

B6 I7

B7 I9、I20

B8 I6、I7、I21

B9 I8、I14

67

68

69

三、模式 3

本模式除了模式 1 的 15 題選擇題外，另加入建構反應題（CR06~CR09、CR14、

CR20~CR21、CR23）之錯誤 類型輸出（CR6-1~CR23-7），每一錯誤 類型之有無，

視為一新試題之錯與對，輸入模式 3 之貝氏網路。節點由左至右分別為試題（I1~I5、

I10~I13、I15~I19、I22、CR06~CR09、CR14、CR20~CR21、CR23）、錯誤 類型（B1~B10）

及子技能（S1~S5、S9~S13、S15~S18），模式 3 貝氏網路如圖 4-11 所示，模式 1 與模式 3 貝氏網路之差異歸納如表 4-12。

四、模式 4

本模式除了納入模式 1 的 15 題選擇題外，另將錯誤 類型 B1、B2、B4、B5、

B6、B7、B8、B9 及子技能 S9、S11，使用建構反應題判斷之結果直接輸入，不 進行估計。節點由左至右分別為試題（I1~I15）、錯誤 類型（B1~B10）及子技能

（S1~S5、S9~S13、S15~S18），模式 4 貝氏網路如圖 4-12 所示。

70

表 4-12 模式 1 與模式 3 貝氏網路之差異 增加之試題

CR6-1、CR6-6、CR6-7、CR7-1、CR7-4、CR7-5、CR7-6、

CR7-8、CR7-9、CR8-1、CR8-6、CR8-7、CR8-8、CR8-9、

CR9-1、CR9-3、CR9-5、CR9-7、CR9-8、CR9-9、CR14-5、

CR14-8、CR14-9、CR20-1、CR20-2、CR20-5、CR20-8、

CR21-1、CR21-4、CR21-5、CR21-6、CR21-7、CR21-8、

CR21-9、CR23-1、CR23-2、CR23-4、CR23-6、CR23-7 增加之錯誤類型與試題間連線

錯誤類型 對應之試題

B1

CR6-1、CR7-1、CR8-1、

CR20-1、CR21-1、CR23-1

B2 CR20-2、CR23-2

B4 CR7-4、CR21-4、CR23-4 B5 CR7-5、CR14-5、CR20-5、CR21-5

B6

CR6-6、CR7-6、CR8-6、

CR21-6、CR23-6

B7

CR6-7、CR8-7、CR9-7、

CR21-7、CR23-7

B8

CR7-8、CR8-8、CR9-8、

CR14-8、CR20-8、CR21-8

B9

CR7-9、CR8-9、CR9-9、

CR14-9、CR21-9

71

72

73

貳、成效評估

根據上述四種結合建構反應題之貝氏網路模型，進行成效評估，其辨識率比 較如表 4-13 和表 4-14 所示。

子技能於模式 1~模式 4 之平均辨識率分別為.8496、.8637、.8712、.8921，以 模式 4 將部分錯誤類型及子技能使用建構反應題判斷之結果直接輸入，不進行估 計之貝氏網路辨識率最佳（比模式 1 增加.0425），其中模式 4 直接將 S9 與 S11 的結果輸入，而不進行貝氏網路的估計，辨識率分別提升了.0233 與.0512。

錯誤類型於模式 1~模式 4 之平均辨識率分別為.8511、.8648、.8743、.8851 以模式 4 將部分錯誤類型及子技能使用建構反應題判斷之結果直接輸入，不進行 估計之貝氏網路辨識率最佳（比模式 1 增加 0.034），其中模式 4 直接將 B1、B2、

B4、B5、B6、B7、B8、B9 的結果輸入，而不進行貝氏網路的估計，辨識率除了 B6 降了.0132 之外，其餘的辨識率均有提升（.0151~.0772）。

模式 1~模式 4 之總平均辨識率分別為.8503、.8643、.8727、.8886 以模式 4 最為優異。研究結果顯示，加入建構反應題之貝氏網路（模式 2、模式 3、模式 4 其整體辨識率皆優於僅納入選擇題（模式 1）之辨識率。

74

表 4-13 四種模式之辨識率比較表（子技能）

編號 模式 1 模式 2 模式 3 模式 4

S1

0.9689 0.9806 0.9510 0.9839

S2

0.9193 0.9260 0.9099 0.9292

S3

0.9191 0.9517 0.9294 0.9388

S4

1.0000 0.9903 0.9726 1.0000

S5

0.9564 0.9581 0.9451 0.9613

S9

0.7962 0.8038 0.7847 0.8195

S10

0.7397 0.8325 0.8531 0.8583

S11

0.7589 0.7974 0.7750 0.8101

S12

0.8570 0.8551 0.8316 0.8746

S13

0.9693 0.9164 0.9159 0.9903

S15

0.7894 0.7394 0.7710 0.8005

S16

0.7102 0.8486 0.8903 0.8325

S17

0.8629 0.7198 0.8159 0.8905

S18

0.6468 0.7718 0.8511 0.8004 子技能平均

0.8496 0.8637 0.8712 0.8921

75

表 4-14 四種模式之辨識率比較表（錯誤類型）

編號 模式 1 模式 2 模式 3 模式 4

B1

0.8384 0.8680 0.8316 0.8553

B2

0.9688 0.9419 0.9627 0.9839

B3

0.8142 0.8005 0.8454 0.8487

B4

0.9133 0.9097 0.9079 0.9453

B5

0.8388 0.8748 0.8590 0.8617

B6

0.9875 0.9388 0.9432 0.9743

B7

0.8269 0.8809 0.9020 0.8647

B8

0.7572 0.7975 0.8121 0.7975

B9

0.7585 0.7941 0.8414 0.8357

B10

0.8074 0.8422 0.8375 0.8841 錯誤類型平均

0.8511 0.8648 0.8743 0.8851

76

77

在文檔中 大學微積分電腦化建構反應題及自動分析機制研發 (頁 81-93)