貝氏網路模式之成效評估

壹、貝氏網路模式

本測驗試題型式分為選擇題（I01～I24、I31）與建構反應題（I25～I30）。本 研究根據此兩種形式之試題，設計4 種不同的貝氏網路，其介紹如下：

一、模式1

本模式僅放入25 題選擇題，貝氏網路如圖 4-3-1。節點由左而右分別為試題

（I01～I24、I31），錯誤類型（B01～B16），子技能（S01～S21）與能力指標。

二、模式2

本模式除了模式1 的 25 題選擇題以外，另加入 6 題建構反應題（I25～I30）

原選擇題預設錯誤選項之錯誤類型輸出（CR1-3～CR6-16），每一錯誤類型之有 無，視為一個新試題之對與錯，所以本模式共有41 題。貝氏網路如圖 4-3-2。節 點由左而右分別為試題（I01～CR6-16），錯誤類型（B01～B16），子技能（S01

～S21）與能力指標。模式 1 與模式 2 貝氏網路之差異歸納如表 4-3-1。

三、模式3

本模式除了模式1 的 25 題選擇題以外，另加入融合專家判別以及建構反應 題（I25～I30）原選擇題預設的錯誤類型之輸出（CR1-3～CR6-16），即除了模式 二的41 題試題外，又加入原先選擇題所未預設之其他錯誤類型輸出，每一錯誤 類型之有無，視為一個新試題之對與錯，所以本模式共有48 題。貝氏網路如圖 4-3-3。節點由左而右分別為試題（I01～CR6-16），錯誤類型（B01～B16），子技 能（S01～S21）與能力指標。模式 1 與模式 3 貝氏網路之差異歸納如表 4-3-2。

四、模式4

CR4-11、CR4-16、CR5-1、CR5-13、CR5-16、CR6-3、CR6-16 增加之錯誤類型與試題間的連線

錯誤類型 對應之試題

B01 CR4-1、CR5-1 B02 CR2-2、CR3-2

B03 CR1-3、CR2-3、CR3-3、CR6-3 B11 CR4-11

B13 CR5-13

B16 CR1-16、CR2-16、CR3-16、CR4-16、CR5-16、CR6-16 表4-3-2 模式1與模式3貝氏網路之差異

增加之試題

CR1-2、CR1-3、CR1-13、CR1-16、CR2-2、CR2-3、CR2-12、CR2-13、CR2-16、

CR3-2、CR3-3、CR3-13、CR3-16、CR4-1、CR4-11、CR4-13、CR4-16、CR5-1、

CR5-13、CR5-16、CR6-3、CR6-13、CR6-16 增加之錯誤類型與試題間的連線

錯誤類型 對應之試題

B01 CR4-1、CR5-1

B02 CR1-2、CR2-2、CR3-2

B03 CR1-3、CR2-3、CR3-3、CR6-3 B11 CR4-11

B12 CR2-12

B13 CR1-13、CR2-13、CR3-13、CR4-13、CR5-13、CR6-13、

B16 CR1-16、CR2-16、CR3-16、CR4-16、CR5-16、CR6-16

圖 4-3-1 模式 1 貝氏網路圖

圖 4-3-2 模式 2 貝氏網路圖

B14、B15

S01

圖 4-3-3 模式 3 貝氏網路圖

B13 計算錯誤

貳、成效評估

根據前述四種結合建構反應題之貝氏網路模型，分別以能力指標、子技能、

錯誤類型之辨識率進行成效評估。

能力指標之平均辨識率分別為0.815675、0.860181、0.871169、0.907712，以 模式4 將部分錯誤類型以自動化分析建構反應題模型之判別結果直接輸入，而不 進行估計之貝氏網路辨識率為最佳，其次為模式3、模式 2，最後為傳統之貝氏 網路模式1。其中 L2、L4 之辨識率，在加入建構反應題之訊息後，模式 2、模式 3、模式 4 皆比模式 1 之辨識率為高。而模式 4 相較於模式 1 之平均辨識率，增 加0.092037，顯示加入自動化分析錯誤類型模型之分析結果，能有效提升貝氏網 路能力指標之辨識率。

表4-3-3 四種模式之能力指標辨識率比較表

能力指標 模式1 模式2 模式3 模式4 L1 0.910282 0.897782 0.897782 0.859274 L2 0.726815 0.88004 0.905444 0.9875 L3 0.847984 0.847984 0.847984 0.860484 L4 0.777621 0.814919 0.833468 0.923589 mean 0.815675 0.860181 0.871169 0.907712

子技能之平均辨識率分別為0.816187、0.854675、0.860983、0.892771，以模 式4 最佳（比模式 1 增加 0.076584），其次為模式 3、模式 2，最後為傳統之貝 氏網路模式1；其中 S07、S14、S15 之辨識率，再加入建構反應題之訊息後，模 式2、模式 3、模式 4 皆比模式 1 之辨識率為明顯提升。

表4-3-4 四種模式之子技能辨識率比較表

子技能 模式1 模式2 模式3 模式4

S1 0.929435 0.910484 0.904032 0.859677 S2 0.847379 0.827823 0.853024 0.942742 S3 0.834677 0.865927 0.865927 0.92379 S4 0.815726 0.846976 0.846976 0.910887 S5 0.821774 0.866331 0.878629 0.955444 S6 0.847379 0.827823 0.846573 0.955645 S7 0.695161 0.854839 0.87379 0.968347 S8 0.598992 0.846976 0.859476 0.968145 S9 0.789919 0.879032 0.872782 0.923992 S10 0.910282 0.904032 0.916935 0.872379 S11 0.840927 0.847581 0.847581 0.834476 S12 0.783065 0.76371 0.76371 0.744355 S13 0.873589 0.867339 0.867339 0.873589 S14 0.720565 0.87379 0.899194 0.99375 S15 0.714315 0.86754 0.892944 1 S16 0.727016 0.727016 0.720766 0.739516 S17 0.822177 0.822177 0.822177 0.828226 S18 0.745968 0.745968 0.745968 0.758468 S19 0.910484 0.923589 0.923589 0.878831 S20 1 0.99375 0.99375 0.955645 S21 0.911089 0.885484 0.885484 0.860282 mean 0.816187 0.854675 0.860983 0.892771

錯誤類型之平均辨識率分別為0.914315、0.93503、0.93784、0.960534，以模 式4 最佳(比模式 1 增加 0.046219) ，其次為模式 3、模式 2，最後為傳統之貝氏 網路模式1；B01、B03、B11、B13、B16，在模式 2、模式 3、模式 4 中，加入 建構反應題之錯誤類型訊息增加（CR1-2～CR6-16），與模式 1 之辨識率相較之 下明顯提升，其中模式4 在 B01、B02、B03、B11、B13、B16 直接以自動化分 析建構反應題模型判別之結果輸入，不進行估計，與模式1、模式 2、模式 3 相 比，在錯誤類型的偵測上有著更高的辨識率，顯示加入高辨識率（97.79%）的自 動化分析建構反應題模型所提供的錯誤類型分析，更能有效提升貝氏網路的精準 度。

表4-3-5 四種模式之錯誤類型辨識率比較表

錯誤類型 模式1 模式2 模式3 模式4

B01 0.867137 0.917339 0.91754 0.91754 B02 0.847379 0.821774 0.840726 0.9875 B03 0.681452 0.891532 0.879032 0.961895 B04 0.987097 0.987097 0.987097 0.993548 B05 0.929435 0.916734 0.910282 0.910484 B06 0.910484 0.929839 0.929839 0.929637 B07 0.929839 0.923387 0.923387 0.929839 B08 0.961492 0.961492 0.961492 0.961492 B09 0.968145 0.968145 0.968145 0.968145

B10 1 1 1 0.993548

B11 0.967944 0.987298 0.987298 0.993548 B12 0.987097 0.987097 0.974194 0.987097 B13 0.834476 0.834476 0.885685 0.967742

B14 1 1 1 1

B15 1 1 1 1

B16 0.757056 0.834274 0.840726 0.866532 mean 0.914315 0.93503 0.93784 0.960534

總平均辨識率分別為0.854431、0.886571、0.89197、0.920673，以模式 4 最 為優異，其次為模式3、模式 2，最後為傳統之貝氏網路模式 1。研究結果顯示，

加入建構反應題之貝氏網路（模式2、模式 3、模式 4）其整體辨識率皆優於傳統 貝氏網路（模式1）之辨識率，其中又以模式 4 為最佳。故直接加入自動化分析 建構反應題模型之訊息的貝氏網路模式4 相較於僅加入建構反應題作答反應的模 式2、模式 3，又更能準確推斷出學生的真實能力。

而加入建構反應題訊息的模式2 與模式 3，又以模式 3 較佳，顯示加入建構 反應題完整的錯誤類型訊息的模式3 比起僅加入原先選擇題預設之錯誤類型訊息 的模式2，能提供更多建構反應題錯誤類型之訊息，更能有效提升的貝氏網路的 精準性。

表4-3-6 四種模式之平均辨識率比較表

平均辨識率 模式1 模式2 模式3 模式4 能力指標

平均辨識率 0.815675 0.860181 0.871169 0.907712 子技能

平均辨識率 0.816187 0.854675 0.860983 0.892771 錯誤類型

平均辨識率 0.914315 0.93503 0.93784 0.960534 總平均辨識率 0.854431 0.886571 0.89197 0.920673