改良貝氏網路方法之探究

一、不同學生模式對貝氏網路辨識率的影響

為了確定本研究的網路更有其效用，吾人嘗試以較為嚴謹的觀點來修正其貝 氏網路，以期建立更有效之貝氏網路。因此，吾人先從學生模式中所欲測受試者 可能犯的錯誤類型與子技能進行檢視，發現面積單元中的單位換算大多存在著倍 數關係，因此將子技能「乘法計算」與「單位換算錯誤」連結，並利用所撰寫的 程式與學生的作答反應與專家所建立之效標來進行驗證，詳細的結果如附錄四、

五。修正後的貝氏網路以平均分類率的表現來看，其辨識率的結果並沒有改善，

圖 4-1 修正學生模式之貝氏網路 15

14

16

17 18

公式應用錯誤 b5

了解公式 sk5

表 4-3 面積貝氏網路二元計分決斷值之辨識率 分類決斷值

辨識率 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 b1 64.62% 78.46% 79.23% 85.39% 77.69% 80.00% 84.62% 79.23% 84.62%

b2 82.31% 85.39% 85.39% 96.15% 90.00% 91.54% 96.15% 86.15% 72.31%

b3 64.62% 69.23% 57.69% 58.46% 55.39% 63.08% 56.92% 52.31% 65.39%

b4 85.39% 85.39% 86.92% 89.23% 86.92% 85.39% 86.92% 82.31% 76.92%

b5 85.39% 85.39% 85.39% 96.15% 89.23% 90.77% 95.39% 86.92% 83.85%

平均 76.46% 80.77% 78.92% *85.08% 79.85% 82.15% 84.00% 77.38% 76.62%

sk 1 62.31% 66.15% 74.62% 76.92% 73.08% 72.31% 70.77% 66.92% 17.69%

sk 2 70.00% 70.77% 75.39% 83.85% 75.39% 74.62% 80.00% 38.46% 35.39%

sk 3 40.00% 49.23% 39.23% 43.85% 45.39% 60.77% 57.69% 68.46% 56.15%

sk 4 79.23% 80.00% 83.85% 86.92% 77.69% 80.77% 85.39% 25.39% 76.15%

sk 5 44.62% 54.62% 64.62% 63.85% 65.39% 59.23% 66.92% 71.54% 60.77%

平均 59.23% 64.15% 67.54% 71.08% 67.38% 69.54% *72.15% 54.15% 49.23%

*表示最高的平均辨識率

表 4-4 面積貝氏網路多元計分決斷值之辨識率 分類決斷值

辨識率 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 b1 64.62% 67.69% 66.15% 75.39% 72.31% 78.46% 75.39% 86.92% 86.92%

b2 49.23% 53.08% 70.77% 65.39% 76.15% 72.31% 70.77% 64.62% 66.92%

b3 73.08% 76.92% 76.15% 70.00% 64.62% 67.69% 61.54% 63.08% 65.39%

b4 76.15% 56.92% 61.54% 73.08% 71.54% 80.77% 73.85% 72.31% 74.62%

b5 73.85% 93.85% 93.85% 91.54% 90.00% 83.85% 93.08% 85.39% 86.15%

平均 57.82% 61.41% 66.41% 69.23% 70.77% 73.85% 74.10% 75.38% *78.33%

sk 1 66.15% 74.62% 68.46% 70.77% 70.00% 76.15% 70.77% 64.62% 20.77%

sk 2 64.62% 62.31% 65.39% 75.39% 80.00% 71.54% 68.46% 36.15% 36.15%

sk 3 43.08% 31.54% 52.31% 66.15% 73.08% 77.69% 83.85% 79.23% 62.31%

sk 4 73.85% 70.77% 65.39% 83.85% 76.15% 80.77% 73.85% 70.77% 63.85%

sk 5 73.85% 84.62% 90.00% 78.46% 83.08% 80.77% 85.39% 83.08% 63.08%

平均 64.31% 64.77% 68.31% 74.92% 76.46% *77.38% 76.46% 66.77% 49.23%

*表示最高的平均辨識率

由上表 4-3、表 4-4 可以得知，其辨識率整體表現優於圖 3-1 之貝氏網路，因

此本研究將針對此網路進行討論，並試圖加以改良之。以下先針對其分類率進行 討論，其結果如下所示：

1. 關於錯誤類型有無之分類，不論何種分類決斷值，二種面積貝氏網路之辨 識率皆大於 75%，在二元資料的分類中除了 b3，其他錯誤類型更是高達 85%以上。因此可知此面積貝氏網路在錯誤類型的診斷上有相當不錯的表 現。

2. 關於子技能有無之分類，其結果雖不如錯誤類型的診斷精確，分類決斷值 大於 0.6 以上，表現較不理想，其餘最高之辨識率亦可達到約七成五左右。

在不同的作答資料輸入值對貝氏網路辨識率的影響方面，可發現：

1. 由表 4-3、4-4 可知多元計分（1、2、3、4）之面積貝氏網路之診斷正確率 並未顯著優於二元計分之面積貝氏網路，在二元計分中錯誤類型的辨識率 甚至優於多元資料的辨識率，除了 b3 其餘皆高於 85%。這樣的結果與先 前研究結果並不一致（Lee, 2003），推測其原因可能為－1.本研究樣本數 較大，二元計分就已能達到相當高的診斷正確率；2.施測工具之選項設計 不佳，未能達到提供較充分錯誤類型診斷訊息的目的。

2. 無論是二元計分，亦或是多元計分之貝氏網路在不同的分類決斷值中，其 平均辨識率變動大多呈現穩定的狀態。

對於貝氏網路中分類所需的決斷值(cutpooint)是否有其特定值，從本研究的 數據可以發現：

1. 貝氏網路之子技能有無及錯誤類型分類，無固定之最佳決斷值。但是在二 元資料輸入值中其錯誤類型之最高分類率除了 b3、sk3、sk5 之外皆集中 分類決斷值 0.4。

2. 將各個子技能及錯誤類型在不同決斷值中選取最佳的辨識率，在二元計分 可得錯誤類型之辨識率的平均為 85.08%，子技能之辨識率的平均為 72.15%；多元計分可得錯誤類型之辨識率的平均為 78．33%，子技能之

辨識率的平均為 77.38%。

綜合上面的研究結果，本研究發現在不同的貝氏網路的二元或多元資料中，

無論是子技能或錯誤類型的分類，看不出存在一致的辨識率決斷值，因此吾人分 別就子技能及錯誤類型的辨識結果分別取最高值，發現其平均辨識率將大於固定 某一決斷值的辨識率，此法稱為「動態決斷值選取法」(dynamic cutpoint selection)，

每個錯誤類型及技能的決斷值均不同。此結果將能用於程式中樣本的測試(testing sample)，進而應用在電腦化診斷測驗的系統中。在本節之後將以此法進行資料的 分析與討論，來進行不同貝氏網路模式的選擇，建立最佳之面積貝氏網路。

二、不同作業模式對貝氏網路辨識率的影響

根據上述的結果，發現在面積單元中較為合理且有效的學生模式，因此將使 用修正後的貝氏網路進行推論。除此之外，良好的網路架構亦重視在作業模式中 專家所設計的試題是否能夠確實測出學生的能力，在貝氏網路中，學生在答題時 對錯的反應組型是可觀察的值；而網路中錯誤類型和子技能的變數是不可觀察 的。因此吾人想由可觀察的反應組型來逆推不可觀察的錯誤類型和子技能。在此 種想法下，吾人欲以學生的作答資料來驗證十八個精心設計的問題是否益於網路 的推論，因此吾人意欲在本研究中進行刪題的實驗。在此網路架構下，若刪去某 一題的分類率高於原先未刪題的分類率，將可推知刪題後的網路架構將優於原先 的十八題貝氏網路架構。因此，本研究將以每次刪去一題的模式與未刪題模式的 辨識率進行檢視，將刪一題的辨識率減去未刪題模式之辨識率的結果進行比較，

最後逐一檢查每一個問題是否益於診斷學生的錯誤類型與子技能，以決定一個較 佳的貝氏網路模式，這樣的方式亦稱為模式的選擇。其結果如表 4-5 所列，可知 圖 4-1 之貝氏網路二元計分錯誤類型之最高辨識率為 85.08%，子技能為 72.15%；

多元計分錯誤類型之最高辨識率為 78.33%，子技能為 77.38%；每刪去一題後，

發現不同的作業模式下最高辨識率有不同的變動，以下先將不同模式的分類率與

變動情形以表格的方式列出，根據其表現進行討論。 bug 77.54 79.85 81.38 82.31 82.46 81.54 82.77 84.15 93.08 85.08 二元

計分 skill 69.69 71.38 75.23 69.85 73.38 69.08 71.38 74.92 71.08 72.15 bug 76.46 76.62 76 73.85 76.92 75.38 73.08 75.54 71.23 78.33 多元

計分 skill 78.77 76.46 77.54 76.31 75.85 77.54 76.92 80 73.85 77.38

刪題的 題號 辨識率

10 11 12 13 14 15 16 17 18

bug 80.62 84.31 84.15 83.69 83.23 83.85 83.23 81.23 83.38 二元

計分 skill 71.23 73.69 71.85 76 68.92 73.23 68.31 73.69 71.54 bug 68.77 76.46 75.85 76.15 75.08 78.15 76 76.92 76.92 多元

計分 skill 70.31 77.85 76.92 75.23 73.38 78.62 77.69 76.46 78.15

表 4-6 刪去一題後不同貝氏網路之辨識率之比較(單位：百分比)

題號 辨識率 的增減

bug ^-4.46 -0.77 -0.93 -1.39 -1.85 -1.23 -1.85 -3.85 -1.7 二元 skill -0.92 1.54 -0.3 3.85 -3.23 1.08 -3.84 1.54 -0.61 整體表現 -5.38 0.77 -1.23 2.46 -5.08 -0.15 -5.69 -2.31 -2.31

bug ^-9.56 -1.87 -2.48 -2.18 -3.25 -0.18 -2.33 -1.41 -1.41 多元 skill -7.07 0.47 -0.46 -2.15 -4 1.24 0.31 -0.92 0.77 整體表現 -16.63 -1.40 -2.94 -4.33 -7.25 1.06 -2.02 -2.33 -0.64

1. 由表 4-5、4-6 可知，刪去第一、二、四、六、七、十、十四、十六題將 使分類準確率大幅降低，可知這些題目對於利用此貝氏網路進行診斷其錯 誤類型與子技能具有不可替代的作用。刪去三、五、十二、十五、十七、

十八題也將使分類準確率降低，但其影響不若前者大。

2. 另一方面，可得知刪去第八、九、十一、十三題將使二元計分貝氏網路之 辨識率提高，尤其是刪去第九題將使二元資料輸入值辨識率整體提高 6.93%。刪去第九題後，二元計分錯誤類型之最高的辨識率由 85.08%增加 至 93.08%、子技能至之最高的辨識率由 72.15%降低為 71.08%。刪去第十 五題將使多元資料輸入值辨識率整體提高 1.06％，其錯誤類型之最高辨識 率由 78.33%降低為 78.15%，子技能至之最高辨識率由 77.38%增高至 78.62%，以下就針對不同層面的發現來進行討論：

(1) 二元計分資料分析結果：

i. 以錯誤類型來看：刪去第九題後，b1、b2、b3、b4 的辨識率均增加，

其中以 b1 的辨識率增加了 2.31%為最多，而 b5 降低了 1.54%。可 知對 b1 而言此題將會影響其辨識率。由面積貝氏網路圖中可以看 出，由於此題與 b2、b3、b5 有連結，可得知此題不利於 b2、b3 的 推論，而看不出 b1 與此題的關係。對於 b5 刪去此題雖然會降低其 辨識率，但整體看來刪去此題將提高錯誤類型的辨識率。

ii. 以子技能來看：刪去第九題後，其平均辨識率 sk1 提高 13.08%，

sk2 提高 38.46%，sk3 提高 13.08%，sk5 提高 10%，可知對 sk1、sk2、

sk3、sk5 而言此題將會影響其辨識率。由貝氏網路圖中可以看出，

由於此題與 b2、b3、b5 有連結， b2 與 sk2 有連結，b3 與 sk3、sk5 有連結，b5 與子技能 sk5 有連結。因此刪去第九題對 sk2、sk3、sk5 有正面的影響，雖然由圖中無法看出 sk1 與 b2、b3、b5 的關係，

但從辨識率的結果中可看出刪去此題對 sk1 的辨識率大幅提升，可 知刪去此題，在整體上將提高子技能整體的辨識率。

(2) 多元計分資料分析結果：

i. 以錯誤類型來看：刪去第十五題後， b1、b4 的辨識率皆增加，其 中 b1 增加了 7.70%；b2、b3 卻降低了，其中 b3 降低了 3.84%，b5 辨識率不變。可知對 b1 而言此題亦會影響其辨識率。由面積貝氏 網路圖中可以看出，由於此題只與 b1、b2 有連結，可得知在多元 計分中此題不利於 b1、b2 的推論，由網路圖可以發現 b1 只與 I1、

I8、I15 有關聯，而 b2 與 I1、I4、I6、I7、I8、I9、I12、I13、I14、

I15、I16、I18 有關連，所以吾人推論第十五題對於 b1 的影響較大，

對於 b2 則較小，整體而言刪去此題將有利於面積貝氏網路的推論。

ii. 以子技能來看：刪去第十五題後，sk1 提高 7.93%，sk3 提高 9.23%，而 sk2、sk4、sk5 辨識率的變動較小。可知對 sk1、sk3 而 言此題將會影響其辨識率。由貝氏網路圖中可以看出，由於此題只 與 b1、b2 有連結，而 b1 與 sk1 有連結。因此刪去第十五題對 sk1 有正面的影響，雖然由圖中無法看出 sk3 與 b1、b2 的關係，但從 辨識率的結果中可看出刪去此題對 sk3 的辨識率大幅提升，可知刪 去此題，在整體上將提高子技能整體的辨識率。

經過以上的討論後，可知在二元計分模式下刪去第九題，多元計分模式下刪

去第十五題對於貝氏網路診斷學生的錯誤類型的辨識率為佳。檢視第九題的題 目：文文買了一個周長 24 公分，邊長 6 公分的正方形拼圖，請問這張拼圖的面 積是多少平方公分？1 6 2 30 3 36 4 144，由此題的選項中可以發現，選項 1 的 錯誤類型為數學文字題轉換錯誤(b3)，其原因可能是文字題不懂題意，誤將邊長 當面積，亦或是猜測錯誤；選項 2 的錯誤類型為乘法計算錯誤(b2)，誤將6×6算 成 30，亦或是猜測錯誤；選項 4 的錯誤類型為誤用面積公式(b5)，將面積公式長× 寬誤用為周長×邊長 24×5=144，亦或是猜測錯誤。可看出此題在貝氏網路中錯誤 類型的分類上提供了較多且較精準的證據，若以二元計分的分類上，只有「有」

與「沒有」b2、b3、b5 的錯誤類型，對於以二元資料輸入值在貝氏網路的辨識上 造成較多的誤差；反之，在多元計分模式下有較佳之表現，因此因此在二元計分 模式下進行資料分析宜刪去此題。另外，檢視第十五題的題目：下圖是多少平方 公分？1 20 2 16 3 15 4 14

由此題的選項中可以發現，選項 2、3、4 的錯誤類型皆為計數錯誤與乘法計 算錯誤(b1、b2)，其原因可能是橫向與縱向的格子數數錯，造成計算錯誤；或是

由此題的選項中可以發現，選項 2、3、4 的錯誤類型皆為計數錯誤與乘法計 算錯誤(b1、b2)，其原因可能是橫向與縱向的格子數數錯，造成計算錯誤；或是