「貝氏網路診斷評量系統」

壹、 系統發展原則與建置背景

「貝氏網路診斷評量系統」由國立臺灣師範大學心理與教育測驗研究發展中 心宋曜廷教授率領之研究團隊，以貝氏網路（Bayesian Network）理論為基礎開 發而成。系統係針對國中數學科進行錯誤類型的診斷試題建置與錯誤概念診斷推 論。本研究依研究目的，採用國中二年級數學科「生活中的立體圖形」章節進行 補救教學活動範圍，因此首先概述診斷評量系統本身的系統設計與試題推論結構，

接著呈現診斷試題的編制程序。

47

一、理論背景

本研究之診斷評量以證據為中心之評量設計(evidence-centered design)架構 發展，此架構依據 Mislevy et al.(2003)的定義表示，證據為中心之評量系統為一 評量傳送模式(delivery model)，且模式內含五個子模式：學生模式（student model）、

證據模式(evidence model)、作業模式(task model)、組合模式(assembly model)與呈 現模式(presentation model)。為建構此架構，首先須了解個別知識範圍(substantive domain)以及評量目的(assessment purpose)，方可確定評量的檢驗方向與傳送內涵。

圖 6 為五種子模式建構關聯在以證據為中心的評量設計連結。

圖 6 證據為中心之評量設計物件關聯圖

資料來源：” Evidence-centered assessment design” by Mislevy, R. J., & Riconscente, M. M., 2005, Handbook of test development , pp.61–90.

(一) 學生模式

在學生模式中須先定義想要在測驗中測得的知識、技能、或態度。本研究評 量目的為探討學生在學習「生活中的立體圖形」後的能力指標、子技能與錯誤類 型的學習情況，因此將這些學習情況定義為變數以提供證據參照，試圖理解變數 間獨立或彼此相依的關係。由於錯誤類型與子技能在不同學生樣本的知識範圍會 有所差異，因此需先蒐集有關學生錯誤類型的證據，與專家討論後方可擬出適合 多數學生的變數內容與項度。本研究定義的變數關係圖如圖 7 所示。

組合模式

學生模式 證據模式 作業模式 呈現模式

48

圖 7 本研究中學生模式變數關係圖 資料來源：研究者自行繪製。

(二) 作業模式

作業模式為蒐集變數時設計的情境，一般蒐集變數資訊的方式可以從作業練 習、紙筆評量、報告等方式引出預測得的知識、技能或態度。而本研究設計的作 業模式為線上電腦評量測驗。

圖 8 本研究中作業模式採試題評量 資料來源：研究者自行繪製。

(三) 證據模式

證據模式包含證據規則(evidence rules)與測量模式(measurement model)，證 據規則描述的是量化計分方式代表學生完成作業成果的表現；測量模式則提供相 關的學生模式變數與證據規則間的連結關係。而本研究使用的是貝氏網路以針對 變數進行潛在變項的推論與演算；測量模式部分由試題與錯誤類型的關聯進行測 量變數的工作，接著依據錯誤類型與子技能間的連結，加上貝氏網路的推論演算，

以獲得推論結果。

49

圖 9 本研究中之證據規則與測量模式 資料來源：研究者自行繪製。

(四) 組合模式

組合模式是指將評量設計者設計的各項子模式組合成一份試卷或一個活動，

利用安排子模式間的組合關聯以準確測出每個學生模式中的變數，以及確認作業 模式中蒐集變數的範圍與深度符合所需，最後於證據模式中確立證據與測量推論 模式能夠依據統計精準推估特徵值。本研究之組合模式包含：

1.學生模式：收集變數證據後，分析錯誤類型、子技能與能力指標的訓練樣本，

以期推論結果更為精準。

2.作業模式：安排合適試題以有效解構蒐集能力的狀態。

3.證據模式：貝氏網路針對訓練資料進行統計分析，建立精準特徵值以提 供正確推論。

(五) 呈現模式

呈現模式為安排組合模式呈現的方式。本研究之組合模式為一評量活動，一 般評量可由不同形式達成，例如線上評量、單機電腦測驗、紙筆測驗等，本研究 以線上評量作為呈現模式。

50

二、診斷試題編制程序

依照前述所提及以證據為中心之系統設計模式，本系統首先將蒐集能力指標、

子技能與錯誤類型的變數資料，接著依照專家討論與分析訂立子技能與第一階段 錯誤類型計算題型。由第一次紙筆預試結果進行第二階段錯誤類型題目修改，依 據紙筆預試錯誤類型統計結果安排選項，修改題目變成四選一的選擇題型。在確 定能力指標、子技能與錯誤類型的關聯結構後，繪製貝氏圖以提供貝氏網路推論 架構，並由第二次紙筆預試所蒐集的答題資料建立貝氏網路訓練模型。同時，依 據兩個題本測驗題目相似，選項安排的錯誤類型相同原則以制定複本。完整診斷 試題編制程序如圖 10 所示。

圖 10 診斷測驗編制流程 資料來源：研究者自行繪製。

51

貳、 系統內容

此部分將依據學生模式所需蒐集與建構之資料：九年一貫能力指標、錯誤類 型蒐集與子技能建構；建構證據模式中測量模式的貝氏圖，逐項進行陳述與列 表。

一、九年一貫學習綱要能力指標與對應的子技能

依據教育部於民國 97 年頒佈，100 學年度實施之「國民中小學九年一貫課 程綱要-數學學習領域」，幾何主題之第八階段關於「生活中的立體圖形」章節的 能力指標對照表於第二章第五節之表 2-5-1 所示。

二、立體圖形的錯誤類型相關研究

此部分內容參考第二章第五節之整理所示。

52

53

54

55

56

57

錯誤概念 14 如何避免錐體底面積計算錯誤 3 12,13 錯誤概念 15 我不會計算角錐側面等腰三角形的面積 3 11,13 錯誤概念 16 我會直接省略立體圖形看不到的部分 4 7,10,16 錯誤概念 17 我切割複合立體圖形的方式錯誤，導致

表面積或體積計算錯誤 4 15,17,

18 錯誤概念 18 我沒有旋轉的概念，無法判斷旋轉軌跡

所形成的立體圖形 4 17,18

錯誤概念 19 題目有容器相關問題時，我沒有考量盛

裝容器的厚度 4 16,19

資料來源：研究者與臺師大宋曜廷老師貝氏團隊自行整理。

圖 11「生活中的立體圖形」貝氏圖 資料來源：研究者與臺師大宋曜廷老師貝氏團隊自行整理。

最後利用第二次預試所蒐集之答題資料建立貝氏網路機率模型訓練，並且再 進行少量的診斷測試。

58

參、 系統功能與介面

本評量系統功能與介面主要分為測驗端與報表端兩個部分進行介紹，並針對 系統提供紀錄資訊做一概述。

一、 測驗端

學習者由測驗首頁登入後，即開始記錄一連串的操作資訊，並依據使用者的 登入帳號做一資料庫連結，方便下次登入時可以直接從前次離開畫面繼續使用，

也方便教師觀看學生所有章節的學習歷程與能力狀況。圖 12 為初次使用測驗系 統之登入畫面，圖 13 顯示進入測驗系統後，提供一些系統最新公告以及右上角 的使用者登入名稱。

圖 12 測驗系統登入畫面

圖 13 系統公告畫面

59

圖 14 顯示進入數學測驗頁面後，使用者可依據【測驗名稱】欄位尋找欲測 驗之題本；而【測驗狀態】欄位是系統記錄使用者每一題本的測驗情況，包含：

【尚未安排測驗】 (此項目為教師未替學生安排此項評量)、【測驗中】 (未完成 全部作答題目的測驗情況，例如測驗中途暫離再返回的情況)、【已完成測驗】 (完 成該項測驗全部題目)、【待測驗】 (尚未作答)四種測驗狀態；最後於【功能】欄 位中由按鍵顯示欲進行之功能，包含：【開始測驗】、【報表】(測驗完畢後系統會 依據推論內容給予作答結果報表)、【Ｒ】(重新測驗，但此功能選項可由教師端 設定移除)。右上角仍為該位使用者之登入帳號，以確保學生於測驗時使用相同 帳號紀錄測驗資訊。

圖 14 測驗列表

60

圖 15 再次確認使用者選取之測驗範圍與測驗內容是否正確，並於此提示完 整測驗時間。圖 16 為測驗開始之狀態，上方顯示【測驗名稱】、【總測驗題數】

與【正在作答題項】、【測驗計時器】，右邊圖示分別為：【畫筆模式】 (提供計算 紙計算模式)、【題目列表】 (提供全部題目列表與答題選項)與【提醒標示】 (標 示記號以提醒稍後再做檢查)。

圖 15 測驗前提示

圖 16 測驗開始畫面

，測驗時間為 40 分 鐘

61

圖 17 為【畫筆模式】狀態，左上角提供四張計算紙的範圍計算。而右上角 可選擇不同顏色畫筆並於淺灰色的計算紙區域進行計算(計算紙區域包含全部題 目頁面，方便學生於題目上的圖形直接做提示與計算)，另外尚設有【橡皮擦】

功能以及【整頁擦拭】功能。當使用完後，選擇右上角的【紅色叉叉】表示離開 此項功能，即可選擇答題選項或其他行為。

圖 17 畫筆模式狀態

圖 18 顯示【題目列表】(放大鏡圖示)功能，此功能包含題號與作答選項、

提醒標示的有無，並且可以直接跳至該題題目。【提醒標示】(旗幟圖示)功能相 當於該題標示記號以提醒稍後再做檢查。例如將第五題的【提醒標示】旗幟圖示 點選從白色轉為紅色，則【題目列表】內的旗幟就會顯示紅色，方便最後檢查的 時候可以從紅色旗幟的標誌題目開始檢查。

62

圖 18 題目列表功能畫面

圖 19 顯示當使用者欲交卷時，系統會自動偵測是否有題目尚未作答完成，

本研究題目為貝氏網路推論，因此需強制所有試題均答題完整方可允許交卷。圖 20 為再次確認交卷的畫面。

圖 19 系統偵測未完整作答畫面

63

圖 20 交卷前最後確認畫面

64

二、報表端

圖 21 為測驗完成後之報表，將於上方顯示使用者之基本資料、測驗時間及 作答時間，下方將顯示補救學習建議。補救教學建議部分列出的是該使用者所需 補強之技能與犯錯的錯誤概念，由貝氏網路工具推論產出，並附有錯誤概念的陳 述解釋。而之後的補救教學活動會依據學生報表內容給與適性推薦選單。

圖 21 報表格式

65

三、系統紀錄

本「貝氏網路診斷評量系統」提供之系統紀錄除了基本的答題選項之外，另

本「貝氏網路診斷評量系統」提供之系統紀錄除了基本的答題選項之外，另