為了探討如何將貝氏網路應用於實際教育評量中,近年來已累積了一些 相關的研究成果,其中包括理念的闡述(Mislevy, 1994);學科領域應用 (Mislevy, 1995);建立以機率推理為基礎的智慧家教系統(Mislevy & Gitomer, 1996);以貝氏網路建立評量設計的概念架構,再利用 MCMC 技術估計實徵 資料所需的條件機率(Mislevy, Almond, Yan, & Steinberg, 1999);以及如何建 立 以 貝 氏 網 路 的 圖 形 模 式 為 基 礎 的 電 腦 適 性 測 驗 (Almond & Mislevy, 1999) 。ETS 目前也有許多研究者正在進行探討如何使用圖形模式(包括貝 氏網路與多向度 IRT)去模擬學生的知識與評量的歷程,特別是在面臨新的 評量取向挑戰之際,如何應用一個新的統計方法論去更新我們對學生的瞭 解,做更合理的推論。至於在國內的文獻部分,由於將貝氏網路應用於教育 評量尚屬新興的研究領域,目前的研究尚不多見。以下將初步已收集到的貝 氏網路應用於實際教育評量之相關文獻整理如表 2-2-4:
表 2-2-4 貝氏網路應用於教育評量之相關文獻
作者 文獻主題 文獻內容
許雅菱(2005) 探討以證據中心的 評量設計為基礎,在 概念性的評量架構 中的學生模式採用 以機率推理為基礎 的貝氏網路作為分 析工具,應用在國小 面積學習單元的評 量中,用來診斷學生 錯誤類型及子技能 的有無。
本研究討論貝氏網路在教育測驗 的應用,結果發現:
1. 以證據中心為主的評量設計原 則與步驟,結合貝氏網路建構 以概念性的評量架構為主的評 量傳送模式,可有效應用於診 斷學生之錯誤類型與子技能。
2. 根據貝氏網路欲測之錯誤類型 來設計選項,發現不同的作答 資料輸入值對 辨識率 造成影 響,其中以二元資料輸入值在 錯誤類型與子技能的辨識率較 佳。
3. 將所有的錯誤類型與子技能的 決斷值固定,並不能得到最好 的辨識結果,若採以「動態決 斷值選取法」來選取決斷值,
其辨識結果較佳。
4. 欲建構出一個完整且有效的貝 氏網路,首先進行文獻探討建 立貝氏網路,利用實徵資料進 行分析修正,再結合刪去法,
可改良專家所建立貝氏網路。
表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)
作者 文獻主題 文獻內容
李俊儀(2005) 將貝氏網路應用到 電腦化適性測驗,了 解不同的選題策略 之推論正確率。
研究結果發現:
1. 動態程式化法與 AO*演算法分 類正確率相同。
2. AO*選題策略在建構試題結構 的時間明顯較少。
林垣圻(2006) 本研究以國小四年 級數學科「面積」單 元為例,利用試題證 據訓練貝氏網路,選 用AO*演算法來作 為選題策略,建構試 題結構,以建立基於 貝氏網路的實體電 腦線上診斷系統,並 探討其可行性。
研究發現:
1. 基於貝氏網路的實體線上學習 診斷系統之選題數必須至少 5 題以上,才具有可行性。
2. 在達到相同的分類正確率之前 提下,採用演算停止閾值方式 的適性選題策略較固定選題數 8 題與 15 題可節省更多的試 題。
3. 適性選題的策略在基於貝氏網 路的 實體線上 學習診 斷系統 上,具有節省試題的功效。
Mislevy(1994) 應用以數學機率為 基礎的推理方式於 教育評量中之理念 闡述。
說明以數學機率為基礎的推理,如 何應用於各種評量案例。
表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)
作者 文獻主題 文獻內容
Mislevy(1995) 應用機率式推理進 行學習診斷。
1. 提出應用機率式推理進行學習 診斷之程序。
2. 將此程序實際應用於數學學科 領域進行分數 減法的 資料分 析。
Mislevy &
Gitomer(1996)
建立以機率推理為 基礎的智慧家教系 統。
檢視貝氏網路的概念與工具,探討 貝氏網路應用於飛行器水壓系統 疑難排除之智慧家教系統所扮演 的可能角色。
Mislevy, Almond, Yan, &
Steinberg(1999)
採用貝氏網路建立 以證據推理為中心 的評量設計架構。
提出基於貝氏網路的評量設計架 構,並試驗如何利用 MCMC 技術 從實徵資料中估計所需的條件機 率。
Almond &
Mislevy(1999)
整合圖形模式的概 念與教育測驗,特別 是應用於電腦適性 測驗(CAT)的試題 反應理論(IRT)。
1. 分析 IRT-CAT(以試題反應理 論為基礎的電腦適性測驗)與 GM-CAT(以圖形模式為基礎 的電腦適性測驗)的關係。
2. 提出 GM-CAT 之評量設計方 式。
3. 多變項的貝氏網路學生模式與 證據模式可視為多向度 IRT 的 延伸。
表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)
作者 文獻主題 文獻內容
Lee(2003) 使用貝氏網路診斷 多 位 整 數 減 法 的 bugs。
1. 在四個網路中使用不同的決斷 值,對四個 bug 的預測率皆高 於 85%。
2. 加入子技能後,對 bug 的預測 率提昇極小。
3. 使用特定答案作為證據,有助 於 bug 預測率之提昇。
4. 最佳 bug 預測率發生於固定決 斷值 0.5 時。
Liu(2004a) 採用貝氏網路建立 一個模擬的評量環 境。
採用貝氏網路所建立模擬器有利 於探究評量作業的本質。
Liu(2004b) 提出基於貝氏網路 的適性測驗選題策 略-mutual
information。
比 較 BnMi , DistMi , BnHMi , DistHmi, DistDist,DistRand幾種 選題規則,發現BnHMi表現較其他 方法為佳。
Vomlel (2004a) 以分數基本運算為 例,應用貝氏網路於 教育測驗。
試驗結果發現不論是適性測驗,或 是固定式測驗使用貝氏網路模擬 技能間的關係有助於測驗設計。
Vomlel (2004b) 提出一個架構來建 立使用貝氏網路的 選題決策策略,並探 討其在適性測驗的 應用。
提出使用實際資料來建立貝氏網 路,在進行選題決策分析時,AO*
規則是可採納的捷思函數。
表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)
作者 文獻主題 文獻內容
Shih & Kuo (2005)
探討應用貝氏網路 於診斷學生錯誤類 型的精確度,以及實 際的測驗資料作答 型態之不同、分類決 斷值之不同,對於貝 氏網路診斷正確性 的影響。
研究結果發現:
1. 貝氏網路模式應用於診斷國小 四年級學童「小數加減」錯誤 類型可達到不錯的診斷結果。
2. 不同類型的作答資料輸入值在 本研究中並未對貝氏網路診斷 精準度造成影響,未來應使用 根據錯誤類型設計的診斷測 驗,進行更進一步的研究。
3. 不同的分類決斷值會對貝氏網 路診斷精準度造成影響,但本 研究並未發現一致的最佳決斷 值。
綜合上述文獻以及本章第一節中有關 CDA 的簡介,可知將此貝氏網路 應用在認知評量中,其基本概念為「以貝氏網路為基礎定義一個學生模式的 空間,以及一可觀察結果的證據模式空間,透過學生模式中變項及變項間的 關係簡化地描述學生的知識、技能與策略的特性,而後根據證據模式進行對 學生模式中潛在變項的推論」,換言之,我們可先以貝氏網路來建立學生模 式與證據模式,然後根據理論與實際資料,事先假定模式中的學生潛在變項 與答題的先驗分布與條件機率,而後再進一步透過前述證據推論的機制,從 學生作答行為的觀測值推論出學生模式中參數的可能值。為了進一步落實此 概念,Mislevy et al.(1999)在其文章中提出具體設計評量架構如圖 2-2-12 所 示:
圖 2-2-12 高層次的評量設計物件(譯自 Mislevy et al., 1999)
上圖中以貝氏網路為基礎的評量設計,包含學生模式、證據模式、作業 模式以及測驗組合模式四個重要的評量物件。玆分述如下:
1. 學生模式:由以貝氏網路表示的學生模式(student model based on Bayesian inference network, 簡稱 SM-BIN)組成,包含不可觀察的潛在變項,例如 學生的知識、技能、錯誤類型、迷失概念,記為i (i1,,iK), 其中
i
表示第i
個受試者,K
表示學生模式共包含K
個潛在變項。所有受試者的 學生模式變項記為θ
,SM-BIN 可管理的不確定性,也是整個評量要推i 論的目標。2. 證 據 模 式 : 由 以 貝 氏 網 路 表 示 的 證 據 模 式 (evidence model based on Bayesian inference network, 簡稱 EM-BIN)與證據規則(evidence rule)組 成,描述如何從學生的作答反應抽取關鍵的證據,以進行對潛在變項的 推論。證據規則產生可觀察變項的值,記為
x
j ( x
j1, , x
jM)
,其中 j 表學生模式
(Student Model)
以貝氏網路表示的 學生模式
(SM-BIN)
證據模式
(Evidence Model(s))
作業模式
(Task Model(s))
試題特徵 組合模式(Assembly Model)
以貝氏網路 表示的證據
模式
(EM-BIN)
證據規則
(Evidence rule)
示第 j 項作業,
M
表示第M
個子測驗。EM-BIN 描述x
j與的關係。所 有受試者在所有作業上的反應集記為X
。3. 作業模式:描述各種試題的特徵、試題內容與每一項作業的關聯,也包 含了受試者特徵與作業間之連結,因此可與證據模式整合為一更完整的 證據模式。作業模式的主要變項記為
Y
j ( Y
j1, , Y
jt)
,其中 j 表示第 j 項 作業, t 表示第 t 項作業特徵。所有題庫中的作業之所有特徵記為Y
。 4. 測驗組合模式:描述如何組合作業成一份可執行的評量,可依測驗者需求組成固定測驗或適性測驗。
本研究之以「錯誤類型」及「子技能」為診斷單位的認知診斷模式,主 要聚焦於以貝氏網路建立上述學生模式與證據模式,並涉及初步的作業模式 之設計(認知診斷測驗之編製),至於測驗組合模式之建立則尚待診斷題庫 系統建立後才能發揮其功能,因此本研究尚未涉及測驗組合模式的設計。