• 沒有找到結果。

四、在教育測驗上之應用

在文檔中 第一節 認知診斷評量 (頁 23-30)

為了探討如何將貝氏網路應用於實際教育評量中,近年來已累積了一些 相關的研究成果,其中包括理念的闡述(Mislevy, 1994);學科領域應用 (Mislevy, 1995);建立以機率推理為基礎的智慧家教系統(Mislevy & Gitomer, 1996);以貝氏網路建立評量設計的概念架構,再利用 MCMC 技術估計實徵 資料所需的條件機率(Mislevy, Almond, Yan, & Steinberg, 1999);以及如何建 立 以 貝 氏 網 路 的 圖 形 模 式 為 基 礎 的 電 腦 適 性 測 驗 (Almond & Mislevy, 1999) 。ETS 目前也有許多研究者正在進行探討如何使用圖形模式(包括貝 氏網路與多向度 IRT)去模擬學生的知識與評量的歷程,特別是在面臨新的 評量取向挑戰之際,如何應用一個新的統計方法論去更新我們對學生的瞭 解,做更合理的推論。至於在國內的文獻部分,由於將貝氏網路應用於教育 評量尚屬新興的研究領域,目前的研究尚不多見。以下將初步已收集到的貝 氏網路應用於實際教育評量之相關文獻整理如表 2-2-4:

表 2-2-4 貝氏網路應用於教育評量之相關文獻

作者 文獻主題 文獻內容

許雅菱(2005) 探討以證據中心的 評量設計為基礎,在 概念性的評量架構 中的學生模式採用 以機率推理為基礎 的貝氏網路作為分 析工具,應用在國小 面積學習單元的評 量中,用來診斷學生 錯誤類型及子技能 的有無。

本研究討論貝氏網路在教育測驗 的應用,結果發現:

1. 以證據中心為主的評量設計原 則與步驟,結合貝氏網路建構 以概念性的評量架構為主的評 量傳送模式,可有效應用於診 斷學生之錯誤類型與子技能。

2. 根據貝氏網路欲測之錯誤類型 來設計選項,發現不同的作答 資料輸入值對 辨識率 造成影 響,其中以二元資料輸入值在 錯誤類型與子技能的辨識率較 佳。

3. 將所有的錯誤類型與子技能的 決斷值固定,並不能得到最好 的辨識結果,若採以「動態決 斷值選取法」來選取決斷值,

其辨識結果較佳。

4. 欲建構出一個完整且有效的貝 氏網路,首先進行文獻探討建 立貝氏網路,利用實徵資料進 行分析修正,再結合刪去法,

可改良專家所建立貝氏網路。

表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)

作者 文獻主題 文獻內容

李俊儀(2005) 將貝氏網路應用到 電腦化適性測驗,了 解不同的選題策略 之推論正確率。

研究結果發現:

1. 動態程式化法與 AO*演算法分 類正確率相同。

2. AO*選題策略在建構試題結構 的時間明顯較少。

林垣圻(2006) 本研究以國小四年 級數學科「面積」單 元為例,利用試題證 據訓練貝氏網路,選 用AO*演算法來作 為選題策略,建構試 題結構,以建立基於 貝氏網路的實體電 腦線上診斷系統,並 探討其可行性。

研究發現:

1. 基於貝氏網路的實體線上學習 診斷系統之選題數必須至少 5 題以上,才具有可行性。

2. 在達到相同的分類正確率之前 提下,採用演算停止閾值方式 的適性選題策略較固定選題數 8 題與 15 題可節省更多的試 題。

3. 適性選題的策略在基於貝氏網 路的 實體線上 學習診 斷系統 上,具有節省試題的功效。

Mislevy(1994) 應用以數學機率為 基礎的推理方式於 教育評量中之理念 闡述。

說明以數學機率為基礎的推理,如 何應用於各種評量案例。

表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)

作者 文獻主題 文獻內容

Mislevy(1995) 應用機率式推理進 行學習診斷。

1. 提出應用機率式推理進行學習 診斷之程序。

2. 將此程序實際應用於數學學科 領域進行分數 減法的 資料分 析。

Mislevy &

Gitomer(1996)

建立以機率推理為 基礎的智慧家教系 統。

檢視貝氏網路的概念與工具,探討 貝氏網路應用於飛行器水壓系統 疑難排除之智慧家教系統所扮演 的可能角色。

Mislevy, Almond, Yan, &

Steinberg(1999)

採用貝氏網路建立 以證據推理為中心 的評量設計架構。

提出基於貝氏網路的評量設計架 構,並試驗如何利用 MCMC 技術 從實徵資料中估計所需的條件機 率。

Almond &

Mislevy(1999)

整合圖形模式的概 念與教育測驗,特別 是應用於電腦適性 測驗(CAT)的試題 反應理論(IRT)。

1. 分析 IRT-CAT(以試題反應理 論為基礎的電腦適性測驗)與 GM-CAT(以圖形模式為基礎 的電腦適性測驗)的關係。

2. 提出 GM-CAT 之評量設計方 式。

3. 多變項的貝氏網路學生模式與 證據模式可視為多向度 IRT 的 延伸。

表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)

作者 文獻主題 文獻內容

Lee(2003) 使用貝氏網路診斷 多 位 整 數 減 法 的 bugs。

1. 在四個網路中使用不同的決斷 值,對四個 bug 的預測率皆高 於 85%。

2. 加入子技能後,對 bug 的預測 率提昇極小。

3. 使用特定答案作為證據,有助 於 bug 預測率之提昇。

4. 最佳 bug 預測率發生於固定決 斷值 0.5 時。

Liu(2004a) 採用貝氏網路建立 一個模擬的評量環 境。

採用貝氏網路所建立模擬器有利 於探究評量作業的本質。

Liu(2004b) 提出基於貝氏網路 的適性測驗選題策 略-mutual

information。

比 較 BnMi , DistMi , BnHMi , DistHmi, DistDist,DistRand幾種 選題規則,發現BnHMi表現較其他 方法為佳。

Vomlel (2004a) 以分數基本運算為 例,應用貝氏網路於 教育測驗。

試驗結果發現不論是適性測驗,或 是固定式測驗使用貝氏網路模擬 技能間的關係有助於測驗設計。

Vomlel (2004b) 提出一個架構來建 立使用貝氏網路的 選題決策策略,並探 討其在適性測驗的 應用。

提出使用實際資料來建立貝氏網 路,在進行選題決策分析時,AO*

規則是可採納的捷思函數。

表 2-2-4 貝氏網路應用於教育評量之相關文獻(續)

作者 文獻主題 文獻內容

Shih & Kuo (2005)

探討應用貝氏網路 於診斷學生錯誤類 型的精確度,以及實 際的測驗資料作答 型態之不同、分類決 斷值之不同,對於貝 氏網路診斷正確性 的影響。

研究結果發現:

1. 貝氏網路模式應用於診斷國小 四年級學童「小數加減」錯誤 類型可達到不錯的診斷結果。

2. 不同類型的作答資料輸入值在 本研究中並未對貝氏網路診斷 精準度造成影響,未來應使用 根據錯誤類型設計的診斷測 驗,進行更進一步的研究。

3. 不同的分類決斷值會對貝氏網 路診斷精準度造成影響,但本 研究並未發現一致的最佳決斷 值。

綜合上述文獻以及本章第一節中有關 CDA 的簡介,可知將此貝氏網路 應用在認知評量中,其基本概念為「以貝氏網路為基礎定義一個學生模式的 空間,以及一可觀察結果的證據模式空間,透過學生模式中變項及變項間的 關係簡化地描述學生的知識、技能與策略的特性,而後根據證據模式進行對 學生模式中潛在變項的推論」,換言之,我們可先以貝氏網路來建立學生模 式與證據模式,然後根據理論與實際資料,事先假定模式中的學生潛在變項 與答題的先驗分布與條件機率,而後再進一步透過前述證據推論的機制,從 學生作答行為的觀測值推論出學生模式中參數的可能值。為了進一步落實此 概念,Mislevy et al.(1999)在其文章中提出具體設計評量架構如圖 2-2-12 所 示:

圖 2-2-12 高層次的評量設計物件(譯自 Mislevy et al., 1999)

上圖中以貝氏網路為基礎的評量設計,包含學生模式、證據模式、作業 模式以及測驗組合模式四個重要的評量物件。玆分述如下:

1. 學生模式:由以貝氏網路表示的學生模式(student model based on Bayesian inference network, 簡稱 SM-BIN)組成,包含不可觀察的潛在變項,例如 學生的知識、技能、錯誤類型、迷失概念,記為i (i1,,iK), 其中

i

表示第

i

個受試者,

K

表示學生模式共包含

K

個潛在變項。所有受試者的 學生模式變項記為

θ

,SM-BIN 可管理的不確定性,也是整個評量要推i 論的目標。

2. 證 據 模 式 : 由 以 貝 氏 網 路 表 示 的 證 據 模 式 (evidence model based on Bayesian inference network, 簡稱 EM-BIN)與證據規則(evidence rule)組 成,描述如何從學生的作答反應抽取關鍵的證據,以進行對潛在變項的 推論。證據規則產生可觀察變項的值,記為

x

j

 ( x

j1

,  , x

jM

)

,其中 j 表

學生模式

(Student Model)

以貝氏網路表示的 學生模式

(SM-BIN)

證據模式

(Evidence Model(s))

作業模式

(Task Model(s))

試題特徵 組合模式(Assembly Model)

以貝氏網路 表示的證據

模式

(EM-BIN)

證據規則

(Evidence rule)

示第 j 項作業,

M

表示第

M

個子測驗。EM-BIN 描述

x

j與的關係。所 有受試者在所有作業上的反應集記為

X

3. 作業模式:描述各種試題的特徵、試題內容與每一項作業的關聯,也包 含了受試者特徵與作業間之連結,因此可與證據模式整合為一更完整的 證據模式。作業模式的主要變項記為

Y

j

 ( Y

j1

,  , Y

jt

)

,其中 j 表示第 j 項 作業, t 表示第 t 項作業特徵。所有題庫中的作業之所有特徵記為

Y

。 4. 測驗組合模式:描述如何組合作業成一份可執行的評量,可依測驗者需

求組成固定測驗或適性測驗。

本研究之以「錯誤類型」及「子技能」為診斷單位的認知診斷模式,主 要聚焦於以貝氏網路建立上述學生模式與證據模式,並涉及初步的作業模式 之設計(認知診斷測驗之編製),至於測驗組合模式之建立則尚待診斷題庫 系統建立後才能發揮其功能,因此本研究尚未涉及測驗組合模式的設計。

在文檔中 第一節 認知診斷評量 (頁 23-30)

相關文件