第二章 文獻探討
第四節 基於貝氏網路的適性測驗選題策略
李俊儀(2005) 以國小數學診斷測驗為例,探討以貝氏 網路為基礎的電腦適性測驗選題策略。
由這些文獻結果可知,利用貝氏網路分析學生所具有的錯誤類型資訊,除了 大量節省人工判斷的時間,還能提供有效的診斷訊息。因此,貝氏網路的機率推 理模型,在教育測驗上是一個很有效的診斷工具
第四節 基於貝氏網路的適性測驗選題策略
基於貝氏網路的適性測驗選題策略目前僅有少數的研究涉及此一領域,
Almond & Mislevy(1999)先以 Graph Models 的方式來解釋 IRT 的 CAT,然後 再以 Multidimensional IRT (MIRT)的觀點來解釋 Bayesian Networks 在教育測驗 及適性測驗上的應用。Almond & Mislevy 他們的基本觀點是將複雜貝式網路作為 CAT 的用途,分解成學生模式和較小的證據模式集合。
一、用機率模型建立策略
策略(strategy)表示為了達成所要的目標,使用者應該執行哪些步驟。例如:
步驟(step):可能是使用者執行一個動作,使用者做了一個可以看到的行為,或 使用者回答了一個問題。因為步驟是不確定,每個步驟必須依前一步所有可能組 合的結果,描述使用者下一步應該做的。因此,每個策略能用方向樹(directed tree)
表示。樹的節點有兩種型態:一種是可能性節點(chance node),另一種是終端 節點(terminal node),每個可能性節點對應著策略的一個步驟。終端節點是樹的 葉,策略的結束,一個過程(session)對應樹(tree)上的一條路徑(path),即 一連串的步驟,從樹(tree)的根開始,在終端節點結束。在圖 2-3 表示兩個問題 組成的適性測驗。方形表示可能性節點,橢圓形表示終端節點,每個可能性節點
(chance node)標示著對應步驟,每一個邊的出現來自可能性節點(chance node),用對應節點的輸出標示。策略用樹表示:假如對第一個問題X 的回答是2 對的,則第二個問題就是X ,否則第二個問題選3 X1。
圖 2-3 策略的範例
Note. From Vomlel, J. (2004). Building Adaptive Tests using Bayesian networks, Kybernetika, Volume 40, Number 3, 2004, 333 - 348.
所有可能策略的空間(space)能用一個 AND/OR 圖表示,AND 節點對應可 能性節點(chance node),OR 節點對應判斷節點(decision nodes)。看圖 2-4,兩
X1
X1=1,X2=1
X3
X2
X1=答對 X1=答錯
X1=1,X2=0 X1=0,X3=1 X1=0,X3=1 X2=答對 X2=答錯 X3=答對 X3=答錯
個問題組成適性測驗的所有可能的測驗策略,當全部可能問題 X 的試題庫有三個 問題,其中一個策略用高亮度標示,它是從X2開始,第二問題根據X2的答案選 擇,不是選問題X3就是X1。
圖 2-4 三題選兩題施測的策略示意圖
Note. From Vomlel, J. (2004). Building Adaptive Tests using Bayesian networks, Kybernetika, Volume 40, Number 3, 2004, 333 - 348.
設 S 表示對一個給予的問題,所有可接受策略的集合,L(s)表示一個策略s∈S 全部末端節點的集合。評估函數定義f :∪s∈SL(s) R ,它的目標是在這過程
(session)結束時,將這函數最小化。在策略 s 提出的步驟,其結果是未知的,
只有在終端節點 ∈ 機率L P(e ),能從貝氏網路表示的領域模型計算出來。每一 個策略s∈S,評估函數(evaluation function)的期望值定義為
X1
X3 X2
X2
X3 X2
X1 X3 X1 X3
X3
X1 X2 X1 X2
X1=0,X2=0 X1=0,X3=0 X1=1,X2=0 X1=1,X3=0 X2=0,X3=0 X2=0,X3=1 X1=0,X2=1 X1=1,X2=1 X2=1,X3=0 X2=1,X3=0 X1=0,X3=1 X1=1,X3=1
) Shannon 亂度(entropy)觀點來作為適性測驗的選題準則,定義 S 表全部可能測 驗策略的集合。每個主考人都希望在測驗結束時,能測出有關學生的資訊最多,
在求期望亂度最小化的過程中,會須要耗費相當大量的時間去計算推論,因 而衍生了策略分解、動態歸化法以及 Admissible heuristics 的方法來加快推論的過 程以及運算速度,下列針對策略分解、動態規劃法以及 Admissible heuristics 分述 如下:
1. 策略分解(Strategy decomposition)
一個策略 s 的分解,它將用來描述搜尋演算法,基於動態規劃法(dynamic programming)和定義一個可接受的嘗試錯誤函數(admissible heuristic function), 它適用在搜尋最佳策略的過程。
設s'代表一個策略,是可接受策略(admissible strategy)s 的子策略和策略 s 有相同的根ϑ,假如 s'≠ ,我們稱 's是一個未完成策略(incomplete stategy),s 假如 v 是策略 s 的一個節點,用 s→v表示 s 的子策略,s 當它的根,L(s→v)⊂ L(s), 接下來做策略s的分解。看圖 2-5
圖 2-5 策略 S 的分解圖
Note. From Vomlel, J. (2004). Building Adaptive Tests using Bayesian networks, Kybernetika, Volume 40, Number 3, 2004, 333 - 348.
節點 r 是來自策略s'葉的集合L(s'),我們得到一組策略{s→r,r∈L(s')}每個策 略s→r來自L(s')一個節點作為根,注意
∪
∈L(s')L(s→ ) =L(s)r
r 。
r1 r2 r3
ϑ
) (s→r1
L L(s→r2) L(s→rq)
) ' L(s
定義策略 s 的葉其條件期望值 義遞迴條件期望亂度(conditional expected entropy recursively)
)
2. 動態規劃法(dynamic programming approach)
有了上述的分解,我們可以基於動態規劃法,容易地建構搜尋演算法。這演
然後向上進行,所以在每個可能性(chance node)(AND)節點 n,它用 2.9 式計算 斷(decision)節點的最好子節點(the best children)被儲存,最佳化策略s 能被* 容易地向上追蹤。
3. 可接受的嘗試錯誤(admissible heuristics)
試著避免過度搜尋,透過有可接受的嘗試錯誤函數(admissible heuristic function)推動,執行從上到下的嘗試錯誤式搜尋(heuristic search)。要提出此方 法,需要兩個輔助定理,敘述如下。 理 1,期望亂度(expected entropy)的最佳值(optimal value)由 2.15 數學式所限
制。
2 log ))
( ( )
(s H P Y n
EH * ≥ − (2.15)
在適性測驗(adaptive testing)這提供亂度(entropy)很自然的解釋。假如有 關學生的知識用機率分布P(Y)的亂度(entropy)H(P(Y))表示,則我們至少需要
2 log
)) ( (P Y
H 個問題,每個問題有兩個答案;針對學生的知識狀態去產生精準資訊。
這是定理 1 的結果,EH(s')是有可接受的嘗試錯誤(admissible heuristics)。
我們可以在AO 演算法使用嘗試錯誤* EH(s')。這種演算法的每一步驟,是從全部 所有可能展開的策略中選最小值的策略 's 。我們擴展一個非展開的節點,也就是 從選到的策略s'節點的子節點。設定EH(en)=EH(en)的值並且利用遞迴公式,我 們重新計算 n 的全部子孫節點的值。使用可接受的嘗試錯誤(admissible heuristics)
保證第一次展開的完全策略是最佳的策略。