第一節 研究動機
教學評量是在教學的活動中常使用的工具,評量的目的不僅是評定學生的成 就高低,更主要的目的是幫助學生在完成一定的學習範圍後,可以藉由評量的方 式,瞭解自己的不足之處,並針對不足之處作加強學習。新的評量改革潮流中,
許多專家學者皆強調一個完整的評量歷程應該包括安置性評量、形成性評量、診 斷性評量以及總結性的評量(余民寧,1997;李坤崇,1998;簡茂發,1999)。
但以往的紙筆測驗只提供了學生表現的整體分數,運用整體分數的排列可以了解 學生的等級和篩選的目的,卻無法讓教師、學生瞭解學生學習歷程中的盲點,讓 學生知道並修正其錯誤概念。而在這資訊爆炸的時代,資訊融入教學已經是衍然 而生的一個課題,想要藉由電腦與網際網路的特性,透過電腦適性診斷測驗來改 善以往的傳統測驗,讓學習者與教師可以更快的了解學生的學習成效。
貝氏網路(Bayesian network)近年來在人工智慧的應用上崛起,在許多領域 之中皆被廣泛的運用,像是醫學領域的疾病診斷、資訊科學的人工智慧、體育方 面的得分預測,都可以應用貝氏網路來達成。就其應用的特性而言,有著不確定 性的因素成分,以及所欲探討的多變項特性,與教育環境中學生的能力與錯誤類 型的診斷,有非常大的相似之處,故將貝氏網路應用在教育測驗上有其可行性。
許多心理計量的先進亦以此統計方法應用於教育評量(Mislevy, 1995, 1998;
Almond, 2003),在國內有相當多的研究將貝氏網路應用於教育測驗上,像是能力 指標的診斷測驗(施淑娟,2006;黃雅鳳,2006)、電腦化適性測驗(李俊儀,
2005;林垣圻,2006)等,這些文獻均顯示貝氏網路應用在教育評量有許多優勢。
貝氏網路是一種機率推理模式,可將資料與專家的知識判斷結合,不僅有預 測的能力,也可以針對不確定性問題進行演算與推論,將變數間的關連性表現出 來。在教育測驗上的應用,則是推算出題目與題目內所潛藏的錯誤類型的關連
性,進而分析出學生所具有的錯誤類型資訊。也就是說,最重要的是能將傳統人 工的學生錯誤類型判別的方式,轉變成利用電腦自動化診斷學生作答反應,且能 大量節省人工判斷的時間,以利於有更多地時間用於補救教學。
本研究使用林美君(2007)目標研究線上診斷測驗及補救教學系統研發的資 料,建立一個以「錯誤類型」和「技能」為診斷單位,將學童的實際作答反應樣 本分成訓練和測試樣本,訓練樣本用來訓練貝氏網路,而測試樣本則用來測試其 達到的正確率,透過貝氏網路預測並且診斷學童具有的錯誤概念和技能,找出最 佳分類決斷值,做較接近真實的分類及診斷,以此分類決斷值用在以貝氏網路為 基礎的電腦化適性測驗的分類判斷標準。
因為貝氏網路是一種機率推論模式,將其應用在知識概念的判斷上,不僅有 預測的能力,也可以針對不確定性的問題進行推論,根據貝氏網路此特性,本研 究欲建立一個以貝氏網路為基礎的適性測驗,希望可以透過貝氏網路的診斷達到 預測並診斷學生的子技能及錯誤類型的有無,以往已有相關的論文探討此方面研 究,但其使用的AO*演算法,在計算上需耗費大量的時間,故希望可以試著改良 AO*演算法。並探討不同適性選題策略對於預測與診斷學生的子技能與錯誤概念 有無的正確率之比較。
第二節 研究目的
基於上述研究動機,本研究欲探討以貝氏網路為基礎之適性測驗的預測精準 度,以及不同選題策略的精準度比較。基於上述研究動機,本研究之研究目的分 述如下:
一、探討不同選題策略所形成的適性測驗,對貝氏網路診斷學生子技能與錯誤概 念之正確率的變化。
二、比較固定不同施測題數下,預測學生之子技能及錯誤類型的正確率。
第三節 名詞解釋
一、知識結構
本研究所稱之知識結構是由Bart & Krus(1973)所提出順序理論(ordering theory, OT),利用OT分析學生的作答反應,瞭解學生知識的上下位關係,以往的 OT是用來探討教材以及教學法的好壞,但本研究中用此方法來作為學生的知識結 構,將學生的知識概念分為上下位關係,上位者稱之為上位試題,該試題其下位 者稱之為下位試題,並以此試題結構作為適性測驗選題標準,若學生答對上位試 題,則我們將其下位試題也視為是答對的狀況。
二、貝氏網路
貝氏網路是一種機率圖形模式,模式中各個變項代表是一個事件,用有向箭 頭連結各個變項,形成貝氏網路圖﹔在給定證據之後,利用貝氏定理的先驗機率 和聯合機率,推論後驗機率(posterior probability),用以了解事件發生的機率有 多大。貝氏網路也叫做貝氏信念網路(Bayesian belief networks)、因果關係網路
(casual networks)、機率網路(probabilistic networks)或者為知識地圖(knowledge map),主要以有向的無迴路圖(directed acycle graph, DAG)為基礎,應用其變 數之間的因果關係與其相互影響的機率。完整的貝氏網路包含二個部分,分別是 節點(node)及連結(link)。在貝氏網路中,節點代表欲研究的變項;連結代表 的是變項之間的相互關係。連結的有無即代表其節點之間的關係是否為條件相依 或條件獨立的情形,其影響程度則是以條件機率來表徵;在本研究中節點代表了 試題、子技能、錯誤概念以及能力指標,連結用來表示各節點間的關係。
三、電腦化適性測驗
電腦化適性測驗是一種電腦化的測驗,電腦依受試者的作答反應從題庫中依
管制題目的規則,選出受試者要作答的下一題,因此,不同受試者的作答題目情 況不一樣,卻能達成一定範圍的診斷正確率,不會因作答題數少或作答題目的不 同,而診斷的正確率降低。
四、AO*演算法
AO*主要的評估函數是根據A*的設計方式,加上其運用搜尋法則在AND/OR 塗上,故將其重新命名為AO*,將其用在適性測驗選題上,其選題依據為,依試 題反應的狀況去計算截至目前為止的期望亂度值,再依據計算出的期望亂度
(expected entropy)決定下一步要使用那一試題施測。每次從施測過後,剩下的 試題中,找出期望亂度最小的試題,作為下一題施測題目,如此反覆直到達到測 驗終止標準為止。
五、MPE演算法
MPE(Most probable explanation)為貝氏網路中的一個推論架構,本研究嘗 試利用修改試題期望亂度的公式,結合MPE與Abductive inference的方式,利用 MPE可以找出單點最大機率值的方式,避免過度的搜尋,藉以改良傳統利用期望 亂度計算時,所需要耗費的大量時間,利用找出單點最大可能發生的機率值,將 其餘資訊視為均勻分配,也就是亂度值為最複雜的情況下,以此降低運算的複雜 度。