電腦化適性診斷測驗

在電腦科技快速的的發展下，電腦化測驗在國內外都越來越普及，在國內如 航海人員考試，在民國93 年就開始採用電腦化測驗，此外，國內其他辦理測驗 較有規模的如：金融研訓院、語言測驗中心等單位，也都有電腦化測驗。而在國 外，像TOFEL（Test of English as a Foreign Language）、GRE（Graduate Record Examinations）、GMAT（Graduate Management Admission Test）等考試，也已經 進行電腦化測驗多年。因為電腦可以儲存大量測驗訊息、紀錄測驗分數以及分析 施測的結果，用於診斷測驗將可幫助教師快速瞭解學生的學習狀況，提供給教師 做為補救教學的參考。

電腦化測驗依據適性化的有無可分為單純的電腦化測驗與適性的電腦化測 驗，郭伯臣（2004）說明單純的將測驗電腦化，具有以下的優點：1.題庫易於編 修與管理。2.施測介面富含聲光效果，與真實情境較接近。3.施測完畢可以及時 閱卷，立即將施測的結果提供給老師及學生參考；而電腦化適性測驗方面，除了 電腦化測驗所具有的優點外，還能依據每位學生的作答狀態，給予不同的試題題 數與出題順序，達到節省施測試題、時間的效果，並符合「因才施測」的原則。

電腦化適性測驗（computerized adaptive testing, CAT）可分為二大類：一類 是以試題反應理論（item response theory, IRT）為基礎的電腦化適性測驗，另一 類是以知識結構或試題結構為基礎的電腦化適性測驗（郭伯臣，2004）。電腦化 適性測驗均會依照受試者的程度選擇適合的試題給受試者測驗，而電腦化適性測 驗的編製過程，包含試題編製、預試與上傳至系統等，根據測驗範圍，我們先將 題庫建置完畢，經過試題預試後，分析出每一個試題的難度與鑑別度等參數，並 上傳至題庫系統，作為適性出題的選題依據，而當學生進行測驗時，電腦就會根 據上一題學生的作答反應來決定下一個試題的給予，達到適性出題的效果，更可 以準確的估計受試者的能力。

但試題反應理論的電腦化適性測驗的施測結果為一能力值或量尺分數，而受

試者的能力值和錯誤類型並沒有絕對的關係，所以我們不能說得到某個分數的受 試者就有某一個錯誤類型（郭伯臣，2004）。所以IRT本身並不適用在診斷測驗，

較適合運用在成就測驗上，因為若用在學習診斷上，將無法判別受試者的錯誤概 念。故本研究的測驗系統主要是以知識結構及貝氏網路為基礎所建構的電腦化適 性診斷測驗，以下將針對相關的測驗理論與電腦化適性診斷測驗做一探討，內容 包括：以知識結構為基礎的電腦化適性測驗、以知識結構結合貝氏網路為基礎的 電腦化適性診斷測驗等。

一、以知識結構為基礎的電腦化適性診斷測驗

Ausubel（1968）認為知識結構是具有階層性的組織。故在一個知識結構中 有著各種概念，在本研究中，這些概念即是本單元的子技能，將全部的子技能做 一階層性的排列即為本單元之知識結構。本研究的的知識結構分為專家的知識結 構與學生的知識結構，專家的知識結構是以專家的專業能力及教學經驗為判斷標 準，對知識節點進行結構性的組織，而學生的知識結構是學生本身對於知識節點 的內在組織，通常可用學生的試題反應結構來表示。

在知識結構這一個階層性的組織中，最上位的概念是該單元中最後學會的最 高階概念，通常是該單元中最難的概念，而最下位概念則是該單元中最先具備的 基礎概念，通常是該單元中最簡單的概念（郭伯臣，2005）。如圖 2-3-1 所示，

每一方框都是一個子技能，而有箭號連接即表示有階層關係，在一個箭號所連接 的兩個概念中，箭頭所連接的概念為上位概念，箭尾為所連接的概念為下位概 念，如概念A 為概念 B、C、D 的上位概念，反之概念 B、C、D 為概念 A 的下 位概念，或稱為先備知識，上位概念所包含的領域和範圍比下位概念更大、更廣，

因此，學生要學會上位概念，必須先具備了所有的下位概念；但具備了所有的下 位概念，並不保證一定可以學會上位概念，僅表示具備了學習上位概念的基本能 力，而當學童學會了上位概念，則我們則說他已經具備了下位概念的基本知能。

圖 2-3-1 知識結構階層圖

如圖2-3-1 所示，如果有十個題目要施測，以傳統的紙筆測驗來說，學生要 將全部的試題都做完才知道測驗的結果，但結合知識結構為基礎的電腦化適性診 斷測驗則不用如此，因為在知識結構中，若學童答對了上位概念，則我們會認為 他已經具備了下位概念的基本知能了，故其出題規則為若試題A 答對，則系統 將判斷試題B～J 也會答對，而若試題 A 答錯，則需進一步偵測下位試題 B、C、

D 及它們的下位試題 E、F、G、H、I、J；接著，如果發生試題 B 答對而試題 C、

D 答錯的情況，則系統會認定試題 B 的下位試題 E、F、G 已經純熟，不用再施 測了，只需要再測驗試題C、D 的下位試題 H、I、J，因此可節省 E、F、G 三題 試題，達到節省試題、縮短測驗時間的效果。

此外，以知識結構為基礎的電腦化適性診斷測驗是以知識結構作為適性選 題的依據，在各種使用學生試題結構之電腦化適性診斷測驗演算法中，較常用的 方法有Airasian & Bart 所研發之「順序理論」(Ordering Theory, OT)、試題關聯結 構分析法（IRS）與 Diagnosys，而根據郭伯臣（2003；2004）的研究結果發現以

「順序理論」(OT)的表現較佳；研究結果顯示，使用順序理論(OT)的適性測驗選 題策略在省題和預測精準度兩方面都有不錯的表現，所需訓練的樣本數較少，並 可節省較多的施測題數，優於試題關聯結構分析法（IRS）與 Diagnosys。

而OT 順序理論估計試題結構與適性測驗流程的主要理論架構如下（引自 郭伯臣，2004）：

E F G

B C

H I

D

J

A

令X =（X1 , X2 , . . . , Xn），表示一個包含n 個二元試題成績變數的向量，

而每一位受試者作完n 個試題後，都會得到一個 0 與 1 的向量 x =（x1 , x2 , . . . , xn），此外，試題 j 跟 k 的聯合邊界機率（the joint and marginal probabilities）

可由表2-3-1 表示。

表 2-3-1 試題 j 與試題 k 之聯合邊界機率(引自郭伯臣，2004) 試題 k

X

_k =1

X

_k= 0 合計

X

_j＝1

P(X

_j＝1, X_k＝1)

P(X

_j＝1, X_k＝0)

P(X

_j＝1)

X

_j＝0

P(X

_j＝0, X_k＝1)

P(X

_j＝0, X_k＝0)

P(X

_j＝0) 試

題

j 合計

P(X

_k＝1)

P(X

_k＝0) 1

如表2-3-1所示，在順序理論OT中，若ε*jk＝P（X_j＝0, Xk＝1）< ε，且0.02 ≤

ε

≤ 0.04（Airasian & Bart, 1973; Bart & Krus, 1973），表示試題j能夠向試題k連結，

X

_k是X_j的上位概念，即X_j是達成X_k的先備條件，而兩者間的關係可紀錄成X_j→X_k。 因此，本研究利用「試題順序結構分析法之多點計分整合模式」(郭伯臣，

1995）中所開發之試題結構分析程式分析學生的試題結構，以作為電腦化適性診 斷測驗選題策略的依據。

二、以知識結構結合貝氏網路為基礎的電腦化適性診斷測驗

以知識結構為基礎的電腦化適性診斷測驗已在前一部份討論過，其能根據學 生的作答反應適性出題，且能診斷出學生子技能的有無，但無法判斷出學生所犯 的錯誤類型，因此，需要連接試題、子技能與錯誤類型的貝氏網路作為診斷及推 論的工具。

貝氏網路（Bayesian networks）是一個由節點(node)與連線(link)所組成具有 方向性且非循環的有向圖(directed acyclic graph，簡稱 DAG)，如圖 2-3-2 就是一 個含有四個節點的貝氏網路，圖中每一個節點都表示一個事件（event），即所欲 研究的變項，在本研究中為等差數列單元的子技能、學生易犯的錯誤類型、及相 關的測驗試題，而節點之間的連線則表示事件間的影響關係，其影響程度的大小

則是由條件機率的方式來表示（施淑娟，2006）。所以貝氏網路（Bayesian networks）

便是運用這些連線關係與機率值來推論學生子技能與錯誤類型的有無。

圖 2-3-2 貝氏網路圖範例

貝氏網路在進行推論時，會使用到貝氏定理（Bayes theorem）的相關概念；

貝氏定理是1763 年由神學家兼數學家的 Thomas Bayes 所提出的，其主要的思

個原因可能造成的結果，目的在於指出變項間的條件依賴關係，即若學生有錯誤

表 2-3-2 運用貝氏網路在教育測驗及補救教學上之文獻（續）

表 2-3-2 運用貝氏網路在教育測驗及補救教學上之文獻（續） 精準度至少為91.52%及91.67%。

陳金葉

表 2-3-2 運用貝氏網路在教育測驗及補救教學上之文獻（續）

研究者

（年份） 研究主題 研究內容與結論

陳嘉慶

（2009）

以 貝 氏 網 路 為 基 礎 的 資 訊 融 入 數 學 教 學 對 不 同 學 習 風 格 學 生 教 學 成 效 之 探 究 ─ 以 分 數 的 乘 法 單元為例。

以貝氏網路理論為基礎來進行資訊融入單 元教學設計與評量研發。

結論：

電腦化適性診斷測驗，前測題目約可節省 全部試題的51.56％；而後測約節省全部試 題的55.37％。其預測作答的精準度，前測 達93.02％，而後測達95.32％。

陳慧君

（2009）

國 小 五 年 級 分 數 的 除 法 單 元 線 上 學 習 系 統 與 數 位 教 材 研 發

利用結合「知識結構」與「貝氏網路」之 電腦適性診斷測驗作為診斷工具，來探討 資訊融入教學與評量實作之成效。

結論：

1. 電腦適性測驗能有效節省52%以上之題 目，且能達到93%以上的預測精準度。

2. 實驗組的補救教學成績明顯優於控制 組。

在文檔中 結合知識結構與貝氏網路之資訊融入教學模式發展與探討－以國二等差數列為例 (頁 53-62)