知識或試題結構為基礎之電腦化適性診斷測驗

一、Diagnosys

Diagnosys（Appleby, Samuels &Treasure-Jones, 1997）是一套以知識結構為基 礎的電腦化診斷測驗，可以用來診斷基礎的數學技能，期能提供學生一個立即的 成績回饋，同時也可快速地提供給予教師專屬於學生的知識結構，用以分辨群體 中「處於危險（at risk）」中的學生以及群體中普遍的弱點。最初是為了工程學大 學入學學生而發展，但是也可以廣泛的用於其他學生群以及其它教育制度。

分析此診斷測驗系統的需求，歸納如下：

1. 應該在一個小時之內準確的評鑑出一個學生的數學知識結構。

2. 應該立即根據學生答題表現給予回饋，主要以學生不熟悉的概念為主。

3. 應該快速地提供教師個別學生和學生群體的摘要資料，主要用以分辨「處於危 險」中的學生以及學生群體普遍的弱點。

4. 應該要適用於大學入學學生。

另外，在系統架構確認之前，也做了以下幾項基礎設計的決定。

1. 決定使用以概念的方式來確認不同領域的知識。

2. 概念被依序組織成階層狀，專家系統就能以之前回答的答案推論出學生 的知識結構，然後選擇下一個最合適的題目，這樣的設計能針對不同能力的群 組減少所需要施測的試題數。

3. 決定使用一個數學工具介面以及各種不同型態的試題，其目的是為了鼓 勵學生思考問題然後產生答案，而不是用猜測作答的方式。

4. 指定概念的階層來提供一個簡易的學生側面圖，用以挑出初始的題目。

5. 學生的反應資料（response data）將會用來改進系統和教育發展。

根據以上診斷測驗的需求和系統架構基礎設計的決定，該系統包含下列幾個 主要的部份：

1. 概念網路：指明概念、指定概念的 level、定義概念之間的連結。

2. 問題設計：設計題目、定義題目的表達方式、選擇答題的型態。

3. 測驗介面：整個測驗管理系統發展，包括介面的設計、答案的評估，提 供學生回饋。

4. 專家系統：產生最初的學生概念側面圖，從學生的答案做出推論，選擇 下一個題目。

5. 數學工具介面：數學答案的語法分析以及各種不同評估準則的應用。

6. 工具程式：產生各個技能的個別學生成績和群組成績的回饋給教師。

7. 補充材料：根據測驗的施測問題及概念的內容給予施測結果的報告。

為了節省試題，需應用知識結構的特性。因此，該系統設計時同時採用了專 家知識結構和學生的知識結構分析，如此一來便可以分成兩階段來節省試題。因 此採用紙筆測驗進行前測，然後分析測驗結果，瞭解學生的知識結構。

Diagnosys 在設計上有其優點：利用階層的性質來編製試題可以分二階段節 省試題，第一階段是利用專家知識結構，第二階段是利用學生試題結構來節省試 題。其缺點是：

1. 只提供知識結構，並不提供對教學有用的分群訊息。

2. Diagnosys 用來決定學生的知識結構的理論並不完善。

例如：決定試題順序的臨界值的選取是根據經驗法則而來的，而且遞移性與等 價性的定義並不理想。

3. 作答反應與知識結構的對應是決定性的，學生答對即代表具有某概念，答錯則 不具備某概念，無法真實反應學生作答行為的不確定性。

二、應用試題選項關係之電腦化適性測驗

Chang, Liu, & Chen（1998）曾以直流電路為例，設計一個診斷迷思概念之測 驗系統，做為教師補救教學流程之參考。在題庫建立方面，該研究參考相關文獻，

訂出 9 個關於直流電路的迷思概念，再根據這 9 個迷思概念，請專家們出了 20 個題目，每一題目之選項皆被要求盡可能與迷思概念有所關連。該研究的重點在 於假設有一份試卷，試卷中每一題的選項除正確選項外，其餘選項皆被設計成與 某一種迷思概念有關，如圖1 所示。因此，今天若學生 A 作答第 4 題時，若學生 選擇 4a 選項，即可判斷學生可能擁有某一迷思概念且與第 6 題有關，故必須再 進行第6 題的測驗來繼續作答。此時若學生面對的選項為 6a、6b、6c，這三個選 項分別對應著不同的迷思概念 M1、M2、M3，因此即可藉由學生所選擇的選項 來判斷學生所擁有的迷思概念為何。若學生選擇的是 4b 選項，則可對應到迷失 概念M4，唯有選擇 4c 選項時才能確定學生沒有 M1 至 M4 這四個迷思概念。

此方法優點為：可以根據受試者作答之選項來決定下一題試題，可達到適性 化之效果。由受試者作答之選項來推論迷思概念，如果題目夠多，將可精確診斷 出每一位受試者之迷思概念，達到個別化之需求。

儘管優點是很明顯的，不過我們也發現幾個問題，例如：

1. 每條測驗路徑皆須精心設計以避免重複以精確診斷出相對應之迷思概 念。

2. 出題時需考慮每一個選項和迷思概念間關係，困難度相當高。且當試題可猜測 時，不易完成精確診斷。

圖 1 Chang et al. (1998）適性測驗流程

三、應用試題順序結構之電腦化適性測驗

為了改進 Diagnosys 不足之處，本研究團隊於「國小數學科電腦化適性診斷 測驗(I)(II)(III)」中開發嘗試將順序理論和試題關連結構分析法與試題反應理論結 合來分析學生試題結構。並分別使用專家知識結構與學生試題結構來建立電腦化 適性診斷測驗，節省施測的題數並預估學生的側面圖。而後再將學生診斷測驗結 果以樣式辨識（pattern recognition）的技術來獲得學生的分類。

此電腦化適性測驗系統包含四個子系統：

1. 多媒體題庫系統；

2. 適性測驗系統；

3. 補救教學分類系統；

4. 輔助學習模組；

系統主要架構如圖2 所示，希望能透過此系統將學生課堂後的評量與補救學 習數位化及網路化，藉此達到「因才施測」及「因材施教」的目的。

第4 題

選項4a 選項4b 選項4c

正確選項 迷思概念

第4 題 M4

選項6a 選項6b 選項6c

迷思概念 M3 迷思概念

M2 迷思概念

M1

圖 2 電腦化適性診斷測驗及補救教學系統進行流程

上述架構除了具有Diagnosys 的優點之外，其主要優勢在於分析學生知識結 構的方法具有較完善的數學理論基礎，並且提供一個有利於補救教學的分群。

為了瞭解此一系統之實際效能，郭伯臣（2004）以康軒版「擴分、約分」單 元為例，對進行補救教學的學生進行前測與後測，前測的平均分數為 68.70 分，

後測的平均分數為 82.76 分，可以很明顯地看出經過電腦化適性補救教學後，學 生的平均分數有很大的進步。且前測與後測的成績有顯著性差異，後測成績明顯 優於前測成績。

表1 為前測與後測中，各錯誤類型的分佈人數，由表 1 可看出需重新學習所 有概念的學生人數由前測的27 人減少為後測的 15 人，精熟所有概念的學生人數 由前測的1 人增加成後測的 7 人。

整體來說，可以看出學生經過補救教學後，在錯誤類型組別的分布上有往上 位概念移動的趨勢，也就是說，經過電腦化適性補救教學後，學生的成績有明顯 地進步。

2.適性測驗系統

學生學習剖面圖

3.補救教學分類系統

類別1 類別2 類別n

4.輔助學習模組 1

學生

1.多媒體題 庫系統

4.輔助學習模組 2 4.輔助學習模組 n

表1 進行補救教學前、後，錯誤類型分組人數統計表 錯誤

類型 前 測

後

測 描述

0 1 7 精熟本單元所有概念

1 0 0 需重新學習「兩異分母比較大小」

2 0 0 需重新學習「兩異分母比較大小」、「通分」

3 3 4 需重新學習「最簡分數」

4 11 31 需重新學習「最簡分數」、「兩異分母比較大小」

5 7 5 需重新學習「最簡分數」、「兩異分母比較大小」、「通分」

6 0 1 需重新學習「最簡分數」、「約分」

7 7 10 需重新學習「最簡分數」、「約分」、「兩異分母比較大小」

8 6 2 需重新學習「最簡分數」、「約分」、「兩異分母比較大小」、

「通分」

9 7 6 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、

「兩異分母比較」、「通分」

10 7 11 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、

「兩異分母比較」、「兩同分母比較」、「通分」

11 22 20 需重新學習「最簡分數」、「約分」、「兩異分母比較」、「通 分」、「兩同分母比較」、「公倍數」、「擴分」

12 6 9 需重新學習「最簡分數」、「約分」、「兩異分母比較」、

「兩同分母比較」、「公倍數」、「擴分」

13 18 1 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、

「兩異分母比較」、「兩同分母比較」、「公倍數」、「擴分」

14 27 15 所有概念都需重新學習 15 0 0 粗心大意

另外，由表2 可發現，受試者雖然是得到一樣的分數，但是，由於答錯的題 目不同，就會分到不同的錯誤類型組別，也就是會得到不同的補救教學路徑，這 是傳統紙筆測驗或是以總分為主之電腦測驗所不可能達到的效果，也是該系統的 一大優勢。

表2 同分不同錯誤類型舉例

測驗代號 作答紀錄 總分 錯誤類型

s00023 1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,0,1,1,1 92 10 s00031 1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,0,1,1,1,0,1,1,0,1,1,1 92 5 w00015 1,1,1,1,0,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,1,1,1,0,1,1,1 92 4 t00009 1,1,1,1,1,1,1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,0,1,1,1,1,1 92 7 t20006 1,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,1,1,1,0,1,0,1,1,1 92 9 w00017 0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,0,1,0,1,1,1 88 4 t00001 1,0,1,1,0,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1 88 7 t00006 0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 9 t00011 1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 10 s20011 1,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,1,0,1,1,0 88 12 w20022 1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,0 88 11 t20018 1,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 88 5 w00032 1,1,1,1,0,1,0,1,1,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,0 84 4 t00018 0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 84 5 t00025 0,0,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1,1,1,1,1,0,1,1,0 84 7 s20017 0,1,1,1,0,1,1,1,1,1,1,0,1,1,0,1,1,1,0,1,1,1,1,0,1,1,1 84 6 w20020 1,1,1,1,1,1,1,1,1,0,0,1,1,1,1,1,1,1,1,0,1,0,1,0,1,1,0 84 10 該系統之優點可歸納於下：

1. 評量、診斷與補救教學皆為適性化、個別化，可達到「因材施教」以及「因才 施測」的目的。

2. 可以節省教師大量時間，可於一節課內完成評量、診斷與補救教學。

3. 可診斷同分但不同錯誤類型之學生。

4. 測驗網路化，可利用「回家作業」或是「考試」等方式進行。