第二章 文獻探討
第三節 電腦化診斷測驗
一、應用試題選項關係之電腦化適性測驗
Chang, Liu, & Chen (1998)曾以直流電路為例，設計一診斷迷思概念之測驗系 統，做為教師補救教學之參考。在題庫建立方面，該研究參考相關文獻，訂出9 個關於直流電路的迷思概念，再根據這9 個迷思概念，請專家們出了 20 個題目，
每一題目之選項被要求儘可能跟迷思概念有所關連。如圖2-1 所示，若學生 A 作 答第4 題時，選擇選項 4a 即可判斷學生可能擁有某一迷失概念且與第 6 題有關，
故必須再進行第6 題的測驗來繼續作答，此時學生 A 面對的選項為 6a、6b、6c，
且這三者分別代表不同的迷失概念M1、M2、M3，根據 A 作答的選項即可判斷 出A 的迷失概念為何。若學生 A 作答第 4 題時選擇的是 4b，則可對應到迷失概 念M4，唯有選擇到 4c 時才能確定學生 A 沒有 M1 至 M4 這四種迷失概念。此方 法優點為：
1. 根據受試者作答之選項來決定下一題試題，可達到適性化之效果。
2. 由受試者作答之選項來推論迷思概念，如果題目夠多，將可精確診斷出每一 位受試者之迷思概念，達到個別化之需求。
儘管優點是很明顯的，不過研究者也發現下面幾個缺點：
1. 出題時需考慮選項及迷失概念間關係，困難度高。
2. 每條適性測驗路徑皆須精心設計，以避免重複而無法精確診斷出相對應之迷 失概念。
3. 當試題具有可猜測性時，不易達完成精確診斷。
4. 無法節省快速得到測驗結果，節省測驗時間。
5. 僅能提供迷思概念的分析，沒有進一步提供即時的補救教學。
圖2-1. Chang et al., (1998）適性測驗流程 二、Diagnosys
Diagnosys（Appleby, Samuels, Treasure-Jones, 1997）是一套以知識結構為基 礎的電腦診斷測驗，用來診斷基礎的數學技能，期能提供學生一個立即的成績回 饋，同時也可快速地提供給教師學生的知識結構，用以選擇、分組和識別概念不 清的學生以及學生群體中普遍的錯誤概念。此系統最初是為了工程學大學入學學 生而發展，但是也可以廣泛的用於其他學生群以及其它教育制度。
系統發展者先分析系統需求，歸納如下：
（一） 測驗應該在一個小時之內準確的評鑑出一個學生的數學知識。
（二） 應該立即根據學生答題表現給予回饋，主要以學生不熟悉的概念 為主。
（三） 應該快速地提供教師個別學生和學生群體的摘要資料，主要用以 分辨概念不清的學生以及學生群體普遍的弱點。
（四） 應該要適用於大學入學學生。
迷思概念 M1
第4 題
選項 4a 選項 4b 選項 4c
第6 題 迷思概念 M4 正確選項
選項 6a 選項 6b 選項 6c
迷思概念 M2 (正確選項)
迷思概念 M3
另外，在系統架構確認之前，也做了以下幾項基礎設計的決定。
（一） 決定使用概念方式來確認不同領域的知識。
（二） 概念被依序組織成階層狀，專家系統就能以之前回答的答案推 論出學生的知識結構，然後選擇下一個最合適的題目，這樣的 設計能針對不同能力的群組減少所需施測的試題數。
（三） 決定使用一個數學工具介面，以及各種不同型態的試題，其目 的是為了鼓勵學生思考問題然後產生答案，而不是用猜的。
（四） 指定概念的階層提供一個簡易的學生側面圖，用以挑出初始的題 目。
（五） 學生的反應資料(response data)將會保留用來改進系統和教育發 展。
根據以上系統的需求和基礎設計的決定，該系統包含下列幾個主要的部份：
（一） 概念網路：指明概念、指定概念的level、定義概念之間的連結。
（二） 問題設計：設計題目、定義題目的表達方式、選擇答題的型態。
（三） 測驗介面：整個測驗管理系統的發展，包括介面的設計、答案的 評估、提供學生的回饋。
（四） 專家系統：產生最初的學生概況側面圖，從學生的答案做出推 論，選擇下一個題目。
（五） 數學工具介面：數學答案的語法分析以及各種不同評估準則的 應用。
（六） 工具程式：產生各別技能的學生成績和群組成績的回饋給教師。
（七） 補充材料：根據測驗的施測問題及概念的內容給予施測結果的報 告。
概念，將概念分類，每一類別之概念代表不同層級(level)，每一題目只測驗單一 概念，每一概念都要有充分數量的試題來測驗。為了鼓勵學生思考問題並解出答 案，減少猜題機會，題目的表達方式十分多元化，如應用題或選擇題皆有，答題 的型態亦有多種選擇，如文字或圖形。
為了節省試題，需應用知識結構的技巧。因此，該系統設計時同時採用了專 家知識結構和學生知識結構分析法，如此可以分兩階段節省試題。為了瞭解學生 的知識結構，因此透過專家知識結構編製的紙筆測驗進行預試，然後分析測驗結 果。
假設兩題試題 A 與 B 間的次數分配如表 2-2 所示，其中 fAB表示答對試題 A 且答對試題 B 的人數；
f
AB表示答錯試題 A 且答對試題 B 的人數；f
AB表示答對 試題 A 且答錯試題 B 的人數；f
AB表示答錯試題 A 且答錯試題 B 的人數。表2-2 試題 A、B 次數分配表 試題 B 對 試題 B 錯 試題 A 對 fAB fAB
試題 A 錯 fAB fAB
如果fAB >> fAB，亦即 A 答錯 B 卻答對的人數很少，遠少於 A 答對 B 答錯的人
數，則視試題 A 為試題 B 之下位試題（或概念），此種情形於本研究中標示成
A
→B。此連結方向有下列二個重要性：
（一） 如果受試者答對 B，我們可以推論他巳經具備了 A 的概念。
（二） 如果受試者答錯 A，我們可以推論他並不具備 B 的概念。
而如果
f
AB +f
AB >>f
AB +f
AB，則試題 A 與試題 B，兩者可視為等價，此種情 形於本研究中標示成 A↔B，此連結方向代表如果答對其中一個試題（或概念）
，則我們可以推論他也具備了另一概念的知識。
Diagnosys 藉由將試題（概念）結構引入電腦測驗中來達到適性的效果，並 縮短施測時間，但此一建立結構之方法並非操作型定義，且文中並未提及此方法 之具體成效或數據。
Diagnosys 這套系統在設計上的優點為：利用階層性編製試題可以分二階段 節省試題，第一階段是利用專家結構，第二階段是利用學生結構來節省試題。然 而其缺點如下：
（一） 只提供知識結構，並不提供對教學有用的分群訊息及補救教學。
（二） Diagnosys 用來決定學生的知識結構的理論並不完善，例如，決定試 題順序的臨界值的選取是根據經驗法則而來的。並且對於概念間的 遞移性和等價性的定義並不理想。
（三） 作答反應與知識結構的對應是決定性的，學生答對即代表具有某概 念，答錯則不具備某概念，無法反應部份學生在作答時的不確定性 及猜測性。
三、試題順序分析方法
為改進Diagnosys 的缺點，在「國小數學科電腦化適性診斷測驗(I)(II)」（郭 伯臣，2003、2004）中，研究者嘗試以試題順序結構理論和試題關連結構分析法 來分析學生知識結構。茲分述如下：
（一） 試題順序結構理論
Airasian & Bart (1973)的「順序理論」(ordering theory;簡稱 OT)是常用來定義 試題間結構的方法之一，茲將此理論敘述於下：
令
X
=(X
1,X
2,L,X
n)表示一個隨機向量包含 n 個二元試題成績隨機變數，每的聯合與邊際機率可以如表2-3 表示。
Takeya(1991)發現經由 OT 所得之受試者試題結構與試題間之相關係數有些 情況會產生矛盾，故提出試題關聯結構分析法（item relational structure analysis;
簡稱IRS），希望透過另一種測量試題順序結構之係數rjk*來定義試題 j 到試題 k 之
這樣表示試題 j 與試題 k 兩者是等價的。
四、應用試題順序結構之電腦化適性診斷測驗
郭伯臣（2003，2004）在「國小數學科電腦化適性診斷測驗(I)(II)」中分別 使用專家知識結構與學生知識結構來建立電腦化適性診斷測驗，以節省施測的題 數並預估學生的側面圖，用來診斷國小學童的數學能力，期能提供學童一個適性 測驗、立即的成績回饋與補救教學的建議，用以協助學童學會正確且完整的數學 概念。以下分別就其研究中之電腦化適性測驗之知識結構、電腦化適性診斷測驗 系統加以說明：
（一） 電腦化適性測驗之知識結構
該研究根據專家知識結構與學生知識結構中各相關概念間之上下位關係，以 減少測驗的施測題數。假設有一專家（教材）知識結構如圖2-2 所示，在紙筆診 斷測驗中需施測圖中概念A-I 所有試題，以瞭解受試者學習之成果，但在該研究 之電腦化適性診斷測驗中，如受試者答錯概念A 的試題，則需進一步測量概念 B、
C 及其下位概念，以瞭解學生之迷思概念為何，如概念 B 對概念 C 錯，則假設受 試者也能答對D、E，接下來僅需再施測概念 F、G、H、I 之試題，因此可節省 概念D、E 之試題。
A
B C
D E F G H I
圖2-2 專家知識結構
（二） 電腦化適性診斷測驗系統
此電腦化適性診斷測驗系統包含四個子系統：1.多媒體題庫系統、2.適性測 驗系統、3.補救教學分類系統、4.輔助學習模組。系統主要架構如圖 2-3 所示，系 統開發目的為透過此系統能將學生課堂後的評量與補救學習數位化、網路化，藉 此達到「因材施測」、「因材施教」及「遠距評量」的效果。
此系統之施測流程為：受試學生可由網路遠端登入系統，適性測驗系統透過 多媒體題庫系統索取試題，呈現試題後由受試學生選擇答案，再根據學生作答之 答案，適性選擇下一道呈現的題目，藉此答到適性測驗及節省試題的功能。學生 完成適性測驗之後，得到學生學習剖面圖，透過補救教學分類系統加以分群，再 以輔助學習模組進行電腦化補救教學。
圖 2-3. 電腦化適性診斷測驗系統實施流程
2. 適性測驗系統
學生學習剖面圖
3. 補救教學分類系統
類別(1) 類別(2) 類別(n)
4.輔助學習模組(1)
受試學生
1.多媒體題庫 系統
4.輔助學習模組(2) 4.輔助學習模組(n)
上述的電腦化適性診斷系統除了具有 Diagnosys 的優點之外，在分析學生知 識結構的方法具有較完善的數學理論基礎，並且提供測驗後的個別化補救教學。
分析以上專家知識結構、Diagnosys、OT、IRS 試題結構，得到下列三個結論：
分析以上專家知識結構、Diagnosys、OT、IRS 試題結構，得到下列三個結論：