第二章 文獻探討
第三節 以知識或試題結構為基礎之電腦診斷測驗
想要發展一套以能力指標結構為基礎的電腦適性測驗及動畫補救教學，必須 先了解以知識或試題結構為基礎的電腦診斷測驗，才能有效掌握其要項，故本節 將探討 Diagnosys、應用試題順序結構之電腦化適性測驗。
壹、Diagnosys
Diagnosys（Appleby, Samuels,＆ Treasure-Jones, 1997）是一套以知識 結構為基礎的電腦診斷測驗，用來診斷基礎的數學技能，期能提供學生一個立即 的成績回饋，同時也可快速地提供給教師學生的知識結構，用以選擇、分組和識 別概念不清的學生，以及學生群體中普遍的錯誤概念。此系統最初是為了大學工 科學生入學而發展，但是也可以廣泛的用於其他學生群，以及其它教育制度。
系統發展者先分析系統需求，歸納如下：
一、測驗應該在一個小時之內準確的評鑑出一個學生的數學知識。
二、應該立即根據學生答題表現給予回饋，主要以學生不熟悉的概念為主。
三、應該快速地提供教師個別學生和學生群體的摘要資料，主要用以分辨概念不 清的學生，以及學生群體普遍的弱點。
四、應該要適用於大學入學學生。
另外，在系統架構確認之前，也做了以下幾項基礎設計的決定。
一、決定使用概念方式來確認不同領域的知識。
二、概念被依序組織成階層狀，專家系統就能以之前回答的答案推論出學生的知 識結構，然後選擇下一個最合適的題目，這樣的設計能針對不同能力的群組 減少所需施測的試題數。
三、決定使用一個數學工具介面，以及各種不同型態的試題，其目的是為了鼓勵 學生思考問題然後產生答案，而不是用猜的。
四、指定概念的階層提供一個簡易的學生側面圖，用以挑出初始的題目。
五、學生的反應資料將會保留用來改進系統和教育發展。
根據以上的需求和基礎設計的決定，該系統包含下列幾個主要的部份：
一、概念網路：指明概念、指定概念的階層、定義概念之間的連結。
二、問題設計：設計題目、定義題目的表達方式、選擇答題的型態。
三、測驗介面：整個測驗管理系統的發展，包括介面的設計、答案的評估，提供 學生回饋。
四、專家系統：產生最初的學生概況側面圖，從學生的答案做出推論，選擇下一 個題目。
五、數學工具介面：數學答案的語法分析，以及各種不同評估準則的應用。
六、工具程式：產生各別技能的學生成績和群組成績的回饋給教師。
七、補充材料：根據測驗的施測問題及概念的內容給予施測結果的報告。
Diagnosys 系統使用概念方式來確認不同領域的知識。首先分析測驗之概 念，將概念分類，每一類別之概念代表不同階層，每一題目只測驗單一概念，每 一概念都要有充分數量的試題來測驗。為了鼓勵學生思考問題並解出答案，減少 猜題機會，題目的表達方式十分多元化，如應用題或選擇題皆有，答題的型態亦 有多種選擇，如文字或圖形。
為了節省試題，需應用知識結構的技巧。因此，該系統設計時同時採用了專 家知識結構和學生的知識結構分析法，如此可以分兩階段節省試題。學生結構的 擷取乃透過專家知識結構編製的紙筆測驗進行預測，並根據下列的方式建構出來 的。
假設兩題試題A與B間的次數分配如表 2-5 所示，其中 fAB表示答對試題A 且答對試題B的人數；fAB表示答錯試題A且答對試題B的人數；fAB表示答對試 題A且答錯試題B的人數； fAB表示答錯試題A且答錯試題B的人數。
如果fAB >> fAB，則視試題A為試題B之下位試題（或概念），即如果正確作答 試題B，則必能正確作答試題A，反之則不一定成立。此種情形於本研究中標示 成 A→B，如果fAB + fAB >> fAB + fAB，則試題A與試題B，兩者可視為等價，於 本研究中標示成A↔B，Diagnosys 藉由將試題（概念）結構引入電腦測驗中來達 到適性的效果，並縮短施測時間，但此一建立結構之方法並非操作型定義，且文 中並未提及此方法之具體成效或數據。
表 2-5 試題A、B次數分配表 試題 B對 試題B錯 試題 A對 fAB fAB 試題 A錯 fAB fAB
Diagnosys 在設計上有其優點：利用階層性編製試題可以分二階段節省試 題，第一階段是利用專家結構，第二階段是利用學生結構來節省試題。其缺點是：
一、只提供知識結構，並不提供對教學有用的分群訊息。
二、Diagnosys 用來決定學生知識結構的理論並不完善，例如：決定試題順序的 臨界值的選取是根據經驗法則而來的，而且對於遞移性和等價性的定義並不 理想。
三、作答反應與知識結構的對應是決定性的，學生答對即代表具有某概念，答錯 則不具備某概念，無法真實反應學生作答行為的不確定性。
貳、應用試題順序結構之電腦化適性測驗
為改進 Diagnosys 不足之處，「國小數學科電腦化適性診斷測驗（I）（II）」
（郭伯臣，2003、2004）中開發嘗試將順序理論和試題關聯結構分析法與試題反
應理論結合來分析學生知識結構，並分別使用專家知識結構與學生知識結構來建 立電腦化適性診斷測驗，以節省施測的題數並預估學生的側面圖，用來診斷國小 學童的數學能力，期能提供學童一個適性測驗、立即的成績回饋與補救教學的建 議，用以協助學童學會正確且完整的數學概念。茲分述如下：
一、試題順序結構理論與試題關聯結構分析法
Airasian & Bart (1973）的「順序理論」(ordering theory, OT）及 Takaya (1991) 的「試題關聯結構法」(item relationship structure analysis, IRS) 是常用來定義試題間結構的方法。茲將此二理論敘述於下：
令X表示一個包含n個二元試題成績隨機變數的隨機向量，每一位受試者作 答n題後，得到一個 0 與 1 的隨機向量X可表示成(X1,X2,L,Xn)，試題j跟k的 聯合與邊際機率可以如表 2-6 所示。
表 2-6 試題j 與試題k 之聯合與邊際機率 試題 k
=1
Xk Xk =0 Total
j 1
X = P X( j=1,Xk=1) P X( j=1,Xk=0) P X( j=1)
j 0
X = P X( j=0,Xk=1) P X( j=0,Xk =0) P X( j=0)
試題 j
Total P X( k=1) P X( k =0) 1
在順序理論 OT 中，令ε*jk=P(Xj =0,Xk=1)表違反試題j為試題k之下位試題之 機率，當ε*jk<ε時，其中ε為一閾值（threshold)，常設定介於 0.02 及 0.04 間
（0.02≤ε ≤0.04），則設定試題j為試題k之下位試題，記錄成Xj →Xk。
Takeya(1991）發現經由 OT 所得之受試者試題結構與試題間之相關係數有些
三、電腦化適性診斷測驗系統
此電腦化適性診斷測驗系統包含四個子系統：1.多媒體題庫系統、2.適性測 驗系統、3.補救教學分類系統、4.輔助學習模組，系統主要架構如圖 2-2 所示，
希望透過此系統能將學生課堂後的評量與補救學習數位化及網路化，藉此達到
「因材施測」及「因材施教」。
圖 2-2 電腦化適性診斷測驗及適性補救教學系統進行流程
此系統，適性測驗的部分，是由第一個子系統提供資訊，根據學生的作答給 予下一題來進行電腦測驗。
上述系統除了具有 Diagnosys 的優點之外，其主要優勢在於分析學生知識結 構的方法具有較完善的數學理論基礎，並且提供有利於補較教學的分群。
綜而言之，早期這些方法主要是以紙筆測驗的結果來進行試題結構之估計，
強調可提供除了試題通過率與鑑別度外的訊息，常用於比較使用不同教學法或教 2. 適性測驗系統
學生學習剖面圖
3. 補救教學分類系統
概念 1 概念 2 概念 n
4.輔助學習模組 1
學生
1.多媒體題庫 系統
4.輔助學習模組 2 4.輔助學習模組 n
………
……
材版本，是否造成學生知識結構不同，於先前的研究中已有開發相關測驗分析軟 體及以此種試題順序結構為基礎之網路適性評量（郭伯臣，2003，2004；郭伯臣、
何政翰，2004；Kuo, Liu, Sheu, Pai, Ko, Yang & Lin, 2004），而前述的研究 中使用四種方法來建立結構，並評估所建立結構之成效，四種方法分別為：專家 知識結構、Diagnosys、OT 和 IRS 試題結構，得到下列三個結論：
（一）使用專家結構之電腦適性測驗演算法預測精確度較難控制，使用學生試題 結構之電腦適性測驗演算法，由於可藉由閾值控制結構，因此可獲得較令 人滿意的預測精準度。
（二）Diagnosys 演算法需要更多樣本來達到令人滿意的預測精確度，適性測驗 速度也比較慢。
（三）OT 的演算法與其他演算法比起來，其對樣本大小較不敏感，因此就以試題 順序結構為基礎的適性測驗來說，OT 似乎是一個較好的選擇。
因此，利用知識結構分析數學教材將能以更組織化、階層性的方式將概念的 意義呈現出來。因此，若能建立數學能力指標的知識結構，將使得教師在準備課 程時，能順利的掌握課程內容的邏輯性、完整性，在教導學生時能減少遺漏能力 指標數學概念的疏失，進而也能加快探索學生錯誤概念的速度，迅速提供學生適 宜的補救教學內容。