第二章 文獻探討
第三節 以知識或試題結構為基礎之電腦診斷測驗
一、應用試題選項關係之電腦化適性測驗
Chang, Liu, & Chen (1998)曾以直流電路為例，設計一診斷迷思概念之測驗系 統，做為教師補救教學之參考。在題庫建立方面，該研究參考相關文獻，訂出9 個關於直流電路的迷思概念 ，再根據這 9 個迷思概念，請專家們出了 20 個題目，
每一題目之選項被要求儘可能跟迷思概念有所關連。該研究的重點在於假設有一 份試卷，每題的選項除正確選項之外，其餘選項皆被設計成與某一種迷失概念有 關，如圖2-2 所示。因此，今天若學生 A 作答第 4 題時，選擇 4a 即可判斷學生 可能擁有某一迷失概念且與第6 題有關，故必須再進行第 6 題的測驗來繼續作 答。此時若學生面對的選項為6a、6b、6c，且這三者分別代表不同的迷失概念 M1、M2、M3，因此即可判斷出學生所擁有的迷失概念為何。若學生選擇的是 4b，則可對應到迷失概念 M4，唯有選擇到 c 時才能確定學生沒有 M1 至 M4 這四 種迷失概念。此方法優點為：
1. 根據受試者作答之選項來決定下一題試題，可達到適性化之效果。
2. 由受試者作答之選項來推論迷思概念，如果題目夠多，將可精確診斷出 每一位受試者之迷思概念，達到個別化之需求。
儘管優點是很明顯的，不過我們也發現幾個問題，例如：
1. 每條適性測驗路徑皆須精心設計以避免重複，而無法精確診斷出相對應 之迷失概念。
2. 出題時需考慮選項及迷失概念間關係，困難度高。
3. 當試題具有可猜測性時，不易達完成精確診斷。
迷思概念 M1
第4 題
選項 4a 選項 4b 選項 4c
第6 題 迷思概念 M4 正確選項
選項 6a 選項 6b 選項 6c
迷思概念 M2 (正確選項)
迷思概念 M3
圖2-2. Chang et al., (1998）適性測驗流程
二、Diagnosys
Diagnosys（Appleby, Samuels, Treasure-Jones, 1997）是一套以知識結構為基 礎的電腦診斷測驗，用來診斷基礎的數學技能，期能提供學生一個立即的成績回 饋，同時也可快速地提供給教師學生的知識結構，用以選擇、分組和識別概念不 清的學生以及學生群體中普遍的錯誤概念。此系統最初是為了大學工科學生入學 而發展，但是也可以廣泛的用於其他學生群以及其它教育制度。
系統發展者先分析系統需求，歸納如下：
1. 測驗應該在一個小時之內準確的評鑑出一個學生的數學知識。
2. 應該立即根據學生答題表現給予回饋，主要以學生不熟悉的概念為主。
3. 應該快速地提供教師個別學生和學生群體的摘要資料，主要用以分辨概 念不清的學生以及學生群體普遍的弱點。
4. 應該要適用於大學入學學生。
另外，在系統架構確認之前，也做了以下幾項基礎設計的決定。
1. 決定使用概念方式來確認不同領域的知識。
2. 概念被依序組織成階層狀，專家系統就能以之前回答的答案推論出學生 的知識結構，然後選擇下一個最合適的題目，這樣的設計能針對不同能 力的群組減少所需施測的試題數。
3. 決定使用一個數學工具介面，以及各種不同型態的試題，其目的是為了 鼓勵學生思考問題然後產生答案，而不是用猜的。
4. 指定概念的階層提供一個簡易的學生側面圖，用以挑出初始的題目。
5. 學生的反應資料(response data)將會保留用來改進系統和教育發展。
根據以上的需求和基礎設計的決定，該系統包含下列幾個主要的部份：
1. 概念網路：指明概念、指定概念的 level、定義概念之間的連結。
2. 問題設計：設計題目、定義題目的表達方式、選擇答題的型態。
3. 測驗介面：整個測驗管理系統的發展，包括介面的設計、答案的評估，
提供學生回饋。
4. 專家系統：產生最初的學生概況側面圖，從學生的答案做出推論，選擇 下一個題目。
5. 數學工具介面：數學答案的語法分析以及各種不同評估準則的應用。
6. 工具程式：產生各別技能的學生成績和群組成績的回饋給教師。
7. 補充材料：根據測驗的施測問題及概念的內容給予施測結果的報告。
Diagnosys 系統使用概念方式來確認不同領域的知識。首先分析測驗之概念，
將概念分類，每一類別之概念代表不同層級(level)，每一題目只測驗單一概念，
每一概念都要有充分數量的試題來測驗。為了鼓勵學生思考問題並解出答案，減 少猜題機會，題目的表達方式十分多元化，如應用題或選擇題皆有，答題的型態
亦有多種選擇，如文字或圖形。
為了節省試題，需應用知識結構的技巧。因此，該系統設計時同時採用了專 家知識結構和學生的知識結構分析法，如此可以分兩階段節省試題。學生的結構 的擷取乃透過專家知識結構編製的紙筆測驗進行預測，並根據下列的方式所建構 出來的。
假設兩題試題 A 與 B 間的次數分配如表 2-4 所示，其中 表示答對試題 A 且答對試題 B 的人數；
fAB
B
fA 表示答錯試題 A 且答對試題 B 的人數； fAB表示答對 試題 A 且答錯試題 B 的人數； fAB表示答錯試題 A 且答錯試題 B 的人數。
如果fAB >> fAB，則視試題 A 為試題 B 之下位試題（或概念），即如果正確作答 試題 B，則必能正確作答試題 A，反之則不一定成立。此種情形於本研究中標示 成 A→B，如果 fAB + fAB >> fAB + fAB，則試題 A 與試題 B，兩者可視為等價，於 本研究中標示成 A B，Diagnosys 藉由將試題（概念）結構引入電腦測驗中來達 到適性的效果，並縮短施測時間，但此一建立結構之方法並非操作型定義，且文 中並未提及此方法之具體成效或數據。
↔
表2-4 試題 A、B 次數分配表 試題 B 對 試題 B 錯 試題 A 對 fAB fAB 試題 A 錯 fAB fAB
Diagnosys 在設計上有其優點：利用階層性編製試題可以分二階段節省試題，
第一階段是利用專家結構，第二階段是利用學生結構來節省試題。其缺點是：
2. Diagnosys 用來決定學生的知識結構的理論並不完善，例如，決定試 題順序的臨界值的選取是根據經驗法則而來的，而且對於遞移性和等 價性的定義並不理想。
3. 作答反應與知識結構的對應是決定性的，學生答對即代表具有某概 念，答錯則不具備某概念，無法真實反應學生作答行為的不確定性。
三、應用試題順序結構之電腦化適性測驗
為改進Diagnosys 不足之處，「國小數學科電腦化適性診斷測驗(I)(II)」（郭伯 臣，2003、2004）中開發嘗試將順序理論和試題關連結構分析法與試題反應理論 結合來分析學生知識結構。並分別使用專家知識結構與學生知識結構來建立電腦 化適性診斷測驗，以節省施測的題數並預估學生的側面圖，用來診斷國小學童的 數學能力，期能提供學童一個適性測驗、立即的成績回饋與補救教學的建議，用 以協助學童學會正確且完整的數學概念。茲分述如下：
（一）試題順序結構理論與試題關聯結構分析法
Airasian & Bart (1973)的「順序理論」(ordering theory, OT)及 Takaya (1991) 的
「試題關聯結構法」(item relationship structure analysis, IRS)是常用來定義試題間 結構的方法。茲將此二理論敘述於下：
令 表示一個向量包含 n 個二元試題成績變數，每一個受試 者作答 n 題得到一個 0 與 1 的向量
) , , ,
(X1 X2 Xn
X = L
) , , ,
(X1 X2 Xn
X = L 之後，試題 j 跟 k 的聯合與 邊際機率可以如表2-5 表示。
表2-5 試題 j 與試題 k 之聯合與邊際機率 Takeya(1991)發現經由 OT 所得之受試者試題結構與試題間之相關係數有些 情況會產生矛盾，故提出試題關聯結構分析法，希望透過另一種測量試題順序結
（二）電腦化適性診斷測驗之知識結構
該研究根據專家知識結構或學生的試題結構中各相關概念間之上下位 次序關係，以減少施測題數。即如假設有一專家（教材）知識結構如圖2-3 所示，在紙筆診斷測驗中需施測圖中概念A-I 所有試題，以瞭解學生學習之 良窳，但在該研究之電腦化適性診斷測驗中，如受試者答錯概念A 的試題，
則需進一步測量概念B、C 及其下位概念，以瞭解學生之迷思概念為何；如 概念B 對概念 C 錯，在電腦化適性診斷測驗中則僅需再施測概念 F、G、H、
I 之試題，因此可節省概念 D、E 之試題。
A
B C
D E F G H I
圖2-3 專家知識結構
（三）電腦化適性診斷測驗系統
此電腦化適性診斷測驗系統包含四個子系統：1.多媒體題庫系統、2.適 性測驗系統、3.補救教學分類系統、4.輔助學習模組，系統主要架構如圖 2-4.
所示，希望透過此系統能將學生課堂後的評量與補救學習數位化及網路化，
藉此達到「因材施測」及「因材施教」。
圖 2-4. 電腦化適性診斷測驗及適性補救教學系統進行流程
此系統，適性測驗的部分，是由第一個子系統提供資訊，根據學生的作 答給予下一題來進行電腦測驗。
上述系統除了具有 Diagnosys 的優點之外，其主要優勢在於分析學生知 識結構的方法具有較完善的數學理論基礎，並且提供有利於補較教學的分 群。
綜而言之，早期這些方法主要是以紙筆測驗的結果來進行試題結構之估計，
強調可提供除了試題通過率與鑑別度外的訊息，常用於比較使用不同教學法或教 材版本，是否造成學生知識結構不同，於先前的研究中已有開發相關測驗分析軟 體及以此種試題順序結構為基礎之網路適性評量（郭伯臣、何政翰，2004；郭伯 臣，2004，2003；Kuo, Liu, Sheu, Pai, Ko, Yang & Lin, 2004），而前述的研究中使 用四種方法來建立結構，並評估所建立結構之成效，四種方法分別為：專家知識
2. 適性測驗系統
學生學習剖面圖
3. 補救教學分類系統
類別1 類別2 類別n
學生
4.輔助學習模組 1
1.多媒體題庫 系統
4.輔助學習模組 2 4.輔助學習模組 n
結構與Diagnosys、OT、IRS 試題結構，得到下列三個結論：
（1）使用專家結構之電腦適性測驗演算法預測精確度較難控制，使用學生試題 結構之電腦適性測驗演算法，由於可藉由閾值控制結構，因此可獲得較令
（1）使用專家結構之電腦適性測驗演算法預測精確度較難控制，使用學生試題 結構之電腦適性測驗演算法，由於可藉由閾值控制結構，因此可獲得較令