以知識或試題結構為基礎之電腦診斷測驗

本研究是以知識結構為基礎的電腦適性測驗為核心概念，作為診斷測驗之 用，因此必須先了解其原理及內涵，故本節將就電腦化適性測驗、選題測略及 相關理論做介紹。

壹、電腦化適性測驗發展概述

隨著電腦科技及網際網路的快速發展，電腦化測驗早已取代傳統的紙筆測 驗，而 GRE 等測驗發展至電腦化適性測驗(computerized adaptive test; CAT)更是 目前的趨勢，因為能夠使用比傳統測驗較少的試題，就能精確地估算受試者的 能力水準（陳宏璋，2003）。另外由於網路技術的發展成熟，線上課程如雨後春 筍般的出現，故線上適性測驗(online adaptive test)更有其需要性。近十幾年來，

已有相關研究證實藉由線上適性測驗系統，除了能夠達到個別化適性測驗，節

補救已不再是夢想（李淑娟，2003）。有關電腦適性測驗在教育上的應用，相關 文獻整理如表 2-1-1：

表 2-1-1 電腦適性測驗在教育上的應用之相關文獻摘要表

研究者 研究內容摘要

范光輝(2003)

透過（一）傳統測驗總分、試題反應理論能力估計值、與 電腦化適性測驗能力估計值的相關，及（二）電腦化適性測驗 估計受試者能力時，較傳統紙筆測驗的方式節省多少的題數，

探討電腦化適性測驗是否適用於「大學系列學業性向測驗」。

陳宏璋(2003)

利用項目反應理論建置的適性化測驗系統，估算出受測者的能 力，並區分受試者能力，探討系統給予的能力值當作英文能力 的分級測驗使用，實驗出來的能力高低，與學校分級的能力高 低是否相符。

李淑娟(2003)

建立以試題結構理論為基礎，且符合SCORM 2004的電腦化適性 測驗系統及動畫補救教學模組。並探討此電腦適性化測驗在達 成節省試題、縮短施測時間的功效如何。

郭伯臣、何政翰 (2004)

開發電腦適性診斷測驗之四個子系統：1.多媒體題庫系統、2.

適性測驗系統、3.補救教學分類系統、4.輔助學習模組，並透 過此系統將學生課堂後的評量與補救學習數位化及網路化。

郭伯臣、謝友振、

張峻豪、蔡坤穎

（2005）

探討利用不同的的適性測驗演算法作為電腦化適性測驗施測時 的選題策略時，其在在「節省試題」和「預測精準度」的表現 為何。

從表 2-1-1 中可看出電腦化適性測驗的發展趨勢可分為兩種類型，這也是

郭伯臣（2004）在國科會專題研究「國小數學科電腦化適性診斷測驗(II)」所提 到的：一是以試題反應理論( item response theory, IRT )為基礎( Wainer, 2000 )，

此類型的測驗將受試者成績視為一「能力值」( ability ) 或「量尺分數」( scale score )，較適合用於教育資源分配情境或區分能力等級之用，例如：基本學力 測驗、大學入學測驗、全民英檢等，但得到相同分數的受試者不代表其具有相 同的錯誤類型，故不適合用此類適性測驗來診斷學生錯誤類型。另一類是以知 識或試題結構為基礎( Brown & Burton, 1978; Wenger, 1987; VanLehn, 1988;

Appleby, Samuels, Treasure -Jones, 1997; Chang, Liu & Chen, 1998)，此類型的適 性測驗是根據學生學習後形成的知識結構設計適性測驗流程，依不同受試者的 作答情形給予適當的試題，藉此不但可節省大量的試題，並可詳細診斷出學生 的錯誤概念，有利於後續補救教學的實施，本研究即是以知識結構為基礎的電 腦適性測驗作為研究基礎。

貳、以知識或試題結構為基礎之電腦適性測驗選題策略及相關理論

為了要因應個別差異來選題施測，電腦適性測驗是根據受試者答對答錯的 情形，依序自上位節點到下位節點選擇題目，學生若答對上位節點，系統則預 測下位節點概念皆能理解而結束施測，藉此達到節省大量試題、精確分析受試 者錯誤概念的目的（蔡昆穎，2004；許志毅，2004；黃碧雲，2005），現舉一簡 例說明如下。

假設有一試題結構如圖 2-1-1 所示，其中從 A 到 I 分別代表一單一概念，

每個概念皆可試題化，B→A表示試題 A 是試題 B 的上位試題，答對試題 A 理 論上試題 B 也應該答對，其餘皆以此類推。若將全部試題組卷成一份傳統紙筆 測驗，則 A-I 的所有試題均必須施測作答，教師才能了解學生概念學習的狀況，

但在電腦適性診斷測驗中，假如某位受試者答錯試題 A，則需進一步測量試題 B、C 及其子試題，以了解學生迷思概念為何；而如果 B 錯 C 對，在電腦適性 診斷測驗中，則僅需再施測試題 D、E，並認定試題 C 以下的試題 F、G、H、I 其所含蓋的子概念已達精熟，毋需施測，因此可達到節省試題的功能（盧炎成，

2006）。由此觀之，因結構建立的方式會影響到預測的精準度，故相對更顯得重 要。

圖 2-1-1 利用試題結構節省施測題數圖

知識或試題結構的建立方式有許多種，郭伯臣、謝友振、張峻豪、蔡坤穎

（2005）的研究指出，使用良好的試題結構，可有效降低施測題數。該研究中 比較了「順序理論」（ordering theory, OT）、「試題關聯結構分析法」（item relational structure analysis, IRS）及 Diagnosys 這三種估計試題結構的方法，研究結果顯 示，採用 OT 結構作為適性選題策略時，比使用 IRS 及 Diagnosys 結構時所需的 訓練樣本數較少，所需的施測題數也較少，即利用 OT 的適性測驗演算法在「節 省試題」和「預測精準度」兩方面都有最佳的表現。故本研究採用順序理論分 析法建立學生試題結構，以作為電腦化適性測驗施測時的選題策略及編製數位 個別化教材的依據。茲將順序理論簡介如下：

令X (X₁,X₂,,X_n)表示一個向量包含 n 個二元試題成績變數，每一個受

試者作答 n 題後得到一個 0 與 1 的向量(₁,₂,,_n)之後，試題 j 跟 k 的聯 合與邊際機率（the joint and marginal probabilities）如表 2-1-2 表示。

A

B C

D E F G H I

表 2-1-2 試題j 與試題k 之聯合邊際機率 試題 k

1

Xk X_k 0 Total

j 1

X  P X( _j1,X_k1) P X( _j1,X_k0) P X( _j1)

j 0

X  P X⁽ j^0,Xk¹⁾ P X( _j0,X_k 0) P X( _j0)

試題 j

Total ^{P X( k 1) P X( k 0)} 1

在 OT 中，令^*_jkP(X_j 0,X_k1)表違反試題j為試題 k之下位試題之機率，

當^*_jk時，其中為一閾值(threshold)且0.020.04（Airasian & Bart,1973），

若介於 0.02 及 0.04 間，則設定試題 j為試題 k之下位試題，記成X_j X_k。