電腦適性化測驗雛型系統之研究
李琮堯
郭冠廷
朱延平*
中興大學資訊科學研究所
*東海大學資訊工程與科學系
{phd9207, s9356059}@cs.nchu.edu.tw
ypchu@thu.edu.tw
摘要
電腦科技與網路技術的發展造成數位學習日 益受到重視，國際組織也訂出相關標準(Sharable Content Object Reference Model, SCORM)給予一個 交換資料的標準，有別於傳統教學方法，數位學習 可以達到節省人力、時間等成本，適性化電腦輔助 測驗(computerized-adaptive test, CAT)的提出也就是 利用電腦的快速計算能力，針對學生的不同程度給 予不同能力的測驗，目的在於準確的找出學生能力 值。本研究目的在電腦適性化測驗方面做探討，以 概念關聯架構為主軸，發展出一套以國小數學為範 圍的適性測驗雛型系統，為防止學生猜題的可能， 系統中加入選題策略，能將猜題機率控制在一定值 之下。系統除了測驗功能外，也提供試題編輯、系 統管理及成效分析等線上功能，以有效的題目測出 學生的失敗概念，進而可以給予補救教學建議，加 上家長及教師的參與，可以立即對學生達到引導學 習的效果。 關鍵詞：電腦適性化測驗，SCORM，概念關聯Abstract
With the development of computer science and network technology, e-learning plays a more important role than ever. SCORM which is an e-learning standard developed by ADL defines how the interoperability can be achieved. The computerized adaptive test (CAT) is to utilize the computing power of computer to precisely give the specified exam for the specified category of examinees, and find out what the student ability is. This paper is aimed to develop a prototype system of CAT based on Concept Relation Structure (CRS). To avoid from guessing we use item selection strategies to control the guessing probability smaller than the threshold. The proposed system also includes item edition, performance evaluation, and system management. After taking exam student can acquire the learning comments from the system, and the tutors and parents can guide the learner with the system advices.
Keyword: computer adaptive test, SCORM, concept relation
1. 前言
人 類 的 學 習 行 為 經 由 科 技 的 進 步 而 不 斷 演 化，目前傳統的課堂學習仍為主要的學習方式，但 是隨著電腦及網路的發展，受到時間及地域限制的 傳 統 課 堂 學 習 漸 漸 的 不 能 滿 足 學 生 及 教 師 的 需 求，所以數位學習(e-Learning)也逐漸的受到重視。 數位學習的主要優點是學習者無論在何時何 地，只要利用電腦連上網路，即可參與學習，而教 師也可利用網路對學習者進行考試或講解，因此教 學者不需要跟學習者處在同一空間。美國國防部的 Advanced Distributed Learning 組織為提供一個數位 學 習 的 標 準 規 範 ， 提 出 共 享 內 容 物 件 參 考 模 型 (Sharable Content Object Reference Model, SCORM)， 在 數位 教材及學 習管 理平台 (Learning Management System, LMS)予以規範，目標是讓數位 教材符合下列諸項要求： (1) 可重用性（Reusability）：教材中所用到的素材 (asset)皆可重複使用，以減少教材開發的成本。 (2) 易取得性（Accessibility）：學習者可以在任何時 間、地點透過網路存取到所需要的教材。 (3) 可互通性（Interoperability）：教材可在不同的學 習管理平台中呈現，打破以往教材只能在特定平台 中執行的缺點。 (4) 可持續性（Durability）：不因資訊技術的提升， 而修改既有的學習資源。 在學習的同時，為了了解學習者的學習狀況， 經由試題測驗是一個評斷的方法，因此在電腦輔助 測驗上的研究也就更加重要。 由 於 電 腦 的 快 速 計 算 能 力 ， 電 腦 輔 助 評 量 (Computerized-Assisted Assessment, CAA)可以在很 短的時間內得到測驗結果及快速的統計。對於大量 的受測者樣本而言，CAA 同時也較傳統測驗更具 客觀性，已逐漸取代傳統測驗[5]。CAA 有傳統電 腦輔助測驗(traditional computer-based test)以及適 性 化 電 腦 輔 助 測 驗 (Computerized-Adaptive Test, CAT)。傳統電腦輔助測驗主要是類似紙筆測驗的受 測方式，在處理速度及正確性上有明顯的提升，但 是無法為受測者提出適合的題目，因此 CAT 的提 出，除了在處理速度及正確性上的優點外，更可以 提出符合受試者能力的題目，在較短時間內，找出 受測者的能力範圍。 在現階段 CAT 的研究中，試題反應理論 (Item Response Theory, IRT) 是 一 個 重 要 的 研 究 方 向 [3][4][6]，但 IRT 需要大量的樣本，每一個題目都 必須經過多次的測試後，才能表示出題目的有效性，更進一步的才可用來表現受測者的能力指標。 當受測者完成測試後，施測的結果為一能力值或是 量尺分數，所以 IRT 本身較適合於成就測驗的環 境，如大學學力測驗。本研究的主要目的是利用適 性化測驗，對國小學生在數學的學習上進行診斷， 找出學習上失敗的概念，進而可以實施補救教學。 本研究發展的適性評量系統理論是架構在概 念關聯之上[1][2]，國立編譯館國民小學數學科教科 用書編審委員會黃敏晃(1994)等人，採用此理論於 數學教學指引。系統對象為國小數學六年級共十二 學期的學生，透過教學概念的建立以及概念關聯架 構，配合教育部九年一貫課程「一綱多本」的政策 (2003)，各種版本的章節架構皆以概念關聯為基 礎，因此不論學生選擇何種版本作測驗，其概念都 有其關聯性，以免除掉某些概念只出現在某些版本 的可能性。經由測驗有效率的找出學生問題，同時 也配合有效防止猜題的選題策略，能有效率且準確 的評估出學習者的成效。 本論文架構共分為五節。第一節為前言。第二 節探討概念關聯架構。第三節介紹本研究中電腦適 性化評量機制。第四節為系統架構。第五節為結論 及建議。
2. 概念關聯架構
經由教育部(2003)以及專家知識[1][2]結構建 立了國小數學六個年級十二個冊別，共 1233 個概 念間的關聯，每個概念有其所屬冊別號、單元編號 及活動 (或參考活動) 編號，也有其相對應的教學 活動，概念之間的關係可以用階層式的樹狀結構來 呈現(如圖 1)。由於概念之間的認知關係，相同的概 念可能出現在不同概念之下，因此同一概念可能出 現在多個節點位置，真實的樹狀關係結構中有 12 個根節點(分別代表十二個冊別)，3253 個子節點。C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C1
圖1. 概念關聯圖 以圖 1 為例，假設其中每個節點(C1,C2,…,C12) 分別代表不同的數學概念，上層的母節點表示較複 雜的數學概念，而下層的子節點代表為母節點所必 須具備的數學概念。其中每個節點代表一個數學概 念，每個節點會有其教學活動來作概念的學習，而 一個節點與其子節點的關聯，代表的是當成功認知 所有這些子節點的數學概念時，才有可能會成功認 知此節點的數學概念，也就是當成功認知 C5 和 C6 時，才有可能會成功認知 C3。因此當成功認知一個 母節點下的所有子節點的數學概念時(亦即完成所 有子節點的教學活動)，就可以嘗試進行此母節點的 教學活動，但是不表示成功完成所有子節點的教學 活動，就必定可以成功通過母節點的教學活動。一 個教學活動或評量目標的節點可以屬於在不同的 母節點下，這代表在這些不同的母節點中會有重疊 且類似的知識概念。 此外每個數學概念都會有其所屬的試題集，此 試題集是經由專家為每個數學概念所設定的，且試 題集的試題基本上是以選擇題的方式呈現給受測 者，一題試題只會屬於一個數學概念，以正確找出 受測者失敗的概念。當學生在某個概念上通過測驗 時，只能說此學生到達了「察覺」的階段，除非也 通過這個概念的上一層概念，才能說此學生到達 「瞭解」階段，換句話說，當學生通過某個概念時， 則此生對此概念下的子概念為「瞭解」階段。因此 在進行評量特定能力時，會在適當節點所屬的試題 集中選擇試題測驗，進一步在每個節點中還可以有 所屬的教材集，依據評量的結果來判讀學生目前的 概念心理成就階段，以進行合適的補救教學建議。 在評量時，受測者一開始選擇所要評量的能力 指標，接下來就會從對應能力指標的教學活動中選 擇其一開始進行測驗，在教學活動的試題集中選擇 題目進行評量，如果通過測驗就表示受測者能夠了 解此教學活動的評量目標，但是如果沒有通過，就 會從此教學活動的子節點所屬的試題集中選擇試 題進行測驗，圖 1 中，若在 C3 的評量通過的話， 則表示 C5 和 C6 為成功認知，無需進行評量，但若 在 C3 的評量沒有通過的話，則會進行 C5 和 C6 的 評量，找出受測者認知失敗的概念。評量的終止條 件為測驗完受測者所選擇的能力指標。結束測驗之 後，分析者可以從受測者的評量歷程與結束時，所 在的節點中了解到受測者在哪些概念上的學習是 不失敗的。 以圖 1 的關聯圖為例，假設所選擇的能力指摽 是對應到 C3，因此就會從 C3 的試題集中挑選題 目，測驗完所設定的題數後，計算評量的結果，如 果結果為成功就代表受測者有滿足所選的能力指 標，但是如果結果為失敗的，則就繼續測驗 C5 與 C6 的試題集，假設這兩個數學概念的評量結果都是 通過的，那就表示受測者在整合這兩個教學活動上 有障礙，因此就可以診斷出受測者的問題，然後利 用適當的方式讓受測者可以進行補救。3. 電腦適性化評量機制
為了評量的正確性及效率性，以進行作答少量 試題便能正確得到結果為目的，系統提供有效的試 題及評量機制。試題方面是由專家為每個概念所提 出，和各個概念有相對應關係，本研究假設試題達到有效水準之上，能完全代表其相對應的概念而不 探討命題方面之研究。評量方面為控制受測者的猜 題機率保持在一臨界值(百分之一)以下，每個試題 會有四個以上的選項，且一個概念的評量僅有以下 三種狀況視為成功： (1)一開始給予的四題測驗全部答對者； (2)一開始給予的四題測驗中錯一題，則再隨機給予 兩題測驗，此兩題測驗全對者； (3)一開始給予的四題測驗中錯一題，接著給予的兩 題測驗中錯一題，則再給予第三次機會的兩題測驗 全對者。 其他狀況皆視為是概念學習失敗。假設每試題的選 項有四個，則在完全隨意作答的狀況下，第一個條 件通過的機率為：
0039
.
0
)
4
1
(
)
1
(
4 1C
j
P
，j
1
,
2
,...,
n
第一個條件失敗，且第二個條件通過的條件機率 為：0029
.
0
)
1
(
2C
j
P
，j
1
,
2
,...,
n
第一個及第二個條件皆失敗，且第三個條件通過的 條件機率為：0011
.
0
)
1
(
3C
j
P
，j
1
,
2
,...,
n
其中，P
i(
C
j
1
)
表示第j
個概念在第i
個條件通 過的機率，i
1
,
2
,
3
。 假設受試者在評量時，選擇了 C1 概念，而 C1 的概念關聯如圖 1，我們可以清楚的從圖中得知在 C1 節 點 下 所 有 子 節 點 的 關 聯 。 以)
,...,
,...,
,
(
C
1C
2C
C
12S
i j 表示第i
位學生在 12 個 概念中的認知情形，當第j
個概念認知成功則給予 值 1，反之，認知失敗則給予值 0；當第j
個概念 認知成功時，其子節點皆設定為認知成功，也就是 當 C3 認知成功時，C5 與 C6 皆設定為認知成功， 所以當 C3=1 時，可以得到 C5=1 且 C6=1，受試者 無需評量 C5 與 C6。認知的成功與否則以此概念中 的評量是否通過為評斷，所以若是 C3 認知失敗時， C5 與 C6 則需要更進一步的評量。概念評量順序從 所選擇的能力指標中所包含的概念開始，以前序 (preorder)方法進行測驗。 若今天有兩位受測者，評量情形分別為： 第一位受測者評量順序：(1)C1 失敗(C1=0)； (2)C2 成功(C2=1)；(3)C3 失敗(C3=0)；(4)C5 成功 (C5=1)；(5)C6 失敗(C6=0)；(6)C4 失敗(C4=0)；(7)C7 失敗(C7=0)；(8)C9 成功(C9=1，C11=1，C12=1)； (9)C10 成功(C10=1)；(10)C8 成功(C8=1)；概念認知 情形為S
1(
0
,
1
,
0
,
0
,
1
,
0
,
0
,
1
,
1
,
1
,
1
,
1
)
，如圖 2，其中較 粗線框代表評量失敗的概念；虛線框代表因為母節 點評量成功，所以不需經過評量就設定為成功概 念；細線框代表經過評量且成功的概念。C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C1
圖 2. 第一位考生評量結果 第二位受測者評量順序：(1)C1 失敗(C1=0)； (2)C2 失敗(C2=1)；(3)C3 成功(C3=1，C5=1，C6=1)； (4)C4 成功(C4=1，C7=1，C9=1，C11=1，C12=1， C10=1 ， C8=1) ； 概 念 認 知 情 形 為)
1
,
1
,
1
,
1
,
1
,
1
,
1
,
1
,
1
,
1
,
0
,
0
(
2S
。如圖 3。C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C1
圖 3. 第二位考生評量結果 由圖 2 與圖 3 可以看出兩位考生之間，因為各 自的概念認知情形不同，所需經過評量的歷程也有 所不同，如第一位考生因為評量失敗的概念較多， 所以需要進行較多的概念評量(10 個)，而第二位考 生評量成功的概念較多，所以在進行評量時，僅需 進行較少的概念評量(4 個)。同時我們也可以得到兩 位考生在評量後的診斷結果，以及更進一步的建議 補救學習路徑。分析如下，其中符號「→」為學習 順序，如 A→B 表示先學習 A 再學習 B，符號「
」 表示而且(and)的意思： (1)第一位考生的診斷結果為：缺乏概念 C1， C3，C4，C6 與 C7，建議補救學習路徑為：(C6→ C3
C7→C4)→C1。 (2)第二位考生的診斷結果為：缺乏概念 C1 與 C2，建議補救學習路徑為： C2→C1。4. 系統架構
本系統以 Web-Based 型式建置於 Internet，因此使用者透過網際網路連線到本系統會先經由網頁 介面導向至各子系統，其中資料的存取則是連結到 資料庫做處理，系統架構如圖 4 所示，使用者僅需 具備上網能力，便可輕易的連上本系統。系統中包 含了適性測驗子系統、試題編輯子系統、系統管理 子系統與成效分析子系統，各個子系統有其專屬的 功能，接下來針對各子系統作介紹。 圖 4. 系統架構圖
4.1 適性測驗子系統
此子系統使用者色為受測者，受測者指的是能 夠進入系統進行測驗、獲得學習成效分析的使用 者，包含一般學生、教材編輯者、教學者或家長身 份都能接受評量，其差異僅在於評量的記錄與進入 子系統的方式，如學生完成教學單元的適性評量後 會給予學習補救教學建議、而試題編輯者可能由其 使用介面便能進入此子系統來觀看試題呈現的效 果。此子系統以概念關聯為架構，搭配評量機制提 供學生一個測驗的環境。 測驗流程如圖 5 所示，學生登入之後，針對教 材出現「一綱多本」的現象，首先選擇測驗版本(如 南一版、康軒版)，接著選擇測驗範圍，完成之後系 統 將 由 試 題 資 料 庫 中 亂 數 選 出 不 重 複 的 測 驗 試 題，一次選出一題，待學生作答完畢之後，會由系 統計算答案並決定是否已達測驗完成條件，若達完 成條件，則結束測驗進入成效分析子系統，若未達 完成條件，則會繼續給題測驗。4.2 試題編輯子系統
使用此子系統的角色為試題編輯者，試題編輯 者主要是以教師為主。本子系統提供一個易於使用 的編輯介面，包括文字輸入及上傳圖片，透過瀏覽 器即可新增、編輯、刪除題庫的試題；本系統目前 提供試題題型為單選題，支援最多 5 個選項，並有 版本管理的概念，為了製作上的效率，權限管理我 們只設定試題編輯者的角色，而不同的試題編輯者 可以彼此編輯、刪除題目，不限定非得由該題當初 的編輯者才能編輯或刪除。 圖 5. 測驗流程圖 當使用者以教師身份登入系統後，系統會主動 判斷此教師是否為試題編者，是的話會出現編輯功 能按鈕。主要的編輯功能為： (1) 新增試題：選擇此功能時，會先要求選擇要新 增試題的概念，試題集是以概念依據，在編輯時會 有適合選擇題的模板供給使用，選項要求為 4 個或 5 個，編輯完一試題後，系統提供預覽功能，及可 以在此概念下繼續編輯試題，或是離開此概念改選 其他概念編輯試題。單一試題編輯完成後，會產生 獨一無二的試題編號，同時會將版本號設定為 1， 以待日後修改可以追蹤。資料庫中預留有難度、鑑 別度、猜對率及正確回答率等欄位，讓教師在命題 領域中，可以針對各試題的參數有記錄，進一步可 以作為試題命題研究。 (2) 修改試題：選擇要修改試題的概念後，會出現 此概念中所有的試題及其資訊，包括試題內容、是 否為使用中、試題版本等，選點修改功能後，會出 現新視窗顯示此試題，教師修改完成後，系統會給 予新的試題編號，同時將修改的試題版本累加 1， 並將舊版本試題設定為非使用中，以保證系統上線 運作的題庫是正確的。修改試題後系統會主動做版 本追蹤，並記錄在資料庫中，日後在試題管理功能 可視需求回復修改前試題型式。 (3) 刪除試題：刪除功能中提供依搜尋結果刪除、 依概念選擇刪除及依製作日期刪除等，刪除試題並 非從資料庫中將資料清除，而是將試題設定為非使 用中，試題管理功能中的版本管理能提供回復功 能。4.3 系統管理子系統
使用此子系統的角色為系統管理員，系統管理 員的工作項目為人員管理、系統設定、題庫管理及 版本管理。 (1)人員管理：註冊成為新的學生使用者需要管理員 的審核；而教師的角色若是試題編輯者則由管理員 統一設定帳號，若是教學者則教學者需要先註冊，再由系統管理員核准；當學生通過認證時，其登入 後會做第一次的初始化設定，包含密碼的更改、資 料的輸入…等，較特別的是必須在此時輸入家長的 帳號及 E-mail，系統會寄發認證信到家長電子郵件 信箱中，家長接到信後則可依信件內容完成註冊動 作。 (2) 系統設定：包含試題匯出 SCORM 包裹功能。 首先系統管理員選擇概念範圍，選定範圍後，系統 將資料庫內的題目套模版格式匯出成符合數位學 習國際標準的試題包裹，其中主要的內容物包含試 題網頁及 XML 文件，資料庫中一筆試題資料製作 成一張網頁，製作完成的包裏經測試後符合 ADL 官方所提供的測試套件的檢驗，因此在匯入其他符 合 SCORM 標準的學習平台是可行的。應用時機為 當有其他系統需要大量題目運行時，可以給其符合 SCORM 標準的試題包，然由於 SCORM 標準目前 對於測驗評量尚無標準，在試題上並沒有一個共同 製作的格式，因此試題的參數(如困難度、答對率等) 交換仍需進一步定義。 (3) 題庫管理：包含了對概念關聯架構及出版商架 構的管理，分為概念關聯模型管理及出版商架構管 理二部份，茲分述如下： (i) 概念關聯模型管理 概念關聯模型管理的目的是提供一個視覺化 的管理介面，能夠有效率的更新概念關聯模型，概 念關聯模型改變的原因可能來自使用者的反饋、不 同版本、不同國家所造成的差異。 (ii) 出版商架構管理 在「一綱多本」的現況下，系統針對不同版本 有不同的概念架構排列，出版商版本的章節架構與 本系統概念關聯架構的對應是由專家協助認定。 (4) 版本管理：版本管理的目的是對曾經更動過的 概念與試題能一目了然，並能將系統現行運行的概 念模型版本或試題版本有效率的更動。當概念或試 題有更動時，便會在資料庫中記錄更動的動作，並 將版本數加 1，在日後要復原時有所依據。
4.4 成效分析子系統
成效分析子系統的使用者為學生、家長與教 師，目的是讓使用者能夠透過適性評量得知學生學 習成效，如學生可能希望瀏覽自己的考試紀錄，獲 得補救建議；教師可能希望瀏覽學生的考試紀錄以 及班級的表現狀況，及獲得全班的補救教學路徑建 議，更進一步可以得知班級內同學在哪些概念認知 上較弱，可以在教學活動設計時作為參考；家長可 能希望看到小孩的考試紀錄以及補救教學建議。 成效分析流程如圖 6 所示，當使用者(學生、 家長或教師)登入，會依據使用者和學生之間的關係 (本人、親子或師生)從資料庫中取出學生進行過的 測驗，對學生能力做出分析，然後根據學生之前所 進行過的測驗結果，包括成功概念及失敗概念做出 診斷動作，接著產生出學習處方，也就是建議補救 教學順序，最後產生出報表給使用者。 圖 6. 成效分析流程圖5. 結論及建議
由於電腦網路科技的發展，學習已經進入一個 新的境界，如何將傳統學習中所需大量的人力、物 力成本進化為改善學習品質是愈來愈受到重視，本 研究所發展的電腦適性化評量系統是以當前學習 環境為考量而設計，同時應用於分散式環境，結合 概念關聯架構以有效的方法找出國小學生在數學 學習上的困難點，搭配家長及教師以導引者(guider) 的角度來幫助學生學習。學生除了能了解自己失敗 的概念外，同時也能得到補救教學建議；教師可以 經由本系統達到因材施教的目的，針對學生失敗的 概念做補救，更進一步當發現學生擁有「先修」能 力時，可以對此學生做不同學習方法的考量；家長 在每天工作繁忙之餘，更可以有效的知道自己小孩 學習狀況為何，達到監督與導引的目的。 本研究旨在電腦適性化測驗之研究，進而發展 出一套雛型系統做為研究之工具，本研究之貢獻在 於： (1) 以概念關聯架構為基礎進行系統實作。 (2) 提供學習者一個線上的適性評量環境。 (3) 提供試題編輯者線上編輯題庫。試題亦可匯出 符合 SCORM 標準的格式，有助於試題交換性。 (4)提供學習者、教學者及家長能瀏覽學生學習成 效。 (5)管理員能有效管理不同版本的概念關聯系統及 題庫。 本研究現階段開發的電腦適性評量系統僅為 雛型系統，因此仍有許多地方需加以規劃，經過研 究後發現未來可繼續的工作有： (1) 針對學生失敗概念製作相對應之補救教材，讓 學生可以在完成測驗並得知結果後立即得到補救 回饋。 (2) 需大量學生使用者使用後的記錄做統計分析， 包括學生學習有效程度、概念合適度、概念順序性 等。學生學習有效程度為學生經過補救教學之後， 再次評量後的結果是否有達到顯著性的幫助。概念合適度為單一概念太大時，需要再切割為多個概 念，系統中資料庫中針對此工作，預設有欄位記錄 概念成功率，當發現某一概念成功率很低時，可以 就此概念考慮是否有細分之需求。概念順序性為概 念前後關係之研究，首先概念分為獨立動作，進行 學生測驗後得到概念成功率，接著搭配概念關聯架 構探討概念前後順序是否恰當，以防止概念關聯架 構中，母節點概念通過，但子節點概念卻不通過的 可能性。 (3) 系統題庫編輯方面可以加入更多選擇，包括試 題編輯器多樣化及試題類型多樣化。目前系統中在 試題編輯工作中，僅提供以文字和圖片為主的編 輯，未來更可加入多媒體(如聲音、影像、動畫)的 編輯搭配，提高學生接受評量工作的配合度。此 外，目前試題編輯僅以單選題為主，未來可加入複 選題、填充題、配合題等多樣試題類型，可以更精 確的了解學生能力所在。 (4) 系 統 結 合 網 路 服 務 (Web Service) ， 利 用 XML(Extensible Markup Language)作為資料轉換的 標準，搭配 SOAP(Simple Object Access Protocol)通 訊協定穿過防火牆，更能容易經由網際網路取用系 統資源，在分散式環境中可以做到更佳完善的管理 工作。
6.
誌謝
感謝台中教育大學數學教育學系甯自強教授 指導本論文對於概念關聯架構的知識，使本論文能 建構在一個精微細緻的教育理論之上。參考文獻
[1] 甯自強，1995，五個區分對數與計算教材設計 的影響，論文發表於八十四年度師院教授座談 會。板橋國民學校教師研習會二月十六日。 [2] 甯自強，1996，由多單位系統看中年級的數與 計算教材，論文發表於國立嘉義師範學院八十 四年度數學教育研討會。嘉義民雄嘉義師院四 月十一、十二日。[3] Ann Roex and Jan Degryse 2004. “A Computerized Adaptive Knowledge Test as an assessment tool in general practice: a pilot study”, Medical Teacher, Vol. 26, No. 2, 2004, pp. 178-183.
[4] Chih-Ming Chen, Hahn-Ming Lee and Ya-Hui Chen 2004. “Personalized e-learning system using Item Response Theory”, Computers & Education 44 (2005) 237-255.
[5] Conole, G. and Bull, J. 2002. “Pebbles in the Pond: Evaluation oftheCAA Centra”, Proceedings of the 6th Computer-Assisted Assesment Conference, Loughborough, 63-73.
[6] Eduardo Guzmán and Ricardo Conejo 2005. “Self-Assessment in a Feasible, Adaptive Web-Based Testing System” , IEEE TRANSACTIONS ON EDUCATION.
