以知識結構為基礎之適性化診斷測驗系統建置
曾彥鈞 *劉育隆 *郭伯臣
台中教育大學數學教育學系碩士班 *台中教育大學教育測驗統計所
yjtzeng@mail2000.com.tw kbc@mail.ntcu.edu.tw
摘 要
本研究主要目的，在於建置以知識結構為基礎 的電腦化適性診斷系統。在研究過程中，先以專家 知識結構出題，每個試題皆讓 600 位以上的小朋友 預試，分析出學生知識結構，系統以此一學生知識 結構出題，並於學生作答完畢後加以診斷，提供學 習診斷報告。最後以專家知識結構結合學生知識結 構的補教教學結構進行補救教學，達到「因材施測」 與「因材施教」的目標。 經由研究發現，透過本系統確實能達成節省試 題、縮短施測時間及高預測率的功效。並且經由網 路的便利，達到隨時診斷、隨時學習之目標。 關鍵字：學生知識結構、專家知識結構、電腦化適 性測驗、試題順序理論、補救教學Abstract
The primary purpose of this study is to develop the knowledge structure based adaptive testing. Producing items according to the experts' knowledge structure first, and then each item will be put into the pretests with the sample size of more than 600 students. After analyzing the result of pretest, we can get obtain students' knowledge structure, and using this structure to diagnosis examinants. Finally, we integrate the experts' knowledge structure with the students' knowledge structure for examinants' remedial instruction.
This research has the following summary: 1.The knowledge structure based adaptive testing with high prediction rate can indeed save items, and shorten testing time.
2.Through that platform can students diagnose themselves anytime and learn everywhere.
Keywords: the experts' knowledge structure,
computerized adaptive testing, item ordering theory, remedial instruction
1.研究動機與目的
由於電腦科技的發達，在過去數十年間，許多 測驗進行的方式已逐漸由紙筆測驗轉變成電腦化 測驗，用於評估學生的學習成效或者學生的學習歷 程等方面上。其中有些僅是單純的將測驗電腦化， 而有些則是適性化測驗。電腦化適性測驗可分為二 大 類 ： 一 類 是 以 試 題 反 應 理 論 (item response theory, IRT)為基礎[13]，另一類則是以知識或試 題結構為基礎[8][9][10][12][14]。電腦適性測驗 的優點為能依據學生不同學習狀態，適當給予不同 試題來進行測驗，如此不僅可以有效的節省測驗題 數，亦可縮短測驗時間，更能符合「因材施測」的 原則。 再者，若只用分數來診斷學生錯誤概念，並不 十分恰當，因為兩個具有同一分數的人其錯誤概念 未必相同，故使用以 IRT 為基礎的電腦適性測驗來 進行學習診斷，所提供的訊息並不適用於錯誤類型 診斷[4]。 本研究希望建立以知識及試題結構為基礎發 展具有診斷學生錯誤概念的適性測驗與補救教學 系統，主要目的有以下幾點： 一、利用學生結構作為選題策略，依受試者不同的 反應給予適當的試題，藉此節省大量試題、節 省測驗時間，並精確診斷出學生的迷失概念 二、依據學生不同的作答反應，產生學習診斷報 告，讓學生瞭解自己的學習狀況，並以此分類 出不同的補救教學類型，以利教師進行補救教 學或供學生自我學習。 三、提供友善的管理介面，方便教師上傳測驗相關 資料、管理測驗題庫，並以本系統為施測平台， 進行多媒體補救教學。2.文獻探討
2.1 專家知識結構 本研究中，編製診斷測驗試題所依據的專家知 識結構，是由十多位國小教師即專家依據教學學裡 以及教學經驗，分析教材內容及教學目標，找出單 元內重要的學習概念，再根據學生的學習歷程、概 念發展順序及概念間的關係，繪製出單元的專家知 識結構，再依照知識結構來出題。專家知識結構 中，最上層的概念為此單元的最難概念，下層則為 各概念的下位概念。 2.2 學生知識結構 學生試題結構由學生紙筆評量作答情形估計 而得，依學生作答反應情況，根據試題結構演算法 所得出的的概念發展順序及其概念間上下位關係 的一結構關係。 2.2.1 Diagnosys 是由 Appleby 等人所開發[8]，是一種基於知識結構為基礎的數學概念之電腦化診斷測驗，其中 同時考慮了專家及學生的知識結構。學生的結構的 擷取乃透過專家知識結構編製的紙筆測驗進行預 測而建構出來。
2.2.2 順序理論
Airasian & Bart 的「順序理論」(ordering theory, OT)[7]及 Takaya 的「試題關聯結構法」 (item relationship structure, IRS) [11]，此 二者是常用來定義試題間順序性的方法；早期這些 方法常用於比較不教學方法或不同版本教材，是否 造成學生知識結構不同，主要是以紙筆測驗結果來 進行知識結構之估計。 郭伯臣、謝友振、張峻豪、蔡坤穎[2]指出使 用良好的試題結構，可有效降低施測題數，該研究 中比較了三種估計試題結構方法，「順序理論」 (ordering theory, OT [7] )、「試題關聯結構分 析法」(item relationship structure analysis, IRS[11])及 Diagnosys[8]，研究結果顯示，使用 OT 結構之適性測驗選題策略，所需訓練樣本較少與 可節省較多施測題數，優於 IRS 與 Diagnosys，故 本研究採用 OT 及 IRS 這兩種順序理論技術來估計 試題結構，並用於適性測驗流程之建立。 2.3 補救教學結構 結合專家結構、學生結構組合而成，能夠比專 家認定的結構更貼近學生實際學習後的結構，也比 學生結構更有系統的做補救教學。
3.系統流程與架構
數學本身就是一個階層性非常強的學科，各單 元內或是單元與單元間，可以清楚分出上下位概 念。本研究選定以國小五、六年級數學領域康軒、 南一版進行電腦適性測驗的實作，測驗題庫之建置 流程如圖 1 所示，並詳細說明於 3.1~3.3。 3.1 建立專家知識結構及命題 延聘十多位教學經驗在5~10年有豐富編製知 識結構經驗的國小教師，依教育度94學年度審定通 過的康軒版、南一版五、六年級數學領域，編製各 單元知識結構草案，再共同用知識結構檢核表，建 立較客觀的專家知識結構。 建立專家結構後，依據專家結構命題，一個概 念節點約出1~4題，依據電腦化適性診斷測驗之檢 核表檢核試題，檢核完畢後進行組卷以利紙筆測驗 的進行，知識結構試題化之流程如圖2。 圖2 知識結構試題化流程圖 教材內容 知識結構草案 知識結構檢核表 專家知識結構 編製試題 命題檢核表 知識結構試題化 試題組卷 現在以康軒數學第九冊-三角形單元為例，該 單元之專家知識結構如圖3所示。 5-2三角形內角 和等於180度 5 利用等腰三角 形的特性求出未 知的角度 3 認識等腰 直角三角形 3-1認識直角 三角形 3-2，4-1，5-1 辨別等腰三 角形 3-2-1，4-1-1， 5-1-1知道等腰三 角形 4 找出等腰 三角形 1-1-1-1-1， 2-1-1-1-1，3-1-1 辨別直角 圖3、專家知識結構 圖1 題庫系統之建置流程圖 分析施測資料 3.2 建立學生知識結構 3.3 補救教學結構 3.1 建立專家知識結構 出題、審題、修題、組卷 進行預試 審題、修題 測驗題庫系統3.2 預試並分析蒐集之資料以建立學生結構 收集所有考卷後將所有學生的作答反應輸入 電腦，分析出每一個試題的信度、效度，古典測驗 理論的難度、鑑別度，IRT 的 a、b、c 值，提供審 題、修題的參考。 並同時用 OT 演算法寫成之程式，分析出選題 策略的相關矩陣，建立適當的學生知識結構，精確 出題，以縮短施測時間。康軒數學第九冊-三角形 單元之學生知識結構如圖 4 所示。 3.3 建立補救教學結構 學生結構建立後，結合專家結構，經十多位豐 富編製知識結構經驗的國小教師進行結合，學習者 與教學者的結構整合，建構出最適合教學的模組， 不僅考量學習者知識結構學習的建立順序，也加入 教學者有系統的教學經驗，可讓學生得到最好的學 習。康軒數學第九冊-三角形單元之補救教學結構 如圖 5 所示。 3.4.系統架構與設計 3.4.1 系統流程與架構 本 研 究 建 置 的 線 上 測 驗 系 統 ， 採 用 Client-Server 架 構 ， 後 端 資 料 庫 伺 服 器 採 用 MySQL，用以執行觸發程序及存放本系統之題庫、 成績、選題策略、使用者管理等資料。本研究使用 之網頁伺服器為 APACHE，伺服器端語言為 PHP，並 藉由 PHP 程式與資料庫進行連結。 本研究規劃之線上測驗實施流程與測驗系統 架構如圖 6 與圖 7 所示，各模組功能簡述如後。 1-1-1-1-1， 2-1-1-1-1， 3-1-1辨別直 角 5-2三角 形內角和 等於180 度 5 利用等腰 三角形的特 性求出未知 的角度 3 認識等腰 直角三角形 3-1認識 直角三 角形 3-2，4-1，5-1 辨別等腰三 角形 3-2-1， 4-1-1，5-1-1 知道等腰三角 形 4 找出等腰 三角形 圖4、學生知識結構 【重點1】 辨別直角 【重點9】 三角形內角 和等於180 度 【重點11】 利用等腰三角形的 特性求出未知的角 度 【重點10】 認識等腰直角三 角形 【重點6】 認識直角 三角形 【重點7】 認識等腰三角形 （含知道等腰三角 形及辨別等腰三角 形） 【重點8】 找出等腰三 角形 圖5、補救教學結構 學生 補救教學分類模組 適性測驗出題模組 學習診斷模組 測驗題庫 評估停止施測 否 是 資料分析 類型 2 補救 教學 1 補救 教學 2 補救 教學 n 學習診斷 報告 類型 1 類型 n 多媒體補救 教學模組 圖6 測驗實施流程
系統各模組功能說明如下： 1.帳號管理模組：提供學生及教師帳號的新增與管 理功能。 2.題庫管理模組：針對單元的結構、試題進行新 增、修改、管理、組卷等。 3.測驗管理模組：針對測驗的實施進行控管，並可 設定出題方式。 4.適性出題模組：依照不同的出題策略，進行適性 出題。本系統目前以OT作為出題策略，依據學生不 同的作答反應，給予不同的測驗試題。 5.學習診斷模組：依照學生的作答反應，進行學習 成果診斷。 6.測驗統計模組：依照學生個人或班級進行測驗統 計與查詢。 7.補救教學分類模組：依據補救教學結構，對照學 生的作答反應，將學生分至相關補救教學類型。 8.多媒體補救教學模組：根據補救教學分類結果， 提供適當的線上多媒體補救教材。 9.帳號資料資料庫：紀錄系統使用者之基本資料、 存取權限…等等。 10.測驗題庫：包含「試題資料」、「單元知識結 構」兩部分，紀錄題目、答案、學生知識結構、補 救教學結構…等等。 11.測驗結果資料庫：記錄學生測驗結果的相關資 料，如：作答反應，百分等級…等等。
4.系統實作成果
以下針對幾個較重要的系統模組介面進行說 明。 4.1單元結構管理介面 每個單元都有不同的專家知識結構、學生知識 結構與補救教學結構，為了方便教師使用，我們設 計一個便利的上傳介面，並將應上傳之結構檔案以 範例加以說明，單元結構檔採用Excel格式。其介 面如圖8所示。 圖8 單元結構管理介面 4.2使用者管理介面 使用者管理介面非常人性化，可一次新增一個 或多個使用者，也可以用Excel檔案匯入，或查詢 修改使用者資料，如圖9。 圖9 使用者管理介面 4.3組卷編修介面 在一份測驗試卷中，教師可針對每一個試題的 題目、選項、答案、配分做任意的修改或刪除的動 作，如圖10。 圖10 組卷編修介面 帳號資料 試題資料 測驗結果 單元 知識結構 題庫管理 模組 多媒體補救 教學模組 測驗管理 模組 適性測驗 出題模組 學習診斷 模組 補救教學 分類模組 測驗統計 模組 學生 教師 管理者 帳號管理 模組 圖7 測驗系統架構4.4試題編修介面 修改試題時，系統上方會呈現最新的試題樣 式，可供老師方便確認，所有的題目與選項皆以檔 案的方式上傳，可節省老師輸入的時間，如圖11。 圖11試題編修介面 4.5測驗試卷管理介面 可選擇要開啟給學生考試的測驗，也可選擇該 測驗之初題方式(如：OT適性出題、亂數出題)，如 圖12。 圖12 測驗試卷管理介面 4.6 班級測驗結果統計查詢介面 可查詢個人及班級的診斷結果，包含作答時 間、作答順序、班級統計資料，除了教師瞭解該單 元測驗之錯誤概念分佈情形，亦可匯出學生之作答 反應(CSV格式)，以方便教師做進一步分析。 圖13 班級測驗結果統計查詢介面 4.7學生測驗結果查詢介面 可提供列印學生的診斷報告，了解學生學習狀 態，也可提供給老師及家長作為教學上的參考，如 圖14。 圖14 學生測驗結果查詢介面 4.8學習診斷報告介面 此報告於學生測驗完後立即顯示，給學生最立 即的回饋，除了測驗的一些基本資訊外，有提供百 分等級給學生參考自己大概的落點，也有詳盡的診 斷報告，直接指出學生不會的概念及問題，方便教 師施以補救教學，圖15為學習診斷報告之部分內 容。 圖15 學習診斷報告
4.9多媒體補救教學介面 生動活潑的FLASH，提供學生學習的平台，每 個補救教學動畫，皆是針對該概念節點所設計的， 能能幫助學生針對問題做最快速、最有效果的學 習，如圖16。 圖16 多媒體補救教學
5.結論與未來研究方向
5.1 研究結論 本研究實作開發出以知識結構為基礎的適性 化診斷測驗系統，目前系統已有康軒版、南一版數 學之五、六年級單元教材上線（約有四十個單元， 3000 多題試題），並由數位碩士研究生及國小教師 進行實際使用、施測。 由趙琬津[5]、盧炎成[6]等人的研究指出，本 系統確實可以有效節省施測題數，並有適性化的功 能。再者，提供個別學習診斷報告書，讓學生可以 立即知道自己的錯誤觀念，也有利教師進行補救教 學。 除此之外，利用本系統提供之各項功能，可以 便利教師建立符合知識結構理論之適性測驗，並對 班級之施測結果進行追蹤查詢。透過學習診斷報 告，可以將測驗單元所有的概念列出，以瞭解學生 錯誤概念所在，讓教師針對學生不懂的地方做補 救，學生亦可由多媒體補救教材進行自主學習，以 達事倍功半之效。 5.2 未來研究方向 在系統實作與實際施測過程中，得到許多寶貴 的經驗，可以做為後續研究方向，分述如下： 1.本系統因應數學領域命題，主要支援題型以 選擇題為主，未來系統發展可朝向支援更多題型的 呈現。 2.以目前之適性出題模組，可以有效節省試 題，然而在節省試題下所得之結果與學生完整做完 整份測驗是否會有所差異？可以做進一步的驗證。 3.可以針對使用過本系統之教師、學生進行系 統使用評估調查，做為日後系統繼續研發的參考。6.致謝
本論文延續國科會研究計畫「國小數學科電腦 化 適 性 診 斷 測 驗 (I)(II)(III) 」 ， NSC-91-2520-S-142-001,NSC-92-2521-S-142-003 ，NSC-93-2521-S-142-004 之方法，及參考國立台 中教育大學、亞洲大學與階梯數位科技股份有限公 司建教合作計畫「以試題結構理論為基礎之國小 五、六年級數學領域電腦適性診斷測驗系統與題庫 建置」之部分成果。參考文獻
[1]郭伯臣、何政翰。2004。國小數學領域電腦適 性化測驗系統之建製。「2004 數位生活與網際 網路科技研討會」論文集，2004 年 6 月 24~26 日，成功大學。(Supported by NSC-92-2521-S-142-003)。 [2]郭伯臣、謝友振、張峻豪、蔡坤穎，以結構理 論為基礎之適性測驗與適性補救教學線上系 統，台灣數位學習發展研討會，國立台灣師範 大學，2005 年 5 月 6-7 日。 [3]郭伯臣。2003。國小數學科電腦化適性診斷 測 驗(I)。行政院國家科學委員會專題研究計畫 報告(NSC 91-2520-S-142-001)。 [4]楊智為、張雅媛、郭伯臣、許天維，以試題結 構理論為基礎之適性測驗選題策略強韌性探 究，2006 數位科技與創新管理國際研討會， 華梵大學，2006 年 4 月 1 日。 [5]趙琬津(2006)。數位個別指導模式與教材研發-以「三角形」單元為例。國立台中教育大學教 育測驗統計所碩士論文。 [6]盧炎成(2006)。個別化數位補救教學模式之成 效以「小數的除法」單元為例。國立台中教育 大學教育測驗統計所碩士論文。[7] Airasian, P. W, & Bart, W. M. “Ordering theory: A new and useful measurement model”. Educational Technology, 1973,5, 56—60.,1973.
[8] Appleby, J., Samuels, P., & Treasure-Jones, T. “Dianosys - A Knowledge-based
Diagnostic Test of Basic Mathematical Skills”, Computers and Education, 28(2), 113-131, 1997.
[9] Brown, J.S. and Burton, R. “Diagnostic models for procedural bugs in basic mathematical skills”, Cognitive Science, 2:155-192, 1978.
[10] Chang, K-E., Liu, S-H., & Chen, S-W. “A testing system for diagnosing
misconceptions in DC electric circuits.” Computers & Education, 31, 195-210, 1998 [11] Takeya. “New item structure theorem”.
Tokyo: Waseda University, 1991
[12] VanLehn K. “Student models. In Polson M.C. & Richardson J.J. (eds.)”, Foundations of intelligent tutoring systems. Lawrence Erlbaum. Hillsdale., 1988.
[13] Wainer, H. (Ed.), “Computerized adaptive testing: A primer (2nd ed.).Hillsdale”, NJ: Lawrence Erlbaum Publishers. , 2000.
[14] Wenger, E. “Artificial Intelligence and Tutoring Systems. Morgan Kaufmann”, Los Altos, CA 94022., 1987.
