本章結論與建議將分成二節來加以說明:第一節為研究結論;第二節為研究 建議。
第一章 研究結論
壹、 開發線上更新試題結構之適性測驗的方法
以知識結構為基礎之電腦化適性測驗是根據學生的知識結構來做為自動選 題的依據,當每學期教材內容的新增或變動時,則需要新增新的試題到題庫中,
而因新增的試題將會改變原來試題結構的關係,所以將會需要重新蒐集學生在新 舊試題的作答反應來更新試題結構。本研究模擬利用線上適性測驗的受試者,當 他們作答舊試題後再完整作答一部份新的試題,利用此線上收集新舊試題作答反 應樣本的方式,來節省傳統需重新預試蒐集資料的成本,亦可省下人力在資料整 理的時間成本,達到更新試題結構的效果。
貳、 比較設定個別預測精準度上更新試題結構成效
設定個別試題結構預測精準度 95%下所建立出的結構,部份作答資料在個別 結構訓練樣本數 100 人時,完整結構預測精準度為 92%,施測題數為 13 題,節 省題數比率為 61%。當個別試題結構預測精準度設定在 98%,樣本數在 30 人時,
完整結構預測精準度就能達到在 92%,施測題數平均為 13 題,節省題數比率為 61%。所以,在相同的精準度和節省題數比率下,當個別結構預測精準度高時,
只需要少量樣本就能有良好的結果。
參、 比較部份作答資料和完整作答資料的更新試題結構成效
個別結構預測精準度為 95%時,部份作答資料所建立出試題結構的完整結構 預測精準度,在各種訓練樣本下遠比不上完整作答資料所建立的完整結構預測精 準度。而當個別結構預測精準度為 98%時,每個部份試題的訓練樣本人數越多,
部份作答資料和完整作答資料之作答反應所建立出來的結構就越接近。所以,當 個別結構預測精準度高時,只需要少量樣本就能有良好的結果,且個別預測精準 度較設定越高時,樣本數越多便能越接近完整作答資料的效果。
第二章 研究建議
本研究所提出的利用線上收集的資料來更新試題結構確實有其成效,以下提 出幾點於未來能夠發展的建議。
壹、 施測對象
本研究是採用莊惠萍(2007)的紙筆測驗結果為模擬資料來進行。而研究的 對象以台中市、台中縣、彰化縣為主,將來可以利用不同區域的學生來做研究和 評估,這樣也能使得試題結構更加穩定且精確,而研究的範圍能更廣範。
貳、 新增試題所切割等份
本研究之實驗設計是將所需新增的試題切割成 A、B、C 三個部份,來分別 蒐集每個部份的作答反應,未來更可以評估將新的試題切割成不同等份項後各種 研究變項在建立更新試題結構的成果。
參、 線上更新試題結構系統
未來可將此研究套用在 KSAT 系統上面實際操作,發展出一套完整的以知識 結構為基礎之線上更新試題結構的系統,讓受試者能直接在線上做測驗,突破過 往死板的紙筆測驗型式。
肆、 多點計分或題組試題的方法來更新試題結構
本研究是以二元計分的方式來進行實驗模擬,後續也可利用多點計分的方式 或題組試題的方法來做研究,能更有效且多元的評估學生在學習上的迷思。
參考文獻
中文部份
何榮桂(1991a)。電腦化題庫設計的基本架構。教育研究雙月刊,20 輯,21-26。
何榮桂(1991b)。電腦化測驗概述。現代教育。18 期,121-129。
何榮桂(2000)。量身定製的測驗─適性測驗。測驗與輔導雙月刊,157 期,
3288-3293。
何榮桂(2005)。數位化題庫之概念架構。國家菁英季刊。第一卷第四期,151-152。
余民寧(1991)。試題反應理論的介紹(十一)題庫建立。檢索日期:06/01/2008。
http://www.edutest.com.tw/e-irt/irt11.htm。
余民寧(1991)。試題反應理論的介紹(十二)電腦化適性測驗。檢索日期:
06/01/2008。http://www.edutest.com.tw/e-irt/irt12.htm。
吳慧珉(2006)。以知識結構為基礎之適性測驗選題策略強韌性探究。測驗統計 年刊第14 輯下期。國立台中教育大學。
吳權威(2005)。PHP 5 與 MySQL 動態網頁實務。台北市:網奕資訊科技。
林立敏(2007)。連結不同知識結構之電腦適性學習系統研發。國立臺中教育大 學教育測驗統計研究所教學碩士論文,未出版,台中市。
洪恩維(2004)。Matlab7 程式設計。台北市:旗標出版股份有限公司。
莊惠萍(2007)。不同知識結構連結之適性測驗演算法成效。國立臺中教育大學 教育測驗統計研究所教學碩士論文,未出版,台中市。
許志毅(2004)。國小數學領域電腦化適性診斷測驗及補救教學系統之內容開發 及試用—以「扇形」單元為例。國立台中師範學院教育測驗統計研究所教學 碩士論文,未出版,台中市。
郭伯臣(2003)。國小數學科電腦化適性診斷測驗(I)。行政院國家科學委員會專 題研究計畫報告(NSC-91-2520-S-142-001),未出版。
郭伯臣(2004)。國小數學科電腦化適性診斷測驗(II)。行政院國家科學委員會專 題研究計畫成果報告(NSC-92-2521-S-142-003),未出版。
郭伯臣(2005)。電腦化適性診斷測驗之研究 (III)。行政院國家科學委員會專題 研究計畫成果報告(NSC-93-2521-S-142-004),未出版。
郭伯臣、何政翰(2004)。 國小數學領域電腦適性化測驗系統之建製。「二〇 〇 四數位生活與網際網路科技研討會」論文集。2004 年 6 月 24~26 日,成功大 學。
郭伯臣、何政翰(2004)。國小數學領域電腦適性化測驗系統之建製。國立臺中 教育大學數學教育學系碩士論文,未出版,台中市。
郭伯臣、謝友振、張峻豪、蔡坤穎(2005)。以結構理論為基礎之適性測驗與適 性補救教學線上系統。台灣數位學習發展研討會。國立台灣師範大學,2005 年 5 月 6-7 日。
曾彥鈞(2007)。以知識結構為基礎的適性診斷測驗系統及降低猜測機制之研發。
國立臺中教育大學數學教育學系碩士論文。未出版,台中市。
黃珮璇、王暄博、郭伯臣、劉湘川(2006)。國小數學科電腦化適性診斷測驗強 韌性探究。2006 年電腦與網路科技在教育上的應用研討會。國立新竹教育大 學。
楊智為、張雅媛、郭伯臣、許天維(2006)。以試題結構理論為基礎之適性測驗 選題策略強韌性探究。2006 數位科技與創新管理國際研討會。華梵大學。
廖元偉、趙銘(2006)。以 QTI 為標準引入 IRT 之試題編輯工具。逢甲大學資訊 工程學系碩士論文,未出版,台中市。
劉育隆(2007)。題組式適性診斷測驗系統之建置。國立臺中教育大學教育測驗 統計研究所教學碩士論文,未出版,台中市。
劉育隆、曾筱倩、郭伯臣(2006)。以知識結構為基礎之適性測驗系統建置。測
蔡昆穎(2004)。國小數學領域電腦化適性診斷測驗及補救教學系統之內容開發 及試用─以「擴分、約分」單元為例。國立台中師範學院教育測驗統計研究 所教學碩士論文,未出版,台中市。
外文部份
Airasian, P.W., & Bart, W.M.(1973). Ordering theory: A new and useful measurement model. Journal of Educational Technology, 5, 56-60.
Appleby, J., Samuel, P.& Treasure-Jones, T. (1997). Diagnosys-A Knowledge-Based Diagnostic Test of Basic Mathematical Skills. Computers Education, Vol. 28, No.
2, pp. 113-131.
Appleby, J., Samuels, P., & Treasure-Jones, T.(1997). Diagnosys--A knowledge-based diagnostic test of basic mathematical skills. Computers & Education, 28(2), 113-131.
Appleby, J., Samules, P., &Treasure-Jones, T. (1997). Diagnosys: A knowledge-based diagnostic test of basic mathematical skills. Computers & Education, Vol.28, No.2, pp.113-131.
Brown, J.S. and Burton, R.(1978). “Diagnostic models for procedural bugs in basic mathematical skills”, Cognitive Science, 2:155-192.
Chang, K-E., Liu, S-H., & Chen, S-W. (1998). A testing system for diagnosing misconceptions in DC electric circuits. Computers & Education, 31, 195-210.
Chang,K.E.,Liu, & Chen, S.W. (1998). A testing system for diagnosing misconceptions in DC electric circuits. Computers & Education,31, pp .195-210.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston: Kluwer.
Ho, R. G. (1989). Computerized adaptive testing. Psychological Testing, Vol. XXXVI, 117-130.
Millman, J., & Arter, J. A. (1984). Issues in item banking. Journal of Educational Measurement, 21, 315-330.
Takeya (1991). New item structure theorem. Tokyo: Waseda University
VanLehn K.(1988).“Student models. In Polson M.C. & Richardson J.J. (eds.)”, Foundations of intelligent tutoring systems. Lawrence Erlbaum. Hillsdale.
VanLehn, K. (1988). Student modeling. In M. C. Polson and J. J. Richardson (Eds.), Intelligent tutoring systems. Lawrence Erlbaum Associates Publishers, New Jersey.
Wainer, H., Dorans, N.J., & Flaugher, R.(Eds.) (2000). Computerized Adaptive Testing:
A Primer (2nd ed.). NJ: Lawrence Erlbaum Associates.
Wenger, E.(1987).“Artificial Intelligence and Tutoring Systems. Morgan Kaufmann”, Los Altos, CA 94022.
附錄一 專家知識結構
6-n-02 能認識兩數的最大公因數、最小公倍數與兩數互質的意義,理解最大公因 數、最小公倍數的計算方式,並能將分數約成最簡分數
求出最大公 因數
互質的定 義
互質的判 別 將分數
約成最 簡分數
最大公因 數的定義
最小公倍 數的定義 求出最小公 倍數 最大公因數
的應用問題
最小公倍數 的應用問題
附錄二 設定個別結構預測精準度之 OT 圖形
舊試題加 B 部份試題在個別結構預測精準度在 95%下由 OT 估計出來的圖形:
舊試題加 C 部份試題在個別結構預測精準度在 95%下由 OT 估計出來的圖形:
舊試題加 B 部份試題在個別結構預測精準度在 98%下由 OT 估計出來的圖形:
舊試題加 C 部份試題在個別結構預測精準度在 98%下由 OT 估計出來的圖形: