本研究的主要目的在於應用基於學生概念結構之適性測驗演算法來進行實 徵驗證分析,並利用國小學童在「面積」單元測驗所產生的作答反應來進行建立 學生概念結構及計算其試題權重值,以探討其預測精確度與其通過決斷值的設 定,將這些在研究中所發現的訊息,加以歸納總結,在論文的最後提出本研究的 研究結論與未來研究的建議。
第一節 研究結論
一、 基於學生概念結構之適性測驗演算法節省試題效果佳
本研究所提出基於學生概念結構之適性測驗演算法,不論是何種試題權重的 適性測驗選題策略,皆可達到有效地節省施測試題數,進而節省施測時間的目 的。不論通過決斷值為何,在節省試題比率的成效,皆為「順序性機率試題權重」
程序>「可達試題權重」程序>「OT」程序>「相等試題權重」程序>基於「專 家策略」之適性測驗程序。
二、 基於學生概念結構之適性測驗演算法診斷概念效果佳
依據模擬實驗的結果,基於學生概念結構之適性測驗演算法可以有效 地診斷出學生的迷思概念,其預測精確度至少皆有七成以上。
三、 不同通過決斷值之適性測驗演算法最佳選題策略
在本研究之實驗設計下,不同的通過決斷值會影響本研究提出之適性測驗演 算法之預測精確度,
1. 在通過決斷值為 0.6 與 0.65 時,在預測精確度的成效,以「順序性機率試 題權重」程序>「可達試題權重」程序>基於「專家策略」之適性測驗程序>「OT」
程序>「相等試題權重」程序。
2. 在通過決斷值為 0.7 與 0.75 時,在預測精確度的成效,以基於「專家策略」
之適性測驗程序>「可達試題權重」程序>「順序性機率試題權重」程序>「OT」
程序>「相等試題權重」程序。
3. 在通過決斷值為 0.8 時,在預測精確度的成效,以基於「專家策略」之適 性測驗程序>「OT」程序>「可達試題權重」程序>「相等試題權重」程序>「順 序性機率試題權重」程序。
由上述結果可看出,當通過決斷值越高時,OT 程序之精確度漸佳。本研究 推估可能是當通過決斷值越高時,其概念診斷的設計就越趨於試題診斷之設計,
因而有此結果。
但在相同預測精準度下,以學生概念結構為基礎之適性測驗程序中,以可到 達步數當作權重之選題策略,其節省試題比率效果皆較其他方法為佳
第二節 研究建議
本研究所提出之以學生概念結構為基礎之適性測驗選題策略已有不錯的成 效,未來可發展的建議如下:
一、 可實驗不同單元並評估成效
因本研究限於人力、物力所以只針對「面積」單元進行實驗,將來可嘗試運 用在其他單元或是其他類科上,探討其成效。
二、 可發展為多個能力指標的概念結構
由於本研究探討的範圍為單一能力指標之「面積」單元, 未來可將學生概 念結構發展為多個能力指標的概念結構,獲得更大範圍的診斷。
三、 可發展為多點計分模式的概念結構
由於目前之學生概念結構為二元計分模式,將來也可發展為多點計分模式之 學生概念結構。
四、可結合貝氏網路進行推論
因為目前的選題策略是依據概念的上下位關係來設計的,將來也可結合貝氏 網路進行推論,這樣可以得到更多的訊息,獲得更準確的診斷。
以上為本研究根據研究結果所歸納出的結論及建議,由於還有可改進之處,
盼此研究之提出能使將來概念診斷能有更好的成效。
在心理計量學與統計學的理論結合下,電腦化測驗的進步可以提供更豐富的 例子來印證其需求。我們若能利用概念的蘊含關係,來了解特定知識的基本組成 概念與其相互關係,使電腦能在短時間內進行複雜的推論來推估學生的能力與迷 思概念所在,更能即時地讓教學者了解學生的迷思概念之所在,且能利用概念與 試題的蘊含關係,預測概念的有無,達到節省施測試題與因才施測的目的。
第六章 參考文獻
中文文獻
許雅菱(2005)。貝氏網路在教育測驗分析上的應用。國立台中教育大學教育測 驗統計研究所碩士論文。台中市。
郭伯臣(2003)。國小數學科電腦化適性診斷測驗(I)。國科會研究專案報告 NSC-91-2520-S-142-001。
郭伯臣(2004)。國小數學科電腦化適性診斷測驗(II)。國科會研究專案報告 NSC-92-2521-S-142-003。
郭伯臣(2005)。國小數學科電腦化適性診斷測驗(III)。國科會研究專案報告 NSC-93-2521-S-142-004。
郭伯臣、何政翰(2004)。國小數學領域電腦適性化測驗系統之建製。「2004 數位 生活與網際網路科技研討會」論文集,2004 年 6 月 24~26 日,成功大學。
(Supported by NSC-92-2521-S-142-003)
郭伯臣、謝友振、張峻豪、蔡坤穎(2005)。以結構理論為基礎之適性測驗與適 性補救教學線上系統。台灣數位學習發展研討會,2005 年 5 月 6-7 日,國 立台灣師範大學。
蔡曉信(1993)。用解析結構法提昇教師對 STS 的看法-清潔劑。國立台灣師範 大學化學研究所碩士論文。台北市。
黃朝恭(2000)。國民小學國語科多媒體線上測驗系統建置之相關研究。臺中教 育大學教育測驗統計研究所。台中市。
曾彥鈞(2007)。以知識結構為基礎的適性診斷測驗系統及降低猜測機制之研發。
國立台中教育大學數學教育學系碩士班碩士論文。台中市。
外文文獻
Appleby, J., Samules, P., &Treasure-Jones, T. (1997). Diagnosys: A knowledge-based diagnostic test of basic mathematical skills. Computers & Education, 28, No.2, pp.113-131.
Airasian, P.W. & Bart, W.M. (1973). Ordering Theory: A new and useful measurement model. Journal of Educational Technology, 5. pp.56-60.
Bart, W.M., & Krus, D.J. (1973 ). An ordering theoretic method to determine hierarchies among items. Educational and Psychological Measurement, 33, pp.291-300.
Brown, J.S., & Burton, R. (1978). Diagnostic models for procedural bugs in basic
mathematical skills, Cognitive Science, 2, 155-192.
Chang,K.E.,Liu, & Chen, S.W. (1998). A testing system for diagnosing misconceptions in DC electric circuits. Computers & Education, 31, pp. 195-210.
Kuo, B-C., Liu, H-C., Sheu, T-W., Pai, C-H., Ko, L-W., Yang, J-M., & Lin, W-C.
(2004). A computerized adaptive testing system based on structure theories. 科 技化測驗與能力指標評量國際學術研討會,2004 年 3 月 26-27 日,台南教 育大學。(Supported by NSC-92-2521-S-142-003)
Miller, G. A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychology Review, p.81-97.
Takeya (1991). New item structure theorem. Tokyo: Waseda University.
VanLehn K. (1988). Student models In Polson M.C. & Richardson J.J. (eds.),
Foundations of intelligent tutoring systems. Lawrence Erlbaum. Hillsdale.
Wainer, H. (2000). Computerized adaptive testing: A primer (2nd). Hillsdale, NJ:
Lawrence Erlbaum Publishers.
Warfield, J. N. (1973a). On arranging elements of a hierarchy in graphic form. IEEE
Transactions on Systems, Man, and Cybernetics, SMC3 (2), 121-132.
Warfield, J. N. (1973b). Binary matrices in system modeling. IEEE Transactions on
Systems, Man, and Cybernetics, SMC3 (2), 133-140.
Warfield, J. N. (1974a). Toward interpretation of complex structural models. IEEE
Transactions on Systems, Man, and Cybernetics, SMC4 (5), 405-417.
Warfield, J. N. (1974b). Developing interconnection matrices in structural modeling.
IEEE Transactions on Systems, Man, and Cybernetics, 4 (1), 81-87.
Warfield, J. N. (1977). Crossing theory and hierarchy mapping. IEEE Transactions on
Systems, Man, and Cybernetics, SMC7 (7), 505-523.
Warfield, J. N. (1979). Some principles of knowledge organization. IEEE Transactions
on Systems, Man, and Cybernetics, SMC9 (6).
Wenger, E. (1987). Artificial intelligence and tutoring systems. Morgan Kaufmann,
Los Altos, CA 94022.
竹內俊彥、佐久間章行(2002)。問題提示型試驗における援用システムに關す る研究。青山學院大學。
佐藤隆博(1979)。ISM 法による学習要素の階層的構造の決定。日本教育工学 会雑誌,4,1,pp.9-16。
佐藤隆博(1987)。ISM 構造學習法。東京,明治圖書出版株式會社。