34~66%的中分組與 67~100%的低分組,並計算出平均的平時練習作答次數如表 11,可以發現高分組的學生平均作答 67.12 次,中分組的學生平均作答 46.44 次,
由以上結果可以我們可以預測,進行作答練習越多次的學生其學習的成效也 會越高。
此外,我們也針對涵蓋相同關鍵知識點的評時練習的期中考題目如上表 10 的得分進行分析,我們選擇的平時練習為 Factorial(階乘練習)與期中考中的 Fibuonacci(費式數列)的成績進行比較,我們選擇期末考該題得到相同分數的學生,
將他們的評時練習得分進行加總平均,得到結果如下表 12。
表 12 Factorial(階乘練習)與 Fibuonacci(費式數列)的成績比較
期末考得分 平時練習得分平均 人數 0 分 52.55 分 27 人 5 分 75.45 分 20 人
8 分 83 分 7 人
10 分 88.67 分 15 人
由表 12 可以看出,期中考費式數列獲得 0 分的有 27 人,其平時練習階乘練 習得分平均為 52.55 分;獲得 5 分者為 20 人,其平時練習平均得分為 75.45 分;
獲得 8 分者有 7 人,其平時練習平均得分為 83 分;獲得 10 分有 15 人,其平時 練習平均得分為 88.67 分。如果平時練習的得分越高,我們可以推測其在涵蓋相 同關鍵知識點的期中考題目上獲得更高的分數,代表平時練習的成績表現與學習 成效呈現正相關。
六、結論與未來展望
本研究發展了一個適合初學者較為開放的自動評分的系統和回饋環境,使用 了四種測試和檢查的方法,包含輸出結果檢查、程式結構檢查、操作介面檢查和 流程架構檢查,嘗試拓展自動評分的應用範圍,提供較為開放的評分方法,減少 初學者可能遭遇的問題及挫折。此外,本系統也導入雲端的技術嘗試提供更即時 的評分回饋和提供更多不同平台的程式練習評分環境。並使用專家系統,將不同 的檢查方法產生的不同種類評分結果與學習的狀態進行推論和連結,提供適合初 學者閱讀的回饋訊息。未來,將會針對系統的使用成效及學生的作答歷程進行實 驗研究,希望能在學生練習的過程中分析出學習行為模型,提供教師做為施教參 考。
參考文獻
[1] Cheang, B., et al., On automated grading of programming assignments in an academic institution.
Computers & Education, 2003. 41(2): p. 121-131.
[2] Forišek, M., On the suitability of programming tasks for automated evaluation. Informatics in Education-An International Journal, 2006(Vol 5_1): p. 63-76.
[3] Morris, D.S. Automatic grading of student's programming assignments: an interactive process and suite of programs. in Frontiers in Education, 2003. FIE 2003 33rd Annual. 2003. IEEE.
[4] Daly, C. and J.M. Horgan, An automated learning system for Java programming. Education, IEEE Transactions on, 2004. 47(1): p. 10-17.
[5] Feng, M.Y. and A. McAllister. A tool for automated GUI program grading. in Frontiers in Education Conference, 36th Annual. 2006. IEEE.
[6] Zimmerman, D.M., J.R. Kiniry, and F. Fairmichael. Toward instant gradeification. in Software Engineering Education and Training (CSEE&T), 2011 24th IEEE-CS Conference on. 2011. IEEE.
[7] Kurnia, A., A. Lim, and B. Cheang, Online judge. Computers & Education, 2001. 36(4): p. 299-315.
[8] Ellsworth, C.C., J.B. Fenwick Jr, and B.L. Kurtz. The quiver system. in ACM SIGCSE Bulletin. 2004. ACM.
[9] Higgins, C.A., et al., Automated assessment and experiences of teaching programming. Journal on Educational Resources in Computing (JERIC), 2005. 5(3): p. 5.
[10] Joy, M., N. Griffiths, and R. Boyatt, The boss online submission and assessment system. Journal on Educational Resources in Computing (JERIC), 2005. 5(3): p. 2.
[11] Blumenstein, M., et al. An experimental analysis of GAME: a generic automated marking environment.
in ACM SIGCSE Bulletin. 2004. ACM.
[12] Wang, T., et al., Ability-training-oriented automated assessment in introductory programming course.
Computers & Education, 2011. 56(1): p. 220-226.
[13] Mercury. QuickTest homepage,
http://www.mercury.com/us/products/quality-center/functional-testing/quicktest-professional/. 2006.
[14] IBM, Rational Robot homepage. http://www-306.ibm.com/software/awdtools/tester/robot/. 2006.
[15] Costello, Getting started with the Abbott Java GUI test framework, http://abbot.sourceforge.net/doc/overview.shtml. 2006.
[16] Caiza, J.C. and Á. Ramiro, Programming assignments automatic grading: review of tools and implementations. 2013.