行為模式 9 - 徒勞無功型

此行為的學生在作答時一直更改答案，希望藉由嘗試錯誤中找出答案。多次更改後，才 完成該題，最後該題答題結果為零分，代表學習者想努力找出答案，可惜未具備解題所需的 概念。行為模型狀態轉換流程如圖 32 所示。

圖 32 行為模型狀態轉換 - 徒勞無功型

3.2.10 行為模式 10 - 未作答

此行為的學生在考試時沒有作答，作答歷程中也沒有記錄到任何作答過程。表示學生放 棄該題作答。

3.3 行為模型 3 -步驟式軟體操作行為模型

「步驟式軟體操作行為模型」是根據學生在「軟體操作型題型」中設計的行為模型，學 生在操作時根據題目給的提示依序作答，答題時，考試器會記錄學生完整的作答過程，包含 做答正確與做答錯誤時的狀態、答錯次數、點選提示次數及該步驟花費時間等。「步驟式軟體 操作行為模型」如圖 33 所示。

圖 33 步驟式軟體操作行為模型 以下將利用正規語言(Formal Language)進行說明，如圖 34 所示

圖 34 步驟式軟體操作行為模型 - 正規語言表示

研究者定義此行為模型包含了 6 個作答動作，分別為：思考、作答正確及作答錯誤、提

3.3.2 行為模式 2 - 半熟練型

由此答題歷程模式可以發現，該學生在某個操作步驟時，經過思考後才作答，而不是熟 練且快速地依照提示完成步驟。行為模型狀態轉換流程如圖 36 所示。

圖 36 行為模型狀態轉換 -半熟練型

3.3.3 行為模式 3 - 試錯型(Try and Error)

由此答題歷程模式可以發現，該學生在某個操作步驟時，系統不斷的紀錄操作步驟錯誤，

經過不斷的錯誤及思考，最後才完成該操作步驟。行為模型狀態轉換流程如 圖 37 所示。

圖 37 行為模型 - 試錯型(Try and Error)

3.3.4 行為模式 4 - 謹慎思考型

由此答題歷程模式可以發現，學生在依照題目說明進行操作時，會不斷的思考，接著才 開始進行操作動作。行為模型狀態轉換流程如圖 38 所示。

圖 38 行為模型 - 謹慎思考型

3.3.5 行為模式 5 - 漫不經心型

由此答題歷程模式可以發現，學生在依照題目說明進行操作時反覆出現思考時間過程而 進入閒置的狀態，且會一直處於閒置的情形，之後繼續操作，但到某一個步驟後又開始進入 閒置的狀態。行為模型狀態轉換流程如圖 39 所示。

圖 39 行為模型 - 漫不經心型

第四章 系統架構設計

此章節介紹系統架構設計，及新增的視覺化行為模組的運作細節說明。

4.1 系統新增規格

本研究擴充之前的 ITIS｢互動式題目測驗系統｣，新增自動行為分析程式(Auto Behavior Analysis Program)，包含：

1. 「互動式題型」學生作答熟練度行為模型-行為自動分析模組：根據學生在「互動式

3. 自動評分線上測驗網站(Auto-grading Online Test Website)：可自動評分，紀錄學生的 測驗分數及儲存學生的作答歷程檔。

4. 視覺化行為呈現模組(Visualizing Item Test Behavior Generator)：將學生的行為歷程檔 轉換成可視覺化的行為分析圖。

4.2 系統架構

3. 自動評分線上測驗網站(Auto-grading Online Test Website)：可自動評分，接收從考試 器上傳的分數及學生的考試作答歷程並放到 MySQL 資料庫中。

4. 視覺化行為呈現模組(Visualizing Item Test Behavior Generator)：可從網站下載每位同 學的行為歷程紀錄檔，並將數個同學的行為歷程檔轉換成數個多人同題的行為歷程 檔，並根據其歷程檔產生視覺化行為圖。

5. 自動行為分析子模組(Auto Behavior Analysis Program)：為本研究擴充之模組，透過 從網站下載的許多學生操作歷程檔，可根據視覺型為呈現模組轉換出來的多人同題 操作歷程檔進型自動行為分析；也可根據此模組建立的編碼轉換產生學生作答序列 來進行行為分析，找出編碼中出現最頻繁的動作以及顯著的行為序列。主要包含「互 動式題型」(行為模型 2)行為自動分析模組及「互動式題型」及「軟體操作型題型」

序列行為自動分析模組

圖 40 簡易系統架構圖

第五章 實驗與數據分析

1. B1：Look all then conquer 2. B2：Conquer in sequence

3. B3：Look all, conquer and check 4. B4：Conquer then check

5. B5：Other

表 1 題目間答題行為模型初步統計分析 行為模型 - 題目間答題行為模型

年度 B1 B2 B3 B4 B5 人次

第一年 0 15 2 50 8 75

第二年 0 30 2 64 2 98

第三年 0 32 2 99 20 153

第四年 1 48 6 123 16 194

Total 1 77 6 213 30 527

研究者根據四年的實驗數據，統計每位學生的第一次、第二次、以及第三次之後的作答 行為作統計，結果如圖 41 - 圖 43 所示。大部分的學生在作答時會先從頭到尾將題目做完一 次，接著再作一次以上的檢查，有少部分的同學會在作答前先瀏覽一次題目才開始作答，部 分同學期作答行為無法判斷。

圖 41 學生第一次作答行為統計(四年)

圖 42 學生第二次作答行為統計(四年)

圖 43 學生第三次以上作答行為統計(四年)

本研究也針對每一年學生多次作答的行為轉換序列進行分析，結果如圖 44 - 47 所示。

圖 44 第一年實驗 - 學生操作行為統計

圖 45 第二年實驗 - 學生操作行為統計

圖 46 第三年實驗 - 學生操作行為統計

圖 47 第四年實驗 - 學生操作行為統計

5.3 序列分析(sequential analysis)

所有序列經計算後的 Z-score 如表 3 所示。其中，序列的 B2→B2、B4→B4、B2→B4、

B4→B2，Z-score 都大於 1.96，達到統計上的顯著性。接著將達到顯著的行為序列繪製行為序 列轉換圖，如圖 48 所示。

本研究進而分析學生操作三次以上的行為轉換序列，其行為序列轉換圖如圖 49 所示，發現 原本系統無法判斷其作答行為的同學，經過多次測驗後，會開始重頭到尾先做一次答案，接 著再檢查一次以上，以得到更高的分數(B5→B4)。而原本依序作答完就交卷的同學，會因為 想得高分，在進行多次考試後，作答結束會做一次以上的檢查(B2→B4)。

圖 49 學生作答多次行為序列轉換圖

本研究接著以學生的期中考分數進行高、中、低分組，並針對不同的分組其學生作答多 次的行為轉換序列進行序列分析，圖 50 為高分組學生作答多次行為序列轉換圖。約有一半 的同學在作答結束後會做一次以上的檢查，經過多次考試後，行為也不會改變(B2→B4)。而 原本作答完就交卷的同學，經過多次考試後，會在交卷前開始做一次以上的檢查(B2→B4)。

圖 50 高分組學生作答多次行為序列轉換圖

圖 51 為中分組學生作答多次行為序列轉換圖。在中分組的部分，研究者針對作答超過 三次以上的學生行為序列進行分析，發現這些學生在一開始考試時，在交卷前會將作答完的 試卷做一次的檢查，而在作答多次後，還是會在交卷前做一次以上的檢查。

圖 51 中分組學生作答多次行為序列轉換圖

圖 52 為低分組學生作答多次行為序列轉換圖。在低分組的部分，可以發現有一半以上 的學生原本在作答結束後會進行一次以上的檢查，但在作答多次後，可能因為已經大致了解 題目內容，因此在作答結束後就交卷不再檢查。

圖 52 低分組學生作答多次行為序列轉換圖

第六章 結論與未來發展方向

6.2 未來發展方向

本研究未來將及時行為分析模組整合到互動式測驗系統中，讓學生進行互動式線上考試 時，系統能即時根據學生的操作過程判斷其作答行為，找出學生較不熟練的操作步驟或是較 不熟悉的概念，並給予學生有效的回饋。此外，本研究將根據不同的科目設計互動式線上測 驗試卷並舉行考試，藉此蒐集大量學生的作答歷程記錄，從中找出更多具有意義的作答樣板 和特殊行為。

參考文獻

[1] E. W. Black, K. Dawson, and J. Priem, “Data for free: Using LMS activity logs to measure community in online courses,” The Internet and Higher Education, vol. 11, no. 2, pp. 65-70, 2008.

[2] R. Mahajan, J. Sodhi, and V. Mahajan, “Usage patterns discovery from a web log in an Indian e-learning site: A case study,” Education and Information Technologies, pp. 1-26, 2014.

[3] C. K. Wong, W. Wong, and C. H. Yeung, “Student behaviour and performance in using a web-based assessment system,” Innovations in Education and Teaching International, vol.

38, no. 4, pp. 339-346, 2001.

[4] J. M. Williams, “The engineering communication portfolio: writing, reflection, and technical communication assessment,” in IEEE International Professional Communication Conference, 2001, pp. 341-347.

[5] C. B. Burch, “Inside the portfolio experience: The student's perspective,” English education, pp. 34-49, 1999.

[6] H. Borko, P. Michalec, M. Timmons et al., “Student teaching portfolios: A tool for promoting reflective practice,” Journal of teacher education, vol. 48, no. 5, pp. 345-357, 1997.

[7] 陳宗楹, “電腦化建構反應題型與自動計分模式之研發—以「長方體和正方體」單元 為例,” 亞洲大學資訊工程學系碩士在職專班, 台中縣, 台灣, 2009.

[8] H.-T. Hou, “Exploring the behavioral patterns of learners in an educational massively multiple online role-playing game (MMORPG),” Computers & Education, vol. 58, no. 4, pp.

1225-1233, 2012.

[9] J. Hattie, and H. Timperley, “The power of feedback,” Review of educational research, vol.

77, no. 1, pp. 81-112, 2007.

[10] D. J. Nicol, and D. Macfarlane‐Dick, “Formative assessment and self‐regulated learning: a model and seven principles of good feedback practice,” Studies in higher education, vol. 31, no. 2, pp. 199-218, 2006.

[11] T. E. Davis III, E. T. Reuther, A. C. May et al., “The Behavioral Avoidance Task Using Imaginal Exposure (BATIE): A paper-and-pencil version of traditional< em> in vivo</em>

behavioral avoidance tasks,” Psychological assessment, vol. 25, no. 4, pp. 1111, 2013.

[12] G. Costagliola, V. Fuccella, M. Giordano et al., “Monitoring online tests through data visualization,” Knowledge and Data Engineering, IEEE Transactions on, vol. 21, no. 6, pp.

773-784, 2009.

[13] 高啟洲, 唐璽惠, and 詹明惠, “互動式數位學習系統之設計,” 南大學報, vol. 39, no.

1, pp. 111-132, 2005.

[14] K. A. Bollen, “A new incremental fit index for general structural equation models,”

Sociological Methods & Research, vol. 17, no. 3, pp. 303-316, 1989.

[15] J. Musch, and U.-D. Reips, "A brief history of Web experimenting," Psychological

experiments on the internet: San Diego: Academic Press, 2000.

[16] M. Vleeschouwer, C. D. Schubart, C. Henquet et al., “Does Assessment Type Matter? A Measurement Invariance Analysis of Online and Paper and Pencil Assessment of the Community Assessment of Psychic Experiences (CAPE),” PloS one, vol. 9, no. 1, pp.

e84011, 2014.

[17] G. E. DeBoer, E. S. Quellmalz, J. L. Davenport et al., “Comparing three online testing modalities: Using static, active, and interactive online testing modalities to assess middle

school students' understanding of fundamental ideas and use of inquiry skills related to ecosystems,” Journal of Research in Science Teaching, vol. 51, no. 4, pp. 523-554, 2014.

[18] J. D. Bransford, A. L. Brown, and R. R. Cocking, "How people learn: Brain, mind, experience, and school," National Academy Press, 1999.

[19] K.-H. Cheng, and H.-T. Hou, “Exploring students’ behavioural patterns during online peer assessment from the affective, cognitive, and metacognitive perspectives: a progressive sequential analysis,” Technology, Pedagogy and Education, no. ahead-of-print, pp. 1-18, 2013.

[20] H.-Y. Wang, H. B.-L. Duh, N. Li et al., “An Investigation of University Students’

Collaborative Inquiry Learning Behaviors in an Augmented Reality Simulation and a Traditional Simulation,” Journal of Science Education and Technology, pp. 1-10, 2014.

[21] T. H. Chiang, S. J. Yang, and G.-J. Hwang, “Students’ online interactive patterns in augmented reality-based inquiry activities,” Computers & Education, vol. 78, pp. 97-108, 2014.

[22] 戴雯, “以課程論壇做為知識分享工具之研究–以中央大學計算機概論課程為例,”

國立中央大學數學系學位論文, 桃園縣, 台灣, 2012.

[23] A. C. Jeong, “The sequential analysis of group interaction and critical thinking in online,”

The American Journal of Distance Education, vol. 17, no. 1, pp. 25-43, 2003.

[24] H.-T. Hou, K.-E. Chang, and Y.-T. Sung, “Analysis of Problem-Solving-Based Online Asynchronous Discussion Pattern,” Educational Technology & Society, vol. 11, no. 1, pp.

17-28, 2008.

[25] R. Bakeman, Observing interaction: An introduction to sequential analysis: Cambridge University Press, 1997.

[26] J. English, “Experience with a computer-assisted formal programming examination,” in ACM SIGCSE Bulletin, 2002, pp. 51-54.

[27] G. E. DeBoer, E. S. Quellmalz, J. L. Davenport et al., “Comparing three online testing modalities: Using static, active, and interactive online testing modalities to assess middle school students' understanding of fundamental ideas and use of inquiry skills related to ecosystems,” Journal of Research in Science Teaching, 2014.

[28] T.-H. Liang, K.-T. Wang, and Y.-M. Hung, “An exploration study on student online learning behavior patterns,” in IEEE International Symposium on IT in Medicine and Education, 2008, pp. 854-859.

[29] I. El Haddioui, and M. Khaldi, “Learning Style and Behavior Analysis A Study on the Learning Management System Manhali,” International Journal of Computer Applications vol. 56, no. 4, 2012.

[30] R. M. Felder, and L. K. Silverman, “Learning and teaching styles in engineering education,”

Engineering education, vol. 78, no. 7, pp. 674-681, 1988.

[31] D. A. Kolb, "Experiential learning: Experience as the source of learning and development,"

Englewood Cliffs, NJ: Prentice-Hall 1984.

[32] 簡子超, 陳志洪, and 陳德懷, “以行為順序分析法分析學生於社交型閱讀經營遊戲的 行為模式,” in 全球華人計算機教育應用大會, 北京, 中國大陸, 2014.