行為模式 3 - 摸索答對型

此行為的學生在作答時能按照題目要求的順序作答，但是在作答的過程當中有某個子項 目原本作答錯誤，經過更改答案後才正確。在作答結束後沒有更改子項目的答案，並且得到 滿分。行為模型狀態轉換流程如圖 26 所示。

圖 26 行為模型狀態轉換 - 摸索答對型

3.2.4 行為模式 4 - 猶豫答對型

此行為的學生在作答時不一定能按照題目要求的順序作答，且在發現某個子項目作答錯 誤後，會在答案對錯之間猶豫不決，更改答案多次，最後該子項目作答正確，且得到滿分，

作答結束後沒有再更改子項目的答案。行為模型狀態轉換流程如圖 27 所示。

圖 27 行為模型狀態轉換 -猶豫答對型

3.2.5 行為模式 5 - 百密一疏型

此行為的學生在作答時能按照題目要求的順序作答，且作答結束後沒有更改子項目的答 案，但最後該題答案結果有一個子項目作答錯誤。原因可能是粗心、操作疏忽或該子項目的 概念有誤。行為模型狀態轉換流程如圖 28 所示。

圖 28 行為模型狀態轉換 - 百密一疏型

3.2.6 行為模式 6 - 猶豫大部分答對型

此行為的學生在作答時不一定能按照題目要求的順序作答，某些子項目作答時在猶豫不 決，更改答案多次，最後該題有一個子項目作答錯誤，結果只得到部分分數。答對的部分，

概念可能不清楚，而答錯的部分代表部分改念錯誤。行為模型狀態轉換流程如圖 29 所示。

圖 29 行為模型狀態轉換 - 猶豫大部分答對型

3.2.7 行為模式 7 - 猶豫少部分答對型

此行為的學生在作答時不一定能按照題目要求的順序作答，某些子項目作答時在猶豫不 決，更改答案多次，最後該題有多個子項目作答錯誤，結果只得到部分分數。答對的部分，

概念可能不清楚，而答錯的部分代表部分改念錯誤。行為模型狀態轉換流程如圖 30 所示。

圖 30 行為模型狀態轉換 - 猶豫少部分答對型

3.2.8 行為模式 8 - 未用心做答型

此行為的學生在答題時快速作答，在作答結束後沒有更改子項目的答案，最後該題答題 結果為零分，表示學生對該題大部分或全部概念錯誤，且草率作答。行為模型狀態轉換流程 如圖 31 所示。

圖 31 行為模型狀態轉換 - 未用心做答型

3.2.9 行為模式 9 - 徒勞無功型

此行為的學生在作答時一直更改答案，希望藉由嘗試錯誤中找出答案。多次更改後，才 完成該題，最後該題答題結果為零分，代表學習者想努力找出答案，可惜未具備解題所需的 概念。行為模型狀態轉換流程如圖 32 所示。

圖 32 行為模型狀態轉換 - 徒勞無功型

3.2.10 行為模式 10 - 未作答

此行為的學生在考試時沒有作答，作答歷程中也沒有記錄到任何作答過程。表示學生放 棄該題作答。

3.3 行為模型 3 -步驟式軟體操作行為模型

「步驟式軟體操作行為模型」是根據學生在「軟體操作型題型」中設計的行為模型，學 生在操作時根據題目給的提示依序作答，答題時，考試器會記錄學生完整的作答過程，包含 做答正確與做答錯誤時的狀態、答錯次數、點選提示次數及該步驟花費時間等。「步驟式軟體 操作行為模型」如圖 33 所示。

圖 33 步驟式軟體操作行為模型 以下將利用正規語言(Formal Language)進行說明，如圖 34 所示

圖 34 步驟式軟體操作行為模型 - 正規語言表示

研究者定義此行為模型包含了 6 個作答動作，分別為：思考、作答正確及作答錯誤、提

3.3.2 行為模式 2 - 半熟練型

由此答題歷程模式可以發現，該學生在某個操作步驟時，經過思考後才作答，而不是熟 練且快速地依照提示完成步驟。行為模型狀態轉換流程如圖 36 所示。

圖 36 行為模型狀態轉換 -半熟練型

3.3.3 行為模式 3 - 試錯型(Try and Error)

由此答題歷程模式可以發現，該學生在某個操作步驟時，系統不斷的紀錄操作步驟錯誤，

經過不斷的錯誤及思考，最後才完成該操作步驟。行為模型狀態轉換流程如 圖 37 所示。

圖 37 行為模型 - 試錯型(Try and Error)

3.3.4 行為模式 4 - 謹慎思考型

由此答題歷程模式可以發現，學生在依照題目說明進行操作時，會不斷的思考，接著才 開始進行操作動作。行為模型狀態轉換流程如圖 38 所示。

圖 38 行為模型 - 謹慎思考型

3.3.5 行為模式 5 - 漫不經心型

由此答題歷程模式可以發現，學生在依照題目說明進行操作時反覆出現思考時間過程而 進入閒置的狀態，且會一直處於閒置的情形，之後繼續操作，但到某一個步驟後又開始進入 閒置的狀態。行為模型狀態轉換流程如圖 39 所示。

圖 39 行為模型 - 漫不經心型

第四章 系統架構設計

此章節介紹系統架構設計，及新增的視覺化行為模組的運作細節說明。

4.1 系統新增規格

本研究擴充之前的 ITIS｢互動式題目測驗系統｣，新增自動行為分析程式(Auto Behavior Analysis Program)，包含：

1. 「互動式題型」學生作答熟練度行為模型-行為自動分析模組：根據學生在「互動式

3. 自動評分線上測驗網站(Auto-grading Online Test Website)：可自動評分，紀錄學生的 測驗分數及儲存學生的作答歷程檔。

4. 視覺化行為呈現模組(Visualizing Item Test Behavior Generator)：將學生的行為歷程檔 轉換成可視覺化的行為分析圖。

4.2 系統架構

3. 自動評分線上測驗網站(Auto-grading Online Test Website)：可自動評分，接收從考試 器上傳的分數及學生的考試作答歷程並放到 MySQL 資料庫中。

4. 視覺化行為呈現模組(Visualizing Item Test Behavior Generator)：可從網站下載每位同 學的行為歷程紀錄檔，並將數個同學的行為歷程檔轉換成數個多人同題的行為歷程 檔，並根據其歷程檔產生視覺化行為圖。

5. 自動行為分析子模組(Auto Behavior Analysis Program)：為本研究擴充之模組，透過 從網站下載的許多學生操作歷程檔，可根據視覺型為呈現模組轉換出來的多人同題 操作歷程檔進型自動行為分析；也可根據此模組建立的編碼轉換產生學生作答序列 來進行行為分析，找出編碼中出現最頻繁的動作以及顯著的行為序列。主要包含「互 動式題型」(行為模型 2)行為自動分析模組及「互動式題型」及「軟體操作型題型」

序列行為自動分析模組

圖 40 簡易系統架構圖

第五章 實驗與數據分析

1. B1：Look all then conquer 2. B2：Conquer in sequence

3. B3：Look all, conquer and check 4. B4：Conquer then check

5. B5：Other

表 1 題目間答題行為模型初步統計分析 行為模型 - 題目間答題行為模型

年度 B1 B2 B3 B4 B5 人次

第一年 0 15 2 50 8 75

第二年 0 30 2 64 2 98

第三年 0 32 2 99 20 153

第四年 1 48 6 123 16 194

Total 1 77 6 213 30 527

研究者根據四年的實驗數據，統計每位學生的第一次、第二次、以及第三次之後的作答 行為作統計，結果如圖 41 - 圖 43 所示。大部分的學生在作答時會先從頭到尾將題目做完一 次，接著再作一次以上的檢查，有少部分的同學會在作答前先瀏覽一次題目才開始作答，部 分同學期作答行為無法判斷。

圖 41 學生第一次作答行為統計(四年)

圖 42 學生第二次作答行為統計(四年)

圖 43 學生第三次以上作答行為統計(四年)

本研究也針對每一年學生多次作答的行為轉換序列進行分析，結果如圖 44 - 47 所示。

圖 44 第一年實驗 - 學生操作行為統計

圖 45 第二年實驗 - 學生操作行為統計

圖 46 第三年實驗 - 學生操作行為統計

圖 47 第四年實驗 - 學生操作行為統計

5.3 序列分析(sequential analysis)

所有序列經計算後的 Z-score 如表 3 所示。其中，序列的 B2→B2、B4→B4、B2→B4、

B4→B2，Z-score 都大於 1.96，達到統計上的顯著性。接著將達到顯著的行為序列繪製行為序 列轉換圖，如圖 48 所示。

本研究進而分析學生操作三次以上的行為轉換序列，其行為序列轉換圖如圖 49 所示，發現 原本系統無法判斷其作答行為的同學，經過多次測驗後，會開始重頭到尾先做一次答案，接 著再檢查一次以上，以得到更高的分數(B5→B4)。而原本依序作答完就交卷的同學，會因為 想得高分，在進行多次考試後，作答結束會做一次以上的檢查(B2→B4)。

圖 49 學生作答多次行為序列轉換圖

本研究接著以學生的期中考分數進行高、中、低分組，並針對不同的分組其學生作答多 次的行為轉換序列進行序列分析，圖 50 為高分組學生作答多次行為序列轉換圖。約有一半 的同學在作答結束後會做一次以上的檢查，經過多次考試後，行為也不會改變(B2→B4)。而 原本作答完就交卷的同學，經過多次考試後，會在交卷前開始做一次以上的檢查(B2→B4)。

圖 50 高分組學生作答多次行為序列轉換圖

圖 51 為中分組學生作答多次行為序列轉換圖。在中分組的部分，研究者針對作答超過 三次以上的學生行為序列進行分析，發現這些學生在一開始考試時，在交卷前會將作答完的 試卷做一次的檢查，而在作答多次後，還是會在交卷前做一次以上的檢查。

圖 51 中分組學生作答多次行為序列轉換圖

圖 52 為低分組學生作答多次行為序列轉換圖。在低分組的部分，可以發現有一半以上 的學生原本在作答結束後會進行一次以上的檢查，但在作答多次後，可能因為已經大致了解 題目內容，因此在作答結束後就交卷不再檢查。

圖 52 低分組學生作答多次行為序列轉換圖

第六章 結論與未來發展方向

6.2 未來發展方向

本研究未來將及時行為分析模組整合到互動式測驗系統中，讓學生進行互動式線上考試 時，系統能即時根據學生的操作過程判斷其作答行為，找出學生較不熟練的操作步驟或是較 不熟悉的概念，並給予學生有效的回饋。此外，本研究將根據不同的科目設計互動式線上測 驗試卷並舉行考試，藉此蒐集大量學生的作答歷程記錄，從中找出更多具有意義的作答樣板 和特殊行為。

參考文獻

[1] E. W. Black, K. Dawson, and J. Priem, “Data for free: Using LMS activity logs to measure community in online courses,” The Internet and Higher Education, vol. 11, no. 2, pp. 65-70, 2008.

[2] R. Mahajan, J. Sodhi, and V. Mahajan, “Usage patterns discovery from a web log in an Indian e-learning site: A case study,” Education and Information Technologies, pp. 1-26, 2014.

[3] C. K. Wong, W. Wong, and C. H. Yeung, “Student behaviour and performance in using a web-based assessment system,” Innovations in Education and Teaching International, vol.

38, no. 4, pp. 339-346, 2001.

[4] J. M. Williams, “The engineering communication portfolio: writing, reflection, and technical communication assessment,” in IEEE International Professional Communication Conference, 2001, pp. 341-347.

[5] C. B. Burch, “Inside the portfolio experience: The student's perspective,” English education, pp. 34-49, 1999.

[6] H. Borko, P. Michalec, M. Timmons et al., “Student teaching portfolios: A tool for promoting reflective practice,” Journal of teacher education, vol. 48, no. 5, pp. 345-357, 1997.

[7] 陳宗楹, “電腦化建構反應題型與自動計分模式之研發—以「長方體和正方體」單元 為例,” 亞洲大學資訊工程學系碩士在職專班, 台中縣, 台灣, 2009.

[8] H.-T. Hou, “Exploring the behavioral patterns of learners in an educational massively

[8] H.-T. Hou, “Exploring the behavioral patterns of learners in an educational massively