第五章 實驗與數據分析
5.1 軟體操作題型實驗
5.1.2 初步結果
(1) 第一次測驗：
測驗名稱: JBuilder 程式視覺化程式設計線上測驗
受測人數為 31 人
平均分數為 146 分
高組：分數為 181 以上有 8 人
中組：分數為 126~181 之間有 15 人
低組：分數為 126 以下有 8 人
(2) 第二次測驗：
測驗名稱: JBuilder 程式視覺化程式設計線上測驗
受測人數為 37 人
平均分數為 146 分
高組：分數為 180 以上有人 9 人
中組：分數為 132~180 之間有 13 人
低組：分數為 132 以下有 9 人
5.1.3 數據分析方法
(1) 依受測者成績的高低分成高中低三組。
(2) 基於軟體操作行為模型，來分析高中低三組的行為。
(3) 觀察並比較每組中的視覺化紀錄找出其中具代表性的的行為樣板和具特殊性的行為。
5.1.4 行為樣板及特殊行為
5.1.4.1 圖表節點圖示說明
共有 5 種節點基本狀況，如圖 37 所示。
圖 37 節點圖示說明圖
5.1.4.2 行為樣板 1 - 許多步驟操作錯誤頻繁
此行為樣板的很多步驟中呈現特殊行為 4，判斷受測者很多步驟多用猜測的方式操作，
對軟體的操作呈現非常不熟練的狀況。此行為在低組中具代表性，(如圖 38 所示)。
圖 38 行為樣板 1 -許多步驟操作錯誤頻繁
5.1.4.3 行為樣板 2 - 許多步驟直接按答案提示
此行為樣板的很多步驟中呈現操作顯示答案的行為，判斷受測者並沒有很用心作答，且 對軟體的操作呈現非常不熟練的狀況，(如圖 39 所示)。
圖 39 行為樣板 2 -許多步驟直接按答案提示
5.1.4.4 行為樣板 3 - 明顯猶豫很久的幾個步驟
許多受測者皆有在不特定的某幾步驟中呈現特殊行為 3，及操作時間超過 5 分鐘，判斷 受測者在進行較長的思考。整體的折線圖呈現階梯狀▅█的形式。此行為在中組中具代表性，
(如圖 40 所示)。
圖 40 行為樣板 3 -明顯猶豫很久的幾個步驟
5.1.4.5 行為樣板 4 - 非常熟練
此行為樣板的大部分步驟皆呈現特殊行為 2 的行為，即連續且快速的正確操作，受測者 對於操作的步驟很熟練。整體的折線圖呈現近似向左斜的直角三角形◢的形式。此行為在高 組中具代表性，(如圖 41 所示)。
圖 41 行為樣板 4 -非常熟練
5.1.4.6 行為樣板 5 – 無法歸類
無法分類到前 4 個行為樣板，屬於較無突出特徵的行為，呈現出來的圖形目前較無參考 的意義，(如圖 42 所示)。
圖 42 行為樣板 5-無法歸類
5.1.4.7 特殊行為 1 – 嘗試摸索後點選答案
此特殊行為經觀察常在成績低組中出現，在步驟中經過幾次操作錯誤後，受測者點選答 案提示顯示操作位置，(如圖 43 所示)。
圖 43 特殊行為 1–嘗試摸索後點選答案
5.1.4.8 特殊行為 2 – 連續快速作答
此特殊行為經觀察常出現，連續且快速的正確操作(每次的操作都在 5 秒內)，表示受測 者對此連續步驟非常熟練，(如圖 44 所示)。
圖 44 特殊行為 2–連續快速作答
5.1.4.9 特殊行為 3 –思考較久的步驟
某些受測者在某步驟的所花的時間大於 5 分鐘，應該是對此步驟較不熟練，在其中摸索 和思考，(如圖 45 所示)。
圖 45 特殊行為 3–思考較久的步驟
5.1.4.10 特殊行為 4 – 猜測答案
此特殊行為經觀察常在成績低組中出現，在某步驟中連續的操作錯誤(點錯)，應該是猜 測答案行為，(如圖 46 所示)。
圖 46 特殊行為 4–猜測答案
5.2 操作型題型實驗
5.2.1 實驗設計
(1) 操作型題型實驗 1 目的：探討操作型題型內的答題行為樣板和特殊行為。
測驗者:國立台中教育大學資訊科學系資三甲。
實驗人數: 共 73 人，第一次測驗 40 人，第二次測驗 33 人，共實驗兩個班級。
實驗工具: 本研究發展的題目編輯器、題目測驗器、自動評分線上測驗網站、
視覺化圖表呈現模組。
實驗科目: JAVA 程式語言測驗。
實驗試題: 題目 20 題，接龍題型 5 題、配對題型 5 題、連線題 5 題、分類題 5 題，
考試畫面，如圖 47 所示。
圖 47 操作型題型實驗 1 考試畫面
(2) 操作型題型實驗 2
目的：探討操作型題型內的答題行為樣板和特殊行為。
測驗者:國立台中教育大學英文系 2 年級學生。
實驗人數: 46 人。
實驗工具: 本研究發展的題目編輯器、題目測驗器、自動評分線上測驗網站、
視覺化圖表呈現模組。
實驗科目: 英文隨堂測驗。
實驗試題: 題目 20 題，接龍題型 5 題、配對題型 5 題、連線題 5 題、分類題 5 題，考試畫面，如圖 48 所示。
圖 48 操作型題型實驗 2 考試畫面
5.2.2 初步結果
(1) 操作型題型實驗 1a.第一次測驗：
實驗科目: JAVA 程式語言測驗
受測人數為 40 人
平均分數為 56 分
5.2.4 接龍題型 – 行為樣板和特殊行為
5.2.4.1 接龍題型圖表示意圖說明
顯示每次元件互動發生時,元件的互動情況。會累計之前元件的互動。
互動：代表元件與元件排序
X 軸：元件互動次數
Y 軸：元件編號
接龍題型圖表示意圖，如圖 49 所示。
圖 49 接龍題型圖表示意圖
5.2.4.2 接龍題型行為樣板 1–題目非常熟練
從元件的互動情形發現測驗者直接排列出正確答案，元件排列呈現漸增排列的狀況，顯 示之前無任何模索的互動行為。判斷對題目的熟練度非常好。接龍題型行為樣板 1，如圖 50 所示。
圖 50 接龍題型行為樣板 1–題目非常熟練
5.2.4.3 接龍題型行為樣板 2 – 題目熟練稍差
從元件的互動中發現，元件經過較無規律的排列之後，最後元件會產生漸增排列的情況，
判斷無規律排列的部分為摸索期，經過摸索期後，將元件重新排列，得到正確地排列順序，
判斷對題目的熟練度稍差。接龍題型行為樣板 2 ，如圖 51 所示。
圖 51 接龍題型行為樣板 1–題目非常熟練
5.2.4.4 接龍題型行為樣板 3 – 題目非常熟練(插入型)
從第 2 次元件互動開始，先排列正確答案的最前面和最後面的元件，然後將其他元件逐 一放入排列成正確的答案，判斷對題目的熟練度不錯。接龍題型行為樣板 3 ，如圖 52 所示。
圖 52 接龍題型行為樣板 3–題目非常熟練(插入型)
5.2.4.5 接龍題型行為樣板 4 – 答案認知錯誤
元件經過互動之後，排列所有的元件，但最後的排列沒呈現成階梯狀，表示最後的答案 卻不正確，判斷測驗者對答案的認知錯誤。接龍題型行為樣板 4 ，如圖 53 所示。
圖 53 接龍題型行為樣板 4–答案認知錯誤
5.2.4.6 接龍題型特殊行為 1 – 不斷嘗試
摸索期過長(>15 次元件互動)，判斷為受測者雖不熟練但是不斷的嘗試摸索的行為。接龍 題型特殊行為 1 ，如圖 54 所示。
圖 54 接龍題型特殊行為 1 – 不斷嘗試
5.2.4.7 接龍題型特殊行為 2 – 排列正確答案
此行為常出現在得分滿分的狀況下，其視覺化行為常呈現倒三角型的遞增情形。顯示清 空摸索期元件互動，然後從頭開始排列的正確答案。此動作在得滿分的題目中頻繁出現。接 龍題型特殊行為 2，如圖 55 所示。
圖 55 接龍題型特殊行為 2 – 排列正確答案
5.2.5 配對題型 – 行為樣板和特殊行為
5.2.5.1 配對題型圖表示意圖說明
節點顯示每次元件互動發生時,元件最新的互動情況。
互動：代表活動元件移動(配對)到固定元件
X 軸：時間
Y 軸：可移動元件編號
節點顏色：固定元件的編號
配對題型圖表示意圖，如圖 56 所示。
圖 56 配對題型圖表示意圖
5.2.5.2 配合題型行為樣板 1 – 題目非常熟練
每個可移動元件只配對固定元件 1 次，即得到滿分，判斷測驗者對題目非常熟練。配合 題型行為樣板 1，如圖 57 所示。
圖 57 配合題型行為樣板 1 – 題目非常熟練
5.2.5.3 配合題型行為樣板 2 – 題目次熟練
某個可移動元件配對固定元件不只 1 次，即得到滿分，顯然是有經過一陣摸索，才確定 正確答案。判斷測驗者對題目的熟練度稍差。配合題型行為樣板 2 ，如圖 58 所示。
圖 58 配合題型行為樣板 2 – 題目次熟練
5.2.5.4 配合題型行為樣板 3 – 答案認知錯誤
某個可移動元件配對固定元件不只 1 次，但沒得到滿分，顯然是有經過一陣摸索，才確 定答案。但對正確答案的認知錯誤。判斷受測者對題目的熟練度更差。配合題型行為樣板 3 ， 如圖 59 所示。
圖 59 配合題型行為樣板 3 – 答案認知錯誤
5.2.5.5 配合題型特殊行為 1 – 猶豫答案行為
黃色框中的活動元件 2 和固定元件 4 的配對出現過 2 次，表示在這兩次的配對之間的某 時間點，曾經解除配對然後恢復配對。因此判斷為猶豫答案行為。配合題型特殊行為 1，如 圖 60 所示。
圖 60 配合題型特殊行為 1 – 猶豫答案行為
5.2.5.6 配合題型特殊行為 2 – 更換答案行為
黃色框中的活動元件 2 和固定元件 3 還有固定元件 5 的配對出現過 2 次，表示在這兩次 的配對之間的某時間點，曾經解除配對然後更換配對。因此判斷為更換答案行為。配合題型 特殊行為 2，如圖 61 所示。
圖 61 配合題型特殊行為 2 – 更換答案行為
5.2.6 連線題型 – 行為樣板和特殊行為
5.2.6.1 連線題型圖表示意圖說明
節點顯示每次元件互動發生時,元件最新的互動情況。
互動：代表從拉線元件連線到關聯元件
X 軸：時間
Y 軸：關聯元件編號
節點顏色：拉線元件編號
連線題型圖表示意圖，如圖 62 所示。
圖 62 連線題型圖表示意圖
5.2.6.2 連線題型行為樣板 1 – 題目非常熟練
每個關聯元件只被連到拉線元件 1 次，即得到滿分，判斷測驗者對題目非常熟練。連線 題型行為樣板 1，如圖 63 所示。
圖 63 連線題型行為樣板 1 – 題目非常熟練
5.2.6.3 連線題型行為樣板 2 – 題目次熟練
某個關聯元件被連線到拉線元件不只 1 次，即得到滿分，顯然是有經過一陣摸索，才確 定正確答案。判斷測驗者對題目的熟練度稍差。連線題型行為樣板 2，如圖 64 所示。
圖 64 連線題型行為樣板 2 – 題目次熟練
5.2.6.4 連線題型行為樣板 3 – 正確答案認知錯誤
某個關聯元件被連線到拉線元件不只 1 次，但沒得到滿分，顯然是有經過一陣摸索，才 確定答案。但對正確答案的認知錯誤。判斷受測者對題目的熟練度更差。連線題型行為樣板 3，如圖 65 所示。
圖 65 連線題型行為樣板 3 – 正確答案認知錯誤
5.2.6.5 連線題型特殊行為 1 – 猶豫答案行為
黃色框中的關聯元件 7 和拉線元件 2 的連線出現過 2 次，表示在這兩次的連線之間的某 時間點，曾經解除連線然後恢復連線。因此判斷為猶豫答案行為。連線題型特殊行為 1，如 圖 66 所示。
圖 66 連線題型特殊行為 1 – 猶豫答案行為
5.2.6.6 連線題型特殊行為 2 – 更換答案行為
黃色框中的關聯元件 3 和拉線元件 6 還有拉線元件 7 的連線出現過 2 次，表示在這兩次 的連線之間的某時間點，曾經解除連線然後更換連線。因此判斷為更換答案行為。連線題型 特殊行為 2，如圖 67 所示。
圖 67 連線題型特殊行為 2 – 更換答案行為
5.2.7 分類題型 – 行為樣板和特殊行為
5.2.7.1 分類題型圖表示意圖說明
節點顯示每次元件互動發生時,元件最新的互動情況。
互動：代表可移動元件放入分類區。
X 軸：時間
Y 軸：可移動元件編號
節點顏色：分類區編號
分類題型圖表示意圖，如圖 68 所示。
圖 68 分類題型圖表示意圖
5.2.7.2 分類題型行為樣板 1 – 題目非常熟練
每個可移動元件皆只放入分類區 1 次，且得到滿分，判斷測驗者對題目非常熟練。分類 題型行為樣板 1，如圖 69 所示。
圖 69 分類題型行為樣板 1 – 題目非常熟練
5.2.7.3 分類題型行為樣板 2 – 題目熟練度稍差
某個可移動元件放入分類區不只 1 次，且得到滿分，判斷受測者對題目有點疑問，但還 算熟練。分類題型行為樣板 2，如圖 70 所示。
圖 70 分類題型行為樣板 2 – 題目熟練度稍差
5.2.7.4 分類題型行為樣板 3 – 答案認知錯誤
每個可移動元件皆只放入分類區 1 次，但無得到滿分，判斷受測者對正確答案認知錯誤。
分類題型行為樣板 3，如圖 71 所示。
圖 71 分類題型行為樣板 3 – 答案認知錯誤
5.2.7.5 分類題型行為樣板 4 – 摸索且答案認知錯誤
某個可移動元件放入分類區不只 1 次，但沒得到滿分，判斷受測者對題目有點疑問，且 對正確答案的認知錯誤。分類題型行為樣板 4 ，如圖 72 所示。
圖 72 分類題型行為樣板 4 – 摸索且答案認知錯誤
5.2.7.6 分類題型特殊行為 1 – 猶豫答案行為
黃色框中的移動元件 0 放入分類區 4 出現過 2 次，表示在這兩次的連線之間的某時間點，
曾經移出然後再次放入分類區 4。判斷對於其作答不太確定，屬於猶豫答案行為。分類題型 特殊行為 1，如圖 73 所示。
圖 73 分類題型特殊行為 1 – 猶豫答案行為
5.2.7.7 分類題型特殊行為 2 – 更換答案行為
黃色框中的移動元件 3 放入分類區 4 和分類區 5 出現過 2 次，表示在這兩次放入之間的 某時間點，曾經從分類區 5 移出移動元件 3，然後放入分類區 4。判斷對於其作答不太確定，
屬於更換答案行為。分類題型特殊行為 2，如圖 74 所示。
圖 74 分類題型特殊行為 2 – 更換答案行為
第六章 結論與未來發展方向
(2) 經由舉行更多不同科目的線上測驗，蒐集大量的作答歷程記錄，從其中找出更多具 有意義的作答樣板和特殊行為。
(3) 發展自動分析行為樣板和特殊行為的功能，以節省人工判讀的時間，方便教學者更 快速得知學習者的作答行為。
參考文獻
[1] C.-S. Koong, and C.-Y. Wu, “The applicability of interactive item templates in varied knowledge types,” Computers & Education, vol. 56, no. 3, pp. 781-801, 2011.
[2] C.-S. Koong, and C.-Y. Wu, “An interactive item sharing website for creating and conducting on-line testing,” Computers & Education, vol. 55, no. 1, pp. 131-144, 2010.
[3] Y. Kinugasa, and H. Tominaga, “Operation-Style Answering in Multimedia Testing System DrilLs-M for Kanji Letter Shape Learning,” in Proceedings of the Fifth IEEE International Conference on Advanced Learning Technologies, 2005, pp. 647-649.
[4] 徐淑芬, “操作型教材教學步驟數量大小之學習成效評估--以「Excel 檢定教學」為例, ” 理學院科技與數位學習學程, 國立交通大學, 新竹市, 2010.
[5] C. Gennaro, “Monitoring Online Tests through Data Visualization,” IEEE Transactions on
Knowledge and Data Engineering, vol. 21, pp. 773-784, 2009.
[6] R. Hijón-Neira, and J. Á. Velázquez-Iturbide, “How to Improve Assessment of Learning and Performance through Interactive Visualization,” in Proceedings of the 2008 Eighth IEEE International Conference on Advanced Learning Technologies, 2008, pp. 472-476.
[7] F. Laure, “Monitoring Virtual Classroom: Visualization Techniques to Observe Student Activities in an e-Learning System,” in Proceedings of the Sixth International Conference on Advanced Learning Technologies, 2006, pp. 716-720.
[7] F. Laure, “Monitoring Virtual Classroom: Visualization Techniques to Observe Student Activities in an e-Learning System,” in Proceedings of the Sixth International Conference on Advanced Learning Technologies, 2006, pp. 716-720.