操作型題型測驗之作答歷程行為分析

國立臺中教育大學資訊科學學系碩士班

碩士論文

指導教授：孔崇旭 博士

操作型題型測驗之作答歷程行為分析

Behavior Analysis for Interactive Item Testing

誌謝

本論文的完成代表這兩年研究成果的展現，首先感謝的是我的指導教授孔崇旭老師，在 這兩年的研究生生涯裡，不管在做研究的方向、程式設計的指導，以及做事態度上，都讓我 受益匪淺；實驗室裡的許多設備的操作，也讓我得到很多實用的知識和技能，同時也要感謝 系上所有老師們的指教。 此外，由衷地感謝學長和同學們，首先要特別感謝的是健傑學長，當我遇到操作系統和 程式問題時，他都很樂意花許多時間來幫我解決，甚至抽空來實驗室當面指導我。當然也很 謝謝我的夥伴益華幫忙一起處理研討會文章、助教事務和畢業的瑣事，另外謝謝在軟工實驗 室的同學冠霖及學弟力瑜等，總是可以跟你們暢所欲言的討論關於生活上的問題和分享許多 樂趣，有大家一起互相學習與砥礪，讓我這兩年的研究生活特別印象深刻。另外也很感謝口 試委員徐國勛教授、石志雄教授、熊博安教授、張志宏教授，百忙抽空來指導我的畢業口試。 最後，更感謝我的家人們，尤其是我媽和我姊一直默默的支持我，甚至在我熬夜趕論文 後還陪我一起送論文給口試委員，有了家人的支持才能讓我無後顧之憂地進行研究與完成此 篇論文。最後，祝福所有我這兩年認識的人順心如意、鵬程萬里。

摘要

傳統的線上測驗系統鮮少有記錄使用者操作歷程的功能，有些系統雖然有記錄受測者在 測驗時答題過程的功能，但是往往針對整份試卷題目間的作答行為作分析，甚少針對單一題 目內的作答歷程來做分析，若針對操作型題型內的作答歷程來做分析更是缺乏。教師在測驗 之後藉由作答歷程的紀錄及分析結果，可以快速了解受測者的操作行為，讓教師可以了解受 測者在每個題目中作答是否經過長時間的摸索或思考，哪些的答案選項會讓受測者產生困 惑。現今軟體日益發達的電腦時代，軟體的操作技巧對每位學習者更是不可或缺，所以軟體 操作的測驗，更是需要分析使用者的操作歷程，使教學者透過其操作歷程紀錄，正確地得知 學習者在過程中不熟練的步驟，做為日後指導教學的重要強調範圍。 本研究擴充之前的 ITIS 系統，設計軟體操作的｢操作行為模型｣，新增相對應的軟體操作 題型，並發展其視覺化行為分析模組。本研究所發展的軟體操作題型可記錄行為歷程和可產 生立即回饋的線上考試器，可以及時產生回饋告知受測者操作錯誤和引導式的提示受測者操 作，使受測者在進行測驗中同時得到操作軟體經驗的累積和正確的軟體操作流程。利用本系 統可將測驗蒐集而來的題型之操作歷程數據，使其作視覺化的呈現；且可以自動產生多位受 測者同一題目的視覺化呈現，可以橫向比對單一題目的操作行為的差異，更可利用其作橫向 重播多人同題的操作行為。運用 ITIS 系統先前發展的操作型題型和本研究新增的軟體操作題 型，實際使用在程式設計相關的課程的隨堂測驗，經過實驗後所記錄的數據，透過本研究所 建構的軟體操作行為模型找出了數種具有代表意義的行為樣板和特殊行為，可作為教學者的 在教學時改進其評量過程和有方向的了解學習者學習情況的重要指標。 關鍵字:操作型題型、線上測驗、作答歷程行為模式分析、行為視覺化展現、軟體操作行為分 析

Abstract

Conventional online test systems rarely record the functions of users’ operational process. Although some test systems do record the response process of testees , these systems mainly focus on analyzing response behavior in relation to the entire test paper, rather than a single test question. These systems also fail to analyze the response process with regard to operation-style items . Through analyzing post-test records of response processes, teachers can rapidly comprehend the operational behavior of testees, which helps them to understand how long testees mulled over questions before answering, and which test questions presented the most difficulty to them.

In this digital age of increasingly advanced and widely applied software, it is essential that students are equipped with skills for operating software. Therefore, with regard to software operation tests, instructors must analyze the operational process of testees, and use these records to identify learning gaps or procedures with which the learner is unfamiliar. This information indicates important areas in which the student requires further guidance and instruction.

This study expanded the previous IT IS system by designing an “operational behavior model” for software operation, incorporating software operation-style items, and developing a visualized behavioral analysis module. The software operation-style items developed by this study can be used to record behavioral processes and generate an online test device equipped with immediate feedback functions. This device can instantly notify testees of operational errors and provide reminders about software operation. Testees can thereby gain experience with correct software operation and procedures during the test process.

This system can visually present operational process data and automatically generate visual presentation of the responses of multiple testees to a single test question. Instructors can use this visualized data to replay the operational behavior of multiple testees in relation to the same test item and compare differences in their operational behavior. The operation-style items previously developed in the first version of the ITIS system and the new operation-style items developed in this study were applied to tests in programming-related courses. Using the data recorded from experiments and the software operation behavioral module constructed by this study, researchers were able to identify several significant types of behavioral models and special behavior. Instructors can use this behavioral data as important indicators when modifying assessment processes and seeking to gain an accurate understanding of students’ learning conditions.

Keywords: operation-style item, online testing, analysis of behavioral models in the response process, Behavior Visualization, analysis of operational software behavior

內容目次

摘要……….. ... III  Abstract ………IV  內容目次 ……….V  第一章  簡介 ... 1  1.1  研究背景 ... 1  1.2  研究動機 ... 2  1.3  研究目的 ... 3  1.4  章節概要 ... 4  第二章  相關研究 ... 5  2.1  學習歷程探勘與思考風格於適性化補救學習之研究 ... 5 

2.2  CourseVis: A graphical student monitoring tool for supporting instructors in web-based distance courses .... 6 

2.3  可記錄解題過程之 QTI 2.0 操作式測驗系統 ... 8 

2.4  Monitoring Online Tests through Data Visualization ... 12 

第三章  軟體操作行為模型 ... 15  3.1  軟體操作行為模型理論依據 ... 15  3.2  基本操作分析 ... 15  3.3  軟體操作行為模型 ... 18  3.3.1  軟體操作行為模型名詞說明 ... 19  3.3.2  操作型教材文件模型使用 BNF 語言表示 ... 19  3.3.3  軟體操作模型範例說明... 20  3.4  測驗時狀態以有限狀態機表示 ... 22  3.4.1  軟體操作題型測驗時之狀態 ... 22  3.4.2  操作型題型測驗時之狀態 ... 23 

第四章  系統架構設計 ... 25  4.1  系統新增規格 ... 25  4.2  系統架構 ... 26  4.3  具立即回饋功能之考試器 ... 27  4.4  視覺化行為模組 ... 29  4.4.1  視覺化行為模組運作說明 ... 29  4.4.2  紀錄分類排序子模組 ... 31  4.4.3  擷取動作紀錄子模組 ... 32  4.4.4  視覺化行為子模組 ... 33  第五章  實驗與數據分析 ... 34  5.1  軟體操作題型實驗 ... 34  5.1.1  實驗設計 ... 34  5.1.2  初步結果 ... 35  5.1.3  數據分析方法 ... 36  5.1.4  行為樣板及特殊行為 ... 36  5.1.4.1  圖表節點圖示說明 ... 36  5.1.4.2  行為樣板 1 - 許多步驟操作錯誤頻繁 ... 37  5.1.4.3  行為樣板 2 - 許多步驟直接按答案提示 ... 37  5.1.4.4  行為樣板 3 - 明顯猶豫很久的幾個步驟 ... 38  5.1.4.5  行為樣板 4 - 非常熟練 ... 39  5.1.4.6  行為樣板 5 – 無法歸類... 39  5.1.4.7  特殊行為 1 – 嘗試摸索後點選答案 ... 40  5.1.4.8  特殊行為 2 – 連續快速作答 ... 41  5.1.4.9  特殊行為 3 –思考較久的步驟 ... 41 

5.1.4.10 特殊行為 4 – 猜測答案... 42  5.2  操作型題型實驗 ... 42  5.2.1  實驗設計 ... 42  5.2.2  初步結果 ... 44  5.2.3  數據分析方法 ... 45  5.2.4  接龍題型 – 行為樣板和特殊行為 ... 46  5.2.4.1  接龍題型圖表示意圖說明 ... 46  5.2.4.2  接龍題型行為樣板 1–題目非常熟練 ... 46  5.2.4.3  接龍題型行為樣板 2 – 題目熟練稍差 ... 47  5.2.4.4  接龍題型行為樣板 3 – 題目非常熟練(插入型) ... 48  5.2.4.5  接龍題型行為樣板 4 – 答案認知錯誤 ... 49  5.2.4.6  接龍題型特殊行為 1 – 不斷嘗試 ... 49  5.2.4.7  接龍題型特殊行為 2 – 排列正確答案 ... 50  5.2.5  配對題型 – 行為樣板和特殊行為 ... 50  5.2.5.1  配對題型圖表示意圖說明 ... 50  5.2.5.2  配合題型行為樣板 1 – 題目非常熟練 ... 51  5.2.5.3  配合題型行為樣板 2 – 題目次熟練 ... 52  5.2.5.4  配合題型行為樣板 3 – 答案認知錯誤 ... 52  5.2.5.5  配合題型特殊行為 1 – 猶豫答案行為 ... 53  5.2.5.6  配合題型特殊行為 2 – 更換答案行為 ... 53  5.2.6  連線題型 – 行為樣板和特殊行為 ... 54  5.2.6.1  連線題型圖表示意圖說明 ... 54  5.2.6.2  連線題型行為樣板 1 – 題目非常熟練 ... 55  5.2.6.3  連線題型行為樣板 2 – 題目次熟練 ... 55 

5.2.6.4  連線題型行為樣板 3 – 正確答案認知錯誤 ... 56  5.2.6.5  連線題型特殊行為 1 – 猶豫答案行為 ... 57  5.2.6.6  連線題型特殊行為 2 – 更換答案行為 ... 57  5.2.7  分類題型 – 行為樣板和特殊行為 ... 58  5.2.7.1  分類題型圖表示意圖說明 ... 58  5.2.7.2  分類題型行為樣板 1 – 題目非常熟練 ... 59  5.2.7.3  分類題型行為樣板 2 – 題目熟練度稍差 ... 60  5.2.7.4  分類題型行為樣板 3 – 答案認知錯誤 ... 60  5.2.7.5  分類題型行為樣板 4 – 摸索且答案認知錯誤 ... 61  5.2.7.6  分類題型特殊行為 1 – 猶豫答案行為 ... 61  5.2.7.7  分類題型特殊行為 2 – 更換答案行為 ... 62  第六章  結論與未來發展方向 ... 63  6.1  結論 ... 63  6.2  未來發展方向 ... 63  參考文獻 ………65 

表目次

表 1 動作彙整表 ... 16 

表 2 功能物件(Functional objects)彙整表 ... 16 

表 3 基本操作方式(Atomic Operation)彙整表 ... 17 

圖目次

圖 1 時間軌跡 ... 5  圖 2 登入次數變化圖 ... 5  圖 3 學員討論圖 ... 6  圖 4 觀念認知圖 1 ... 7  圖 5 觀念認知圖 2 ... 7  圖 6 答題模式一 ... 8  圖 7 答題模式二 ... 9  圖 8 答題模式三 ... 9  圖 9 答題模式四 ... 10  圖 10 答題模式五 ... 10  圖 11 特殊行為一 ... 11  圖 12 特殊行為二 ... 11  圖 13 Single Phase 行為 ... 12  圖 14 Active Revising 行為 ... 13  圖 15 Passive Revising 行為 ... 13  圖 16 Atypical 行為 ... 14  圖 17 Stalactite 特殊行為 ... 14  圖 18 軟體操作行為模型 ... 18  圖 19 文字編輯器範例圖 ... 20  圖 20 WorkStep 範例圖 ... 20  圖 21 Skill 範例圖 ... 21  圖 22 Page 範例圖 ... 21  圖 23 AO 範例圖 ... 22 

圖 24 有限狀態機表示軟體操作題型測驗時之狀態 ... 23  圖 25 有限狀態機表示操作型題型測驗時之狀態 ... 24  圖 26 簡易系統架構圖 ... 26  圖 27 操作型題型考試器 ... 27  圖 28 軟體操作題型考試器 ... 27  圖 29 立即回饋告知操作錯誤 ... 28  圖 30 立即回饋顯示正確答案位置 ... 28  圖 31 視覺化行為模組運作說明 1 ... 30  圖 32 視覺化行為模組運作說明 2 ... 30  圖 33 記錄分類排序流程圖 ... 31  圖 34 行為記錄檔細節圖解 ... 32  圖 35 各種視覺化行為圖表 ... 33  圖 36 軟體操作題型考試畫面 ... 35  圖 37 節點圖示說明圖 ... 36  圖 38 行為樣板 1 -許多步驟操作錯誤頻繁 ... 37  圖 39 行為樣板 2 -許多步驟直接按答案提示 ... 38  圖 40 行為樣板 3 -明顯猶豫很久的幾個步驟 ... 38  圖 41  行為樣板 4 -非常熟練 ... 39  圖 42 行為樣板 5-無法歸類 ... 40  圖 43 特殊行為 1–嘗試摸索後點選答案 ... 40  圖 44 特殊行為 2–連續快速作答 ... 41  圖 45 特殊行為 3–思考較久的步驟 ... 41  圖 46 特殊行為 4–猜測答案 ... 42  圖 47 操作型題型實驗 1 考試畫面 ... 43 

圖 48 操作型題型實驗 2 考試畫面 ... 44  圖 49 接龍題型圖表示意圖 ... 46  圖 50 接龍題型行為樣板 1–題目非常熟練 ... 47  圖 51 接龍題型行為樣板 1–題目非常熟練 ... 48  圖 52 接龍題型行為樣板 3–題目非常熟練(插入型) ... 48  圖 53 接龍題型行為樣板 4–答案認知錯誤 ... 49  圖 54 接龍題型特殊行為 1 – 不斷嘗試 ... 49  圖 55 接龍題型特殊行為 2 – 排列正確答案 ... 50  圖 56 配對題型圖表示意圖 ... 51  圖 57 配合題型行為樣板 1 – 題目非常熟練 ... 51  圖 58 配合題型行為樣板 2 – 題目次熟練 ... 52  圖 59 配合題型行為樣板 3 – 答案認知錯誤 ... 52  圖 60 配合題型特殊行為 1 – 猶豫答案行為 ... 53  圖 61 配合題型特殊行為 2 – 更換答案行為 ... 54  圖 62 連線題型圖表示意圖 ... 55  圖 63 連線題型行為樣板 1 – 題目非常熟練 ... 55  圖 64 連線題型行為樣板 2 – 題目次熟練 ... 56  圖 65 連線題型行為樣板 3 – 正確答案認知錯誤 ... 56  圖 66 連線題型特殊行為 1 – 猶豫答案行為 ... 57  圖 67 連線題型特殊行為 2 – 更換答案行為 ... 58  圖 68 分類題型圖表示意圖 ... 59  圖 69 分類題型行為樣板 1 – 題目非常熟練 ... 59  圖 70 分類題型行為樣板 2 – 題目熟練度稍差 ... 60  圖 71 分類題型行為樣板 3 – 答案認知錯誤 ... 60 

圖 72 分類題型行為樣板 4 – 摸索且答案認知錯誤 ... 61  圖 73 分類題型特殊行為 1 – 猶豫答案行為 ... 61  圖 74 分類題型特殊行為 2 – 更換答案行為 ... 62 

第一章 簡介

1.1 研究背景

實施一個良好的評量，題型是非常重要的，可以用來提升學生的學習動機。題型的適用 性包含題型樣板和題型內容都扮演著決定性的角色，但並不是所有的題型樣板都可以放入不 同知識類型的測驗中，且不同的題型樣板用在不同的知識類型也有其限制[1]。但是傳統的測 驗系統採用的題型樣板大多還是非題型、複選題型。因此教學者對有更複雜操作的題型，如 點擊和選擇，拖放，鏈接，碰撞和吸引(配對)題型的需求仍然相當的龐大，導致眾多的教師 要將操作式題型樣板結合到測驗中已經變成是一件很困難的事情[2]。另一方面，基於 Web 的 測驗和多媒體的題型已被實際使用在網路環境。然而很多系統對於作答的方式還是採用鍵盤 的輸入和對已知的選項作選擇；而現今使用各種的輸入裝置變得更多元，例如觸碰板、位置 感應器。為了將其在幾個領域中廣泛地做應用，需要引入各種適合的作答方式到所對應的多 媒體題目裡中[3]。由此可知操作式題型在測驗系統中日益重要且不可或缺，不但影響學習成 效，更可以使多種的輸入裝置被廣泛應用。 另外在現今軟體日益發達的時代，軟體操作的測驗題型更是需求龐大，可以用來評量學 習者的熟練度。而軟體操作學習，是屬於程序性知識的學習，依據軟體操作型教學的活動來 進行教材分析，可以提出一個操作型教材文件模型。基於此模型，可將特定軟體操作任務進 行難易度的分割，以達到利用適當的教學步驟數量來幫助學生學習軟體的操作[4]。因此可以 知道利用軟體操作模型來分解一連串繁複的軟體操作過程來進行教學，學習者可以更容易吸 收其知識，增進軟體操作的熟練度。 而在視覺化學習行為方面，測驗過程中其實包含了教學者所不了解的學習行為和答題策 略，其作答歷程資料的視覺化呈現，可以讓教學者得知受測者的學習狀況。因此利用工具去

視覺化呈現學習者的答題策略的資料特色，可以讓教師監控學生的學習行為，讓其發現先前 未知的學習者行為模式和特殊行為，作為改進教學的參考依據[5]。並且學習者在教學網站上 的學習活動往往是教學者較缺乏注意的部分，透過視覺化學習者在 e-learning 上的行為，其結 果可以進行分析，反之如果不使用視覺化呈現學習行為，教師需要付出更多的注意力去完全 了解學習行為數據。因此，互動式的可視覺化可以幫助教師改進教學評量[6]。因為傳統的課 堂教學和 e-learning 學習是有很大的差異，且學習者在 e-learning 中的學習和虛擬的社交學習 活動是無法被教學者觀察的，因此利用視覺化的方式支援教學者觀察學習者的學習活動，可 以幫助教學者理解在學習者學習中發生的行為，以便提供教學回饋同時改善教學方案[7]。由 此可得知視覺化學習行為發展的重要性和許多助益。

1.2 研究動機

傳統的電腦化測驗，由於出題題目的限制大多為選擇題，因此在進行測驗時，受測者在 題型內的作答過程中的操作行為甚少，因此能蒐集到的作答歷程非常有限，導致無法從其中 找出受測者的在學習上的迷思[8]。由此可以得知一般傳統線上測驗系統也無法忠實呈現受測 者的操作歷程，使教學者可以了解受測者在作答時，對於每個題目的作答是否經過長時間的 摸索?題目內哪些答案選項會讓受測者產生猶豫?答題歷程中是否存在相同的行為模式或特殊 行為? 另一方面來說，傳統的電腦線上診斷測驗，由於題型的限制，根據答題結果無法得知學 生的作答情形，因此學習者可能會利用隨機的方式猜測題目答案，所以教師無法依據結果了 解學生的在測驗中的作答情形[9]。由此推論作答結果正確並不代表受測者完全了解，依據作 答結果很難找出學生不熟練的地方且無法區分熟練的答對和不熟練的答對。

對於學習歷程而言，使用紙張、錄音或錄影的方式來儲存與紀錄學習者的學習歷程，不 僅不方便觀看和理解其內容，若學習歷程的資量累積量與日俱增，則在管理和搜尋上都是很 耗費時間和精神的，更不論教學者還要理解歷程並提供回饋[10]。由此得知要真正去檢視每 位學習者的作答歷程非常費時，尤其是受測人數眾多時，即使快速重播仍會耗掉不少時間， 很難快速從操作歷程發現受測者猶豫不決的部分，更不用說對多位受測者的同一題的操作行 為進行比較。 對於教學回饋來說，在網路學習環境中若能提供回饋，會增加學習者的學習時間，導致 明顯的學習成效[11]。並且在題型內加入互動式多媒體的元素能使題目變得更生動有趣，且作 答完畢後若能得到即時回饋，其測驗和學習的成效會比紙筆測驗更好[12]。因此為了突破操 作型題型在軟體操作上學習成效的限制，可加入即時回饋的功能告知或引導受測者操作。並 加入紀錄操作歷程的功能，教學者可以得知在軟體操作過程中受測者不熟練的步驟，以此來 做為教學回饋，更成提升學習成效。

1.3 研究目的

基於以上討論之結果，訂定下列之研究目的： (1) 設計｢軟體操作行為模型｣，透過其分割軟體的操作行為，使其符合受測者的學習狀 況，提升教學成效。 (2) 新增｢軟體操作題型樣板｣，除了進行製作軟體操作題型試卷，還能記錄操作歷程。 (3) 新增｢軟體操作題型考試器｣，利用其考試器進行線上軟體操作題型測驗，並加入即時 教學回饋告知操作錯誤和即時回饋引導受測者操作的功能。 (4) 發展橫向重播功能，以方便分析每位受測者的同一題的操作行為差異。 (5) 視覺化呈現操作過程行為，以此來快速且忠實呈現在操作型題目中受測者操作歷程， 且可快速了解受測者的操作歷程和得知受測者不了解的部分，並找出答題行為樣板和 特殊行為。

1.4 章節概要

本論文共分為六個章節，第一個章節為簡介與介紹本論文的動機與目的，第二個章節為 相關系統及相關文獻之簡介，第三章節是說明關於本論文所設計的｢軟體操作行為模型｣與其 理論依據。在第四章節的部份將介紹系統架構設計，及新增的視覺化行為模組的運作細節說 明。在第五章節的部分，主要為實驗設計及實驗結果分析，最後將在第六章提出結論與未來 的研究方向。

第二章 相關研究

本章節將介紹相關的線上測驗系統在操作歷程上的應用，並描述其優缺點。另外呈現相 關視覺化行分析的研究，與分析出來的行為樣板或特殊行為。

2.1 學習歷程探勘與思考風格於適性化補救學習之研究

陳建銘[13]藉由探勘學生在學習平台上的行為，歸納學生的行為模式，可做為教師輔助 式的教學。並且實作出一個線上學習診斷系統，利用時間軌跡的功能將學習者每個階段的活 動圖形化呈現(如圖 1 所示)，提供教學者一個便利的工具來探勘學生的線上學習歷程，針對 學習者的學習狀況給予適時的幫助，也教師可依自己的教學經驗調整系統參數，已取得所需 的學生歷程資訊。

圖 1 時間軌跡

並且利用 i-gopher 模組觀察各項線上活動歷，觀察到特殊現象為教學者以簡訊通知學習 者至學習平台學習與舉行測驗的前幾天均可以促使學習者積極上線學習，如圖 2 所示。

圖 2 登入次數變化圖

此研究之優點與缺點：

優點：(1)系統可自動歸納學生的學習歷程行為為優、中、差。(2)可利用視覺化的方式呈現學 生的學習歷程。

缺點：(1)需要長時間的紀錄才能歸納學生的歷程行為。(2)學習平台若不能吸引學習者的去使 用，分析出來的行為可能會失真。

2.2 CourseVis: A graphical student monitoring tool for supporting

instructors in web-based distance courses

R. Mazza[14] [15]等人利用 Course Vis 系統呈現在課程管理系統上的操作歷程來幫助教學 者了解遠距學習班級中所發生的事。特別是使用資料視覺化的方式呈現複雜且多面向的學生 行為。利用幾種的圖形化呈現方式，使教學者更了解學習者的各方面狀況。經過實驗後，證 實此系統可以幫助教師快速識別在班級中發現可能需要特別注意的事件。以下為此研究中所 提及和經由 Course Vis 系統所呈現的視覺化行為圖表： (1) 學員討論圖：視覺化的呈現學員討論狀況，如圖 3 所示。

圖 3 學員討論圖

(2) 觀念認知圖 1：顯示各學員在各種觀念的測驗中達到的表現值，如圖 4 所示。

圖 4 觀念認知圖 1

(3) 觀念認知圖 2：顯示在每個觀念中學員可以達到的表現平均值，如圖 5 所示。

此研究之優點與缺點： 優點：(1)系統可自動學習者分析學習者在各個觀念測驗中的表現。(2)教學者可根據學習者各 個面向的視覺化呈現，了解學生的學習狀況和表現。 缺點：(1)學習平台若不能吸引學習者的去使用，分析出來的行為可能會失真。(2)沒有題目內 的操作歷程的呈現。

2.3 可記錄解題過程之 QTI 2.0 操作式測驗系統

廖健傑[16]透過線上測驗平台同時舉行的多人的線上測驗，並在測驗同時記錄受測者的 操作歷程數據，教學者可以透過數據重播受測者的操作行為，深入了解學生的學習狀況，當 作輔導學生的依據，增進其學習成效。並利用測驗時所記錄的歷程數據製成答題歷程分析圖， 並依需求歸類為作答過程分析圖、題目分數分析圖、答題模式分析圖，從其中找出受測者對 測驗試卷的五種答題模式和兩種特殊行為，且本研究可以自動辨識其對試卷的答題模式，可 供教學者改善自身的出題方式和題目內容。其答題模式和特殊行為如下所示： (1) 答題模式一：先快速瀏覽試題後作答，沒有檢查就交卷，如圖 6 所示。

圖 6 答題模式一

(2) 答題模式二：事先沒有瀏覽題目就直接作答，作答完後就交卷，如圖 7 所示

。

圖 7 答題模式二

(3) 答題模式三：事先有快速瀏覽試題然後依題號順序作答，最後對試卷做一次以上的檢 查，如圖 8 所示。

圖 8 答題模式三

(4) 答題模式四：依題號順序作答，然後對試卷做一次以上的檢查，如圖 9 所示。

圖 9 答題模式四

(5) 答題模式五：此模式無法歸類到前四種模式，屬於不規則的答題模式，如圖 10 所示。

圖 10 答題模式五

(6) 特殊行為一：少數受測者在測驗瀏覽前會先將試題瀏覽一次，大部分人不會有此行 為，如圖 11 所示。

圖 11 特殊行為一

(7) 特殊行為二：某些受測者在題目中的作答時間會超過 5 分鐘，可能是對題目有所疑問

產生，如圖 12 所示

。

此研究之優點與缺點：

優點：(1)教學者可以透過重播功能，徹底得知受測者的操作行為。(2)系統可自動歸納受測者 在試卷上的答題模式，可節省教學者人工判讀的時間。(3)視覺化的呈現受測者作答行為。 缺點：(1)若人數眾多，觀看重播畫面會耗費許多時間。(2)無法呈現題目內的操作行為。

2.4 Monitoring Online Tests through Data Visualization

G. Costagliola 等人[5]利用學習者在測驗期間產生的互動紀錄，經過 data visualization 的方 式產生對應的圖表，並由其中分析出受測者在測驗期間對試卷的作答所採取的策略和其中的 特殊行為，並對於修改答案的次數進行統計分析，得知修改的次數與答案正確率的關係。其 作答策略和特殊行為如下所示： (1) 作答策略一：Single Phase 行為，將所有試題按照題號順序作答過一次後，就結束作 答並交卷，如圖 13 所示。

圖 13 Single Phase 行為

(2) 作答策略二：Active Revising 行為，依照題號順序作答，但對不確定的題目採取略過 的行為，直到下一階段再作答，如圖 14 所示。

圖 14 Active Revising 行為

(3) 作答策略三：Passive Revising 行為，依照題號順序作答但對有疑問的題目不會採取 略過的行為，然後對每個試題作反覆的檢查，如圖 15 所示。

圖 15 Passive Revising 行為

圖 16 Atypical 行為

(5) 特殊行為：Stalactite 特殊行為，顯示學習者會參照前面題目的關聯性，對後面的題目 來作答之行為，如圖 17 所示。

圖 17 Stalactite 特殊行為

此研究之優點與缺點： 優點：(1)可視覺化的呈現使用者的作答策略和特殊行為。(2)找出修改答案次數與得分的對應 關係。(3)教學者可以透過所呈現的視覺化圖表，作為改善評量的參考。 缺點：(1)無法呈現題目內的操作行為。(2)沒有重播受測者操作行為的功能

第三章 軟體操作行為模型

本研究依據操作型教學的活動，進行教材分析，提出一個軟體操作行為模型(Software Operational Behavior Model )，以此模型進行軟體教學步驟的拆解，以利學習者在測驗時更能 有效的學習軟體操作。在進行實證研究前，根據相關理論建立軟體操作行為模型，並進行教 材與基本操作(Atomic Operation)分析，並將此模型使用 BNF 語言來表示，再用有限狀態機表 示軟體操作題型和操作型題型在進行測驗時的轉換狀態，然後再比較兩者之間的差異。

3.1 軟體操作行為模型理論依據

本研究在軟體操作行為模型之設計理論上，根據軟體技能領域的操作順序，先將連續動 作拆解為數個小單位的來做練習，並在掌握要領後，在進行整套的動作[17]。而在拆解操作 步驟時並以訊息處理理論，所提及的短期記憶容量有限(7±2 資訊量) [18]為切割本研究操作步 驟的依據： (1) 文字資料：一般人在每個教學中可以容易學習吸收的資訊量為 7±2，代表每個人 PL(音韻 迴圈 Phonological Loop)的能力大約是 7±2 資訊量[18]。 (2) 圖片資料：表示一般人在學習時，圖形資料記憶量約為 3~5 個項目(object)[19] [20] [21]可 以容易使其容易記憶學習且無負擔。

3.2 基本操作分析

在軟體操作技能學習上，教學者在進行教學與教材分析前，必須先瞭解完成一項任務時 應具備的動作，並且瞭解到該操作有應用到的功能物件，因為每個基本操作(Atomic Operation) 都是「動作＋功能物件」的配合所組成的，故本研究在進行軟體操作行為模型分析前，先就 動作(Movement)與功能物件(Functional objects)作定義和說明，分述如下： (1) 動作(Movement)定義說明：

本研究在動作基本上將其分為五類，依序為滑鼠點選(雙擊)、滑鼠點選(左鍵)、滑鼠點選 (右鍵)、滑鼠移動、輸入文字等五類，教師與受測者在利用考試器進行線上軟體操作測驗時， 應具備且瞭解這五項操作動作(Movement)能力，才能順利完成每個基本操作(Atomic Operation)。(如表 1)

表 1 動作彙整表

動作 動作說明 滑鼠點選(雙擊) 滑鼠左鍵連續按兩下 滑鼠點選(左鍵) 滑鼠左鍵按一下 滑鼠點選(右鍵) 滑鼠右鍵按一下 滑鼠移動 滑鼠指標移動 輸入文字 鍵盤輸入字元或字串 (2) 功能物件 (Functional objects)說明 教師應該了解操作時應具備的動作，並搭配功能物件的功能，方能順利執行考試器進行 線上軟體操作測驗的基本操作(Atomic Operation)，並完成軟體操作測驗。本研究將軟體應用 的功能物件歸納出下列幾項：(如表 2)

表 2 功能物件(Functional objects)彙整表

功能物件 功能物件說明 雙擊圖片演員 此物件可進入下一步驟畫面。 左鍵圖片演員 此物件可進入下一步驟畫面。 右鍵圖片演員 此物件可進入下一步驟畫面。 跳頁演員 此物件可進入預先指定的步驟畫面。 增減數字演員 此物件中的數字可以增減。

底圖演員 底圖會出現操作錯誤的提示。 滑鼠進入跳頁演員 此物件可進入下一步驟畫面。 文字跳頁演員 此物件可進入下一步驟畫面。 文字演員 此物件中可以輸入單行文字。 多行文字演員 此物件中可以輸入多行文字。 (3) 基本操作(Atomic Operation)說明 實際上每個軟體應用的技能，皆為動作(Movement)與功能物件(Functional objects)一連串 有意義的操作的展現，教師應瞭解受測者應掌握哪些動作與瞭解每個物件(Object)的功能後， 並考量學習者訊息接收的負荷量後，再決定每次需要測驗的操作步驟量，方能順利進行測驗，

而這一連串有意義的操作即為本研究所定義「基本操作方式(Atomic Operation)」，簡稱「AO」，

而 AO 意義如下所示： AO＝動作(Movement)+功能物件(Functionnal Object) 本研究針對教材分析歸納出，十種基本操作方式(Atomic Operation)，分別為滑鼠點選雙擊圖 片演員、滑鼠點選左鍵圖片演員、滑鼠點選右鍵圖片演員、滑鼠點選跳頁演員、滑鼠點選增 減數字演員、滑鼠點選底圖演員、滑鼠移動到滑鼠進入跳頁演員、輸入文字到文字跳頁演員、 輸入文字到文字演員和輸入文字到多行文字演員等，即為所定義的基本操作(AO)動作，如下 所示。(如表 3)

表 3 基本操作方式(Atomic Operation)彙整表

基本操作方式 功能物件說明 滑鼠點選雙擊圖片演員 滑鼠左鍵連續按此物件即進入下一步驟畫面。 滑鼠點選左鍵圖片演員 滑鼠左鍵點選此物件即進入下一步驟畫面。 滑鼠點選右鍵圖片演員 滑鼠右鍵點選此物件即進入下一步驟畫面。

滑鼠點選跳頁演員 滑鼠左鍵點選此物件即進入預先指定的步驟畫面。 滑鼠點選增減數字演員 滑鼠左鍵點選此物件的增減按鈕，數字也隨著增減。 滑鼠點選底圖演員 滑鼠點選底圖會出現操作錯誤的提示。 滑鼠移動到滑鼠進入跳頁演員 滑鼠指標進入此物件即進入下一步驟畫面。 輸入文字到文字跳頁演員 輸入指定的文字即進入下一步驟畫面。 輸入文字到文字演員 鍵盤輸入單行文字到此物件中。 輸入文字到多行文字演員 鍵盤輸入多行文字到此物件中。

3.3 軟體操作行為模型

軟體操作行為模型的概念為將一個特定的程式編輯步驟，依照模型進行個部分的拆解， 將一連串繁瑣的軟體操作流程有系統的分為幾個容易學習的步驟，如圖 18 所示。

圖 18 軟體操作行為模型

3.3.1

軟體操作行為模型名詞說明

(1) Visul Program(視覺化程式；縮寫 VP)：完成一項特定的程式 (2) Work Step(步驟；縮寫 WS)：完成程式所需要的流程。 (3) Skill(技能)：完成 WorkStep 所需具備的技能，也可以看成一連串有意義的頁面集合 (Page Set)。 (4) Page(頁面)：一組具有意義的 AO 集合。

(5) Atomic Operation(基本操作；簡稱 AO)：基本操作動作。

3.3.2

操作型教材文件模型使用 BNF 語言表示

(1) <VP> ::= <WorkStep>+ 代表一個視覺化程式操作由至少有一個步驟組成 (2) <WorkStep> ::= <Skill>+ 代表一個步驟至少有一個技巧組成 (3) <Skill> ::= <Page>+ 代表一個技巧(頁面集合)至少有一個頁面組成 (4) <Page> ::= <AO>* 代表一個頁面中包含 0 到無限個基本操作 (5) <AO> ::= <Movement>1 <Functionnal Object>1

代表一個基本動作包含一個動作和一個功能物件  <Movement> ::= 滑鼠點選(雙擊) | 滑鼠點選(左鍵) | 滑鼠點選 (右鍵) | 滑鼠移動 | 輸入文字 (代表一個動作包含 5 個可選擇動作) <Functionnal Object> ::= 雙擊圖片演員 | 左鍵圖片演員 | 右鍵圖片演員 | 跳頁演員 | 增減數字演員 | 底圖演員 | 滑鼠進入跳頁演員 | 文字跳頁演員 | 文字演員 | 多 行文字演員 (代表一個功能物件包含 10 個可選擇演員)

3.3.3

軟體操作模型範例說明

(1) VP：製作一個文字編輯器(利用 JBuilder)，如下圖 19 所示。

圖 19 文字編輯器範例圖

(2) 「製作一個文字編輯器(利用 JBuilder)」所需要 WorkStep：建立專案→建立 JFrame 類別→設置操作介面→設置事件處理→編譯執行並除錯，如下圖 20 所示。

(3) 完成「設置操作介面」WorkStep 所需要的 Skill：放入元件、移除元件、設定元件 屬性，如下圖 21 所示。

圖 21 Skill 範例圖

(4) 操作「設定元件屬性」Skill 所需的 Page：設定按鈕屬性、設定編輯區屬性、設定 容器屬性…，如下圖 22 所示。

圖 22 Page 範例圖

(5) 操作「設定按鈕屬性」Page 所需的 AO：輸入文字到文字演員 AO(輸入按鈕名稱、 輸入按鈕物件名稱)，點選跳頁演員(進入 source code 編輯)，如下圖 23 所示。

圖 23 AO 範例圖

3.4 測驗時狀態以有限狀態機表示

3.4.1

軟體操作題型測驗時之狀態

軟體操作題型為基於軟體操作模型所設計之題型，其測驗時的狀態轉移狀況，如下圖 24 所示。 (1)假設 Skill 中包含 2 個 Page (2) P1HA：代表第一頁隱藏答案的狀態 (3) P1SA：代表第一頁顯示答案的狀態 (4) P2HA：代表第二頁隱藏答案的狀態 (5) P2SA：代表第二頁顯示答案的狀態 (6) E：代表進入動作

(7) c：代表操作正確 (8) e：代表操作錯誤 (9) t：代表顯示答案位置

圖 24 有限狀態機表示軟體操作題型測驗時之狀態

3.4.2

操作型題型測驗時之狀態

操作型題型為本研究之前 IT IS 系統的題型，其測驗時的狀態轉移狀況，如下圖 25 所 示。與軟體操作題型測驗時之狀態的差異為，此狀態中的每題作答狀態可以隨意切換別題的 作答狀態，而軟體操作題型測驗時之狀態中的每步驟只能在操作正確時才能進到下一個步 驟。 (1 )假設試卷中有 3 個題目 (2) Item1：代表第一題作答狀態 (3) Item2：代表第二題作答狀態 (4) Item3：代表第三題作答狀態 (5) E：代表進入動作 (6) 0：代表操作演員作答 (7 )1：代表切換到第一題 (8) 2：代表切換到第二題

(9) 3：代表切換到第三題

第四章 系統架構設計

本章節介紹系統架構設計，及新增的視覺化行為模組的運作細節說明。

4.1 系統新增規格

本研究擴充之前的 ITIS｢互動式題目測驗系統｣： (1) 新增軟體操作題型與相對應的作答演員：(1)設計｢軟體操作行為模型｣，新增相對 應的軟體操作題型，並使其能完整記錄作答歷程。(2)相對應軟體操作題型的作答 演員，主要提供各種切換步驟的功能。 (2) 針對軟體操作題型和操作型題型(接龍題型、配合題型、連線題型、分類題型)發展 視覺化行為呈現模組，可將測驗蒐集而來的題型作答歷程數據，使其作視覺化的 呈現。並且可以針對操作型題型自動產生每位受測者在同題目內行為的視覺化呈 現。 (3) 利用每位受測者在同題目內的作答數據來發展橫向重播，可重播每位受測者在同 題目內的作答行為，目視比對期間的行為差異。 (4) 發展可產生立即回饋的線上考試器，可以及時產生回饋告知受測者操作錯誤和引 導式的提示受測者操作，使受測者在進行測驗中同時得到操作軟體經驗的累積和 正確的軟體操作流程。 本研究之前發展的三個模組分別為： (1) 題目編輯器：負責產生試卷。 (2) 題目測驗器：負責載入試卷進行線上考試。 (3) 自動評分線上測驗網站：負責自動評分，紀錄成績和接收行為紀錄檔到 My SQL 資料 庫。

4.2 系統架構

系統主要分為 4 個模組，如圖 26 所示，分別為：

(1) 題目編輯器(Item Editor)：透過動態載入題型樣板 ITCBean，利用視覺化操作，配 合多媒體素材和簡單的參數設定編輯出試卷，透過網路上傳試卷到自動評分線上 測驗網站。

(2) 題目測驗器(Item Tester)：測驗者從網站接收試卷的 jnlp 檔，再透過 Java Web Start 的技術開啟題目測驗器，測驗器載入所需試卷檔，呈現多媒體試卷，進行線上測 驗的同時，紀錄測驗者的操作行為。

(3) 自動評分線上測驗網站(Auto-Grading Online Test Website)：採用 PHP 與 My SQL 的技術建構而成，接收題目測驗器的資料和參數以儲存成績和行為歷程紀錄檔， 並且管理學生帳號、上傳/下載/分享試題、進行線上測驗等。

(4) 視覺化行為呈現模組(Visualizing Item Test Behavior Generator)：為本研究擴充之 模組，透過網站下載的每位測驗者的行為歷程紀錄檔，將其剖析和排列組合，產 生多人同題的行為歷程記錄，並根據其紀錄檔產生視覺化行為圖。

4.3 具立即回饋功能之考試器

改良先前 IT IS 系統的考試器(如圖 27)，使其能用來進行軟體操作題型的線上測驗(如圖 28)，並在其上加入立即回饋和記錄回饋行為的功能。

圖 27 操作型題型考試器

考試器立即回饋的功能分別為：(1) 操作錯誤時，滑鼠的游標會變成紅底白字的錯字圖 示(如圖 29 所示)。(2) 按答案提示時，會自動顯示正確的操作位置(如圖 30 所示)，引導受測 者學習。

圖 29 立即回饋告知操作錯誤

4.4 視覺化行為模組

此模組可以將受測者在實驗中所記錄的操作歷程數據，經過處理後以視覺化的圖表呈現 其操作歷程，此模組主用有 3 個子模組，分別為：

(1) 紀錄分類排序子模組(Sorting sub-module )：主要負責分類排列組合動作標籤。 (2) 擷取作答紀錄子模組(Extracting record sub-module )：將要分析的動作標籤擷取出來。 (3) 視覺化行為子模組(Visualizing Behavior sub-module)：將要分析的動作標籤擷取出來。

4.4.1

視覺化行為模組運作說明

 針對「軟體操作題型」的作答歷程數據視覺化的處理來說，視覺化行為模組內會使 用到 2 個子模組，分別為：

(1) 擷取作答紀錄子模組(Extracting record sub-module ) (2) 視覺化行為子模組(Visualizing Behavior sub-module) 運作順序(如圖 31 所示)：

(1) 首先載入個人的作答行為紀錄檔。

(2) 經由擷取作答紀錄子模組將需要的動作標籤擷取出來。

圖 31 視覺化行為模組運作說明 1

 針對「操作式題型」的作答歷程數據視覺化的處理來說，視覺化行為模組內會使用 到 3 個子模組，分別為：

(1) 紀錄分類排序子模組(Sorting sub-module )

(2) 擷取作答紀錄子模組(Extracting record sub-module ) (3) 視覺化行為子模組(Visualizing Behavior sub-module) 運作順序(如圖 32 所示)： (1) 首先載入每個人的作答行為歷程。 (2) 經由紀錄分類排序子模組產生多人同一題的紀錄檔。 (3) 經由擷取作答紀錄子模組將需要的動作標籤擷取出來。 (4) 再經由視覺化行為子模組呈現針對操作型題型的視覺化行為。

圖 32 視覺化行為模組運作說明 2

4.4.2

紀錄分類排序子模組

紀錄分類排序子模組主要負責的將每個人的作答歷程紀錄轉變成每個人在同一題的作答 歷程紀錄，其運作順序如下(如圖 33 所示)： (1) 將經由網路下載的每位測驗者在試卷上答題的行為歷程紀錄檔進行剖析，將每個動作 標籤依照題號分類。 (2) 再來處理每位測驗者單題動作標籤的排序。 (3) 再來處理每個動作標籤的時間記錄。 (4) 將每個動作標籤前後的時間差存入記錄檔。 (5) 記錄檔內處理時間差將其合理化並縮短過長的時間差，最後將其時間差載入原本的動 作標籤內進行累加。 (6) 產生的紀錄可用來重播每個人同題目的作答行為。

圖 33 記錄分類排序流程圖

4.4.3

擷取動作紀錄子模組

透過紀錄分類排序子模組所產生的多人單題作答行為紀錄，指定我們需要的測驗者標 號，將要用來分析產生視覺化行為的動作標籤擷取出來，並將其依照時間排列，相關的動作 標籤如表 4 和圖 34 所示。

表 4 相關動作標籤紀錄

圖 34 行為記錄檔細節圖解

4.4.4

視覺化行為子模組

透過擷取動作紀錄子模組產生的紀錄，進行比對和擷取產生視覺化圖表所需要的數值， 再利用整合進來的 JFreeChart library 產生相對應的視覺化統計圖表，且根據不同的需求我們 產生了元件階段互動圖、元件順序互動圖和軟體操作行為圖，如圖 35 所示。

第五章 實驗與數據分析

本 研 究 共 進 行 2個 實 驗，分 別 為 針 對 軟 體 操 作 題 型 和 操 作 型 題 型 的 實 驗，並 透 過 實 驗 數 據 經 由 視 覺 化 的 行 為 呈 現 ， 找 出 到 具 代 表 性 的 行 為 樣 板 和 特 殊 行 為 ， 可 供 教 學 者 了 解 受 測 者 的 作 答 行 為 ， 並 作 為 改 進 教 學 評 量 的 重 要 依 據 。

5.1 軟體操作題型實驗

5.1.1

實驗設計

1.軟體操作題型實驗 (1) 目的：探討的軟體操作題型內答題行為樣板和特殊行為。 (2) 測驗者:國立台中教育大學資訊科學系資三甲。 (3) 實驗人數: 共 68 人，第一次測驗 31 人，第二次測驗 37 人，共實驗兩個班級。 (4) 實驗工具: 本研究發展的題目編輯器、題目測驗器、自動評分線上測驗網站、視覺化 圖表呈現模組。 (5) 實驗科目: JBuilder 程式視覺化程式設計線上測驗。 (6) 實驗試題: 題目 5 題，分別為建立專案和 JFrame、JTextarea 應用 1、JTextarea 應用 2、 JList 應用、JTabbedpane 應用，共 154 個步驟，考試畫面如圖 36 所示。

圖 36 軟體操作題型考試畫面

5.1.2

初步結果

軟體操作題型實驗 (1) 第一次測驗：  測驗名稱: JBuilder 程式視覺化程式設計線上測驗  受測人數為 31 人  平均分數為 146 分  高組：分數為 181 以上有 8 人  中組：分數為 126~181 之間有 15 人  低組：分數為 126 以下有 8 人 (2) 第二次測驗：  測驗名稱: JBuilder 程式視覺化程式設計線上測驗  受測人數為 37 人

 平均分數為 146 分  高組：分數為 180 以上有人 9 人  中組：分數為 132~180 之間有 13 人  低組：分數為 132 以下有 9 人

5.1.3

數據分析方法

(1) 依受測者成績的高低分成高中低三組。 (2) 基於軟體操作行為模型，來分析高中低三組的行為。 (3) 觀察並比較每組中的視覺化紀錄找出其中具代表性的的行為樣板和具特殊性的行為。

5.1.4

行為樣板及特殊行為

5.1.4.1 圖表節點圖示說明

共有 5 種節點基本狀況，如圖 37 所示。

圖 37 節點圖示說明圖

5.1.4.2 行為樣板 1 - 許多步驟操作錯誤頻繁

此行為樣板的很多步驟中呈現特殊行為 4，判斷受測者很多步驟多用猜測的方式操作， 對軟體的操作呈現非常不熟練的狀況。此行為在低組中具代表性，(如圖 38 所示)。

圖 38 行為樣板 1 -許多步驟操作錯誤頻繁

5.1.4.3 行為樣板 2 - 許多步驟直接按答案提示

此行為樣板的很多步驟中呈現操作顯示答案的行為，判斷受測者並沒有很用心作答，且 對軟體的操作呈現非常不熟練的狀況，(如圖 39 所示)。

圖 39 行為樣板 2 -許多步驟直接按答案提示

5.1.4.4 行為樣板 3 - 明顯猶豫很久的幾個步驟

許多受測者皆有在不特定的某幾步驟中呈現特殊行為 3，及操作時間超過 5 分鐘，判斷 受測者在進行較長的思考。整體的折線圖呈現階梯狀▅█的形式。此行為在中組中具代表性， (如圖 40 所示)。

圖 40 行為樣板 3 -明顯猶豫很久的幾個步驟

5.1.4.5 行為樣板 4 - 非常熟練

此行為樣板的大部分步驟皆呈現特殊行為 2 的行為，即連續且快速的正確操作，受測者 對於操作的步驟很熟練。整體的折線圖呈現近似向左斜的直角三角形◢的形式。此行為在高 組中具代表性，(如圖 41 所示)。

圖 41 行為樣板 4 -非常熟練

5.1.4.6 行為樣板 5 – 無法歸類

無法分類到前 4 個行為樣板，屬於較無突出特徵的行為，呈現出來的圖形目前較無參考 的意義，(如圖 42 所示)。

圖 42 行為樣板 5-無法歸類

5.1.4.7 特殊行為 1 – 嘗試摸索後點選答案

此特殊行為經觀察常在成績低組中出現，在步驟中經過幾次操作錯誤後，受測者點選答 案提示顯示操作位置，(如圖 43 所示)。

5.1.4.8 特殊行為 2 – 連續快速作答

此特殊行為經觀察常出現，連續且快速的正確操作(每次的操作都在 5 秒內)，表示受測 者對此連續步驟非常熟練，(如圖 44 所示)。

圖 44 特殊行為 2–連續快速作答

5.1.4.9 特殊行為 3 –思考較久的步驟

某些受測者在某步驟的所花的時間大於 5 分鐘，應該是對此步驟較不熟練，在其中摸索 和思考，(如圖 45 所示)。

圖 45 特殊行為 3–思考較久的步驟

5.1.4.10 特殊行為 4 – 猜測答案

此特殊行為經觀察常在成績低組中出現，在某步驟中連續的操作錯誤(點錯)，應該是猜 測答案行為，(如圖 46 所示)。

圖 46 特殊行為 4–猜測答案

5.2 操作型題型實驗

5.2.1

實驗設計

(1) 操作型題型實驗 1  目的：探討操作型題型內的答題行為樣板和特殊行為。  測驗者:國立台中教育大學資訊科學系資三甲。  實驗人數: 共 73 人，第一次測驗 40 人，第二次測驗 33 人，共實驗兩個班級。

 實驗工具: 本研究發展的題目編輯器、題目測驗器、自動評分線上測驗網站、 視覺化圖表呈現模組。  實驗科目: JAVA 程式語言測驗。  實驗試題: 題目 20 題，接龍題型 5 題、配對題型 5 題、連線題 5 題、分類題 5 題， 考試畫面，如圖 47 所示。

圖 47 操作型題型實驗 1 考試畫面

(2) 操作型題型實驗 2  目的：探討操作型題型內的答題行為樣板和特殊行為。  測驗者:國立台中教育大學英文系 2 年級學生。  實驗人數: 46 人。  實驗工具: 本研究發展的題目編輯器、題目測驗器、自動評分線上測驗網站、

視覺化圖表呈現模組。  實驗科目: 英文隨堂測驗。  實驗試題: 題目 20 題，接龍題型 5 題、配對題型 5 題、連線題 5 題、分類題 5 題，考試畫面，如圖 48 所示。

圖 48 操作型題型實驗 2 考試畫面

5.2.2

初步結果

(1) 操作型題型實驗 1 a.第一次測驗：  實驗科目: JAVA 程式語言測驗  受測人數為 40 人

 平均分數為 56 分  高組：分數為 65 以上有 11 人  中組：分數為 46~65 之間有 19 人  低組：分數為 46 以下有 10 人 b.第二次測驗：  實驗科目: JAVA 程式語言測驗  受測人數為 33 人  平均分數為 72 分  高組：分數為 86 以上有 8 人  中組：分數為 59~86 之間有 17 人  低組：分數為 59 以下有 8 人 (2) 操作型題型實驗 2  實驗科目: 英文隨堂測驗實驗  受測人數為 46 人  平均分數為 61 分  高組：分數為 67 以上有 14 人  中組：分數為 54~67 之間有 21 人  低組：分數為 54 以下有 11 人

5.2.3

數據分析方法

(1) 依受測者成績的高低分成高中低三組。 (2) 觀察並比較每組中的視覺化紀錄找出其中具代表性的行為樣板和具特殊性之行為。

5.2.4

接龍題型 – 行為樣板和特殊行為

5.2.4.1 接龍題型圖表示意圖說明

 顯示每次元件互動發生時,元件的互動情況。會累計之前元件的互動。  互動：代表元件與元件排序  X 軸：元件互動次數  Y 軸：元件編號  接龍題型圖表示意圖，如圖 49 所示。

圖 49 接龍題型圖表示意圖

5.2.4.2 接龍題型行為樣板 1–題目非常熟練

從元件的互動情形發現測驗者直接排列出正確答案，元件排列呈現漸增排列的狀況，顯 示之前無任何模索的互動行為。判斷對題目的熟練度非常好。接龍題型行為樣板 1，如圖 50 所示。

圖 50 接龍題型行為樣板 1–題目非常熟練

5.2.4.3 接龍題型行為樣板 2 – 題目熟練稍差

從元件的互動中發現，元件經過較無規律的排列之後，最後元件會產生漸增排列的情況， 判斷無規律排列的部分為摸索期，經過摸索期後，將元件重新排列，得到正確地排列順序， 判斷對題目的熟練度稍差。接龍題型行為樣板 2 ，如圖 51 所示。

圖 51 接龍題型行為樣板 1–題目非常熟練

5.2.4.4 接龍題型行為樣板 3 – 題目非常熟練(插入型)

從第 2 次元件互動開始，先排列正確答案的最前面和最後面的元件，然後將其他元件逐 一放入排列成正確的答案，判斷對題目的熟練度不錯。接龍題型行為樣板 3 ，如圖 52 所示。

5.2.4.5 接龍題型行為樣板 4 – 答案認知錯誤

元件經過互動之後，排列所有的元件，但最後的排列沒呈現成階梯狀，表示最後的答案 卻不正確，判斷測驗者對答案的認知錯誤。接龍題型行為樣板 4 ，如圖 53 所示。

圖 53 接龍題型行為樣板 4–答案認知錯誤

5.2.4.6 接龍題型特殊行為 1 – 不斷嘗試

摸索期過長(>15 次元件互動)，判斷為受測者雖不熟練但是不斷的嘗試摸索的行為。接龍 題型特殊行為 1 ，如圖 54 所示。

圖 54 接龍題型特殊行為 1 – 不斷嘗試

5.2.4.7 接龍題型特殊行為 2 – 排列正確答案

此行為常出現在得分滿分的狀況下，其視覺化行為常呈現倒三角型的遞增情形。顯示清 空摸索期元件互動，然後從頭開始排列的正確答案。此動作在得滿分的題目中頻繁出現。接 龍題型特殊行為 2，如圖 55 所示。

圖 55 接龍題型特殊行為 2 – 排列正確答案

5.2.5

配對題型 – 行為樣板和特殊行為

5.2.5.1 配對題型圖表示意圖說明

 節點顯示每次元件互動發生時,元件最新的互動情況。  互動：代表活動元件移動(配對)到固定元件  X 軸：時間  Y 軸：可移動元件編號  節點顏色：固定元件的編號  配對題型圖表示意圖，如圖 56 所示。

圖 56 配對題型圖表示意圖

5.2.5.2 配合題型行為樣板 1 – 題目非常熟練

每個可移動元件只配對固定元件 1 次，即得到滿分，判斷測驗者對題目非常熟練。配合 題型行為樣板 1，如圖 57 所示。

5.2.5.3 配合題型行為樣板 2 – 題目次熟練

某個可移動元件配對固定元件不只 1 次，即得到滿分，顯然是有經過一陣摸索，才確定 正確答案。判斷測驗者對題目的熟練度稍差。配合題型行為樣板 2 ，如圖 58 所示。

圖 58 配合題型行為樣板 2 – 題目次熟練

5.2.5.4 配合題型行為樣板 3 – 答案認知錯誤

某個可移動元件配對固定元件不只 1 次，但沒得到滿分，顯然是有經過一陣摸索，才確 定答案。但對正確答案的認知錯誤。判斷受測者對題目的熟練度更差。配合題型行為樣板 3 ， 如圖 59 所示。

圖 59 配合題型行為樣板 3 – 答案認知錯誤

5.2.5.5 配合題型特殊行為 1 – 猶豫答案行為

黃色框中的活動元件 2 和固定元件 4 的配對出現過 2 次，表示在這兩次的配對之間的某 時間點，曾經解除配對然後恢復配對。因此判斷為猶豫答案行為。配合題型特殊行為 1，如 圖 60 所示。

圖 60 配合題型特殊行為 1 – 猶豫答案行為

5.2.5.6 配合題型特殊行為 2 – 更換答案行為

黃色框中的活動元件 2 和固定元件 3 還有固定元件 5 的配對出現過 2 次，表示在這兩次 的配對之間的某時間點，曾經解除配對然後更換配對。因此判斷為更換答案行為。配合題型 特殊行為 2，如圖 61 所示。

圖 61 配合題型特殊行為 2 – 更換答案行為

5.2.6

連線題型 – 行為樣板和特殊行為

5.2.6.1 連線題型圖表示意圖說明

 節點顯示每次元件互動發生時,元件最新的互動情況。  互動：代表從拉線元件連線到關聯元件  X 軸：時間  Y 軸：關聯元件編號  節點顏色：拉線元件編號  連線題型圖表示意圖，如圖 62 所示。

圖 62 連線題型圖表示意圖

5.2.6.2 連線題型行為樣板 1 – 題目非常熟練

每個關聯元件只被連到拉線元件 1 次，即得到滿分，判斷測驗者對題目非常熟練。連線 題型行為樣板 1，如圖 63 所示。

圖 63 連線題型行為樣板 1 – 題目非常熟練

5.2.6.3 連線題型行為樣板 2 – 題目次熟練

某個關聯元件被連線到拉線元件不只 1 次，即得到滿分，顯然是有經過一陣摸索，才確 定正確答案。判斷測驗者對題目的熟練度稍差。連線題型行為樣板 2，如圖 64 所示。

圖 64 連線題型行為樣板 2 – 題目次熟練

5.2.6.4 連線題型行為樣板 3 – 正確答案認知錯誤

某個關聯元件被連線到拉線元件不只 1 次，但沒得到滿分，顯然是有經過一陣摸索，才 確定答案。但對正確答案的認知錯誤。判斷受測者對題目的熟練度更差。連線題型行為樣板 3，如圖 65 所示。

圖 65 連線題型行為樣板 3 – 正確答案認知錯誤

5.2.6.5 連線題型特殊行為 1 – 猶豫答案行為

黃色框中的關聯元件 7 和拉線元件 2 的連線出現過 2 次，表示在這兩次的連線之間的某 時間點，曾經解除連線然後恢復連線。因此判斷為猶豫答案行為。連線題型特殊行為 1，如 圖 66 所示。

圖 66 連線題型特殊行為 1 – 猶豫答案行為

5.2.6.6 連線題型特殊行為 2 – 更換答案行為

黃色框中的關聯元件 3 和拉線元件 6 還有拉線元件 7 的連線出現過 2 次，表示在這兩次 的連線之間的某時間點，曾經解除連線然後更換連線。因此判斷為更換答案行為。連線題型 特殊行為 2，如圖 67 所示。

圖 67 連線題型特殊行為 2 – 更換答案行為

5.2.7

分類題型 – 行為樣板和特殊行為

5.2.7.1 分類題型圖表示意圖說明

 節點顯示每次元件互動發生時,元件最新的互動情況。  互動：代表可移動元件放入分類區。  X 軸：時間  Y 軸：可移動元件編號  節點顏色：分類區編號  分類題型圖表示意圖，如圖 68 所示。

圖 68 分類題型圖表示意圖

5.2.7.2 分類題型行為樣板 1 – 題目非常熟練

每個可移動元件皆只放入分類區 1 次，且得到滿分，判斷測驗者對題目非常熟練。分類 題型行為樣板 1，如圖 69 所示。

5.2.7.3 分類題型行為樣板 2 – 題目熟練度稍差

某個可移動元件放入分類區不只 1 次，且得到滿分，判斷受測者對題目有點疑問，但還 算熟練。分類題型行為樣板 2，如圖 70 所示。

圖 70 分類題型行為樣板 2 – 題目熟練度稍差

5.2.7.4 分類題型行為樣板 3 – 答案認知錯誤

每個可移動元件皆只放入分類區 1 次，但無得到滿分，判斷受測者對正確答案認知錯誤。 分類題型行為樣板 3，如圖 71 所示。

圖 71 分類題型行為樣板 3 – 答案認知錯誤

5.2.7.5 分類題型行為樣板 4 – 摸索且答案認知錯誤

某個可移動元件放入分類區不只 1 次，但沒得到滿分，判斷受測者對題目有點疑問，且 對正確答案的認知錯誤。分類題型行為樣板 4 ，如圖 72 所示。

圖 72 分類題型行為樣板 4 – 摸索且答案認知錯誤

5.2.7.6 分類題型特殊行為 1 – 猶豫答案行為

黃色框中的移動元件 0 放入分類區 4 出現過 2 次，表示在這兩次的連線之間的某時間點， 曾經移出然後再次放入分類區 4。判斷對於其作答不太確定，屬於猶豫答案行為。分類題型 特殊行為 1，如圖 73 所示。

圖 73 分類題型特殊行為 1 – 猶豫答案行為

5.2.7.7 分類題型特殊行為 2 – 更換答案行為

黃色框中的移動元件 3 放入分類區 4 和分類區 5 出現過 2 次，表示在這兩次放入之間的 某時間點，曾經從分類區 5 移出移動元件 3，然後放入分類區 4。判斷對於其作答不太確定， 屬於更換答案行為。分類題型特殊行為 2，如圖 74 所示。

第六章 結論與未來發展方向

6.1 結論

本研究設計軟體操作的｢軟體操作行為模型｣，新增相對應的軟體操作題型，並發展其視 覺化行為模組。另外改良先前發展 ITIS 系統中的考試器，使其在軟體操作題型的測驗中，可 產生即時回饋告知受測者操作錯誤並引導其操作，使受測者在測驗中累積操作經驗和正確的 操作流程。另外將原本每位測驗者在整份考卷上的答題行為歷程紀錄經過重新分類組合後產 生每位受測者在同一題目內的作答歷程記錄，並利用其作橫向重播，可橫向比對在同一題中 不同受測者的作答行為差異。 本研究擴充視覺化行為模組，使其產生元件階段互動圖、元件順序互動圖和軟體操作行 為圖，可快速視覺化呈現軟體操作測驗中每個受測者全程操作過程中的操作行為和多位受測 者在同一題目內的作答行為。最後經過實驗蒐集而來的數據，歸納出(1)軟體操作題型內發現 4 種作答樣板和 2 種特殊行為; (2)接龍題型內發現 3 種行為樣板和 2 種特殊行為; (3)配對題型 內發現 4 種行為樣板和 2 種特殊行為; (4)連線題型內發現 3 種行為樣板和 2 種特殊行為; (5) 分類題型內發現 3 種行為樣板和 2 種特殊行為。 教學者可以透過其行為樣板和特殊行為，快速且容易了解受測者在題型內的作答行為和 其中猶豫不決的項目，以此深入且有方向的幫助受測者補強其不足的範圍，並可作為教學者 改進評量過程和了解受測者實際學習情況的依據。

6.2 未來發展方向

(1) 針對不同的知識類型發展更多適合的操作型題型，並分析受測者在題型內的作答行 為，以設計更易了解的視覺化行為圖表。

(2) 經由舉行更多不同科目的線上測驗，蒐集大量的作答歷程記錄，從其中找出更多具 有意義的作答樣板和特殊行為。

(3) 發展自動分析行為樣板和特殊行為的功能，以節省人工判讀的時間，方便教學者更

參考文獻

[1] C.-S. Koong, and C.-Y. Wu, “The applicability of interactive item templates in varied knowledge types,” Computers & Education, vol. 56, no. 3, pp. 781-801, 2011.

[2] C.-S. Koong, and C.-Y. Wu, “An interactive item sharing website for creating and conducting on-line testing,” Computers & Education, vol. 55, no. 1, pp. 131-144, 2010. [3] Y. Kinugasa, and H. Tominaga, “Operation-Style Answering in Multimedia Testing System

DrilLs-M for Kanji Letter Shape Learning,” in Proceedings of the Fifth IEEE International Conference on Advanced Learning Technologies, 2005, pp. 647-649.

[4] 徐淑芬, “操作型教材教學步驟數量大小之學習成效評估--以「Excel 檢定教學」為例, ”

理學院科技與數位學習學程, 國立交通大學, 新竹市, 2010.

[5] C. Gennaro, “Monitoring Online Tests through Data Visualization,” IEEE Transactions on

Knowledge and Data Engineering, vol. 21, pp. 773-784, 2009.

[6] R. Hijón-Neira, and J. Á. Velázquez-Iturbide, “How to Improve Assessment of Learning and Performance through Interactive Visualization,” in Proceedings of the 2008 Eighth IEEE International Conference on Advanced Learning Technologies, 2008, pp. 472-476. [7] F. Laure, “Monitoring Virtual Classroom: Visualization Techniques to Observe Student

Activities in an e-Learning System,” in Proceedings of the Sixth International Conference on Advanced Learning Technologies, 2006, pp. 716-720.

[8] 黃文信, “自然科「簡單電路」單元之建構反應題及診斷測驗系統, ” 教育測驗統計研究

所, 國立臺中教育大學, 台中市, 2010.

[9] 陳宗楹, “電腦化建構反應題型與自動計分模式之研發—以「長方體和正方體」單元為

[10] 陳得利, “網路化歷程檔案系統之設計與實作, ” 資訊管理學系研究所, 國立中山大學, 高雄市, 2002. [11] 林鴻源, “線上測驗回饋型態對國小學童學習影響之分析研究, ” 國民教育研究所, 臺南 師範學院, 台南市, 1999. [12] 江書瑩, “互動式多媒體的視覺化劇情編輯機制應用於多媒體試題樣板套用系統的實 作, ” 資訊工程系所, 國立交通大學, 新竹市, 2005. [13] 陳建銘, “學習歷程探勘與思考風格於適性化補救學習之研究, ” 資訊工程研究所, 中原 大學, 桃園縣, 2007.

[14] R. Mazza, and V. Dimitrova, “CourseVis: A graphical student monitoring tool for supporting instructors in web-based distance courses,” International Journal of Human-Computer

Studies, vol. 65, no. 2, pp. 125-139, 2007.

[15] M. Riccardo, “Generation of Graphical Representations of Student Tracking Data in Course Management Systems,” in Information Visualisation, International Conference on, 2005, pp. 253-258.

[16] 廖健傑, “可記錄解題過程之 QTI 2.0 操作式測驗系統, 資訊科學學系碩士班, ” 資訊工

程學系碩士班, 國立臺中教育大學, 台中市, 2009.

[17] R. M. Gagné, L. J. Briggs, and W. W. Wager, Principles of instructional design: Harcourt Brace Jovanovich College Publishers, 1992.

[18] G. Miller, "The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information," 1956, pp. 81-97.

[19] N. Cowan, “The magical number 4 in short-term memory: A reconsideration of mental storage capacity,” Behavioral and Brain Sciences, vol. 24, no. 01, pp. 87-114, 2001. [20] S. J. Luck, and E. K. Vogel, “The capacity of visual working memory for features and

[21] H. Pashler, “Familiarity and visual change detection,” Attention, Perception, &amp;