以開放式申論題為主之輔助教學系統 - 政大學術集成
67
0
0
全文
(2) 以開放式申論題為主之輔助教學系統 Intelligent Tutoring System Based on Open-Ended Questions 研 究 生：廖君興. Student：Chun-Hsin Liao. 指導教授：李蔡彥. Advisor：Tsai-Yen Li. 張俊彥 政. 治. Chun-Yen Chang. 學. ‧ 國. 立. 大. ‧. 國立政治大學 資訊科學系 碩士論文. er. io. sit. y. Nat. A Thesis v i n submitted toC Department Science U h e n g c hofi Computer National Chengchi University in partial fulfillment of the Requirements for the degree of Master in Computer Science. n. al. 中華民國九十九年一月. Jan 2010. ii.
(3) 以開放式申論題為主之輔助教學系統. 摘要. 本研究的目的，是在實作一個以開放式問答題的作答方式為基礎的線上輔. 政 治 大. 助學習系統，藉以提升評量及學習的效果。我們選定的問題領域在地球科. 立. 學，以極光的發生為例，將問題所涉及的觀念進一步拆解細分成許多小觀. ‧ 國. 學. 念，建立階層化使用者知識模型，以評估學生於各個觀念的分別表現。學. ‧. 生於作答時，系統會即時分析學生的答案，以評估學生在各觀念的表現，. sit. y. Nat. 並在適當的時機提供回饋，嘗試協助學生思考原本未能答好的觀念。我們. er. io. 以不同的回饋時機及回饋內容為獨立變因，嘗試瞭解對使用者答題表現的. al. n. v i n Ch 影響。我們也以個案分析的方式將學生的對於系統學習態度分類，藉以瞭 engchi U 解不同類型學生對此類系統的接受程度。我們認為此系統可以提供學生作 答歷程予教學者進行分析，用以找出學生缺漏的觀念，進而協助提升教學 效果。. iii.
(4) Intelligent Tutoring System Based on Open-Ended Questions. Abstract. The purpose of this research is to use an open-ended based on-line learning system to improve the effects of evaluation and learning. We set the question do-. 政 治 大. main at Earth Science. Taking the occurrence of polar lights, we divide the re-. 立. lated concept into many small concepts, and build the hierarchical user know-. ‧ 國. 學. ledge model to evaluate student’s reactions to each concept. While students take the test, the system will analyze the answers to evaluate the students, and pro-. ‧. vide feedbacks timely to help the student think over the missing concept. Taking. Nat. sit. y. the different feedback timing and feedbacks as independent factors, we try to. er. io. understand the influence to the users’ performance. By using case study, we. n. a l attitudes to understand classify the students’ learning i v the different types of stu-. n U i this system can provide student’s n think dents’ acceptance of this system.e We g c hthat. Ch. answering process to teachers for analyzing. By using this, teachers can find out students’ missing concept and to provide teaching effectiveness.. iv.
(5) 目錄. 第一章 導論 .............................................................................................................................. 1 1.1 1.2 1.3 1.4 . 研究動機 ......................................................................................................... 1 研究目標 ......................................................................................................... 3 論文貢獻 ......................................................................................................... 4 論文章節架構 .................................................................................................. 5 . 第二章 相關研究 ...................................................................................................................... 6 . 政 治 大. 創造性問題解決能力(CPS) ............................................................................ 6 使用者塑模(User Modeling) .......................................................................... 8 智慧型輔助教學系統 ...................................................................................... 9 . 立. 學. ‧ 國. 2.1 2.2 2.3 . 第三章 階層式知識模型建立 ................................................................................................ 14 . ‧. 極光觀念分析 ................................................................................................ 14 使用者知識模型建立 .................................................................................... 15 建立階層化觀念樹 ........................................................................................ 16 . y. Nat. 3.1 3.2 3.3 . sit. 第四章 答題風格之分析與模型建立 .................................................................................... 21 . 5.1 5.2 5.3 5.4 5.5 . 系統環境說明 ................................................................................................ 31 系統流程說明 ................................................................................................ 32 使用者知識模型建立 .................................................................................... 33 使用者風格模型 ............................................................................................ 34 回饋模型 ....................................................................................................... 36 . er. 先期實驗說明 ................................................................................................ 21 答題風格分析 ................................................................................................ 23 . io. 4.1 4.2 . al. n. v i n Ch 第五章 系統架構與建置 ........................................................................................................ 31 engchi U. 第六章 實驗設計 .................................................................................................................... 39 6.1 6.2 6.3 6.4 6.5 . 先期研究流程描述 ........................................................................................ 39 先期研究實驗結果 ........................................................................................ 40 主要實驗設計： ............................................................................................ 43 實驗結果與資料分析： ................................................................................ 44 討論 ............................................................................................................... 50 . v.
(6) 第七章 結論與未來發展 ........................................................................................................ 53 7.1 7.2 . 結論 ............................................................................................................... 53 未來發展 ....................................................................................................... 54 . 參考文獻 .................................................................................................................................. 55 . 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vi. i n U. v.
(7) 圖目錄 圖 2.1：創造性問題解決的模型圖 ................................................................................. 7 圖 2.2：問題解決風格的基本架構 ................................................................................. 8 圖 2.3：驗證智慧型輔助教學系統流程 ....................................................................... 10 圖 2.4：貝式網路：由三個技能和七個問題組成的貝式網路 .....................................11 圖 2.5：貝式網路：利用四個概念上的分類形成的階層化技能群組模型 ................ 12 圖 2.6：從高階的觀點來看技能在階層化技能難度模型的情形 ................................ 14 圖 3.1：天文學－太陽的觀念樹模型圖。 ................................................................... 18 圖 3.2：地球科學的觀念樹模型圖。 ........................................................................... 19 圖 3.3：物理知識的觀念樹模型圖。..............................................................................19 圖 4.1：學生在作答時的系統介面 ............................................................................... 23 圖 4.2：學生作答完畢之後，呈現給學生看的系統分析畫面 .................................... 24 圖 4.3：受測學生依照思考時間與最後獲得分數之間關係的分佈圖 ........................ 25 圖 4.4：為學生 9739 的作答過程曲線 ......................................................................... 26 圖 4.5：為學生 9735 的作答過程曲線圖 ..................................................................... 26 圖 4.6：為學生 9727 的作答過程曲線 ......................................................................... 27 圖 4.7：為學生 9731 的作答過程曲線圖 ..................................................................... 29 圖 5.1：系統流程圖 ...................................................................................................... 35 圖 5.2：建立使用者知識模型的流程 ........................................................................... 37 圖 5.3：利用使用者知識模型評分的流程 ................................................................... 37 圖 5.4：使用者風格模型流程圖 ................................................................................... 39 圖 5.5：觀念模型流程圖..................................................................................................39 圖 5.6：節點狀態圖 ...................................................................................................... 42 . 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.
(8) 表目錄 表 3.1：由專家所提供回答極光所需要具備的觀念及其分類 ...................................... 16 表 3.2：子觀念問題表........................................................................................................21 表 4.1：受測學生依照思考時間分群組的數據表 .......................................................... 25 表 4.2：思考時間較長的學生，作答時最先輸入的句子及其獲得的分數表............... 26 表 4.3：圖 4.6 的學生在增加字數卻未增加分數時的答案對照 ................................... 29 表 4.4：圖 4.5 的學生在增加字數卻未增加分數時的答案對照。 ............................... 29 表 4.5：用不同的時間間隔與分數間隔分析已有的學生資料得到的結果。............... 31 表 5.1：回饋類型與用途 ................................................................................................. 35 表 5.2：使用者風格模型參數說明 ................................................................................. 38 表 5.3：回饋模型參數說明 ............................................................................................. 39 表 6.1：先期研究中學生的整體表現 ............................................................................. 41 表 6.2：學習主動性分類規則 ......................................................................................... 43 表 6.3：學習主動性分類 ................................................................................................. 44 表 6.4：主動性高範例 ..................................................................................................... 44 表 6.5：各組學習主動性與先備知識比較表.................................................................. 47 表 6.6：不同輔助模式間的學生先備知識比較.............................................................. 48 表 6.7：不同學習主動性學生的天文學態度比較 .......................................................... 48 表 6.8：不同輔助模式間學生的天文學態度比較 .......................................................... 49 表 6.9：各模式總體成績數據 ......................................................................................... 49 表 6.10：兩次作答所得分數的比較表 ........................................................................... 50 表 6.11：各輔助模式學習成效比較表...............................................................................51 表 6.12：各學習主動性分類間學習成效的比較表...........................................................52. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. viii. i n U. v.
(9) 第一章 導論. 1.1 研究動機. 立. 政 治 大. ‧ 國. 學. 近年來，隨著電腦與網際網路的蓬勃發展，數位教學的方式也不斷的更新與進步， 許多加入了人工智慧技術的教學輔助系統也相應而生。透過數位學習，學生和老師不一. ‧. 定需要以面對面的方式來教授課程。學習對象也不一定限定於老師，也有可能是學生和. Nat. sit. y. 學生之間的相互學習，也就是所謂的「協同學習(Collaborative Learning)」。探討如何以. n. al. er. io. 協同學習的方式支援教學，是一項近年來熱門的研究議題[14]；例如，許多研究中所使. i n U. v. 用的輔助教學系統都加入了協同學習的要素[13][6]。[13]強調的是有效率的協同學習，. Ch. engchi. 包含了有效率的合作以及合作有效的學習；[6]強調的則是如何在協同學習中激發出更多 不同的創意，也就是腦力激盪。[26]則是設計了一個需要被教導的電腦代理人(Agent)， 在這個系統中代理人擔任的是學生的角色；而學生在系統中則是扮演老師，透過教導代 理人知識，進一步加深自己學習的印象，達到教學相長的效果。. 數位學習的發展已經行之有年，而且有許多學校的課程都已經利用數位教學平台來 協助學生學習，但美中不足的地方是，大部分的測驗都還是以課堂上的紙筆測驗為主， 線上測驗為輔助；而線上測驗所包含的題型則多半還是以是非題、單一選擇題或多重選 擇題為主，利用開放式申論題為主的測驗形式仍然較為少見。形成這種現象有一個主要. 1.
(10) 的原因在於批改所需花費的成本。一般而言，以人力來對開放式申論題的答案進行評 分，是件十分吃力又辛苦的工作。如果是採用電腦閱卷，以電腦自動批改一個開放式申 論題的答案，卻仍是一件相當具挑戰性的工作。主要的原因在於這個自動評分的工作需 要用到自然語言處理以及學習者建模(User Modeling)等技術，而這些技術仍未成熟到可 以取代目前所有試題類型的人工評分方式。儘管如此，為了促進線上學習的效果，我們 認為有必要將開放式申論題的測驗形式加入線上學習系統，使開放式申論題成為線上學 習或測驗的一部分。因此，設計一個可信賴的開放式問題自動評分系統，將是能否將開. 政 治 大. 放式申論題加入線上學習的關鍵之一。我們認為開發出這種具有人工智慧的自動化評分. 立. 系統，不管是對教學者或是學生來說，都是相當有幫助的。. ‧ 國. 學. 在以往開放式申論題的測驗中，一道題目通常會隱含許多不同的觀念。有的時候學. ‧. 生會因為緊張，或是對題目的理解度不足，導致在答案中缺乏了對某個觀念的說明，或. Nat. sit. y. 是對觀念的描述模糊不清。那麼負責評分的老師或是研究人員便無從得知學生只是因為. n. al. er. io. 表達能力不佳，因而描述的不夠清楚，還是因為對這個觀念不夠了解，所以模糊帶過。. i n U. v. 在以分辨學生能力為主要目的的測驗當中，學生如對題目的理解力不佳或對自我答案的. Ch. engchi. 表達能力不佳而被扣分，應屬正常；但若是在以輔助學生學習為主要目的的測驗中，站 在教學輔導者的觀點，應更希望能夠充分了解學生的問題所在，進而加以輔導，而這也 正是實施測驗的原始目的之一。然而，在現今的測驗模式之下，老師或是研究人員只能 根據學生在答案中對於其他觀念的描述表現，來推斷學生究竟是否具備這個觀念而只是 忘了寫到，還是學生根本不了解或是不具備這個觀念。甚至更有可能的是，學生的理解 其實是錯誤的觀念。在傳統的測驗或是學習模式之中，老師或是研究人員能得到的通常 只有學生最後回答出的答案，而無法取得學生的思考歷程，推理邏輯等相關資訊。更無 法即時的在學生思考如何應答的過程裡，給予適當的引導。. 2.
(11) 為了解決這樣的問題，我們在之前發展的線上開放式申論題測驗系統[1]中，加入了 即時分析與回饋的機制設計。這個系統提供了額外的兩項協助：(1) 當學生在線上作答 的同時，系統每隔一段時間便會即時的抓取學生目前的答案，並加上時間戳記送至伺服 器端，藉此紀錄學生的答題歷程以供後續分析與回饋。(2) 系統會對當前學生的答案作 各個子觀念的預先評分，系統便會根據目前學生所獲得的分數來判斷出目前學生對於哪 個觀念的描述說明是較為不足的。這時系統可提供回饋給正在作答的學生，而回饋的內 容包括了針對該觀念所出的是非或選擇題，藉以提醒或幫助學生做出更正確的思考，並. 政 治 大. 且根據學生對此題目的回答，進一步判斷出學生對此觀念的了解程度究竟為何。. 立. ‧ 國. 學. 1.2 研究目標. ‧. 在上一節中，我們對智慧型輔助教學系統中相關的研究議題，做了一些基本介紹與. y. Nat. io. sit. 相關問題的描述。我們希望能在過去開放式問題之研究的基礎之上，加入即時分析與回. n. al. er. 饋的機制，來協助學生學習。在這一節，我們將擬定出三個主要的研究子題，並且簡單. Ch. i n U. v. 的描述解決這些問題所使用的概念。之後，我們會以獨立的章節對各個研究子題進行深 入的探討。. . engchi. 答題風格模型的分析及建立. 一般來說，每位學生在進行測驗時都會有不同的答題行為與風格，這也是我們很感 興趣的部份。我們將設計一個系統，取得學生在作答時的一些資訊，其中包括目前答案 正確性、學生在各觀念的表現、作答速度等。透過分析這些資訊，我們可以更加瞭解學 生在作答時可能遭遇到瓶頸的地方，並且在適當的時機給予提示。. 3.
(12) . 建立階層式的使用者知識模型. 為了進一步了解學生所缺少的觀念，我們必須先建立好專家的知識模型。我們建立 了一個階層化的使用者知識模型，在這個階層化的使用者知識模型中，每一個節點代表 了一個觀念。透過以此使用者知識模型檢視學生的答案，我們可以瞭解學生對目前問題 的理解程度以及缺乏的觀念，並予以適當的回饋。. 立. 設計有效的互動回饋模型. 學. ‧ 國. . 政 治 大. 我們的互動回饋方式包含了兩項參數，分別是學生的答題風格以及學生的使用者知. ‧. 識模型。而回饋的內容可分成即時訊息、是非題、選擇題等幾種不同的類型。透過建立. Nat. sit. y. 參數和題型間的對應方法，讓不同的學生在答題時，會得到不同的系統回饋。這些回饋. n. al. er. io. 可以是提示思考方向或鼓勵，藉此建立適合的互動方式。. 1.3 論文貢獻. Ch. engchi. i n U. v. 本論文的貢獻在於： . 設計了一個以開放式問答題為基礎的輔助教學系統 我們在之前發展的線上開放式申論題測驗系統[1]中，加入了即時回饋系統的設. 計，讓這個系統可以同時兼具教學的功能。利用機器學習的方式建立使用者知識模 型，代替傳統人工評分的方式，並且能夠利用自動評分系統即時評估學生目前答案 的分數，讓系統知道目前學生可能的弱點為何。. 4.
(13) . 將開放式問答題包含的觀念建立成階層化的觀念樹 為了進一步了解學生答案中的缺漏，我們分析開放式問答題中答題所需具備的. 觀念，並將其建立成階層化的觀念樹。觀念樹中的節點包含了以機器學習方法建立 不同領域的使用者知識模型以及用來提示或確認學生是否了解此觀念的問題集合。 如此，我們可以更精準的瞭解該如何協助學生學習。 . 政 治 大. 在開放式問答題中加入了選擇題及是非題做為回饋. 立. ‧ 國. 學. 我們在開放式問答題的答題過程中加入了選擇題及是非題的回饋元素。在學生 回答問答題不是很完整的情況下，我們會以是非題或選擇題的方式提供學生思考的. ‧. 方向，而不是直接告訴學生完整的答案為何。同時我們會記錄下學生的答案，可以. n. al. er. io. sit. y. Nat. 做為日後個別教學上的一些依據。. 1.4 論文章節架構. Ch. engchi. i n U. v. 在第二章，我們會介紹本研究相關的基礎知識與過去的研究成果，包含了創造性問 題解決能力、使用者模型技術以及一些之前建立的智慧型輔助教學系統；第三章將說明 如何建立階層化使用者知識模型；第四章會介紹答題風格模型建立的一些；第五章則會 說明系統的架構與流程設計；第六章將呈現實驗的數據結果與分析；最後的第七章則是 論文的結論及未來發展方向。. 5.
(14) 第二章 相關研究. 政 治 大 於人們的創造性問題解決能力以及如何評估它的研究；在第二部分中，我們將介紹如何 立 這一章主要是回顧文獻中與本研究相關的研究成果。在第一個部分，我們將介紹一些關. ‧. ‧ 國. 學. 建立使用者模型；最後一部份，我們將探討一些相關的智慧型輔助教學系統。. 2.1 創造性問題解決能力(CPS). sit. y. Nat. n. al. er. io. 創造性問題解決能力並不容易評估，尤其是要評估學生在回答問題背後所具備的能. i n U. v. 力。[11]的作者指出作為研究 CPS 和問題解決風格(problem solving style)的基本，我們. Ch. engchi. 必須先定義清楚問題解決本身是什麼，以及它和創意間的關聯。「問題」是一個位於我 們所在的位置以及我們想要去的地方之間的障礙[20]。而「問題解決」是指我們尋求要 如何去到我們想去的地方所產生的思考和行為。一個問題領域或任務的定義可以是明確 界定出它的結構，也可以是模糊不清的。明確定義的問題形式是透過問題解決；而模糊 不清的問題則是由創造性解決問題或發現問題。獲得解決方法的方式，可以是事先就已 經知道的，但也可以是未知的、複雜的和不確定的。. 6.
(15) 立. 政 治 大. ‧. ‧ 國. 學. 圖 2.1：創造性問題解決的模型圖，由 Isaksen, Dorval 及 Treffinger 於 2000 年時提出. 在過去五十多年來，許多學者提出了多種不同呈現 CPS 的模型或是說明方法，對象. sit. y. Nat. 從大學、國中小學以及大型的企業及有名的顧問組織都有。[21]發展出了一個 CPS 的架. er. io. 構模型，基於[22]所提出的基本理論，包含了四個組成元件(component)以及八個階段. al. v i n Ch 望探討的面向之一。問題解決風格會受到學習風格[25] e n g c h i U、認知風格[26]以及心理學風格[24] n. (stage)，如圖 2.1.所示。而圖 2.2 說明了 CPS 與問題解決風格的關係[23]，也是本論文希. 的影響。問題解決風格模型可以分成三個面向來討論，分別是改變導向(Orientation to Change)、處理方式(Manner of Processing)以及決定方式(Ways of Deciding)。每個面向都 會直接的影響到人們察覺問題與資訊、分析處理數據、找出可能的解答、做選擇與決定 以及準備執行的方法。同時瞭解這些不同的面向，也能夠讓個人更有效率的使用得到的 資訊來解決問題。改變導向可分成兩個維度，分別是探險者(Explorer)以及開發者 (Developer)兩種，探險者喜歡從事範圍涵蓋各種領域的任務，也喜歡面對嶄新又未知的 挑戰。他們並不畏懼風險，也不喜歡受到限制，擅長用原創的方式來表達。萬一發生了 意料之外的事，他們保有一定的彈性及行動力來應對處理。相對探險者而言，開發者做. 7.
(16) 事比較按部就班，偏好在現有的經驗架構裡找尋問題的解決方式。在進行任務的時候， 會清楚詳細的擬定計畫，與完成期限。. 立. 政 治 大. ‧ 國. 學 ‧. 圖 2.2：問題解決風格的基本架構，由 Treffinger, , Selby, Isaksen 及 Crumel 於 2007 年時 提出. sit. y. Nat. er. io. 但在面臨意外的時候，他們缺乏彈性來處理，而需要他人的協助。問題解決風格模型的. al. v i n Ch 他人的互動中得到活力，會藉由討論來理解目前的問題與找尋解決的辦法。而內向的人 engchi U n. 第二個面向與一個人偏好的處理方式有關，也就是偏好內向或是外向。外向的人可以從. 在遇到問題時會先檢視自己所具備的能力條件，他們在自己的省思中得到活力。在與他 人分享想法前，內向者偏好先自行進行完整的思考。而問題解決風格模型的第三個面向 與做決定的偏好有關。這個面向的焦點是放在當他需要做決定時，會先考慮人或者是任 務本身的因素。. 2.2 使用者塑模(User Modeling). 8.
(17) 要建立使用者模型意味著必須去觀察使用者的行為，例如他的肢體動作或是發表的言論 等可以觀察得到的外在表現，進一步推論出一些無法藉由觀察而得到的資訊，像是使用 者目前的心情、想法等等。早期的使用者模型，依賴著由人手動建立的知識庫來儲存猜 測的資訊和觀察得來的行為，並手動的建立出它們之間的對應關係。研究者根據使用者 的自我表述來假設出使用者的目的或是愛好，並建立成計畫函式庫(Planning Library)。 這些知識庫通常是經由有代表性的個體而建立的。然而，這樣的知識庫卻有兩個主要的 缺點，第一，它們的結構會依據資料來源的差異有很大的變動；第二，這樣的知識庫並. 政 治 大. 不方便擴充，適應性也不足。受限於傳統知識表達方法的限制，模塑複雜人類行為的方. 立. 法逐漸走向統計模型的研究方向。預測統計模型可以預料人類行為的某些方面，例如目. ‧ 國. 學. 標、行動及偏好。UPSAM(User Problem-Solving Ability Modeler)[3]也是其中的一項研 究。在自然科學的領域中，UPSAM主要的目的，是去建立並維護一個專家的知識模型。. ‧. 這個知識模型裡包含了專家本身具備的知識，以及解決問題可能會用到的字彙集合。除. Nat. sit. n. al. er. io. 行自動的評分。. y. 此之外，UPSAM也能透過這個知識模型，來進行對學生在開放式申論題回答的答案進. 2.3 智慧型輔助教學系統. Ch. engchi. i n U. v. Idea Storming Cube[6]是一個提供學生另一種有趣的腦力激盪的輔助工具，這個研究 的主要目的在提供一個基於網際網路的協同式創意學習工具。透過類似遊戲進行的模 式，它提供了學生在創意性或啟發性的思考的支援，並且讓學生們藉此培養出不只充滿 創意，同時也多面向的思考習慣。而 WOTAS(Web-based Online Testing and Analysis System)[1]，是一個基於 web 的線上測驗和分析的系統。以 UPSAM 的評分功能為基礎， WOTAS 更進一步的加入了前端使用者介面，發展出了一個自動評分系統來替學生在開. 9.
(18) 放式問答測驗中的表現及回應進行評分。除了評分之外，WOTAS 同時也讓教師和研究 人員可以對測驗的結果進行分析。 VIBRANT[2]則是一個應用在科學教育方面，用來和學生進行腦力激盪的教學系 統。這個研究主要在設計一個讓學生可以腦力激盪之教學系統，以支援解決質性問題。 認知導向與社會導向的支援則是藉助於過去的一些經驗法則所設計產生的一些回饋。 VIBRANT 將 ITS 研究的領域更進一步推向開放式的科學問題的解決，也就是在教育上 越來越受重視的創造性解題模式。VIBRANT 用以下的問題來測驗學生之創造性解題模. 政 治 大. 式：“導致土石流突然發生的可能因素有哪些？” 以及 “我們要怎麼避免這因素發生?”。. 立. 學生需要在沒有外界資源管道或是同學幫助的情況下，靠自己獨立進行這樣的腦力激. ‧ 國. 學. 盪，並且回答問題。在[8]中，作者建立了該領域專家所制訂的答案，僱用人工對大量的 學生答案進行評分作業。VIBRANT 同時也著重於支援產生觀念的系統行為，為腦力激. ‧. 盪回饋提供了ㄧ個介面，讓學生們得到相關學習資源的通盤性觀點。VIBRANT 所設計. Nat. sit. y. 的回饋包含兩部份：評論(Comments)與教學(Tutoring)。評論是有關評論性的文章，也是. n. al. er. io. 系統對學生回答的意見，而教學則是指導學生到另一個邏輯焦點節點的指示。. i n U. v. [12]是一項評估學生基本能力的研究。他利用了最大期望值演算法( Expectation. Ch. engchi. maximization algorithm )[18]來學習學生背後的能力，以得到能力的熟練度等無法直接觀 測而得的資料。藉由比較觀察使用輔助教學系統前後的學生能力，可以的瞭解一個智慧 型輔助教學系統在協助學生學習上有多少的效益。. 圖 2.3：驗證智慧型輔助教學系統流程. 一般驗證智慧型輔助教學系統的流程如圖 2.3，其中的前測(pretest)與後測(posttest)是在. 10.
(19) 進行學生能力的評估。在這個研究中，所選定的問題領域是數學，並簡單定義出一些解 決問題所需要具備的技能(skill)。這個研究中定義出十二個不同的技能，比較簡單的技 能包含了矩形的定義、正三角形的定義等等，而較困難一點的技能則像是三角形的內角 和為 180 度等。為了量測出學生對於這些技能的了解程度，問題必須經過特別的設計。 每個技能都會被應用在四道題目裡：一題只包含該技能本身的問題，兩題包含該技能本 身與另一相關技能的問題，還有一題則包含了該技能加上另外兩種技能的問題，圖 2.4 為示意圖。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. i n U. v. 圖 2.4 貝式網路：由三個技能和七個問題組成的貝式網路[12]. engchi. 在技能與問題之間，將相關的問題與技能連接起來形成貝式網路(Bayesian Network)。我 們並不知道學生對於每個技能的熟練度，但可以利用學生對於每個問題的答案來進行模 擬與評估。雖然我們可以將問題和技能連接起來，但我們並不能確定技能與技能之間究 竟是怎麼連接的。在這個研究中，作者實驗了不同結構的貝式網路模型，並且使用貝式 資訊評估法(Bayesian Information Criterion)[19]來評估這些不同的模型。這些模型分成了 扁平化技能模型(Flat Skill Model)、階層化問題群組技能模型(Hierarchical Problem Group Skill Model)、階層化技能群組模型(Hierarchical Skill Group Model)以及階層化技能難度. 11.
(20) 模型(Hierarchical Skill Difficulty Model)四種。扁平化技能模型是將每個技能都當成同樣 的層級，具有同樣的優先權。階層化問題群組技能模型是將技能分成以問題為群組的集 合，其中用到相同技能的問題會被歸類在同個群組，所以一個集合裡會有三個技能，一 共會有四個集合。階層化技能群組模型則是先將技能做概念上的分類，分成了區域 (Areas)、矩形(Rectangles)、三角形(Triangles)、角度(Angles)四種分類，圖 2.5 為示意圖。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.5 貝式網路：利用四個概念上的分類形成的階層化技能群組模型[12] 階層化技能難度模型則是依據技能應該被學習的順序所建立的，越難的技能會被放 在越下面，圖 2.6 是一個概略的說明圖。以圖 2.6 中的例子來說，學生應該先學會技能 七(判斷正三角形)，然後再學習技能八(如何計算正三角形的面積)，最後才能學習技能 九(畢氏定理)。經過實驗後發現，最適合用來評估的模型是階層化技能難度模型，也就 是說，用階層化技能難度模型來描述數學能力間的關係會是一個比較恰當的模型方式。. 12.
(21) 在本論文中，我們所選定的開放式問題，也是需要學生有多種領域的觀念才能完整回 答，取得高分，因此，我們也是使用階層化的觀念建立使用者的模型。. 立. 政 治 大. ‧. ‧ 國. 學. Nat. n. al. er. io. sit. y. 圖 2.6：從高階的觀點來看技能在階層化技能難度模型的情形[12]. Ch. engchi. 13. i n U. v.
(22) 第三章 階層式知識模型建立. 政 治 大 的答案，通常是由許多具有相關性或是個別獨立的觀念所組成。而在這個研究中所採用 立 開放式的問題希望測試的是學生高階解決問題的能力。一般而言，一個好的開放性問題. ‧ 國. 學. 的例子：＂為什麼只有在極區才能看見極光？＂也是如此。為了進一步了解學生在回答 問題的過程中所可能遭遇的困難，所以我們計畫將問題中所包含的觀念集合，建立成階. ‧. 層化的觀念樹。並針對每個觀念樹中的根節點(root)建立使用者知識模型，也替各觀念樹. sit. n. al. er. io 3.1 極光觀念分析. y. Nat. 中的子節點設計問題，來判斷學生在何處遇到瓶頸。. Ch. engchi. i n U. v. 本研究中採用的開放式簡答題，是奧林匹亞競賽時曾經使用的題目，先前的研究已 經為這個問題建立了一個使用者的知識模型[1]。本研究中除了接續使用此使用者知識模 型外，並另外建立了三個使用者知識模型。極光這個問題，可以分成地球科學、天文學 －太陽、及物理知識三方面來回答。在專家的協助之下，我們將回答極光所需具備的知 識，依照這三個主要的方面再細分出子觀念，詳細的內容如表 3.1 所示。學生必須要先 知道太陽風的存在，以及太陽風是由帶電粒子所組成的，而這個觀念屬於天文學－太陽 的範疇。再者，帶電粒子會受到磁場的影響，進一步沿著磁力線移動，這些是屬於物理 的範疇。而極光之所以只會發生在極區，是因為受到地球磁場吸引的帶電粒子，沿著地. 14.
(23) 球的磁力線移動，在極區會與大氣層的氣體分子發生碰撞，進而產生極光。這些是屬於 地球科學的範圍。除此之外，會有一些較為進階的觀念，例如范‧艾倫輻射帶的形成等 等，也包含在裡面。. 表 3.1：由專家所提供回答極光所需要具備的觀念及其分類 地球科學. 天文學－太陽. 物理知識. 地球有磁場。. 太陽有磁場。. 電荷被磁場影響，會繞著磁 力線運動。. 地球磁場能束縛帶電粒子。. 治 政 太陽發出高速帶電粒子，稱 大. 地球磁北極與地理北極不 一致。. 太陽表面逃脫速度約為 400-600 km/sec。. 地球周圍有范‧艾倫輻射 帶。. 日冕洞與太陽風 ─ 太陽風 從日冕洞流出。. 磁場越強，同一電荷繞著磁 力線運動的半徑越小。 電荷在極區會反轉，在地球 兩磁極間流竄，形成范‧艾 倫輻射帶。. 學. ‧. ‧ 國. 立為太陽風。. n. er. io. al. 太陽表面發生閃焰時，爆發 大量帶電粒子，形成太陽 風。. sit. y. Nat. 地球磁場束縛太陽風之帶 電粒子，形成范‧艾倫輻射 帶。. Ch. engchi. i n U. v. 3.2 使用者知識模型建立. 在先前的研究中[1]，我們將每個學生對於＂為什麼只有在極區才能看見極光？＂這 個問題所描述的答案，將其經過斷詞斷字的手續之後，分解出學生答案的字詞集合。將 所有學生的字詞集合作聯集的動作，便可以得到一個包含所有答案中曾經出現過字詞的 關鍵字集合（Keyword Set）。再從此關鍵字集合中剔除一些較不相關或是影響不大的字 詞後，再將個別學生的字詞集合和關鍵字集合中的元素做比對，便可以得到一個由（0，. 15.
(24) 1）所組成的特徵向量（feature vector） ，兩個集合中具有相同的元素則為 1，反之則為 0。 舉例來說，假設關鍵字集合為： ｛我、是、一隻、愛吃的、小、狗｝ ，那麼當學生的輸入 是「我是小狗」的情況下，得到的特徵向量會是｛110011｝，而當學生的輸入是「一隻 小狗」的情況下，得到的特徵向量則會變成｛001011｝。 當我們有了學生答案的特徵向量和專家評分的分數之後，便可以透過 weka 這個機 器學習的輔助工具[10]來訓練學生答案和專家評分間的關聯性，並以此做為評分的工 具。而在上一節中，我們瞭解了極光這個觀念是由許多不同的子觀念所組成，為了瞭解. 政 治 大. 學生對各個觀念的熟練度，我們需要替每個子觀念建立一個知識模型。但實際真正在建. 立. 立知識模型時，會需要許多人力來進行評分的工作。特別是如果要替每個觀念都建立這. ‧ 國. 學. 種模型時，就必須要針對每個觀念都進行一次評分。每一個觀念都相當於是一道題目， 專家必須評估學生的答案在這道題目可以得到幾分，這是相當煩瑣且辛苦的工作。因. ‧. 此，在本研究中，我們只替地球科學、天文學－太陽以及物理三類知識進行評分及建立. Nat. sit. y. 使用者模型。所以在學生答題的同時，系統會使用四個使用者知識模型來替學生進行評. n. al. er. io. 估。所以，我們會得到學生答題過程中四個不同的分數，分別是總體、地球科學、天文 學－太陽以及物理知識的分數。. Ch. engchi. i n U. v. 3.3 建立階層化觀念樹. 根據研究[12]所得的結論，階層化技能難度模型比較適合描述技能間的關係，而該 研究中的技能則相當於本研究中的觀念，所以在建立使用者知識模型的時候，我們依據 觀念學習的先後順序，來建立階層化的使用者知識模型。圖 3.1、圖 3. 2、圖 3. 3 為專家 所提供的階層化觀念，而我們根據這些觀念建立了階層化的觀念樹。首先我們將各觀念 樹的根節點利用 3.2 節中說明的方法，建立使用者知識模型。而其下的子節點，就不具. 16.
(25) 有利用機器學習方法建立的使用者知識模型，取而代之的是我們預先設計好的問題。在 學生作答的同時，我們利用以選擇或是非的問答方式來確定學生是否真的了解這個觀 念。表 3. 1 列出了所有觀念內包含的問題，目前只有是非或選擇題兩種題型。. 學 ‧. ‧ 國. 立. 政 治 大. 圖 3.1：天文學－太陽的觀念樹模型圖。. n. er. io. sit. y. Nat. al. Ch. engchi. 17. i n U. v.
(26) 立. 政 治 大. ‧. ‧ 國. 學 圖 3.2：地球科學的觀念樹模型圖。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.3：物理知識的觀念樹模型圖。. 18.
(27) 表 3.2：子觀念問題表 地球科學 觀念. 問題. 在磁南極，磁力線的方向指向天空？ 地球有磁場，磁力 太陽風中的帶電粒子會在赤道上空衝入大氣層？ 線方向為南北向。 地球有磁場，磁力線方向為南北向？. 地球磁場能束縛 帶電粒子。. 帶電粒子並不會受到地球磁場的影響？. 政 治 大. 假設地球磁場消失了，則極光的現象(A)會發生在兩極 (B) 會發生 在赤道 (C) 會在所有緯度發生 (D) 不會發生。. 立. 在地理北極，指北針的 N 字端會垂直指向地下？ 在磁南極，指北針的 N 字端的方向會指向天空？. ‧ 國. 學. 地球磁北極與地 理北極不一致。. 太陽風不會直接衝入地球表面，因為地球有___保護。 (A) 大氣 (B) 超人 (C) 衛星 (D) 磁場. y. sit. al. er. 太陽風中的高能帶電粒子會直接由外太空沿著磁力線進入兩極上 空的大氣？. n. 太陽有磁場. 極光的光芒來自於太陽風中的高能帶電粒子？. io. 觀念. 范‧艾倫輻射帶的形成是因為地球的磁場捕獲並束縛了帶電粒 子？. Nat. 帶電粒子與大氣 層的氣體分子碰 撞，產生極光。. 范‧艾倫輻射帶的主要成分是帶電粒子？. ‧. 地球周圍有范‧ 艾倫輻射帶。. 磁北極和地理北極的位置一致？. i n U. 電子和氣體相遇不會有交互作用？ 問題. Ch. e天文學太陽 ngchi. v. 太陽沒有磁場？ 太陽和地球一樣，都具有磁場？. 太陽發出高速帶 太陽風成份主要為(A) 熱能 (B)帶電粒子 電粒子，稱為太陽 監測太陽的活動，可以預測極光的產生？ 風 太陽表面逃脫速 度約為 400-600. (C)X 光. 太陽風的運動速度至少要超過(A)400 公尺/秒 (C) 400 公里/秒 (D)400 公尺/小時。. km/sec 物理知識. 19. (D) 原子。. (B) 400 公里/小時.
(28) 觀念. 問題. 磁場越強，同一電 磁場的強度和電荷運動的半徑沒有關係？ 荷繞著磁力線運 影響電荷繞著磁力線運動的半徑大小的因素是(A)電荷大小 (B) 動的半徑越小 磁力線長度 (C)磁場強度 (D) 電荷質量。 原子中電子從高 原子中電子從低能階躍遷至高能階放出能量，會發出光芒？ 能階躍遷至低能 原子中的電子與太陽風粒子作用會激發出光芒？ 階放出能量，會發 出光芒。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 20. i n U. v.
(29) 第四章 答題風格之分析與模型建立. 政 治 大 計先期實驗(Pilot Study)來收集學生答題風格的資料，以及實驗的過程及介面。第二節則 立. 這一章要介紹的，是對於學生答題風格資料的分析與模型的建立。第一節會說明如何設. ‧ 國. 學. 會對實驗所獲得的資料進行分析，以找出我們想得到的資訊，包含可能需要提供回饋的 時機點，以及提供回饋的類型。. ‧. n. al. er. io. sit. y. Nat. 4.1 先期實驗說明. i n U. v. 本次先期實驗邀請台北市立某高中 25 位高一的學生作為實驗對象。在實驗中，我們. Ch. engchi. 想要找出學生在回答問題時，是否會有些固定的行為模式，而這些行為模式是否可以做 為我們提供回饋的依據。實驗時間為一節課（50 分鐘）。施測內容如下： . 極光先備知識（10 分鐘）. . 第一次簡答題（至少 5 分鐘）. . 提供測驗結果. 圖 4.1 為實驗時學生作答的介面，這個作答介面是以 Flex 技術[29]開發，學生可以 在作答區域內鍵入他們的答案，當學生按下送出按鈕時，表示已經作答完畢，答案將被 送到後端伺服器。之後，學生可以看到他們在這次測驗中各個觀念以及總和的電腦評. 21.
(30) 分。我們設定了一個計時器(Timer)，在學生作答時，每隔 5 秒系統會抓取作答區域內的 答案，傳送到後端伺服器。伺服器端收到學生的答案之後，會利用之前建立的階層式觀 念模型為學生的答案評分，並且將答案及分數儲存起來做為日後分析之用。在進行實驗 時，為了讓學生在作答時能夠認真，不至於太過草率，所以在作答完畢之後，系統會將 收集到的資料展示給學生看，如圖 4.2 所示。換言之，學生可以看到自己所得到的分數 曲線，以及在不同觀念裡所得到的評分。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.1：學生在作答時的系統介面. 22.
(31) 立. 政 治 大. ‧ 國. 學. 圖 錯誤! 所指定的樣式的文字不存在文件中。. ‧ er. io. sit. y. Nat. 4.2 答題風格分析. al. v i n C h 25 位學生的資料進行個案分析。首先，我們注意 為了找到這些時機點，我們針對之前 engchi U n. 為了找出回饋的時機點，我們嘗試找尋學生在作答過程中有可能遇到困難的情況。. 到有些學生在作答的時候，會思考比較久才開始作答，而有些學生則是很快就開始作 答。我們想知道思考比較久才開始作答的學生，他們在作答過程中的行為是否會與較快 開始作答的學生有所不同，而最後的所得到的成績是不是也會有差異。. 23.
(32) 分數(0~10). 思考時間(秒). 治 政 大 錯誤! 所指定的樣式的文字不存在文件中。 立 ‧ 國. 學. 圖 4.3 的縱軸是學生最後透過自動評分系統評估後所得到的分數，總分為 10 分，. ‧. 而橫軸則是一開始學生思考的時間，單位為秒。表 4.1 的分類是依據學生在作答一開始 的思考時間，並且計算學生們的平均分數。思考了一分鐘以上才開始作答的學生有五. y. Nat. er. io. sit. 位，一分鐘內就開始作答時共有 20 位。學生面對題目卻不開始作答，我們假設有兩種 不同的情形，一種是學生正在思考該怎麼作答可以寫的比較流暢，或者是該怎麼說明自. al. n. v i n 己的想法，而另一種則是不知道答案，當然也就不知道該怎麼回答。從圖 4.3 可以看出， Ch engchi U. 思考時間超過一分鐘的五位學生，有兩位學生得到了 3.6 和 5.6 是高於總體平均的，而. 有一位學生得到了 2.51，和總平均剛好相當，而剩下的兩位學生最後的分數分別是 1.5 和 0.4 分。從這些個案看起來，思考的比較久的學生的確是有可能一開始就遇到障礙。 錯誤! 所指定的樣式的文字不存在文件中。 人數. 平均分數. 分數標準差 平均思考秒數. 30 秒以下. 14. 2.36. 1.15. 11.46. 30~60 秒. 6. 2.68. 1.25. 40.02. 60 秒以上. 5. 2.74. 1.99. 94.14. 25. 2.51. 1.32. 34.8508. 總體. 24.
(33) 我們想知道在思考比較久的學生裡，表現得較差和表現得不錯的學生在作答的過 程中有沒有甚麼差異。表 4.2 列出了這五位學生在作答時第一個傳回系統的答案，也就 是學生在經過思考後開始作答的第一句話，以及系統對於第一句話的評分還有學生最後 的表現和總共作答時間。從這些資料中可以看出，最後的表現在中等以上的三位學生 (9723,9727,9736)，在作答時第一句就會有不錯的分數；相反的，表現比較差的兩位學生 則差強人意。其中 9722 的答案由於只回答了兩個字，其實並不能代表什麼，但 9716 的 答案則很明顯的可以看出並沒有回答到重點，而扣除了他的思考時間之後，其實他真正. 政 治 大. 花在作答上的時間，只有 12.49 秒。從這些觀察中，我們發現回饋設計是很重要的，而. 立. 且回饋的時間必須要在學生還在作答的時候才有意義，因為要是學生很快的放棄作答，. ‧ 國. 學. 那麼系統能給予的幫助就非常有限了。. ‧. 3.2：思考時間較長的學生，作答時最先輸入的句子及其獲得的分數表. io. 0.433. 82.5 秒. 1.544. 191.13 秒. 0.94. 3.621. 411.29 秒. 9727 當太陽風內的待電力子穿過范艾倫 70 秒 帶時，. 1.598. 5.603. 532.74 秒. 80 秒. 1.849. 2.518. 112.66 秒. n. al. 0.358. er. 9716 那是因為我們居住的星球之磁力線 70 秒 引導之進入. 單 句 分 最 後 分 作答時間 數 數. y. 思考時間. sit. Nat. 學號 答案. v i n Ch e n g c60h秒i U 0.062. 9722 因為 9723 太陽會發出一些帶電粒子。. 190 秒. 9736 因為太陽風被磁層引至極區,. 一般來說，學生在作答的時候，分數應該隨著學生輸入的字數而慢慢的增加，如 圖 4.4(學生 9739)與圖 4.5(學生 9735)。當學生輸入的字數增加，但分數卻未相應的增加 時，這個時候學生可能正是遇到了瓶頸。圖 4.6(學生 9727)以及圖 4.7(學生 9731)正是這 類型學生作答過程的曲線圖，橫軸代表的是時間，綠色的線是字數的變化，橘色的線代. 25.
(34) 表了分數的變化。這兩位學生作答到了中後期之後，雖然作答字數持續有再增加，但是 分數卻未對應的增加。為了瞭解這個時機點系統是否應該有所回饋，我們更進一步的去 看學生們在這種情況下作答的內容為何，是否該給予一些回饋做為協助，若是需要協 助，又該給予什麼樣的協助。. 立. 政 治 大. ‧. ‧ 國. 學 y. Nat. n. al. er. io. sit. 圖 4.4：為學生 9739 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間. Ch. engchi. i n U. v. 圖 4.5：為學生 9735 的作答過程曲線圖，參數同圖 4.4. 26.
(35) 治 政 大 圖 4.6：為學生 9727 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間 立 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.7：為學生 9731 的作答過程曲線圖，參數同圖 4.4. 27.
(36) 表 4.3：圖 4.6 的學生在增加字數卻未增加分數時的答案對照 分數停滯前後. 最終狀況. 答案. 當太陽風內的帶電粒子穿過范艾 倫帶時進入電離層時，會受到地 球磁場的導引而往地磁南北極移 動，當帶電粒子進入極區而高度 下降時，會與大氣中的氣體發生 碰撞造成氮氣、氧氣等氣體內的 電子受激進而帶電、放光，形成 我們見到的極光的形成，是因為。. 我們見到的極光的形成，是因為帶電粒子 進入地球，高度下降時，會與大氣中的氣 體發生碰撞造成氮氣、氧氣等氣體內的電 子受激進而帶電、放光，又當太陽風內的 帶電粒子穿過范艾倫帶時進入電離層時， 會受到地球磁場的導引而往地磁南北極區 移動，使帶電粒子高度下降的地方發生在 極區，進而影響極光的形成。. 字數. 110 字. 總分. 5.803 400.05 秒. 立. 532.74 秒. 學. ‧ 國. 時間. 政 治 139 字 大 5.603. ‧. 表 4.3 紀錄的是圖 4.4 的學生在分數停滯前後的作答情形，從這位學生所獲得的分 數可以看出，這位學生的答案其實已經夠完整了，但是他繼續花了兩分多鐘的時間和 19. y. Nat. io. sit. 個字來修飾調整自己的答案。這種情況下系統其實是不需要給予提示的，因為學生回答. n. al. er. 的已經不錯了，而給予一些適當的鼓勵訊息會是比較好的回饋選擇。從這個例子中我們. Ch. i n U. v. 可以知道，即使學生的分數在一段時間後未增加，也不見得學生就一定需要提示。在系. engchi. 統給予提示的同時，也應一併將學生目前的狀態考慮進去。表 4.4 則是圖 4.5 的學生在 分數停滯之後的作答情況。這位學生並沒有提到極光是受到太陽風的影響，而直接說出 了太陽風的組成，也就是帶電粒子。系統在這個時候如果能給予學生提示，可能對學生 回答問題會有一些幫助。. 28.
(37) 表 4.4：圖 4.5 的學生在增加字數卻未增加分數時的答案對照。 分數停滯前後. 最終. 答案 由於地球磁場的關係 來自外太空的帶電粒子大部分會 被磁場擋在外頭 但是由於磁場線會往極區. 立. 字數 43 字. 政 治 大 105 字. ‧ 國. 2.846 分. 時間 120.49 秒. 學. 總分 3.343 分. 由於地球磁場的關係 來自外太空的帶電粒子大部分會被磁場擋 在外頭 但是由於磁場線會往極區集中的緣故 帶電粒子較容易進入極區的大氣層 和大氣中的空氣粒子發生碰撞之後 便會出現極光 這也就是在極區容易出現極光的原因. 238.29 秒. 從上面的例子來看，系統提供回饋與否，學生分數的變化占了很大的因素。因此，. ‧. 我們假設一段時間內學生分數沒有增加可能就是需要協助。但是一段時間應該是要間隔. y. Nat. sit. 多久，如果太長，一些答的比較快的學生，是不是會在系統尚未提供回饋前就已經作答. n. al. er. io. 完畢；如果太短，學生仍在輸入答案或是思考如何回答時，系統就提供回饋，會有干擾. i n U. v. 學生作答的疑慮。而分數增加的比率又要是多少會比較合理呢？為了掌握這兩個關鍵. Ch. engchi. 點，我們對 25 位同學的作答過程進行分析，主要是看在多少的時間區間與分數變化下 給予回饋是比較適當的時機點。在給予回饋的時候，會偏向於不要太快就給予學生回 饋，也就是儘量一開始先讓學生放手去作答，而又會希望不會漏掉那些真正需要回饋的 學生為主。我們將時間間隔的長度及應該增加的分數多少當成兩個參數，時間間隔的範 圍是從 20 秒到 120 秒；應該增加的分數從 0.1 到 2.0 分。用不同的參數去測量在這樣的 條件下，會有多少的學生會得到系統的回饋，多少的學生不會得到系統的回饋，而平均 給予第一個回饋的時間又是在何時。. 29.
(38) 表 4.5 是用不同的時間間隔以及分數間隔參數去分析學生答題的資料的結果，回饋 人數是指在這樣的時間間隔及分數間隔下，會得到回饋的學生人數；而不需回饋人數則 是系統不會給予回饋的人數。平均回饋秒數代表的是平均起來學生得到回饋的時間點， 是在他開始作答之後幾秒(這裡的開始作答，是學生在開始輸入答案之後，而非學生看 到題目之後)。所以，回饋秒數代表的是學生開始輸入答案之後，到系統給予回饋這之 間的時間。根據表 4.6 的資料，我們希望能給予學生多一點的作答時間，避免太早給予 學生回饋，中斷學生思考；但多數學生在回答極光這個問題上都還有需要加強的地方，. 政 治 大. 所以系統給予回饋的人數越多越好。所以在回饋時間的參數上，我們選擇用 65 秒，分. 立. 數差異達到 1.2 分，也就是每隔 65 秒，學生的分數就增加 1.2 分是比較理想的狀態。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 30. i n U. v.
(39) 表 4.5：用不同的時間間隔與分數間隔分析已有的學生資料得到的結果。 時間間隔(秒). 分數間隔. 回饋人數. 不需回饋人數. 平均回饋秒數. 35. 0.1. 20. 3. 60.24. 35. 1.2. 23. 0. 37.17. 40. 0.1. 19. 3. 68.95. 40. 1.4. 23. 0. 44.35. 45. 1. 23. 0. 54.57. 45. 1.1. 23. 0. 54.35. 50. 1.1. 0. 60.87. 0. 60.22. 23 治 政 1.2 23 大 23. 0. 68.48. 55. 1.2. 23. 0. 67.83. 60. 0.6. 21. 2. 87.86. 60. 0.7. 21. 2. 82.38. 65. 0.9. 22. 1. 88.64. 65. 1.1. 22. 1. 83.86. 65. 1.2. 23. 0. y. 80.22. 70. 1. 20. 3. 91.75. 1.1. 20. 3. 91.5. 3. 96.84. 2. 97.5. 18. 4. 104.17. 18. 4. 102.78. io. n. 75. al. C1 h. 75. 1.1. 80. 1.1. 80. 1.2. sit. Nat. 70. er. ‧ 國. 立 1.1. 學. 55. ‧. 50. n U e n g 20 chi 19. 31. iv.
(40) 第五章 系統架構與建置. 政 治 大 不同觀念上的分數，我們判斷學生在哪些觀念上有所不足，哪些觀念表現得很好；不足 立. 在第五章中，我們將說明系統的架構及建置的方式。我們藉由觀念模型所得到三個. ‧ 國. 學. 的地方可以給予提示與協助，而表現得很好的地方則給予鼓勵。而藉由使用者知識模型 所評估得到的分數與使用者輸入答案的時間點，結合第四章的觀察結果，我們嘗試設計. ‧. 出適合的回饋系統。. sit. y. Nat. n. al. er. io. 5.1 系統環境說明. Ch. engchi. i n U. v. 本系統是以 Web 應用程式的方式開發，使用者可以從任何可以連上網際網路的地方 使用本系統。以下是本系統開發時使用的環境及語言版本：. 網頁伺服器端軟體：Apache Tomcat 5。 伺服器端開發語言：Java 1.6 / JSP / Servlet。 用戶端開發語言：Flex +JSP。 資料庫軟體：Mysql 5。 開放原始碼軟體：Weka[10]。 斷字斷詞系統：由中研院提供[28]。. 32.
(41) 5.2 系統流程說明. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5.1：系統流程圖. 這個系統主要是由前端的使用者介面及後端的幾個模型所組成。前端的使用者介面 裡包含了定時器(Timer)，每隔一段時間，會將使用者目前的答案傳送給後端的使用者知 識模型進行評分，並將分數傳遞給互動模型中的答題風格模型，決定是否需要回饋。如 果需要回饋，則再交由階層式觀念模型來決定要回傳何種回饋訊息，使用者介面再將其 顯示出來。互動訊息目前有三種類型，如類型與用途如表 5.1 所示：. 33.
(42) 表 5.1：回饋類型與用途 訊息類型. 用途. 文字訊息. 提醒使用者或是給予使用者鼓勵。. 二選一是非題. 利用較為簡單的是非題給予學生提示，用以幫助學生思考，同時也 可確認學生對於某觀念是否了解。. 四選一選擇題. 利用較為複雜的四選一選擇題，確定學生是否了解此觀念，同時提. 政 治 大. 供更多線索幫助學生作答。. 學. ‧ 國. 立. 5.3 使用者知識模型建立. ‧. sit. y. Nat. 伺服器接收到前端使用者介面傳過來的使用者答案之後，會交給使用者知識模型進. io. er. 行評分的動作。在這一節裡，我們會說明如何利用建立使用者知識模型及如何對使用者 的答案進行評分。圖 5.2 中簡單的說明了建立使用者知識模型的流程。一開始我們會有. al. n. v i n Ch 為什麼只有在極區才能看見極光？”這個問題所提出的答案，以及專 engchi U. 許多使用者對於”. 家為這些答案所給的分數。我們將答案透過中研院的斷字斷詞系統去分析字詞之後，可 以得到許多分割開的單字或詞組，我們將這些答案中所有提到的單字及詞組建立成一個 集合，同時給予這個集合中的每個元素一個代碼。然後我們將代碼與字詞的對照存入資 料庫中，以供日後預測使用者分數時使用。經過前置處理後，所有的使用者答案便可表 示成單一的特徵向量，再將此特徵向量與它對應到的分數交給 SVM (Support Vector Machine)的機器學習工具，建立我們所需要的使用者知識模型。我們對於系統中使用的 四個使用者知識模型進行了交叉驗證。將所有資料切成 10 等份，每次 9/10 用來訓練模 型、1/10 的資料用來做測試。做 10 次之後取其平均，相關係數為.70 到.83，最低的是物. 34.
(43) 理知識模型為.70，地球科學與太陽為.72 及.74，最高的是整體模型為.83。. 圖 5.2：建立使用者知識模型的流程. 政 治 大 圖 5.3 則是說明如何運用建立好的使用者知識模型，來替目前的使用者答案進行評 立. ‧ 國. 學. 分的流程。首先，先將使用者目前的答案透過斷字斷詞系統，切割出字詞。再透過之前 建立好存在資料庫內的字詞集合轉成特徵向量。最後則是將此特徵向量透過建立好的使. ‧. 用者知識模型來預測目前的分數。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5.3：利用使用者知識模型評分的流程. 5.4 使用者風格模型. 在第四章的討論中，我們得到了一些設計使用者風格模型的參考。在使用者風格模 型中，我們將觀察下列兩件事：第一是使用者是否於一開始作答時就遭遇了瓶頸，第二 是學生在作答時的投資報酬率是否有達到我們預期的水準。根據第四章的結果，我們假. 35.
(44) 設學生一開始就可能遇到瓶頸的情況，也就是圖 5.4 的『前置思考過長且分數過低』的 階段。若是學生遇到了瓶頸，則馬上提供回饋，如果沒有，則往下一階段進行。下一階 段『分數是否達到及格標準』則是簡單的判斷目前使用者的得分是否已到及格水準；如 果使用者已經答得夠好，那麼系統將會提供鼓勵的訊息，讓學生知道他已經答得不錯。 若使用者的分數尚未及格，則再進行下一階段的觀察。在『投資報酬率是否達到標準』 這一階段，我們所定義的時間報酬率為『分數變化/單位時間』，也就是固定時間內的分 數變化比率。如果投資報酬率高於標準，那麼系統就可以知道使用者是朝正確的方向再. 政 治 大. 作答，所以可以繼續的讓使用者作答下去，而不需要提供回饋。相反的，如果投資報酬. 立. 率低於標準，那麼使用者目前很有可能是遇到困難，在這個時候系統便會給予使用者提. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 示。. Ch. engchi. i n U. v. 圖 5.4：使用者風格模型流程圖. 36.
(45) 在 使 用 者 風 格 模 型 中 有 幾 個 重 要 的 參 數 。 如 表 5.4 中 ， MAX_IDLE_FRAME 與 FIRST_WORD_SCORE 決定了系統如何去判斷學生在一開始是否就遇到了瓶頸，當學生第. 一次的答案輸入的時間超過了 MAX_IDLE_FRAME 的時間，且首句的分數並未超過 FIRST_WORD_SCORE 時，系統便會提供提示。而 SCORE_INTERVAL 與 SCORE_INCREASE 代. 表了學生答案該有的投資報酬率。實作上，每次接收到新的學生答案輸入與評估的分 數，就會與 65 秒前的分數相比，若是分數增加不到 1.2 分，系統也會立即給予提示。而 STANDARD_SCORE 代表了及格的分數。當學生獲得的分數已經高於這個參數時，系統就. 只會單純的給予鼓勵的訊息。. 立. ‧ 國. 學. 表 5.2：使用者風格模型參數說明 說明. 60(秒). 開始作答前的思考時間. FIRST_WORD_SCORE. 0.5(分). 首次接收到的答案分數. SCORE_INTERVAL. 65(秒). 投資報酬率的單位時間. 1.2(分). 投資報酬率的分數變化. y. Nat. io. n. al. sit. MAX_IDLE_FRAME. ‧. 參數值. er. 參數名. 政 治 大. SCORE_INCREASE STANDARD_SCORE. Ch. i n U. v. i e n g c h及格分數，總分超過此分數，系統則不. 5.5(分). 會再給予提示。. 5.5 回饋模型. 在我們的系統中，除了原先的使用者知識模型之外，我們還有另外建立了三個使 用者知識模型，來協助我們了解學生在作答階段時的情況。這三個模型分別是地球科學 模型、天文學太陽模型、物理知識模型。這三個模型的建立方法和前一節的使用者知識 模型相同，唯一不同的部分在於專家替使用者答案進行評分時，是分別以地球科學、天. 37.
(46) 文學太陽、物理知識模型來進行評分，也就是說同一個使用者的答案會有四個不同的分 數。如 5.4 節所述，在本系統中，使用者整體知識模型評估出來的分數，可用來決定何 時提供回饋；而要回饋的內容，則是由三個觀念模型的分數來決定。. 立. 政 治 大. Nat. io. sit. y. ‧. ‧ 國. 學 圖 5.5：觀念模型流程圖. n. al. er. 圖 5.5 呈現的是如何決定回饋內容的流程圖。系統將三個觀念模型所評估出來的分. Ch. i n U. v. 數，找出最低分的觀念，然後從該觀念的觀念樹中找出可供回饋的節點，然後找出問題. engchi. 給予回饋。每個觀念樹中的節點，會有自己所屬的問題(詳細內容請見表 3.3)，同時也會 記錄著該節點的狀態。如圖 5.6 所示，節點的狀態共可分成五種，分別是初始狀態 （ INITIAL) 、 等 待 回 答 中 (WAITINGSOLVE) 、 回 答 正 確 (SOLVED) 、 回 答 錯 誤 (WRONGANSWER)以及不精通(NOTMASTER)。初始狀態代表這個節點還沒有確認過 學生是不是了解，而等待回答中表示系統已經從該觀念的問題集合裡，找出一道題目做 為提示回饋給學生，而學生尚未對此道題目做出回答。回答正確與回答錯誤則是根據學 生回答此道題目答對或是答錯的狀態轉變。當學生答錯時，我們會再從此節點中挑出另 外一道題目做為提示回饋給學生，若是學生答對了，則此節點的狀態會變更為回答正. 38.
(47) 確，系統便會繼續往下個節點前進。相反的，若是學生答錯了，則此節點的狀態會變更 為不精通。當此觀念樹中有一節點的狀態變為不精通時，系統就不會再繼續從此觀念樹 中提供回饋。回饋模型另外有兩個參數，用來決定每次回饋間應該要間隔多久，避免造 成太頻繁的回饋。表 5.5 說明了系統中用來調整回饋間隔的參數。. 立. 政 治 大. ‧. ‧ 國. 學. Nat. n. al. er. io. sit. y. 圖 5.6：節點狀態圖. i n U. v. 表 5.3：回饋模型參數說明. 參數名. Ch. ANSWER_RIGHT_WAITTIME. 30(秒). 學生正確回答提示之後，再給予下一個 提示需等候的時間。. ANSWER_WRONG_WAITTIME. 10(秒). 學生回答提示錯誤之後，再給予下一個 提示需等候的時間。. i e n g c h說明. 參數值. 39.
(48) 第六章 實驗設計. 這一章節中，我們將說明實驗設計的目的與實驗的流程，而實驗內容可分為先期研. 政 治 大 效，並了解提供學習提示的影響；而主實驗則根據先期研究中發現的結果，更進一步的 立. 究實驗和主實驗兩次實驗。先期研究的目的是為了驗證之前找到最佳的提示時間是否有. ‧ 國. 學. 設計了四種不同學習提示的模式，以瞭解不同的學習輔助模式對學生學習輔助的有效 性。. ‧. 在進行實驗時，我們發現測驗的學生對於我們的系統有不同的互動模式。有些學生. sit. y. Nat. 會很認真的和系統進行互動，也會思考系統給的提示，加以吸收之後加入自己的答案之. io. al. er. 中。當然也會有學生不理會系統的提示，自顧自的作答。同時，也會有系統給予的提示. n. 無法給學生協助的情形。本章中，我們也會對發現的互動模式進行分類，並舉例說明分 類的標準。. Ch. engchi. i n U. v. 6.1 先期研究流程描述 本次先期研究邀請台北市立某高中 36 位高一的學生作為實驗對象。在實驗中，欲驗 證在適當的時間點給予學生提示是否有助於作答中的學習，及提升教學效果。實驗時間 為一節課。施測內容如下： . 極光先備知識（10 分鐘）. . 天文學態度量表(10 分鐘). . 第一次簡答題（至少 5 分鐘）. 40.
(49) . 第二次簡答題（至少 5 分鐘）. . 提供測驗結果. 極光先備知識為 20 題的選擇題，天文學態度量表共有 30 題，天文學態度量表的用 處在於使學生們忘記在極光先備知識中回答的題目內容。第一次簡答題與第二次簡答題 的題目都相同，差別的地方在於第二次簡答題在學生們作答時，系統會分析學生目前的 答案，並視情況給予學生回饋。在第一次簡答題與第二次簡答題之間，學生並沒有任何. 政 治 大. 管道可以獲取新的知識；所以，我們可以將第一次簡答題與第二次簡答題間的差異，當. 立. 作是學生從提示中學習得來的。. ‧ 國. 學. 6.2 先期研究實驗結果. ‧ y. Nat. n. al. er. io. sit. 在先期研究中，排除無效資料後，共有 22 份資料，整體的數據如下：. Ch. i n U. v. 表 6.1：先期研究中學生的整體表現. engchi. 人數. 第一次簡答題平均分數. 第二次簡答題平均分數. 平均分數差. 22. 2.32. 2.79. 0.47. 平均數據顯示，整體學生的分數在第一簡答題與第二次簡答題間增加了 0.47 分， 約為 20%的提升，這數據證明了這個系統對學生在學習上是有所幫助的。當然並不是所 有的學生都適用於同一套的教學系統，所以我們更進一步的去分析學生在第一次簡答題 與第二次簡答題的答案的差異，以了解我們的系統能夠幫到什麼樣的學生。. 41.
(50) 在這次的實驗中，我們取得學生兩次回答簡答題的答案，第一次簡答題的答案代 表學生原本所知道有關極光的知識，而第二次簡答題的答案代表了學生透過這個系統學 習到的極光的知識，再加上自己本身的知識結合而成。我們對每個學生的答案做了以下 四個規則的檢視，定義出不同學生的參考學習主動性，說明各學習主動性間的差異並找 出了一些典型的例子驗證。 1. 第一次簡答題和第二次簡答題的答案是否有顯著差異。 2. 兩次答案間的差異，和系統提出的回饋內容是否有關。. 政 治 大. 3. 系統提出的回饋內容，是否有指出學生答案中缺漏的觀念。. 立. 學 表 6.2：學習主動性分類規則. 自主思考. 有. 無幫助. 有. 主動性低. 無. al. n. 有. Ch. y. er. io 主動性高. 答 案 間 的 差 系統指出答案 學生積極與系 異，和系統提 中缺漏的觀念 統互動 出的回饋內容 有關. sit. Nat. 兩次答案有明 顯差異. ‧. 類型. ‧ 國. 4. 學生對於系統回饋的態度。. 有 v i n. 有. 無. 無. 無. 無. 有. 無. 有. 有. 有. e n無g c h i U. 42.
(51) 表 6.3：學習主動性分類 類型. 特點. 主動性高. 即使同樣的題目作答兩次，兩次答案也會有不同。會吸收系統給 提示，並根據提示補強的觀念來修改自己的答案。. 自主思考. 即使同樣的題目作答兩次，兩次答案也會有不同，會修改自己的 答案，但不理會系統的提示。. 無幫助. 系統給予的提示回饋沒有指出學生答案中的缺漏，即使學生願意. 政 治 大. 與系統互動，也無法幫助學習。. 立. 同樣的題目作答兩次，兩次的答案皆十分類似，即使系統給予的 提示指出了自己缺漏的觀念，也無動於衷。. 學. ‧. Nat. n. al. y. sit. io. 學生答案. 表 6.4：主動性高範例. er. ‧ 國. 主動性低. i n U. v. 第 一 次 極光是由於太陽風的帶電粒子愈大氣層產生擦撞，而一般低緯度地區的大 簡答題. Ch. engchi. 氣層較厚，即使發生極光也不容易被觀測。. 第 二 次 極光是太陽風的帶電粒子沿著地球的磁力線抵達極區，再與地球大氣層內 簡答題. 的原子電子摩擦發光而成。而太陽風並不會在赤道上衝入地球，原因是由 於地球磁場的保護，太陽風的帶電粒子會沿著磁力線跑至極區，因此在低 緯度地區是看不到極光的。. 回饋. 1. 運動中的帶電粒子在磁場中會沿著磁力線移動？ 2. 下列哪項因素不會影響電荷繞著磁力線運動的半徑大小？(A)電荷大小 (B) 磁力線長度 (C)磁場強度 (D) 電荷質量。. 43.
(52) 3. 原子中的電子與太陽風粒子作用會激發出光芒？ 4. 太陽風中的帶電粒子會在赤道上空衝入大氣層？ 5. 太陽風不會直接衝入地球表面，因為地球有___保護。 (A) 大氣 (B) 超 人 (C) 衛星 (D) 磁場 6. 帶電粒子並不會受到地球磁場的影響？ 7. 太陽有磁場？ 8. 監測太陽的活動，可以預測極光的產生？. 政 治 大. 9. 太陽隨時都持續朝四面八方發射太陽風？. 立. 從先期研究的實驗結果，我們得知在適當的時間點下，提供學習的提示，似乎. ‧ 國. 學. 是有助於學生學習的，但並不是對所有的學生都有顯著的效果，在提示的內容設計與學 習動機提升上，似乎還有加強的空間，但這已非本論文關注的焦點。. ‧ y. Nat. n. al. er. io. sit. 主要實驗設計：. 6.3. Ch. i n U. v. 接續先期研究的實驗結果，我們在之前的系統上，加入兩個不同的變因，一個是回. engchi. 饋的時間點，一個則是回饋的內容。回饋的時間點分成固定的時間以及依學生個人作答 的投資報酬率為提供學習提示的時間點兩種；回饋的內容，則分成補強知識的弱點、增 加知識強度、固定知識提示三種。我們希望測試學生在不同模式的提示下，學習成效的 表現如何，因此規劃了以下四種不同的輔助模式： . 弱點補強: 提供知識弱點的補強，非固定時間點；. . 增加強度: 提供知識強度增強，非固定時間點；. . 固定架構: 依固定知識架構提示，非固定時間點；. . 固定時機: 提供知識弱點的補強，以固定時間提示。. 44.
(53) 弱點補強、增加強度與固定架構為依學生個人作答的投資報酬率做為提供學習提示 的時間點，並提供不同模式的學習提示。弱點補強為找出學生較弱的知識領域，並提供 該領域的學習提示；增加強度為找出學生較強的知識領域，並提供該領域的學習提示； 而固定架構則不論學生個人的學習成就，僅依系統原本的知識內容排列順序提供之，目 前是以地球科學、天文學太陽、物理知識的順序給予；而固定時機則採固定時間(每隔 30 秒)並提供知識弱點的補強。. 立. 政 治 大. 實驗的流程設計如下：. 極光先備知識（10 分鐘）. . 天文學態度量表(10 分鐘). . 第一次簡答題（至少 5 分鐘）. . 第二次簡答題（至少 5 分鐘）. . 提供結果. ‧. ‧ 國. 學. . n. er. io. sit. y. Nat. al. i n U. v. 極光先備知識為 20 題的選擇題，以取得學生對此知識領的瞭解程度。第一次與第. Ch. engchi. 二次簡答題的題目相同，但在第二次時，會提供不同的學習提示，藉此觀察可能的學習 差異。 本次實驗邀請同一高中的四個班級共 131 位高二的學生作為實驗對象，分為 4 組模 式施測，實驗時間為 30 分鐘。每一個模式都有約三四十人左右，但固定時機組因該班 學生數較少，僅有 17 人。. 6.4. 實驗結果與資料分析：. 45.
數據
相關文件
Parallel dual coordinate descent method for large-scale linear classification in multi-core environments. In Proceedings of the 22nd ACM SIGKDD International Conference on
Proceedings of the 19th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval pp.298-306.. Automatic Classification Using Supervised
A dual coordinate descent method for large-scale linear SVM. In Proceedings of the Twenty Fifth International Conference on Machine Learning
Mehrotra, “Content-based image retrieval with relevance feedback in MARS,” In Proceedings of IEEE International Conference on Image Processing ’97. Chakrabarti, “Query
in Proceedings of the 20th International Conference on Very Large Data
Wang, and Chun Hu (2005), “Analytic Hierarchy Process With Fuzzy Scoring in Evaluating Multidisciplinary R&D Projects in China”, IEEE Transactions on Engineering management,
Muraoka, “A Real-time Beat Tracking System for Audio Signals,” in Proceedings of International Computer Music Conference, pp. Goto, “A Predominant-F0 Estimation Method for
[16] Goto, M., “A Robust Predominant-F0 Estimation Method for Real-time Detection of Melody and Bass Lines in CD Recordings,” Proceedings of the 2000 IEEE International Conference
