第二章 相關研究
2.3 智慧型輔助教學系統
的自我表述來假設出使用者的目的或是愛好，並建立成計畫函式庫(Planning Library)。
這些知識庫通常是經由有代表性的個體而建立的。然而，這樣的知識庫卻有兩個主要的 缺點，第一，它們的結構會依據資料來源的差異有很大的變動；第二，這樣的知識庫並 不方便擴充，適應性也不足。受限於傳統知識表達方法的限制，模塑複雜人類行為的方 法逐漸走向統計模型的研究方向。預測統計模型可以預料人類行為的某些方面，例如目 標、行動及偏好。UPSAM(User Problem-Solving Ability Modeler)[3]也是其中的一項研 究。在自然科學的領域中，UPSAM主要的目的，是去建立並維護一個專家的知識模型。
這個知識模型裡包含了專家本身具備的知識，以及解決問題可能會用到的字彙集合。除 此之外，UPSAM也能透過這個知識模型，來進行對學生在開放式申論題回答的答案進 行自動的評分。
2.3 智慧型輔助教學系統
Idea Storming Cube[6]是一個提供學生另一種有趣的腦力激盪的輔助工具，這個研究 的主要目的在提供一個基於網際網路的協同式創意學習工具。透過類似遊戲進行的模 式，它提供了學生在創意性或啟發性的思考的支援，並且讓學生們藉此培養出不只充滿 創意，同時也多面向的思考習慣。而 WOTAS(Web-based Online Testing and Analysis System)[1]，是一個基於 web 的線上測驗和分析的系統。以 UPSAM 的評分功能為基礎，
WOTAS 更進一步的加入了前端使用者介面，發展出了一個自動評分系統來替學生在開
‧
越來越受重視的創造性解題模式。VIBRANT 用以下的問題來測驗學生之創造性解題模 式：“導致土石流突然發生的可能因素有哪些？” 以及 “我們要怎麼避免這因素發生?”。學生需要在沒有外界資源管道或是同學幫助的情況下，靠自己獨立進行這樣的腦力激 盪，並且回答問題。在[8]中，作者建立了該領域專家所制訂的答案，僱用人工對大量的 學生答案進行評分作業。VIBRANT 同時也著重於支援產生觀念的系統行為，為腦力激 盪回饋提供了ㄧ個介面，讓學生們得到相關學習資源的通盤性觀點。VIBRANT 所設計 的回饋包含兩部份：評論(Comments)與教學(Tutoring)。評論是有關評論性的文章，也是 系統對學生回答的意見，而教學則是指導學生到另一個邏輯焦點節點的指示。
[12]是一項評估學生基本能力的研究。他利用了最大期望值演算法( Expectation maximization algorithm )[18]來學習學生背後的能力，以得到能力的熟練度等無法直接觀 測而得的資料。藉由比較觀察使用輔助教學系統前後的學生能力，可以的瞭解一個智慧 型輔助教學系統在協助學生學習上有多少的效益。
圖2.3：驗證智慧型輔助教學系統流程
一般驗證智慧型輔助教學系統的流程如圖 2.3，其中的前測(pretest)與後測(posttest)是在
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
11
進行學生能力的評估。在這個研究中，所選定的問題領域是數學，並簡單定義出一些解 決問題所需要具備的技能(skill)。這個研究中定義出十二個不同的技能，比較簡單的技 能包含了矩形的定義、正三角形的定義等等，而較困難一點的技能則像是三角形的內角 和為180 度等。為了量測出學生對於這些技能的了解程度，問題必須經過特別的設計。
每個技能都會被應用在四道題目裡：一題只包含該技能本身的問題，兩題包含該技能本 身與另一相關技能的問題，還有一題則包含了該技能加上另外兩種技能的問題，圖 2.4 為示意圖。
圖2.4 貝式網路：由三個技能和七個問題組成的貝式網路[12]
在技能與問題之間，將相關的問題與技能連接起來形成貝式網路(Bayesian Network)。我 們並不知道學生對於每個技能的熟練度，但可以利用學生對於每個問題的答案來進行模 擬與評估。雖然我們可以將問題和技能連接起來，但我們並不能確定技能與技能之間究 竟是怎麼連接的。在這個研究中，作者實驗了不同結構的貝式網路模型，並且使用貝式 資訊評估法(Bayesian Information Criterion)[19]來評估這些不同的模型。這些模型分成了 扁平化技能模型(Flat Skill Model)、階層化問題群組技能模型(Hierarchical Problem Group
Skill Model)、階層化技能群組模型(Hierarchical Skill Group Model)以及階層化技能難度
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
12
模型(Hierarchical Skill Difficulty Model)四種。扁平化技能模型是將每個技能都當成同樣 的層級，具有同樣的優先權。階層化問題群組技能模型是將技能分成以問題為群組的集 合，其中用到相同技能的問題會被歸類在同個群組，所以一個集合裡會有三個技能，一
共會有四個集合。階層化技能群組模型則是先將技能做概念上的分類，分成了區域 (Areas)、矩形(Rectangles)、三角形(Triangles)、角度(Angles)四種分類，圖 2.5 為示意圖。
圖2.5 貝式網路：利用四個概念上的分類形成的階層化技能群組模型[12]
階層化技能難度模型則是依據技能應該被學習的順序所建立的，越難的技能會被放 在越下面，圖2.6 是一個概略的說明圖。以圖 2.6 中的例子來說，學生應該先學會技能 七(判斷正三角形)，然後再學習技能八(如何計算正三角形的面積)，最後才能學習技能 九(畢氏定理)。經過實驗後發現，最適合用來評估的模型是階層化技能難度模型，也就 是說，用階層化技能難度模型來描述數學能力間的關係會是一個比較恰當的模型方式。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
13
在本論文中，我們所選定的開放式問題，也是需要學生有多種領域的觀念才能完整回 答，取得高分，因此，我們也是使用階層化的觀念建立使用者的模型。
圖2.6：從高階的觀點來看技能在階層化技能難度模型的情形[12]
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
14
第三章
階層式知識模型建立
開放式的問題希望測試的是學生高階解決問題的能力。一般而言，一個好的開放性問題 的答案，通常是由許多具有相關性或是個別獨立的觀念所組成。而在這個研究中所採用 的例子：＂為什麼只有在極區才能看見極光？＂也是如此。為了進一步了解學生在回答 問題的過程中所可能遭遇的困難，所以我們計畫將問題中所包含的觀念集合，建立成階 層化的觀念樹。並針對每個觀念樹中的根節點(root)建立使用者知識模型，也替各觀念樹 中的子節點設計問題，來判斷學生在何處遇到瓶頸。
3.1 極光觀念分析
本研究中採用的開放式簡答題，是奧林匹亞競賽時曾經使用的題目，先前的研究已 經為這個問題建立了一個使用者的知識模型[1]。本研究中除了接續使用此使用者知識模 型外，並另外建立了三個使用者知識模型。極光這個問題，可以分成地球科學、天文學
－太陽、及物理知識三方面來回答。在專家的協助之下，我們將回答極光所需具備的知 識，依照這三個主要的方面再細分出子觀念，詳細的內容如表3.1 所示。學生必須要先 知道太陽風的存在，以及太陽風是由帶電粒子所組成的，而這個觀念屬於天文學－太陽 的範疇。再者，帶電粒子會受到磁場的影響，進一步沿著磁力線移動，這些是屬於物理 的範疇。而極光之所以只會發生在極區，是因為受到地球磁場吸引的帶電粒子，沿著地
‧
400-600 km/sec。電荷在極區會反轉，在地球 關鍵字集合（Keyword Set）。再從此關鍵字集合中剔除一些較不相關或是影響不大的字 詞後，再將個別學生的字詞集合和關鍵字集合中的元素做比對，便可以得到一個由（0，
‧
1）所組成的特徵向量（feature vector），兩個集合中具有相同的元素則為1，反之則為 0。
舉例來說，假設關鍵字集合為：｛我、是、一隻、愛吃的、小、狗｝，那麼當學生的輸入 是「我是小狗」的情況下，得到的特徵向量會是｛110011｝，而當學生的輸入是「一隻 小狗」的情況下，得到的特徵向量則會變成｛001011｝。
當我們有了學生答案的特徵向量和專家評分的分數之後，便可以透過 weka 這個機
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
17
有利用機器學習方法建立的使用者知識模型，取而代之的是我們預先設計好的問題。在 學生作答的同時，我們利用以選擇或是非的問答方式來確定學生是否真的了解這個觀 念。表3. 1 列出了所有觀念內包含的問題，目前只有是非或選擇題兩種題型。
圖 3.1：天文學－太陽的觀念樹模型圖。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
圖3.2：地球科學的觀念樹模型圖。
圖3.3：物理知識的觀念樹模型圖。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
20
觀念 問題
磁場越強，同一電 荷繞著磁力線運 動的半徑越小
磁場的強度和電荷運動的半徑沒有關係？
影響電荷繞著磁力線運動的半徑大小的因素是(A)電荷大小 (B) 磁力線長度 (C)磁場強度 (D) 電荷質量。
原子中電子從高 能階躍遷至低能 階放出能量，會發 出光芒。
原子中電子從低能階躍遷至高能階放出能量，會發出光芒？
原子中的電子與太陽風粒子作用會激發出光芒？
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
第四章
答題風格之分析與模型建立
這一章要介紹的，是對於學生答題風格資料的分析與模型的建立。第一節會說明如何設 計先期實驗(Pilot Study)來收集學生答題風格的資料，以及實驗的過程及介面。第二節則 會對實驗所獲得的資料進行分析，以找出我們想得到的資訊，包含可能需要提供回饋的 時機點，以及提供回饋的類型。
4.1 先期實驗說明
本次先期實驗邀請台北市立某高中25 位高一的學生作為實驗對象。在實驗中，我們 想要找出學生在回答問題時，是否會有些固定的行為模式，而這些行為模式是否可以做 為我們提供回饋的依據。實驗時間為一節課（50 分鐘）。施測內容如下：
極光先備知識（10 分鐘）
第一次簡答題（至少 5 分鐘）
提供測驗結果
圖4.1 為實驗時學生作答的介面，這個作答介面是以 Flex 技術[29]開發，學生可以 在作答區域內鍵入他們的答案，當學生按下送出按鈕時，表示已經作答完畢，答案將被 送到後端伺服器。之後，學生可以看到他們在這次測驗中各個觀念以及總和的電腦評