第三章 階層式知識模型建立
3.3 建立階層化觀念樹
1）所組成的特徵向量（feature vector），兩個集合中具有相同的元素則為1，反之則為 0。
舉例來說，假設關鍵字集合為：｛我、是、一隻、愛吃的、小、狗｝，那麼當學生的輸入 是「我是小狗」的情況下，得到的特徵向量會是｛110011｝，而當學生的輸入是「一隻 小狗」的情況下，得到的特徵向量則會變成｛001011｝。
當我們有了學生答案的特徵向量和專家評分的分數之後，便可以透過 weka 這個機
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
17
有利用機器學習方法建立的使用者知識模型，取而代之的是我們預先設計好的問題。在 學生作答的同時，我們利用以選擇或是非的問答方式來確定學生是否真的了解這個觀 念。表3. 1 列出了所有觀念內包含的問題，目前只有是非或選擇題兩種題型。
圖 3.1：天文學－太陽的觀念樹模型圖。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
圖3.2：地球科學的觀念樹模型圖。
圖3.3：物理知識的觀念樹模型圖。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
20
觀念 問題
磁場越強，同一電 荷繞著磁力線運 動的半徑越小
磁場的強度和電荷運動的半徑沒有關係？
影響電荷繞著磁力線運動的半徑大小的因素是(A)電荷大小 (B) 磁力線長度 (C)磁場強度 (D) 電荷質量。
原子中電子從高 能階躍遷至低能 階放出能量，會發 出光芒。
原子中電子從低能階躍遷至高能階放出能量，會發出光芒？
原子中的電子與太陽風粒子作用會激發出光芒？
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
第四章
答題風格之分析與模型建立
這一章要介紹的，是對於學生答題風格資料的分析與模型的建立。第一節會說明如何設 計先期實驗(Pilot Study)來收集學生答題風格的資料，以及實驗的過程及介面。第二節則 會對實驗所獲得的資料進行分析，以找出我們想得到的資訊，包含可能需要提供回饋的 時機點，以及提供回饋的類型。
4.1 先期實驗說明
本次先期實驗邀請台北市立某高中25 位高一的學生作為實驗對象。在實驗中，我們 想要找出學生在回答問題時，是否會有些固定的行為模式，而這些行為模式是否可以做 為我們提供回饋的依據。實驗時間為一節課（50 分鐘）。施測內容如下：
極光先備知識（10 分鐘）
第一次簡答題（至少 5 分鐘）
提供測驗結果
圖4.1 為實驗時學生作答的介面，這個作答介面是以 Flex 技術[29]開發，學生可以 在作答區域內鍵入他們的答案，當學生按下送出按鈕時，表示已經作答完畢，答案將被 送到後端伺服器。之後，學生可以看到他們在這次測驗中各個觀念以及總和的電腦評
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
22
分。我們設定了一個計時器(Timer)，在學生作答時，每隔 5 秒系統會抓取作答區域內的 答案，傳送到後端伺服器。伺服器端收到學生的答案之後，會利用之前建立的階層式觀 念模型為學生的答案評分，並且將答案及分數儲存起來做為日後分析之用。在進行實驗 時，為了讓學生在作答時能夠認真，不至於太過草率，所以在作答完畢之後，系統會將 收集到的資料展示給學生看，如圖4.2 所示。換言之，學生可以看到自己所得到的分數 曲線，以及在不同觀念裡所得到的評分。
圖4.1：學生在作答時的系統介面
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
圖 錯誤! 所指定的樣式的文字不存在文件中。
4.2 答題風格分析
為了找出回饋的時機點，我們嘗試找尋學生在作答過程中有可能遇到困難的情況。
為了找到這些時機點，我們針對之前 25 位學生的資料進行個案分析。首先，我們注意 到有些學生在作答的時候，會思考比較久才開始作答，而有些學生則是很快就開始作 答。我們想知道思考比較久才開始作答的學生，他們在作答過程中的行為是否會與較快 開始作答的學生有所不同，而最後的所得到的成績是不是也會有差異。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
24
錯誤! 所指定的樣式的文字不存在文件中。
圖4.3 的縱軸是學生最後透過自動評分系統評估後所得到的分數，總分為 10 分，
而橫軸則是一開始學生思考的時間，單位為秒。表4.1 的分類是依據學生在作答一開始 的思考時間，並且計算學生們的平均分數。思考了一分鐘以上才開始作答的學生有五 位，一分鐘內就開始作答時共有 20 位。學生面對題目卻不開始作答，我們假設有兩種 不同的情形，一種是學生正在思考該怎麼作答可以寫的比較流暢，或者是該怎麼說明自 己的想法，而另一種則是不知道答案，當然也就不知道該怎麼回答。從圖4.3 可以看出，
思考時間超過一分鐘的五位學生，有兩位學生得到了3.6 和 5.6 是高於總體平均的，而 有一位學生得到了 2.51，和總平均剛好相當，而剩下的兩位學生最後的分數分別是 1.5 和0.4 分。從這些個案看起來，思考的比較久的學生的確是有可能一開始就遇到障礙。
錯誤! 所指定的樣式的文字不存在文件中。
人數 平均分數 分數標準差 平均思考秒數
30 秒以下 14 2.36 1.15 11.46
30~60 秒 6 2.68 1.25 40.02
60 秒以上 5 2.74 1.99 94.14
總體 25 2.51 1.32 34.8508
分數(0~10)
思考時間(秒)
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
26
表了分數的變化。這兩位學生作答到了中後期之後，雖然作答字數持續有再增加，但是 分數卻未對應的增加。為了瞭解這個時機點系統是否應該有所回饋，我們更進一步的去 看學生們在這種情況下作答的內容為何，是否該給予一些回饋做為協助，若是需要協 助，又該給予什麼樣的協助。
圖4.4：為學生 9739 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間
圖4.5：為學生 9735 的作答過程曲線圖，參數同圖 4.4
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
27
圖4.6：為學生 9727 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間
圖4.7：為學生 9731 的作答過程曲線圖，參數同圖 4.4
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
30
表4.5 是用不同的時間間隔以及分數間隔參數去分析學生答題的資料的結果，回饋 人數是指在這樣的時間間隔及分數間隔下，會得到回饋的學生人數；而不需回饋人數則 是系統不會給予回饋的人數。平均回饋秒數代表的是平均起來學生得到回饋的時間點，
是在他開始作答之後幾秒(這裡的開始作答，是學生在開始輸入答案之後，而非學生看 到題目之後)。所以，回饋秒數代表的是學生開始輸入答案之後，到系統給予回饋這之 間的時間。根據表4.6 的資料，我們希望能給予學生多一點的作答時間，避免太早給予 學生回饋，中斷學生思考；但多數學生在回答極光這個問題上都還有需要加強的地方，
所以系統給予回饋的人數越多越好。所以在回饋時間的參數上，我們選擇用 65 秒，分 數差異達到1.2 分，也就是每隔 65 秒，學生的分數就增加 1.2 分是比較理想的狀態。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
32
第五章 系統架構與建置
在第五章中，我們將說明系統的架構及建置的方式。我們藉由觀念模型所得到三個 不同觀念上的分數，我們判斷學生在哪些觀念上有所不足，哪些觀念表現得很好；不足 的地方可以給予提示與協助，而表現得很好的地方則給予鼓勵。而藉由使用者知識模型 所評估得到的分數與使用者輸入答案的時間點，結合第四章的觀察結果，我們嘗試設計 出適合的回饋系統。
5.1 系統環境說明
本系統是以Web 應用程式的方式開發，使用者可以從任何可以連上網際網路的地方 使用本系統。以下是本系統開發時使用的環境及語言版本：
網頁伺服器端軟體：Apache Tomcat 5。
伺服器端開發語言：Java 1.6 / JSP / Servlet。
用戶端開發語言：Flex +JSP。
資料庫軟體：Mysql 5。
開放原始碼軟體：Weka[10]。
斷字斷詞系統：由中研院提供[28]。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
33
5.2 系統流程說明
圖5.1：系統流程圖
這個系統主要是由前端的使用者介面及後端的幾個模型所組成。前端的使用者介面 裡包含了定時器(Timer)，每隔一段時間，會將使用者目前的答案傳送給後端的使用者知 識模型進行評分，並將分數傳遞給互動模型中的答題風格模型，決定是否需要回饋。如 果需要回饋，則再交由階層式觀念模型來決定要回傳何種回饋訊息，使用者介面再將其 顯示出來。互動訊息目前有三種類型，如類型與用途如表5.1 所示：
‧
示成單一的特徵向量，再將此特徵向量與它對應到的分數交給 SVM (Support Vector Machine)的機器學習工具，建立我們所需要的使用者知識模型。我們對於系統中使用的 四個使用者知識模型進行了交叉驗證。將所有資料切成10 等份，每次 9/10 用來訓練模 型、1/10 的資料用來做測試。做 10 次之後取其平均，相關係數為.70 到.83，最低的是物‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
35
理知識模型為.70，地球科學與太陽為.72 及.74，最高的是整體模型為.83。
圖5.2：建立使用者知識模型的流程
圖5.3 則是說明如何運用建立好的使用者知識模型，來替目前的使用者答案進行評 分的流程。首先，先將使用者目前的答案透過斷字斷詞系統，切割出字詞。再透過之前 建立好存在資料庫內的字詞集合轉成特徵向量。最後則是將此特徵向量透過建立好的使 用者知識模型來預測目前的分數。
圖5.3：利用使用者知識模型評分的流程
5.4 使用者風格模型
在第四章的討論中，我們得到了一些設計使用者風格模型的參考。在使用者風格模 型中，我們將觀察下列兩件事：第一是使用者是否於一開始作答時就遭遇了瓶頸，第二 是學生在作答時的投資報酬率是否有達到我們預期的水準。根據第四章的結果，我們假
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
36
設學生一開始就可能遇到瓶頸的情況，也就是圖5.4 的『前置思考過長且分數過低』的 階段。若是學生遇到了瓶頸，則馬上提供回饋，如果沒有，則往下一階段進行。下一階 段『分數是否達到及格標準』則是簡單的判斷目前使用者的得分是否已到及格水準；如 果使用者已經答得夠好，那麼系統將會提供鼓勵的訊息，讓學生知道他已經答得不錯。
設學生一開始就可能遇到瓶頸的情況，也就是圖5.4 的『前置思考過長且分數過低』的 階段。若是學生遇到了瓶頸，則馬上提供回饋，如果沒有，則往下一階段進行。下一階 段『分數是否達到及格標準』則是簡單的判斷目前使用者的得分是否已到及格水準；如 果使用者已經答得夠好，那麼系統將會提供鼓勵的訊息，讓學生知道他已經答得不錯。