第四章 答題風格之分析與模型建立
4.2 答題風格分析
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
圖 錯誤! 所指定的樣式的文字不存在文件中。
4.2 答題風格分析
為了找出回饋的時機點，我們嘗試找尋學生在作答過程中有可能遇到困難的情況。
為了找到這些時機點，我們針對之前 25 位學生的資料進行個案分析。首先，我們注意 到有些學生在作答的時候，會思考比較久才開始作答，而有些學生則是很快就開始作 答。我們想知道思考比較久才開始作答的學生，他們在作答過程中的行為是否會與較快 開始作答的學生有所不同，而最後的所得到的成績是不是也會有差異。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
24
錯誤! 所指定的樣式的文字不存在文件中。
圖4.3 的縱軸是學生最後透過自動評分系統評估後所得到的分數，總分為 10 分，
而橫軸則是一開始學生思考的時間，單位為秒。表4.1 的分類是依據學生在作答一開始 的思考時間，並且計算學生們的平均分數。思考了一分鐘以上才開始作答的學生有五 位，一分鐘內就開始作答時共有 20 位。學生面對題目卻不開始作答，我們假設有兩種 不同的情形，一種是學生正在思考該怎麼作答可以寫的比較流暢，或者是該怎麼說明自 己的想法，而另一種則是不知道答案，當然也就不知道該怎麼回答。從圖4.3 可以看出，
思考時間超過一分鐘的五位學生，有兩位學生得到了3.6 和 5.6 是高於總體平均的，而 有一位學生得到了 2.51，和總平均剛好相當，而剩下的兩位學生最後的分數分別是 1.5 和0.4 分。從這些個案看起來，思考的比較久的學生的確是有可能一開始就遇到障礙。
錯誤! 所指定的樣式的文字不存在文件中。
人數 平均分數 分數標準差 平均思考秒數
30 秒以下 14 2.36 1.15 11.46
30~60 秒 6 2.68 1.25 40.02
60 秒以上 5 2.74 1.99 94.14
總體 25 2.51 1.32 34.8508
分數(0~10)
思考時間(秒)
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
26
表了分數的變化。這兩位學生作答到了中後期之後，雖然作答字數持續有再增加，但是 分數卻未對應的增加。為了瞭解這個時機點系統是否應該有所回饋，我們更進一步的去 看學生們在這種情況下作答的內容為何，是否該給予一些回饋做為協助，若是需要協 助，又該給予什麼樣的協助。
圖4.4：為學生 9739 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間
圖4.5：為學生 9735 的作答過程曲線圖，參數同圖 4.4
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
27
圖4.6：為學生 9727 的作答過程曲線，綠線為字數變化、橘線為分數變化，橫軸為時間
圖4.7：為學生 9731 的作答過程曲線圖，參數同圖 4.4
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
30
表4.5 是用不同的時間間隔以及分數間隔參數去分析學生答題的資料的結果，回饋 人數是指在這樣的時間間隔及分數間隔下，會得到回饋的學生人數；而不需回饋人數則 是系統不會給予回饋的人數。平均回饋秒數代表的是平均起來學生得到回饋的時間點，
是在他開始作答之後幾秒(這裡的開始作答，是學生在開始輸入答案之後，而非學生看 到題目之後)。所以，回饋秒數代表的是學生開始輸入答案之後，到系統給予回饋這之 間的時間。根據表4.6 的資料，我們希望能給予學生多一點的作答時間，避免太早給予 學生回饋，中斷學生思考；但多數學生在回答極光這個問題上都還有需要加強的地方，
所以系統給予回饋的人數越多越好。所以在回饋時間的參數上，我們選擇用 65 秒，分 數差異達到1.2 分，也就是每隔 65 秒，學生的分數就增加 1.2 分是比較理想的狀態。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
32
第五章 系統架構與建置
在第五章中，我們將說明系統的架構及建置的方式。我們藉由觀念模型所得到三個 不同觀念上的分數，我們判斷學生在哪些觀念上有所不足，哪些觀念表現得很好；不足 的地方可以給予提示與協助，而表現得很好的地方則給予鼓勵。而藉由使用者知識模型 所評估得到的分數與使用者輸入答案的時間點，結合第四章的觀察結果，我們嘗試設計 出適合的回饋系統。
5.1 系統環境說明
本系統是以Web 應用程式的方式開發，使用者可以從任何可以連上網際網路的地方 使用本系統。以下是本系統開發時使用的環境及語言版本：
網頁伺服器端軟體：Apache Tomcat 5。
伺服器端開發語言：Java 1.6 / JSP / Servlet。
用戶端開發語言：Flex +JSP。
資料庫軟體：Mysql 5。
開放原始碼軟體：Weka[10]。
斷字斷詞系統：由中研院提供[28]。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
33
5.2 系統流程說明
圖5.1：系統流程圖
這個系統主要是由前端的使用者介面及後端的幾個模型所組成。前端的使用者介面 裡包含了定時器(Timer)，每隔一段時間，會將使用者目前的答案傳送給後端的使用者知 識模型進行評分，並將分數傳遞給互動模型中的答題風格模型，決定是否需要回饋。如 果需要回饋，則再交由階層式觀念模型來決定要回傳何種回饋訊息，使用者介面再將其 顯示出來。互動訊息目前有三種類型，如類型與用途如表5.1 所示：
‧
示成單一的特徵向量，再將此特徵向量與它對應到的分數交給 SVM (Support Vector Machine)的機器學習工具，建立我們所需要的使用者知識模型。我們對於系統中使用的 四個使用者知識模型進行了交叉驗證。將所有資料切成10 等份，每次 9/10 用來訓練模 型、1/10 的資料用來做測試。做 10 次之後取其平均，相關係數為.70 到.83，最低的是物‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
35
理知識模型為.70，地球科學與太陽為.72 及.74，最高的是整體模型為.83。
圖5.2：建立使用者知識模型的流程
圖5.3 則是說明如何運用建立好的使用者知識模型，來替目前的使用者答案進行評 分的流程。首先，先將使用者目前的答案透過斷字斷詞系統，切割出字詞。再透過之前 建立好存在資料庫內的字詞集合轉成特徵向量。最後則是將此特徵向量透過建立好的使 用者知識模型來預測目前的分數。
圖5.3：利用使用者知識模型評分的流程
5.4 使用者風格模型
在第四章的討論中，我們得到了一些設計使用者風格模型的參考。在使用者風格模 型中，我們將觀察下列兩件事：第一是使用者是否於一開始作答時就遭遇了瓶頸，第二 是學生在作答時的投資報酬率是否有達到我們預期的水準。根據第四章的結果，我們假
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
36
設學生一開始就可能遇到瓶頸的情況，也就是圖5.4 的『前置思考過長且分數過低』的 階段。若是學生遇到了瓶頸，則馬上提供回饋，如果沒有，則往下一階段進行。下一階 段『分數是否達到及格標準』則是簡單的判斷目前使用者的得分是否已到及格水準；如 果使用者已經答得夠好，那麼系統將會提供鼓勵的訊息，讓學生知道他已經答得不錯。
若使用者的分數尚未及格，則再進行下一階段的觀察。在『投資報酬率是否達到標準』
這一階段，我們所定義的時間報酬率為『分數變化/單位時間』，也就是固定時間內的分 數變化比率。如果投資報酬率高於標準，那麼系統就可以知道使用者是朝正確的方向再 作答，所以可以繼續的讓使用者作答下去，而不需要提供回饋。相反的，如果投資報酬 率低於標準，那麼使用者目前很有可能是遇到困難，在這個時候系統便會給予使用者提 示。
圖5.4：使用者風格模型流程圖
‧
FIRST_WORD_SCORE 決定了系統如何去判斷學生在一開始是否就遇到了瓶頸，當學生第
一次的答案輸入的時間超過了 MAX_IDLE_FRAME 的時間，且首句的分數並未超過
FIRST_WORD_SCORE時，系統便會提供提示。而SCORE_INTERVAL與SCORE_INCREASE代 表了學生答案該有的投資報酬率。實作上，每次接收到新的學生答案輸入與評估的分 數，就會與65 秒前的分數相比，若是分數增加不到 1.2 分，系統也會立即給予提示。而
STANDARD_SCORE代表了及格的分數。當學生獲得的分數已經高於這個參數時，系統就
只會單純的給予鼓勵的訊息。
表5.2：使用者風格模型參數說明
參數名 參數值 說明
MAX_IDLE_FRAME 60(秒) 開始作答前的思考時間
FIRST_WORD_SCORE 0.5(分) 首次接收到的答案分數
SCORE_INTERVAL 65(秒) 投資報酬率的單位時間
SCORE_INCREASE 1.2(分) 投資報酬率的分數變化
STANDARD_SCORE 5.5(分) 及格分數，總分超過此分數，系統則不
會再給予提示。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
38
文學太陽、物理知識模型來進行評分，也就是說同一個使用者的答案會有四個不同的分 數。如5.4 節所述，在本系統中，使用者整體知識模型評估出來的分數，可用來決定何 時提供回饋；而要回饋的內容，則是由三個觀念模型的分數來決定。
圖5.5：觀念模型流程圖
圖5.5 呈現的是如何決定回饋內容的流程圖。系統將三個觀念模型所評估出來的分 數，找出最低分的觀念，然後從該觀念的觀念樹中找出可供回饋的節點，然後找出問題 給予回饋。每個觀念樹中的節點，會有自己所屬的問題(詳細內容請見表 3.3)，同時也會 記錄著該節點的狀態。如圖 5.6 所示，節點的狀態共可分成五種，分別是初始狀態
（INITIAL) 、 等 待 回 答 中 (WAITINGSOLVE) 、 回 答 正 確 (SOLVED) 、 回 答 錯 誤 (WRONGANSWER)以及不精通(NOTMASTER)。初始狀態代表這個節點還沒有確認過 學生是不是了解，而等待回答中表示系統已經從該觀念的問題集合裡，找出一道題目做 為提示回饋給學生，而學生尚未對此道題目做出回答。回答正確與回答錯誤則是根據學 生回答此道題目答對或是答錯的狀態轉變。當學生答錯時，我們會再從此節點中挑出另 外一道題目做為提示回饋給學生，若是學生答對了，則此節點的狀態會變更為回答正
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
39
確，系統便會繼續往下個節點前進。相反的，若是學生答錯了，則此節點的狀態會變更 為不精通。當此觀念樹中有一節點的狀態變為不精通時，系統就不會再繼續從此觀念樹 中提供回饋。回饋模型另外有兩個參數，用來決定每次回饋間應該要間隔多久，避免造
確，系統便會繼續往下個節點前進。相反的，若是學生答錯了，則此節點的狀態會變更 為不精通。當此觀念樹中有一節點的狀態變為不精通時，系統就不會再繼續從此觀念樹 中提供回饋。回饋模型另外有兩個參數，用來決定每次回饋間應該要間隔多久，避免造