第三章 Edventure 系統平台開發
3.3 活動作業流程
3.3.3 攻略解題
圖表 3.3-6 助教仲裁介面
3.3.3 攻略解題
這個階段是 Edventure 整個作業活動中最重要的階段,每個組別可以開始攻 略解答別人所精心設計的題目,當然除了本身該組在上階段就審核看過的題目,因 為在審核時就已經看過其題目與答案,所以就無需再解題一次。而在這階段當中,
組員們除了需同心協力為了能夠在有限時間內解出更多的題目之外,同時也必須 將其解題的詳細過程一五一十地透過 MediaWiki 記錄下來,以提供出題者能夠更 清楚的批閱評分,而不是單單只有個答案而已。除此之外,在系統中還即時轉撥了 各組別即時的解題數量,讓各組學生能更清楚了解自己在於作業方面的學習效益 跟狀況,並藉此互相刺激、砥礪。
緊接著要介紹的是 Edventure 中解題算分的機制,系統會針對於每道題目都 有固定的配額分數P,而當一道題目有N組攻略解答時,就會將其固定配分去分配 給N組的解題者們。也因此簡單的題目往往會有較多的解題者,故N的數量一旦變 大,其分配到的分數就會變少,反之越難的題目,解題的組別往往會越少,所以他 們能夠分配到的分數就越多。除此之外,解題者們分配固定配額分數並不完全是均 等分配,還要看其答對的程度來當作分配的權重,例如:全對、半對、全錯,其對 應到的權重比例就會是1、0.5、0,這可以讓學生們在追求解題數量的同時,也能 夠保有分數分配的公平性。
圖表 3.3-8 出題者批閱評分介面 3.3.4 批改解答
當有組別將其攻略題目的過程連同答案送出時,該題目的設計者即可馬上觀 閱。而在這階段中,出題者的任務就是必須針對他組前來攻略的答案做批閱評分,
批閱的工作內容主要就是在細閱完過程與答案後做出決斷來給予該解題者一個評 分結果(對、半對、全錯),並且在給予評分結果同時,也必須仔細說明其評分的 標準依據、理由與針對答案的回饋。另外特別的是,如果能在解題者送出答案後的 二十四小時內,完成批閱評分的任務工作,出題者即可獲得額外的分數優惠獎勵,
而其設計初衷主要是想讓解題者能夠更早知道自己努力解題的結果,並修正其觀 念與錯誤以幫助下次解題能夠更加順利,也因此設計此遊戲規則制度來鼓勵出題 者。
圖表 3.3-9 解題攻略解題概況 3.3.5 自評與最佳題目票選
在經過上個階段出題者的批閱評分後,不論對錯,解題者們理應都會得到其解 題攻略的評分結果。因此解題者們可去審視檢查自己努力的結果是否有得到適當 的評分,並從中反省檢討其解題的過程,而在審視自評完所有的解題後,如果有發 現爭議問題,解題者即可立馬提出仲裁審判,此時系統管理員將會出面做出決斷並 協調出題者與解題者之間的誤會與爭議問題。而通常仲裁前的工作內容,包括了解 解題者對於評分結果不滿意的原因,以及出題者評分的標準依據是否合理。
圖表 3.3-11 助教審判仲裁之結果
除此之外,在這階段中還有另外一件有趣的任務,那就是最佳題目票選,解題 者們可對曾經解答攻略過的題目設計好壞來做評分票選,其標準依據有三項:創意 有趣、清楚明暸、整體印象,而每項又有四個維度去做劃分程度。也因此出題者如 果拿到越多好的票數,也理所當然的會獲得更多的分數獎勵,反之如果越少票或者 越多的壞評價,那其分數獎勵就會越少。最後有一個留言欄位是用來促進解題者與 出題者之間的互動交流,讓解題者能夠給予建議回饋,以幫助出題者了解自己題目 的特色好優點為何、盲點錯誤在哪,使得下次出題時能夠設計出更好、更棒的題目。
圖表 3.3-12 最佳題目票選與意見回饋
最後在全部階段結束後,管理者們將會對一整個活動下來的表現做結算,其依 據系統中紀錄的所有資料,也就是當初使用者的成果及表現。而每次結算更新後都 會有分數明細顯示於個人團隊頁面可檢查有無錯誤或者需要校正的地方,並於排 行榜頁面及首頁顯示分數綜合排行與地圖競走排行,讓使用者能夠瞭解其實力與 分數的落點。
圖表 3.3-13 活動分數地圖排行榜
圖表 3.3-14 活動分數結算排行榜
3.4 使用方法與情境
課堂競賽模式:
顧名思義就是將整個活動流程濃縮到課堂中,並透過比賽的方式來進行,當然 濃縮的比例須按照授課老師的課堂時間長短來做調整,而重點在於主要會在課堂 上進行的部分在於第三階段的攻略解題,其他階段則是可選擇性的壓縮調整,不論 在課堂內或者課堂外都無太大差別。此種模式調配的最大原因在於透過現場投影 幕的實況轉撥與老師擔任賽評的實況講解,可以讓組與組之間的一來一往的競爭 氛圍最大化,使各組學生們為了獲勝必須透過絕佳的團隊合作,與事前對學科內容 的學習與準備,才能在比賽有限時間當中解出最多的題目、獲得最多的分數,而這 也就是此模式最大的益處與特色。
作業活動模式:
作業活動模式是 Edventure 正常預設的模式,因為它是經過 BJT – Online 以 來最長時間測試、存在最悠久的模式,因此可靠度與流暢度的評價最高。透過讓學 生們在課堂外、回家的時間來執行作業活動流程,從中搭配課堂上所學習的知識來 完成各階段指定任務。而各階段時限長短則視授課者調整,依照過往經驗與系統設 計初衷,通常解題攻略時間最長,其餘階段則無特別規劃。例如在台大機率課的各 活動時程分別為 2、3、7、3、2 天,因此在有限時間內如何跟隊友遠距離線上合 作將會是學生的最大課題。
第四章 數位學習資料探勘與分析之研究成果
在第四章節中要探討的是在 Edventure 上所蒐集到資料的分析處理方法以及 結果,而其研究方法需參閱相對應之附錄。首先 4.1 是藉由資料統計描述性分析 來對所有可能有價值之資料做整理與過濾,將系統使用者想知道的資訊挖掘並列 出。4.2 藉由因素分析來將使用者的學習行為資料做分類歸納,挖掘出隱藏在資料 中的重要資訊並將其定義,例如學生於系統上的學習投入程度是由何種資料來組 成,4.3 是透過信度分析來驗證與確保上述因素分析之結果有其統計上的意義。4.4 與 4.5 是此研究實驗最大的重點之一:預測模型,透過迴歸分析可計算出系統上 學習行為資料對於成績分數的相關性與因果性,藉此可延伸打造出一個線上行為 預測成績模型,再應用 4.6 的交互作用與迴歸結果去詮釋探討為何這些資料對於 成績有其影響性。最後 4.7 是使用者案例的探討討論,透過研究者自身的系統助 教身份的經驗,來敘述其過程中觀察到一些現象與特別事件。
4.1 資料統計描述性分析
下方表格為針對 103-2 台大機率與統計課程學生使用 Edventure 情況去做 描述性統計分析,總共有 180 個變數,25 個樣本數,再經研究人員主觀及經驗的 判定,篩選萃取列出較有價值、意義的變數呈現於表格中,而在這統計結果中也可 藉此觀察資料是否有可能為常態分佈,判別條件為當偏斜度大於 2 或者峰度大於 9 時,即代表非常態分佈,但要注意的是這個判別並不可逆,也就是即使偏斜度小 於 2、峰度也小於 9,也不代表為常態分佈,而要確認是否為常態分配就需要靠常 態分佈檢驗了。至於這份資料的用途,其實主要是在於它們只要經過簡單的處理與 視覺化,就能讓管理者一覽無遺地了解使用者在系統上的表現,並進而了解學生的 學習成效與表現。
表格 4.1-1 Edventure 資料變數之描述性統計資料
被給予 comment 的最大長度(Solving) 62 912 265.04 170.70 2.251 8.021
被給予 feedback 的最大長度(Grading) 137 1609 506.8 291.73 2.247 7.991
被給予 feedback 的最大長度(Rating) 37 899 190.92 187.52 2.529 7.953
被給予 comment 的總長度(Review) 0 3555 1295.4 983.63 0.971 0.077
被給予 comment 的總次數(Review) 0 21 8.72 5.48 0.624 -0.289
被給予 comment 的總長度(Solving) 62 2772 1024.32 673.76 1.026 0.636
被給予 comment 的總次數(Solving) 1 18 8.68 4.028 0.844 0.958
被給予 feedback 的總長度(Grading) 489 4169 2082.04 925.28 0.343 -0.136
被給予 feedback 的總次數(Grading) 5 35 20.72 7.351 -0.054 -0.488
被給予 feedback 的總長度 (Rating) 47 740 348.28 212.089 0.61 -0.882
被給予 feedback 的總次數 (Rating) 2 10 5.16 2.075 0.772 0.679
被訊息通知的次數 115 611 328.04 140.04 0.256 -0.859
登入次數 159 1159 472.04 230.52 1.221 1.891
製造訊息通知別人的次數 53 526 258.4 142.75 0.362 -0.97
使用者閒置次數 122 865 311.64 144.83 2.269 8.537
使用者從閒置復活次數 893 6719 3202.8 1491.72 0.408 -0.077 使用者切換視窗次數 748 6455 3097.28 1461.21 0.368 -0.152 系統內滑鼠點擊總次數 2401 15045 7832.4 3138.38 0.532 0.124 系統內鍵盤敲擊總次數 211 9595 1751.88 2126.66 2.476 7.082
待在 Help 頁面的時數(分鐘) 0 26 8.54 6.982 1.195 1.056
但事實上所代表的是其變數像之間的相關性非常的高,也就是像是變數之間並無
Kaiser-Meyer-Olkin 測量取樣適當性。 .633 Bartlett 的球形檢定 大約 卡方 449.904
表格 4.2-2 因素萃取結果與其可說明變異量表格
圖表 4.2-1 陡坡圖
最後在因素分析中最重要的就是構面形成結果,在下方旋轉元件矩陣的表格 中可看到,總共有四個直行,也就是前面所萃取的四個因素,在這邊因為經過轉 軸之後會改稱作四個構面,而每個變數在構面中都有不同的權重,所以需要做的 事情是將變數分類到構面中,在這分配過程中有些規則、事項要遵守:1. 變數需 分配到權重最高的構面當中,也就是說一個變數只能歸類到一個構面中。2. 如果 有變數在兩個構面中的權重都差不多,或者在全部的構面中其權重都小於0.5,那 麼這項變數就需要刪除。3. 每個構面最好至少要有3~5個變數形成,太多或太少 都不好,太多的問題在於以問三個問題即可得到答案為何要問五題,而太少在於 代表性不足。遵照上述的分配過程的規則進行後,會發現這步驟需要不斷進行重
最後在因素分析中最重要的就是構面形成結果,在下方旋轉元件矩陣的表格 中可看到,總共有四個直行,也就是前面所萃取的四個因素,在這邊因為經過轉 軸之後會改稱作四個構面,而每個變數在構面中都有不同的權重,所以需要做的 事情是將變數分類到構面中,在這分配過程中有些規則、事項要遵守:1. 變數需 分配到權重最高的構面當中,也就是說一個變數只能歸類到一個構面中。2. 如果 有變數在兩個構面中的權重都差不多,或者在全部的構面中其權重都小於0.5,那 麼這項變數就需要刪除。3. 每個構面最好至少要有3~5個變數形成,太多或太少 都不好,太多的問題在於以問三個問題即可得到答案為何要問五題,而太少在於 代表性不足。遵照上述的分配過程的規則進行後,會發現這步驟需要不斷進行重