• 沒有找到結果。

實驗設計

在文檔中 中 華 大 學 (頁 90-95)

第四章、 實驗設計與評估

4.2 實驗二:驗證多人批閱及相關註記分析是否真能提升學習效益

4.2.1 實驗設計

本實驗邀請了23位中華大學資管系大ㄧ的學生,分為三組,利用他們課堂時 間實際操作本系統;同時,也另外邀請了四位中華大學資管所擔任過C語言助教 的研究生,他們有不少批閱程式語言的經驗,因此足以擔任系統內使用者為教師 的角色。

z 實驗控制因素

本實驗以批閱人數的多寡及註記分析的有無(是否有提供錯誤類型分佈圖及 類似錯誤修正練習的機制)作為實驗環境的控制因素,利用這些因素將實驗分成 三種組別,並分配23位學生在三組在具有不同控制因素下進行實驗,其組別及對 應的控制因素如下表4-14所示:

表4-14:實驗二組別之控制因素

學生樣本數 教師樣本數 控制因素 實驗組

(本研究提 出之模型)

8人 2人

提供多人批閱(多位教師及 多位學生),及註記分析 控制組A

7人 2人 提供多人批閱,但無註記分 析

控制組B

8人 1人 只有單一教師批閱,但有註 記分析

如表4-14所示,本實驗將這些大一生分成實驗組、控制組A及控制組B三組。

在實驗組中,學生依本研究所提出之模型來進行,即學生寫完程式碼後,系統提 供多人批閱的機制(即提供學生互相批閱及多位教師批閱原始程式碼的機制)讓 學生來進行互評的動作,此外,系統也會提供該組學生相關的註記分析(即系統 所提供錯誤類型分佈圖及類似錯誤修正練習);不同於實驗組,在控制組A中,同 樣有多位教師做批閱的動作,並且也讓學生作互相批閱的動作,但系統不給予相 關的註記分析。而控制組B,則只有一位教師進行批閱的動作,但在這一組,系 統還是有提供相關的註記分析機制。而擔任教師角色的研究生,則是利用本系統 進行批閱的動作,並觀看系統所提供的相關分析功能。

z 實驗操作流程

本實驗的操作流程大致如下圖4-6 所示,而詳細的操作流程則在稍後會做更 詳細的闡述:

前置工作

實驗系統操作 開始

後測

結束

圖4-6:實驗二之操作流程圖

(一) 實驗前置準備工作 (1)前測及分組

為了減低組別之間學生 C 語言能力的差異性,因此依據前測的成績(即實驗 資料來源的那次練習成績)來做實驗分組(分為實驗組、控制組 A 及控制組 B)的 動作,同時,我們利用變異數分析來進行檢定,其結果如下表 4-15 所示,顯著 性為0.978>0.05,證明這三組學生的 C 語言能力是沒有明顯差異的。

表4-15:三組前測成績 ANOVA 檢定摘要表

假說 H1e1a1b1

對立假說 H1ae1≠μa1≠μb1

組 別 型 III 平方和 自由度 平均

平方和 F 值 P 值 組 間 17.023 2 8.511 0.022 0.978 總 和 58755.000

∵顯著性(P 值)大於顯著性 0.05

∴表示實驗組、控制組 A 及控制組 B 的小考成績平均數沒有顯著 差異=>不拒絕假說 H1e1a1b1

但接受對立假說 H1ae1≠μa1≠μb1

(2)資料來源準備及教師進行批閱

本研究將大ㄧ學生作迴圈判斷及程式呼叫練習時,所撰寫的程式碼(稱為前 測的題目,請參考附錄B)輸入至資料庫內,以利這次實驗的進行。 且在分完組 別後,依據實驗組別不同的控制因素,而決定每個組別進行批閱的教師人數為何 (實驗組跟控制組 A,每篇程式碼都有兩位教師做批閱的動作,而控制組 B 則只 有一位教師進行批閱的動作),並請這些教師利用系統所提供的註記工具進行批 閱的動作。

(二) 各組別之實驗系統操作步驟

實驗組及控制組 A 要先進行同組間互相批閱的動作後,方能進行觀看註記 資訊的動作,而控制組 B 則直接進行觀看註記的動作;在觀看完註記相關資訊 後,實驗組及控制組 B 還要做類似錯誤修正練習的機制,待實驗組、控制組 A 及控制組 B 都做完前面的步驟後,對這些學生進行一項有關於 C 語言的小測驗

差異。

(1)同儕互評程式碼

此部份,即為多人批閱的控制因素;為了驗證多人批閱的效果是否能提升學 習效益,因此在這個步驟裡,除了在實驗前,每篇程式碼有兩位教師批閱外,也 會要求實驗組及控制組 A 這兩個組別的學生要互相做批閱的動作,每位學生至 少要互相批閱同一組別內,另外兩個學生的程式碼(而批閱的方式,則如同實驗

ㄧ裡學生實驗組所使用的方式,相關的批閱畫面,請參考圖3-2)。

(2)觀看程式碼上的相關註記資訊

在這一部份,每個組別的學生,都必須觀看其他同學或教師在其程式碼上所 做的註記相關資訊,在此學生所觀看的註記資訊,其註記形式及呈現的方式,就 跟實驗ㄧ裡面的學生實驗組一樣(請參考圖 3-11 及圖 3-12),在此就不再詳述了。

(3)錯誤類型分佈圖及類似錯誤修正練習

此部份,即為系統所提供的相關分析機制此控制因素;因此實驗組及控制組 B 的學生在觀看完在其程式碼上的所有註記相關資訊後,我們會要求這兩組的學

生點選觀看錯誤類型分佈圖此功能,學生便可知道自己在該篇程式碼內,什麼觀 念比較弱,並可在日後針對這些部份做重點加強的動作(圖 3-13);此外,在學生 觀看完錯誤類型分佈圖後,會接著要求這兩組學生做類似錯誤的修正練習,系統 會自動從資料庫內遴選出一篇錯誤類型分佈跟這篇程式碼最相似的一篇,作為其 修正練習的程式碼來源,同時,在學生修正完該篇程式碼後,可以上下視窗的方

式比對(請參考圖 3-14),看自己所做的註記是否跟其他人在該篇程式碼所做的註

記是ㄧ樣的,藉由此種方式,不只可加深自己的印象,也可再次確認自己還有哪 些觀念是沒有修正過來的。

(三) 後測

在批閱學生小考的程式碼時,已經大致知道學生最常犯的錯誤是什麼,因此 在這個部份,設計了四個題目測驗題目,(本次測驗題目,請參考附錄B),其中 有三題,是以幾小段的程式碼呈現,這些程式碼內包含了學生之前常犯的錯誤,

而本實驗會請學生找出這些錯誤,並做修正的動作,最後ㄧ題,則是有關於迴圈 邏輯的判斷,請學生寫出最後的答案為何;而這個實驗步驟,主要是想知道,在 經過不同的實驗控制因素下,各組的學習效果是否會有所差異。

在文檔中 中 華 大 學 (頁 90-95)

相關文件