第四章、 實驗設計與評估
4.1 實驗ㄧ：以使用者主觀認知來比較本系統與傳統網路教學批閱系統間是否
4.1.2 實驗結果分析
生所採用的方式，對照組的教師亦是如此(比照對照組學生所採用的方式)。
b. 使用實驗組學生所操作的系統功能
在這個系統操作步驟，只有實驗組的教師才要做，因為要以該組教師的觀點 去評估本研究所提供的一些機制是否對學生的學習有所助益。
c. 填寫問卷
在兩組都做完觀看註記及批閱的動作後，會請兩組教師填寫問卷，問卷的內 容分為六個構面，跟系統有關的構面為(此四個構面，四個組別都會衡量)：系統 易用性、系統有用性、系統使用態度及系統使用意圖等四個構面；再者，為了探 討批閱以及掌握學生的學習狀況對於教學是否有助益，因此本研究增加了『批閱 對於教學的幫助』及『掌握學生的學習狀況對教學的幫助』此兩個構面，構面跟 系統本身無關，只是純粹以教師的角度，主觀認為批閱及掌握學生學習狀況對於 教學是否真的有所助益。
者，本研究所提出的系統是否能為使用者所接受、採用也是本研究欲探討的部分 之ㄧ，因此，採用科技接受模式(TAM)加以驗證本研究所提出的系統，此模式 包含了四大構面，分別為：易用認知、有用認知、使用態度及使用意圖，此外以 學生的角度而言，本研究也增加了一個外部變數的構面：批閱對於學習的幫助，
而針對科技接受模式(TAM)本身，以及外部變數對科技接受模式(TAM)的影響這 部份，則採用複迴歸分析的方式來加以驗證。
再者，為了解使用兩種系統的教師其使用觀點是否會有所差異，因此本研究 針對問卷的所有構面 ，利用實驗組與對照組兩組在構面所得的平均數去做比較 (在此是針對問卷各構面內，相同的題項內容作比較；而為了驗證本研究所提出 的研究模型是否對教學有所助益，因此實驗組的問卷問題會比對照組多)，在這 裡除了包含跟系統有關的四大構面：易用認知、有用認知、使用態度及使用意圖 以外，我們增加了『批閱對於教學的幫助』及『掌握學生的學習狀況對教學的幫 助』兩個構面，探討批閱及掌握學生的學習狀況，是否對教學真的有幫助。在此 不用t-檢定比較教師實驗組及對照組在各構面是否有顯著差異，以及教師實驗組 問卷不利用科技接受模式(TAM)來驗證的原因在於，教師的人數過少不適合用統 計分析的方法加以驗證，因此，只能以問卷構面的平均數來做比較。
4.1.2.1 實驗假說與檢定方式
本實驗對於學生實驗組及對照組，所定的假說如下所列：
(1) H1.1:μse=μsc 學生實驗組及對照組，對於『批閱對於學習的幫助』此構面的
看法並沒有顯著的差異。
(2) H1.2:μse=μsc 學生實驗組及對照組，對於『系統易用性』此構面的看法並沒
有顯著的差異。
(3) H1.3:μse=μsc 學生實驗組及對照組，對於『系統有用性』此構面的看法並沒
有顯著的差異。
(4) H1.4:μse=μsc 學生實驗組及對照組，對於『系統使用態度』此構面的看法並 沒有顯著的差異。
(5) H1.5:μse=μsc 學生實驗組及對照組，對於『系統使用意圖』此構面的看法並 沒有顯著的差異。
(6) H2.1:學生對『批閱對於學習的幫助』認知， 會影響其對『線上多人批閱及分 析系統之易用性認知』。
(7) H2.2:學生對『批閱對於學習的幫助』認知， 會影響其對『線上多人批閱及分 析系統之有用性認知』。
(8) H2.3:學生對『線上多人批閱及分析系統之易用性認知』， 會影響其對『線上 多人批閱及分析系統之有用性認知』。
(9) H2.4:學生對『線上多人批閱及分析系統之易用性認知』， 會影響其對『線上 多人批閱及分析系統之使用態度』。
多人批閱及分析系統之使用態度』。
(11) H2.6:學生對『線上多人批閱及分析系統之有用性認知』， 會影響其對『線上 多人批閱及分析系統之使用意圖』。
(12) H2.7:學生對『線上多人批閱及分析系統之使用態度』， 會影響其對『線上多 人批閱及分析系統之使用意圖』。
其中，H1.1~ H1.5是利用構面平均數來檢驗的虛無假設，μse表示在該構面下，
實驗組學生所得的平均數，而μsc則表示對照組學生所得的平均數；H2.1~ H2.7則 是以科技接受模式 (TAM)及外部變數(批閱對於學習的幫助)為基礎，來建立的相 關假說。t-檢定主要目的在於驗證實驗組及對照組的學生，對於各構面所得的平 均數是否具有差異性；而學生實驗組及對照組的控制因素差異在於，實驗組所使 用的是本研究所開發的線上多人批閱及分析系統，而對照組所使用的是傳統網路 教學的批閱系統，因此，H1.1a ~ H1.5a: μe ≠μa對立假說主要是要驗證實驗組，
也就是本研究所開發的系統，的確比傳統網路教學的批閱系統(也就是對照組學 生所使用的系統)更好。而複迴歸分析主要是用來檢定 H2.1~ H2.7的關係假說是否 成立。
4.1.2.2 實驗結果
分別收集各組的問卷原始資料：學生實驗組及對照組，各有30份，教師實驗 組及對照組，則各有4份；而問卷共有四種(根據以上不同組別而設計的)，皆採
用李克特七點評量法 ，在李克特七點評量法中，數值7是最高，分數越高代表越 能滿足使用者需求，最低則為1。在收集完問卷原始資料後，接下來，會分析在 進行統計假說檢定時，可能會使用到的相關問卷資料數據，至於各組實驗對象(為 學生實驗組及對照組、教師實驗組及對照組)對於問卷每個題項的平均得分及學 生實驗組與對照組其問卷資料的信效度分析則附於附錄C中。
z 學生實驗組與對照組在各構面之比較- 採用 t-檢定
為了檢測學生實驗組及對照組對於問卷各構面的觀點是否有所差異，以進一 步了解學生對於使用兩個系統及對『批閱對於學習的幫助』的觀點是否有所差 異，因此利用t 檢定分別驗證兩個組別在每個構面的得分是否有明顯差異；而針 對各構面作t-檢定的結果（如表 4-3~表 4-7 所示），由表 4-3，可以看出顯著性為 0.101>0.05，代表兩組在『批閱對於學習的幫助』此構面所得的平均數是沒有差 異的，因此接受假說H1.1:μse=μsc，而拒絕對立假說H1.1a:μse≠μsc；這也表示 兩組學生對於『批閱對於學習的幫助』此構面的看法是一致的。而由表4-4 至表 4-7 所得的檢定結果，由顯著性皆小於 0.05，可看出兩組在『系統易用性』、『系 統有用性』、『系統使用態度』及『系統使用意圖』這幾個構面所得的平均數是有 明顯差異的，因此拒絕假說H1.2~H1.5，且根據表4-2 兩組在各構面所得平均數的 結果，接受對立假說H1.2a ~H1.5a；這也可以看出(由表4-2 所示)，實驗組對於這 幾個構面的平均得分明顯高於對照組，間接代表了，實驗組對於各項衡量系統的
表4-2：學生實驗組與對照組在各構面所得平均數
構面 平均數
批閱對於學習的幫助 實驗組: 6.1167 對照組: 5.9000 系統易用性 實驗組: 5.5333 對照組: 3.6444 系統有用性 實驗組: 5.9833 對照組: 3.1417 系統使用態度 實驗組: 5.8167 對照組: 3.1500 系統使用意圖 實驗組: 5.8333 對照組: 2.6556
表4-3：學生認為批閱對學習的幫助此構面之 t-檢定摘要表 假說 H1.1:μse=μsc
對立假說：H1.1a:μse≠μsc
差異的95%信賴區間 t 自由度 顯著性
(雙尾) 平均差異
下界 上界 1.669 58 0.101 3.217 -4.323E 0.477
∵顯著性(P 值)大於顯著性 0.05
∴表示學生實驗組與對照在此構面的平均數沒有顯著差異
=>不拒絕假說 H1.1:μse=μsc
但拒絕對立假說 H1.1a:μse≠μsc
表4-4：學生認為系統易用性此構面之 t-檢定摘要表 假說 H1.2:μse=μsc
對立假說：H1.2a:μse≠μsc
差異的95%信賴區間 t 自由度 顯著性
(雙尾) 平均差異
下界 上界 6.591 58 0.000 1.889 -1.315 2.463
∵顯著性(P 值)小於顯著性 0.05
∴表示學生實驗組與對照在此構面的平均數有顯著差異
=>拒絕假說 H1.2:μse=μsc
但接受對立假說 H1.2a:μse≠μsc(由兩組平均數來看)
表4-5：學生認為系統有用性此構面之 t-檢定摘要表 假說 H1.3:μse=μsc
對立假說：H1.3a:μse≠μsc
差異的95%信賴區間 t 自由度 顯著性
(雙尾) 平均差異
下界 上界 11.546 58 0.000 2.841 2.349 3.334
∵顯著性 (P 值)小於顯著性 0.05
∴表示學生實驗組與對照在此構面的平均數有顯著差異
=>拒絕假說 H1.3:μse=μsc
但接受對立假說 H1.3a:μse≠μsc(由兩組平均數來看)
表4-6：學生對於系統使用態度此構面之 t-檢定摘要表 假說 H1.4:μse=μsc
對立假說：H1.4a:μse≠μsc
差異的95%信賴區間 t 自由度 顯著性
(雙尾) 平均差異
下界 上界 11.968 58 0.000 2.667 2.221 3.112
∵顯著性(P 值)小於顯著性 0.05
∴表示學生實驗組與對照在此構面的平均數有顯著差異
=>拒絕假說 H1.4:μse=μsc
但接受對立假說 H1.4a:μse≠μsc(由兩組平均數來看)
表4-7：學生對於系統使用意圖此構面之 t-檢定摘要表 假說 H1.5:μse=μsc
對立假說：H1.5a:μse≠μsc
差異的95%信賴區間 t 自由度 顯著性
(雙尾) 平均差異
下界 上界 11.381 58 0.000 3.178 2.619 3.737
∵顯著性(P 值)小於顯著性 0.05
∴表示學生實驗組與對照在此構面的平均數有顯著差異
=>拒絕假說 H1.5:μse=μsc
但接受對立假說 H1.5a:μse≠μsc(由兩組平均數來看)
I. 檢定結果
利用t-檢定來檢測學生實驗組及對照組之間，對於各構面的觀點，是否有顯 著差異，而由檢定的結果，我們可以得到以下的發現：
i. 對於『批閱對於學習的幫助』此構面，兩組學生的觀點都很一致，並沒有顯 著的差異，且由平均數來看，兩組的平均數幾乎都將近6，由此可看出，學 生們一致認為，批閱對於學習而言，有一定的幫助。
ii. 對於『系統易用性認知』、『系統有用性認知』、『系統使用態度』及『系統使 用意圖』這些構面檢定的結果，可以發現兩組學生的認知有明顯的差異，且 根據各組在各構面所得平均數來看，實驗組(即使用本研究所開發的線上多 人批閱及分析系統)對於各項衡量系統的構面其滿意度明顯高於對照組，表 示本研究所開發的系統整體而言還是比傳統網路教學批閱系統更易讓使用 者所接受。
iii. 衡量系統各構面內的某些題項(指的是實驗組的問卷內容)，其實也隱含了系 統本身所提供的機制對學習是否有所助益，且由學生實驗組在每個題項的平 均數來看，都達到6，也顯示了學生認為本研究所開發的系統，對於學生在 學習C 語言上的確是有幫助的。
z 外部變數對科技接受模式(TAM)的影響及科技接受模式(TAM)的驗證 圖4-4，為一般外部變數影響科技接受模式(TAM)的示意圖，為了探討外部
外部變數
知覺 有用性
知覺易用性
使用態度 行為意 向 H2.2
H2.1
H2.3
H2.4
H2.5
H2.6
H2.7
變數是否會影響科技接受模式，以及使用者是否會有意願使用本研究所開發的系 統，因此利用複迴歸分析來進行假說與TAM模型的驗證：
圖4-4：外部變數與科技接受模式之關係示意圖
其中表4-8~表4-12為複迴歸檢定的結果，而由表4-8的顯著性為0.537>0.05，
表示『批閱對於學習的幫助』此外部變數，並不會影響使用者對於系統易用性的 認知，因此拒絕H2.1:學生對『批閱對於學習的幫助』認知， 會影響其對『線上 多人註記及分析系統之易用性認知』此假說。而由表4-9~表4-12的回歸檢定的結 果，其顯著性都<0.05，且模式的顯著性也都<0.05，因此我們接受H2.2~H2.7的假 說，即H2.2：學生對『批閱對於學習的幫助』認知， 會影響其對『線上多人批閱 及分析系統之有用性認知』、H2.3:學生對『線上多人批閱及分析系統之易用性認 知』，會影響其對『線上多人批閱及分析系統之有用性認知』、H2.4:學生對『線上 多人批閱及分析系統之易用性認知』， 會影響其對『線上多人批閱及分析系統之 使用態度』、H2.5:學生對『線上多人批閱及分析系統之有用性認知』， 會影響其 對『線上多人批閱及分析系統之使用態度』、H :學生對『線上多人批閱及分析