第五章 雛型系統初步評估
第一節 雛型系統之系統成效評估
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第五章 雛型系統初步評估
本章主要是針對本研究之雛型系統作初步評估。第一節為系統成效評估、第 二節為系統滿意度調查、第三節為系統可行性評估。系統成效評估部份，以學生 為對象，透過準實驗設計來進行系統成效檢驗；系統滿意度調查部份，以問卷方 式，針對實際操作過系統的學生進行調查；系統可行性評估部份，針對使用過本 系統的教師，以訪談方式瞭解各教師對於系統中各項功能可用性的看法及操作心 得與建議。
第一節 雛型系統之系統成效評估
本節希望能藉由實證研究了解本研究之系統對國中七年級學生成語學習成效 的影響。本研究擬用南部某常態編班的國中七年級學生進行實驗，因此須先行瞭 解該校成語教學的教材及傳統成語教學的方式後再進行本研究設計並配合更新本 研究之系統資料庫中成語知識。
經深入了解，該校因課程安排每週只有一節課時間可進行成語教學，所以教 學方式以學生先行自學為主再加上教師針對成語重點部份或學生自學結果不足部 份加以講解說明，詳細教學流程如圖5-1。
圖5-1：某國中七年級傳統成語教學流程
本研究選定該校第29 回之成語學習進度之成語教學評量的範圍，配合更新本 研究之系統資料庫中成語知識並設計系統成效實證研究。
一、研究設計
本研究擬用南部某常態編班的國中七年級學生進行實驗，由於學校環境無法 重新編班，故採準實驗設計。
根據進度表學生利用課餘時間自學（這些成語絕大部份曾見於 報章雜誌、各科教本或國文課本中，若曾於國文課本中出現過，
則教師已先行針對此成語進行教學）
教師利用半節課時間針對該範圍中各成語快速講授重點、回答 學生提問、並讓學生利用紙本資料再次學習
學期初公告整學期成語學習進度（每次範圍約為10 條新成語 +10 條成語複習，教材為金安文教機構出版之《多功能成語典》）
利用半節課時間進行該範圍成語教學評量，並檢討測驗結果
‧
‧
鑑別度部份，根據Ebel & Frisbie（1986）提出的鑑別度標準達 0.30 為適當、達 0.40 以上為非常好的試題，本測驗之選擇題部份平均鑑別度各題皆達 0.30 以上，整體 鑑別度平均為 0.59，可以說是一份很好的試題。綜合難度及鑑別度的分析，這份 評量工具選擇題部份是一份很不錯的試題，與該校二位國文老師討論之後，二題 偏難、二題偏易的題目因鑑別度皆達 0.30 的標準，均保留採用。因此本份預試試 卷之選擇題部份全部採用作為正式試題。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表5-5：二位教師所評之個人造句成績Pearson積差相關分析 教師A 教師B
Pearson 相關 1 .992(***) 教師A 顯著性 (雙尾) .000
Pearson 相關 .992(***) 1 教師B 顯著性 (雙尾) .000
** 在顯著水準為0.001時 (雙尾)，相關顯著。
由於正式實驗時前、後測於短時間內進行，為降低學生記憶影響答題結果，
選擇題部份會將試題順序及選項打亂製成前測及後測試卷。個人造句部份，為了 降低學生利用實驗教學時間只針對前測個人造句所使用之成語加強學習而忽略整 體範圍，因此前測與後測個人造句部份將由該成語評量範圍中之隨機選擇成語並 配合相關引導短文出題。本評量工具「成語教學評量」完整前測、後測試題請參 見附錄B、C。
三、資料分析
本研究的資料處理與統計分析以套裝軟體SPSS 12.0 執行，茲將所採用的資料 分析說明如下：
（一）教學評量前、後測成績描述性統計
實驗處理前，實驗組和控制組二組學生分別進行「成語教學評量」前測，實 驗組前測成績平均數為45.34、控制組為 49.66。實驗處理後，二組再分別進行「成 語教學評量」後測，實驗組後測成績平均數為 62.28、控制組為 53.03。其得分表 整理如表5-6。由表中可看出二組後測分數皆較前測分數高，顯示二組的教學都是 具有成效的。標準差的部份，實驗組在實驗處理前標準差為 22.101，實驗處理後 降低為 19.346，顯示經過實驗處理後，實驗組的學生對成語的了解程度差異性減 小；控制組反而由實驗處前的21.145 升高至 23.488，差異性提高。
表5-6：二組學生前、後測成績描述性統計 組別 前後測 個數 平均數 標準差
前測 29 45.34 22.101 實驗組 後測 29 62.28 19.346 前測 29 49.66 21.145 控制組 後測 29 53.03 23.488
（二）組內回歸係數同質性考驗
本研究為了能準確說明二組之間後測成績的差異，採用獨立樣本單因子共變 數分析法進行統計分析，以「前測成績」作為二組學生後測時的共變量，去除實 驗處理前二組學生學習起點能力的情況對本研究帶來的影響，以降低實驗誤差，
而「後測成績」將作為依變項。為求實驗嚴謹，在資料進行共變數分析前，先實 施「組內迴歸係數分析」考驗，來檢驗其同質性。由表5-7 可知，透過迴歸係數同
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
質性考驗，F 值為 3.513，顯著性為 0.066 並未達 0.05 顯著水準，可以得知實驗組 與控制組具有同質性，因此可進行共變數分析。
表5-7：組內迴歸係數同質性檢定結果
來源 型 III 平方和 自由度 平均平方和 F 檢定 顯著性 組別*前測分數 696.550 1 696.550 3.513 .066
誤差 10705.819 54 198.256
（三）教學評量後測成績分析（單因子共變數分析）
本步驟單因子共變數分析的控制變項是「前測成績」，依變項則為實驗處理後 針對同一變項再次測量所得的「後測成績」，以控制變項與依變項間的共變量為基 礎進行調整，可得到排除控制變項影響的單純統計量（邱皓政，2000）。當符合組 內迴歸係數同質性假設下，將各組在共變項（前測成績）上的分數調節為二組前 測的總平均數47.50。當進行事後比較時，也必須依據各組在依變項上調節後的平 均數進行檢定工作。由表5-8 可知，實驗組及控制組各組樣本在依變項上調節後的 平均數分別為63.881、51.430，實驗組得分高於控制組。
表5-9 為成語教學評量單因子共變數檢定統計結果，可看出實驗組和控制組的 後測得分經共變數分析後二組的平均數差異為 12.451，F 值為 10.732，顯著性為 0.002 小於 0.01，已達 0.01 顯著水準，由此可知，利用本研究之系統輔助教學的實 驗組後測成績顯著高於傳統教學的控制組。
表5-8：利用共變數調節之後測成績
依變數: 後測成績
組別 個數 調節前平均數 共變數調節後平均數 調節後標準誤 實驗組 29 62.28 63.881(a) 2.681 控制組 29 53.03 51.430(a) 2.681
a 使用下列的值評估模型中的共變量： 前測成績 = 47.50.
表5-9：後測單因子共變數檢定統計摘要
依變數: 後測分數
(I) 班級 (J) 班級 平均數差異 (I-J) F 檢定 顯著性 116 102 12.451(*) 10.732 .002
F 檢定 分組 的效果。此檢定是以估計的 邊際平均數中的線性自變數成對比較為 基礎。
* 在水準 .05 的平均數差異顯著。
（四）實驗組內不同能力程度學生的成效分析（成對樣本t 檢定）
此步驟在了解實驗組內不同起點能力的學生使用系統的成效。不同起點能力 的分組方式為，依前測分數由高至低排列，前 27%為高能力組、後 27%為低能力 組，其餘為中能力組。由表 5-10 的 t 檢定結果可獲知實驗組內部不同學習能力的 學生在前、後測的差異情形，各能力分組的後測平均數都較前測平均數高，表示 利用本研究之系統輔助教學對實驗組的高、中、低能力程度學生都有成效。而將 各組前後測成績作成對樣本t 檢定可知高能力組其 t 值為-1.372、顯著性（雙尾）