第三章 研究方法
第五節 分析工具
另外,在後測時並無測驗第8 項技能(K8),研究者是將其與第 9 項技能 歸為一類(能求出二次函數圖形與兩軸的交點坐標),因此後測時並無K8 及 K11 兩項技能的施測與估計值;而在延後測(第三次定期評量)的部分,研究者 將技能再細分,期望能診斷出更細部之處,以了解學生所學之不足,因此將此技 能列入延後測之Q-矩陣中。
第五節 分析工具
在本研究中,後測14 題及延後測 8 題等資料的處理主要所採用之統計分析 軟體有三,分別簡述如下:
一、SPSS 統計軟體
本研究藉 SPSS 的功能統計實驗組及其他組之敘述統計量,並利用 t-考驗
(t-test)及單因子變異數分析(ANOVA),做施測後各組的平均數、技能精熟程 度及各認知能力上是否有顯著差異之檢定。
其執行畫面如圖3-3 所示,用以檢定三 A、三 B 及其他此三組的差異。本研 究所採用SPSS 統計軟體版本為 17.0 版。
圖3-3 SPSS 執行畫面
28
二、Ox 參數估計軟體
de la Torre 對 G-DINA 模式的參數估計是採 EM 演算法,其程式碼是由 Doornik(2003)在 OxEdit 編輯器寫的,程式執行之後可提供各技能精熟程度的 參數估計值與答題各組型的分類情形。
其執行畫面如圖3-4 所示,並以 G-DINA 模式進行估計作業,將實驗組、對 照組及其他組各學生的技能精熟程度估計出來,以便進行更進一步的探討。
圖3-4 Ox 執行畫面
三、Tester2 軟體
由國立政治大學教育學系余民寧教授於2002 年所開發之電腦程式 Tester for Window 2.0,主要用於「注意係數」的計算,其值域為 0 至 1 之間。「注意係數」
為佐藤隆博博士(Dr. T. Sato)所發明的 S-P 表分析技術(余民寧,2002),用 以表示試題作答組型是否呈現不尋常(unusual)或異常(aberrant)。若「注意 係數」數值超過0.50,則該作答組型即為「異常」,而「注意係數」值愈大(如 超過0.75),即表示「異常」的情況愈嚴重,此時宜多加注意題目的設計方向,
故稱其為「注意係數」。
其執行畫面如圖3-5 所示,而本程式亦可計算各題之整體通過率、高分組及 低分組的通過率,並計算該題之難度及鑑別度,也可呈現各選項的選項率,從中 分析學生的錯誤類型及迷思概念。
29
圖3-5 Tester2 執行畫面
所謂選項率是以全體受試學生中,每一個選項的作答人數佔總人數的百分比 比值。每一選項的選項率,可作為篩選或修改不恰當試題的依據,並可分析學生 作答情形,藉以了解學生是否有一些錯誤或迷思概念。
難度又稱「難易度」,其主要在確定每一個試題的難易度,本研究希望仿照 國中基測試題的難度,以中間偏易之題目施測;Tester2 軟體採內部一致性 (internal consistency)的方式,將受試者依總分的高低排列,再以高分組與低分組 在每一個試題的通過率,分別以PH及PL表示。依照古典試題分析理論,難度(P) 的計算方式為「P=(PH+PL)/2」,以其表示試題的難易度(item difficulty index)。
當P值愈大,表示該試題愈容易,愈多數學生答對該試題;而P值愈小,則表示 該試題愈困難,愈少數學生答對該試題;而P值接近0.5時,則表示該試題難易度 適中,為理想的難度指數。
而鑑別度是指試題能區別受試者能力高低的程度,亦採內部一致性的方式,
將受試者依總分高低排列,再以高分組與低分組在每一個試題的通過率,分別以 PH及PL表示。鑑別度(D)的計算方式為「D=(PH-PL)」,以其表示試題的鑑 別度( item discrimination index )。D值的值域介於-1.00到+1.00之間,D值愈大,
表示鑑別度愈大;D值愈小,表示鑑別度愈小;D值為0,表示沒有鑑別度,可能 是因為試題太容易或太艱難,使得所有人均答對或均答錯,或是題目不清;若D 值計算出來為負數,表示低分組學生答對率高於高分組,具有反向作用,則該試 題應淘汰。其原因可能是因為能力低的學生胡亂猜測,結果碰巧猜對;能力高的 學生看不懂題目、會錯意、粗心大意。一般而言,鑑別度以0.25以上為標準,高 於0.4為優良試題。
30