第三章 研究設計與實施
第三節 研究工具
(二)測驗試題的編製
本研究採用 SS 分析法來分析測驗所得到的資料,測驗試題的編製則 參考國內外有關數感議題之文獻,並遵照選擇題命題指導原則(Haladyna, 1999; Osterlind, 1998)編製之「試題檢核表」(附錄三)原則來進行命題,最 後再請測驗專家及學科專家審核,提供修改意見,以編製成預試試題。預 試試題共有36 題選擇題,以研究者任職學校三年級學生 58 名、四年級學 生 64 名、五年級學生 60 名、六年級學生 59 名,作為預試對象分別進行 預試。預試結果若有三個或四個年級之測驗鑑別度都很低的題目,則加以 刪除,其餘則保留並將文字措辭稍加修改,即作為正式施測試題,正式施 測的試題共有30 題。
(三)測驗試題的施測方式
本研究為「數感」概念測驗,因為要測驗學童之「數感」概念,且為 避免學童因紙筆計算降低「數感」測驗的精準度,故採取電腦上網施測的 方式。施測題目以ASP 程式書寫並放置於網站上,施測時學童一人一機,
題目呈現方式如圖 3-3,一次畫面出現一題試題,學童自行閱讀自己螢幕 上的題目並以滑鼠點選的方式於螢幕上作答。又因為要測驗學童對數感的
「直覺性」,因此每題作答時間宜有限制,不宜過長。預試時,每一試題 之作答時間皆定為 40 秒,40 秒時間一到,畫面會自動跳至下一題。倘若 學童做完此題而時間尚未到40 秒,則可自行按下一題讓畫面跳至下一題,
繼續作答;無論哪一種情形,畫面若跳至下一題,則無法再回頭作答前一 題試題。學童施測的紀錄(作答答案及作答時間)會匯集至指定的 Microsoft Assess 資料庫,方便研究者收集分析。
圖 3-3 數感概念施測的電腦畫面範例
學童的預試結果,其作答時間經統計,各年級分別取其全部人數之前
3
2高分的學童之作答時間的平均值加二個標準差,來當作正式施測的作答 時間。另外,正式施測時各試題的作答順序也依預試結果的難度分析,由 難度值高至難度值低依序排列出題。正式施測各試題的出題順序與作答時 間,如表3-1。
表 3-1 正式施測各年級的作答時間與試題的出題順序 三年級 四年級 五年級 六年級 題目順序 秒數 題目順序 秒數 題目順序 秒數 題目順序 秒數
Q01 36.1 Q02 33.33 Q01 21.52 Q01 12.9 Q24 19.47 Q01 21.27 Q02 34.79 Q24 15.94 Q22 25.19 Q23 37 Q24 15.63 Q02 22.11 Q02 40.51 Q04 18.21 Q05 38.81 Q04 16.37 Q23 34.45 Q24 14.38 Q23 40.98 Q05 37.52
Q18 41.34 Q26 37.46 Q04 27.14 Q23 31.55 Q21 25.6 Q03 39.51 Q25 21.35 Q25 23 Q20 27.94 Q22 18.42 Q09 29.07 Q03 34.7 Q25 26.65 Q20 28.04 Q03 34.48 Q28 33.62 Q16 29.69 Q28 27.04 Q28 30.14 Q06 19.99 Q03 45.84 Q16 33.43 Q16 39.96 Q22 20.83 Q29 35.52 Q11 41.41 Q22 20.65 Q07 28.5 Q30 23.99 Q09 25.18 Q29 39.39 Q09 29.04 Q04 17.77 Q29 39.19 Q08 42.77 Q08 36.07 Q28 29.69 Q05 36.07 Q06 22.19 Q14 28.5 Q26 32.82 Q25 26.55 Q19 43.17 Q21 31.07 Q13 27.72 Q08 35.53 Q21 31.84 Q29 43.07 Q19 24.01 Q14 34.9 Q20 35.58 Q16 42.95 Q07 29.38 Q21 28.96 Q07 31.08 Q11 44.48 Q08 36.68 Q07 27.81 Q26 39.9 Q26 42.24 Q14 34.76 Q19 28.41 Q14 40.99 Q20 28.4 Q11 38.26 Q18 45.1 Q18 46.85 Q18 48.86 Q05 38.2 Q17 38.26 Q11 43.37 Q19 36.6 Q12 38.29 Q13 27.95 Q30 32.49 Q12 44.22 Q09 28.29 Q30 33.85 Q10 26.04 Q30 39.29 Q10 24.75 Q06 20.98 Q12 37.43 Q13 31.15 Q27 28.43 Q12 36.08 Q17 45.23 Q10 24.97 Q06 14.76 Q15 34.96 Q15 45.21 Q17 45.39 Q15 34.75 Q10 23.95 Q13 24.01 Q15 44.58 Q17 40.13 Q27 23.92 Q27 18.83 Q27 25.09
(四)測驗工具的信度
信度(reliability)亦稱為可靠性,指測驗所得結果之一致性或穩定性,
或估計測量誤差有多少,以反映真實量數程度的一種指標(余民寧,2002)。
而本研究之試題內部一致性是由Cronbach’s α 係數所求得。Cuieford(1965) 曾提出若Cronbach’s α 值小於 .35 為低信度,而大於 .35 且小於 .75 為尚 可,倘若Cronbach’s α 值大於 .75 則屬高信度(引自石明家,2001)。
(五)測驗工具的效度
效度(validity)又稱為正確性,是指測驗分數的有效程度,即測驗能夠 提供適切資料以做成決策的程度(Thorndike, Cunningham, Thorndike, &
Hagen,1991);也就是指測驗分數能夠代表它所要測量的能力或潛在特質的 程度,或測驗能夠達到其編製目的的程度(余民寧,2002)。本研究採內容 效度以及專家效度。
內容效度是與內容有關聯的效度,目的在有系統的檢查測驗內容之適 當性程度,考量測驗內容是否包括足夠的行為樣本或取樣的適切性。本測 驗工具依據圖 3-2 之數感試題架構來進行命題,同時依據試題檢核表要項 一一檢視所編製的試題,以作為考驗內容效度之依據。另外,在專家效度 方面,本研究之測驗試題完成初稿之後,請統計測驗之專家、經驗豐富之 學科專家以及實際教學多年之現職國小教師來進行審核,俾使試題內容更 具專家效度。
二、統計及繪圖軟體
本研究所使用的電腦軟體有:
(一) IIS Web Server:用來進行國小學童數感概念試題測驗。
(二) Microsoft Assess 應用程式:用來收集國小學童數感概念試題測驗之結 果資料。
(三) SPSS/PC(10.0 for Windows)統計套裝軟體:用來進行測驗結果資料的 信度分析以及其他相關分析。
(四) Microsoft Excel 套裝軟體:進行所有測驗結果之資料統計。
(五) Microsoft Word 軟體:繪製試題關聯結構圖。