第三章 研究設計與實施
第五節 研究工具與信度
本節就本研究之研究工具,包含前測、立即後測、延宕後測之編排內容加 以說明。另外針對測驗之評分標準與信度建立茲說明之。
壹、研究工具之設計
本部分就研究工具之設計與內涵,以及評分標準的內容加以說明。
一、前測、立即後測、延宕後測
本研究中每次實驗皆包含三種測驗,分別為前測、立即後測與延宕後測。
三者內容完全相同,唯題目順序不同。本研究中之前測於實驗開始前一週施行,
目的在於瞭解學生的起點行為。為了充分瞭解學生的起點行為,前測不限定時 間,讓學生全部作完才收詴卷。每次實驗結束後馬上施行立即後測,目的在於 瞭解學生單字短期記憶的效果,限時 10 分鐘。另外於一週後施行延宕後測,測 驗時間亦為 10 分鐘。
前測、立即後測與一週後的延宕後測內容皆為英語單字英翻中的型式,並 且參考孫進廷(2008)的後測單字量表,編寫而成。測驗格式如表 3-5-1 所示:
表 3-5-1 本研究之測驗格式
第一欄 第二欄 第三欄
單字 寫出中文或英文同義字 得分
1. criminal
每個測驗題目分為三欄,研究者於第一欄列出英文單字,學生必頇於第二 欄中寫出該單字之中文或英文同義詞,第三欄為得分欄,學生不頇作答,而是 由評分老師寫上得分。
二、評分標準
孫進廷(2008)的研究中採用寬鬆與嚴格兩套評分標準。所謂的嚴格標準 即是,學生必頇完全答對該題才能得分,嚴格標準評分的結果代表的是學生單 字記憶成效可能範圍的最小值。反之,寬鬆標準只要學生寫出近似的答案即可 得分,其結果代表的是學生單字記憶成效可能範圍的最大值。本研究改編孫進 廷(2008)的評分標準,將評分標準制定如表 3-5-2 所示:
表 3-5-2 評分標準
答案類型 定義 答案舉例(criminal) 得分
錯誤答案或空白 答案完全不符合或空白 天空/ 車子/ X 0
近似答案 答案部分正確 壞人/ 做錯事的人 1
正確答案 答案完全正確 罪犯/ 犯罪的人 2
學生回答的答案如果不正確或空白,則得到 0 分;完全正確得 2 分;部分 正確得 1 分。舉例來說,criminal 這個單字,如果學生回答出「罪犯」或「犯 罪的人」,意義完全正確,得 2 分;若是學生回答「壞人」等接近正確意思的答 案,則得 1 分;若學生回答「天空」等不正確的答案,或者完全空白,則得 0 分。
貳、研究工具之信度
為了避免研究者主觀評分,本研究採用不同評分者評閱詴卷,以估計評分 的一致性(郭生玉,2008)。除了研究者本身之外,另外邀請三位皆具有教育相 關碩士學歷的英語老師,針對隨機抽取的兩份詴卷,進行逐題評分(共 58 題),
以檢驗評分者間的一致性。評分者之基本資料如表 3-5-3 所列:
表 3-5-3 評分者之基本資料
表 3-5-5 評分結果斯皮爾曼積差相關
評定員 甲 乙 丙
乙 .839*
丙 .892* .750*
研究員 .894* .708* .892*
註:*表示 p<.05
斯皮爾曼積差相關結果也顯示研究者和三位評分員之間的評分結果皆達到 顯著相關,表示評分者間的一致性具有高度正相關。本研究工具具有相當高的 信度。