第三章 研究方法與步驟
第五節 研究工具
本節主要說明研究工具之設計與編製,內容分為三部份,首先是成 就測驗評量試卷的設計與編製,本研究發展出一份成就測驗評量試卷,
進行前測與後測;其次為電腦簡報之設計與編製;第三為學習訪談綱要。
一、 成就測驗評量試卷
成就測驗評量試卷主要是用來檢定實驗組及控制組兩個班級的學生 在教學前後之學習成效,在教學前及教學後分別進行前測及後測,前測 與後測皆使用同一份成就測驗評量試卷,藉此分析學生接受資訊融入國 中地理科教學與未接受資訊融入國中地理科教學在學習成效上是否有顯 著差異。本測驗是以國中一年級下學期的學習內容-第一章「人口」單元 與第二章「第一級產業」單元為測驗內容,研究者先以學習內容及知識 屬性並參考題庫資料據以編寫測驗試題,試卷內容編製以「人口」及「第 一級產業」之單元內容概念為主,依課程內容分為人口數量、人口分布、
人口組成、人口遷移、產業的分類、產業的結構、農業、林業、漁業、
81
畜牧業、第一級產業轉型;教學目標可區分為認知、情意及技能三個目 標,本研究設計之評量主要著重於學生認知取向之學習成效,因此,研 究者參考美國五個主要的地理學概念以及李坤崇(2004)在修訂 Bloom 認知分類及命題實例之文章中提及新版認知教學目標分類的內容,置入 成就測驗評量試卷,將試題依照屬性歸類為記憶(remember)、瞭解
(understand)、應用(apply)、分析(analyze)、評鑑(evaluate)及創作
(create)六個認知歷程向度(Cognitive Process Dimension),此六項類別 之意涵如表 3-5-1 所示;另外,在知識向度(Knowledge Dimension)部 分 分 為 事 實 知 識 ( Factual Knowledge )、 概 念 知 識 ( Conceptual Knowledge )、 程 序 知 識 ( Procedural Knowledge ) 及 後 設 認 知 知 識
(Metacognitive Knowledge)四項,事實知識是學生學習科目或解決問題 必須知道的基本元素;概念知識乃從較複雜、較大結構的基本元素間抽 取共同功能屬性,予以分類、類別與關係而成為一類事物全體的知識;
程序知識是指如何完成某些事,探究方法,以正確運用技巧、演算、技 術和方法規準的知識;而後設認知知識係指比原來所認知者高出一層的 認知,若原來的認知是「知其然」,後設認知即是「知其所以然」。
所有測驗試題先經預試,獲得試題的難度與鑑別度資料,再分析預 試學生表現,配合試題的難度與鑑別度資料,完成整份成就測驗評量試 卷。本試卷以同校非實驗組及非控制組之學生為預試對象,預試對象為 同年段不同年度之學生,實驗學校之班級採常態編班,因此,預試對象 和實驗班級之學生資質與學習環境相近,預試學生共 102 位。
82
83
度與鑑別度指數摘要結果如表 3-5-2 及表 3-5-3。
由表 3-5-2 中的難度指數中可以發現:25 題試題中有 6 題屬於非常 容易作答(P>.80),另外,沒有非常難的試題(P<.20),試題的答對率 多數為 60%上下,試題的難度均在.60 上下,其中以第 11、12、16、19、
20 及 25 題的難度指數較高,其難度指數分別為.824、.887、.824、.967、.838 及.905。
再從鑑別度指數來看,鑑別度較低的題項有 8 題,分別為第 11、12、
15 、 16 、 17 、 18 、 19 及 25 題 , 其 鑑 別 度 指 數 分 別 為.294、.226、.179、.294、.280、.165、.065 及.132,其餘題項均有不錯 之鑑別度。
由表 3-5-3 的難度指數中可以發現:25 題試題中有 10 題屬於非常容 易作答(P>.80),另外,沒有非常難的試題(P<.20),試題的答對率多 數為 70%上下,試題的難度指數均在.70 上下,其中以第 1、2、3、4、5、
13 、 16 、 18 、 19 及 20 題 的 難 度 指 數 較 高 , 其 難 度 指 數 分 別 為.953、.922、.938、.985、.985、.937、.828、.907、.922 及.907。
再從鑑別度指數來看,鑑別度較低的題項有 10 題,分別為第 1、2、
3 、 4 、 5 、 8 、 13 、 18 、 19 及 20 題 , 其 鑑 別 度 指 數 分 別 為.094、.156、.125、.031、.031、.135、.062、.187、.156 及.187,其餘題
項均有不錯之鑑別度。
84
85
86
參考黃政傑(1999)所提及成就測驗的編製,首先應根據試題分析 的結果,將鑑別度較高的試題選出,依據表 3-5-4 作為參考;其次,應就 鑑別度所選出的試題,依其難度指數選出適中者,對於多數成就測驗而 言,難度指數以接近.5 最為適宜,不過,要找到所有題目 P 值都接近.5 實際上有困難,故有學者主張難度選擇在.2 至.8 為宜(王文科,1995);
最後,應檢查鑑別度與難度指數篩選出符合要求的試題。因此,研究者 依照上述指標進行篩選,預試試題需符合鑑別指數.20 以上以及難度介 於.2 至.8 之間兩個條件才入選,經篩選之結果符合條件的試題共 31 題,
整理如表 3-5-5。
表 3-5-4 試題的鑑別度指數與優劣之評鑑
鑑別指數(D) 試題評鑑
.40 以上 非常優良
.30~.39 良好,使能修改更佳 .20~.29 尚可,仍需修改 .19 以上 劣,必須淘汰 資料來源:出自黃政傑(1999,頁 121)。
表 3-5-5 符合鑑別指數.20 以上以及難度介於.2 至.8 之間之試題題號表
第一章 第二章
鑑別指數.20 以上以及難 度介於.2 至.8 之間
1、2、3、4、5、6、7、8、
9、10、13、14、17、21、
22、23、24 共 17 題
6、7、9、10、11、12、14、
15、17、21、22、23、24、
25 共 14 題
87
試題選出後,應根據測驗的目的與性質,並考慮受試者的作答心理 反應方式,加以合理的安排,通常的編排原則是先按試題的型式分類,
同類型的題目編排在一起,然後再參照試題的難度由易而難排列之(黃 政傑,1999),本預試試卷之設計題型包括填充題及選擇題兩類,因此,
針對符合鑑別指數.20 以上以及難度介於.2 至.8 之間之試題,獲選試題之 難度指數介於.301 至.781、鑑別度指數介於.280 至.871,依照題型及難度 指數進行順序編排,以完成成就測驗評量試卷;此外,試題的難度與鑑 別度的複核(cross validation)是測驗編製過程中的重要工作,為考驗選 出的試題性能是否真正符合要求,需再測一次,根據其結果進行試題分 析,再作進一步修正或刪除或保留試題(黃政傑,1999);研究者對三個 班級共 102 位學生進行再測之結果如表 3-5-6。
由表 3-5-6 的難度指數中可以發現:31 題試題中有 5 題屬於非常容 易作答(P>.80),另外,沒有非常難的試題(P<.20),試題的答對率多 數為 67%上下,試題的難度指數均在.67 上下,其中以第 6、8、11、19 及 26 題的難度指數較高,其難度指數分別為.834、.853、.889、.816 及.838。
再從鑑別度指數來看,鑑別度較低的題項有 2 題,分別為第 7 及 26 題,其鑑別度指數分別為.189 及.176,其餘題項均有不錯之鑑別度,因此,
研究者將依照難度及鑑別度之結果篩選題項,符合鑑別指數.20 以上以及 難度介於.2 至.8 之間之試題方列為獲選試題,必須刪除之試題為第 6、7、
8、11、19 及 26 共 6 題,最後,依照難度由易而難再整合為一份題數共 25 題之試題(詳附錄二 成就測驗評量試卷)。
88
89
表 3-5-6 第一章~第二章 再測試題分析之難度與鑑別度指數摘要表(續)
第 30 題 0.607 0.111 0.359 0.496 第 31 題 0.857 0.630 0.744 0.227
本成就測驗評量試卷主要用來檢定實驗組及控制組兩班學生在「人 口」及「第一級產業」單元的基本能力是否有顯著的差異性,於試卷編 製之初,研究者參考新版認知教學目標分類的內容及五個主要的地理學 概念編列,測驗題目可能包含兩個以上的概念,但為求考驗學生的學習 成效,研究者以主要測驗出的概念為主,將成就測驗中的五個概念,分 別為位置、地方、人與環境的互動、遷移及區域,茲列出此份試卷之試 題分佈表如表 3-5-7 所示。研究者商請任教學校校內兩位實務工作者,即 現任地理科教師根據各試題所屬之認知歷程向度、知識向度及五個主要 的地理學概念逐一檢視,進行效度的審查與修訂,參酌題項內容及概念 適切與否給予意見,使此份成就測驗評量試卷具專家效度,之後編製為 本研究之評量工具。
90
91
二、 電腦簡報之設計與編製
第一章「人口」單元的主要設計是將人口之課程內容與時事結合,
運用新聞、報章雜誌及小故事之資料協助學生理解相關概念,這些資源 對於課程而言是生活的工具書,期盼學生能透過時事資料的閱讀來判斷 新聞畫面或文本內容所傳達之意涵,包括圖片中有甚麼?主角是誰?他 們在哪裡?事件發生的原因為何?圖片中的狀況為何?學生將可透過這 些判讀更關心生活週遭的變化,也能夠與世界接軌,並幫助學生建立觀 察、閱讀及發表的能力(Maxin,2003);而第二章「第一級產業」之主要 設計是將生活化的素材運用於教學設計,將平日隨處可見的畫面紀錄於 數位教學媒體,讓學生除了教科書的資料之外,更能夠透過這些照片或 圖片吸引學生注意力、貼近生活並增加學生的學習動機(詳附錄一 電腦 簡報之設計與編製),因此,本自編課程之特色主要運用大量圖像資料以 加強課程設計,配合地圖能力五大面向充分運用圖像,並自繪圖片補充 教學內容,訓練學生讀圖能力之培養,培養學生問題解決之能力,包括 生活中真實情境之圖像呈現,如地方消息、報章雜誌或新聞畫面,可達 生活化地理之教學理念;另外,研究者於電腦簡報之設計中亦有自行繪 製之示意圖以輔助說明教材內容,使抽象化的教材轉為視覺化的教材;
而投影片中的畫面呈現亦留意色彩之安排、頁面的配置及協調性以吸引 學生注意,幫助引起學習動機;藉此自編課程讓視覺化的教材設計提供 更具體的幫助,以視覺材料搭配教學方法與技巧達理想之學習效果。以 下列出各單元的電腦簡報設計之架構簡介如圖 3-5-1 及圖 3-5-2。
三、 學習訪談綱要
92
為了解學生的學習情形,研究者針對實驗組及控制組之學生,於教 學結束之後,每組各隨機抽取六位學生進行訪談,每組以成就測驗成績 低、中、高各取二人,分組方式以前 27%定義為高分組,後 27%定義為 低分組,訪談過程以錄音方式記錄對話過程,再將錄音內容轉成逐字稿,
藉此了解學生學習感受。訪談重點如下:
1. 上完這個單元對課程內容的理解程度如何?評估自己的學習成效如 何?
2. 這個單元出現的圖像資料,讓你印象最深刻的是甚麼?為什麼?
2. 這個單元出現的圖像資料,讓你印象最深刻的是甚麼?為什麼?