第三章 研究方法
第四節 研究工具
本研究的研究工具包括自編歷史思維能力測驗、四個單元的個人圖像化思考 單、兩個單元的統整課程學習單、活動回饋問卷以及採用陳妍岐(2012)的歷史 學習態度量表。分別說明如下:
壹、歷史思維能力測驗
本研究是屬於自編測驗,參考劉慶忠(2007)、Norris 和 Ennis(1989)和吳 翎君(2004)等人的歷史思維的具體目標來設計問題,以題組的方式呈現問題,
回答方式採選擇與簡答的方式回答。由於會實施前、後測,因此會編制兩份複本 測驗進行施測。在測驗範圍上則是挑選具有多元面向的歷史事件為主題中心進行 試題設計,如:民國初年新文化運動和中日戰爭中汪精衛的立場。前測成績將作 為後測之共變項,用以排除兩組間的歷史差異。
同時為了確認此測驗中的試題的效度,因此會請 2 位現任高中歷史科教師進 行專家效度的審核,確保試題與歷史思維具體目標能相互吻合,詳情請見「二、
預試結果與討論」最後一段。以下將針對歷史思維能力測驗的擬題、預試結果與 討論和評分標準進行說明。
一、擬題
本測驗主要是針對高一學生進行設計的,透過此測驗了解學生歷史思維能力。
為了確認學生是否能將所學遷移至新的情境,但又不會因為主題轉換過大,造成 學生因為閱讀理解能力而影響到歷史思維能力的作答。因此在試題的設計上,選 擇與學習單元所培養的能力有關,但不同的文本供學生閱讀,最後再根據歷史思 維的內涵與內涵下的指標設計歷史思維能力試題。
然而,由於劉慶忠(2007)、Norris 和 Ennis(1989)和吳翎君(2004)等人 所制定的歷史思維的具體目標並非專為多文本設計的,因此本研究在設計試題時,
會改以多文本的形式進行編制。且研究者認為文獻中所劃分的歷史思維具體目標 有些仍屬於相當記憶型的知識,例如「能判斷歷史資料的正確性及適用性」和「能 指認出歷史文件或敘述的作者或來源」皆需要有一定的背景知識才能進行判斷,
無法只藉由文本的訊息進行回答。而有些目標非常相近,例如:「推論和判斷歸 納的結論」和「推論和判斷演繹的結論」基本上都要求學生在作推論時,須有一 定的邏輯性規則。不是從事實中找出共通的概念,就是利用概念找出事實。雖然 思考的方向不同,但皆是在進行推論。因此在相近的目標中,只會從中選擇一項 目標作為本研究歷史思維能力的具體目標。在歷史神入的部分,雖然有具體的目 標,但其涵蓋範圍相當廣,在其他歷史思維的具體目標中皆可看到歷史神入的影 子,因此將歷史神入作為評分標準的參照。
根據上述原則,本研究從文獻中挑選適合多文本且與本研究相符的歷史思維 具體目標作為本研究歷史思維能力的具體目標。本研究所挑選的歷史思維能力的 具體目標為「能了解歷史資料之間的因果關係」、「能運用歷史資料形成假設」、「推 論和判斷歸納的結論」、「應用邏輯原則解釋何以如此做結論」、「能指認出歷史敘 述所討論的中心議題」和「尋找歷史證據以評估歷史學家的主要爭論」。以下將 分別說明歷史思維具體目標的概念性出題原則:
(一)能了解歷史資料之間的因果關係:與此目標相對應的試題概念為為了瞭解 學生能否透過文本間的對比,從中找出事件間的因果關係。因此在出題時,
就會要求學生找出事件的原因或所造成的結果。為了確認學生是否真的懂 得事件間的因果關係,也會將錯誤的原因和結果放入選項中,做為誘答的 選項。
(二)能運用歷史資料形成假設:與此目標相對應的試題概念為學生能否以文本 間的訊息為依據,對於過去人們的想法或事件進行合理的假設。
(三)推論和判斷歸納的結論:與此目標相對應的試題概念為學生能從文本間複 雜的資訊中,歸納出特定概念或觀點。
(四)應用邏輯原則解釋何以如此做結論:與此目標相對應的試題概念為學生能 夠有系統性,並能依據歷史脈絡來回答問題。
(五)能指認出歷史敘述所討論的中心議題:與此目標相對應的試題概念為學生 能從資料中,找出文本間的核心主旨。
(六)尋找歷史證據以評估歷史學家的主要爭論:與此目標相對應的試題概念為 學生能從所提供的文本資料中,找出證據來評述歷史學家所提出的觀點。
綜上所述,本研究以上述的歷史思維具體目標進行命題。在評量的題型設計 上,主要分成選擇題與簡答題兩種題型。設計選擇題的原因有兩個,第一、該題 目具有較明確的標準答案;第二、為了減輕學生作答上的負擔。設計簡答題的原 因則在於了解學生的思考方式,以及對於證據的掌握能力。
二、預試結果與討論
為了瞭解「歷史思維能力測驗」的前測與後測的難易度與鑑別度,故於 2017 年 7 月進行預試。預試對象為高二升高三的自然組學生。雖然高二升高三的學生 在閱讀量和知識量都高於高一的學生,但是本測驗主要是在了解學生的歷史思維 能力,因此在進行預試的過程中,學生相對較不會因閱讀理解能力而影響到歷史 思維能力的展現,如此將可以合理推估至高一學生的作答情形。
由於「歷史思維能力測驗」共有前測和後測兩份試卷,因此預試對象為兩個 高二升高三的班級,以下分別稱為高三 A 班和高三 B 班。高三 A 班共三十三人,
為前測的預試對象;高三 B 班共四十人,為後測的預試對象。之所以挑選此兩 班作為預試對象,主要是因為此兩班的學生在段考中的歷史科平均相當接近,具 有同質性。在預試測驗的部分,由於前、後測試卷接分成選擇題和簡答題兩個部 分,以下將分別進行說明。
(一)選擇題
在選擇題的題數上,前測與後測的選擇題皆為三題,以下將分別說明難度與 鑑別度的計算方式。難度計算方式為高分組的平均數與低分組的平均數相加除以 二;鑑別度的計算方式則為高分組的平均數減低分組的平均數。關於高分組與低 分組的學生組成,分別是從測驗總分分數的前百分之二十七與後百分之二十七的 學生進行挑選。
關於前測的選擇題的難度和鑑別度可以參照表 3-4-1。從表中可以發現三題 選擇題的難度大約落在 0.4~0.7 之間,鑑別度也皆在 0.3 以上。因此在難度方面,
前測試題算是中等難度;在鑑別度方面,郭生玉(2010)指出鑑別力可接受的最 低標準為 0.25 以上,因此前測的鑑別力尚可。
表 3-4-1 前測選擇題的難度與鑑別度
第一題 第二題 第三題
難度 鑑別度 難度 鑑別度 難度 鑑別度 0.39 0.56 0.725 0.33 0.61 0.34 資料來源:研究者自行整理
在後測中選擇題的難度與鑑別度可以參照表 3-4-2,三題選擇題的難度約落 在 0.6 上下,表示後測選擇題的難度適中。在鑑別度方面,皆在 0.25 以上,皆符 合郭生玉(2010)對鑑別力要求的最低限度,因此後測 3 題的鑑別度仍為尚可。
表 3-4-2 後測選擇題的難度與鑑別度
第一題 第二題 第三題
難度 鑑別度 難度 鑑別度 難度 鑑別度 0.64 0.37 0.59 0.28 0.64 0.37 資料來源:研究者自行整理
(二)簡答題
此部分主要採質性分析,觀察學生作答情形以調整題目內容,以下將分成前 測與後測兩個部分進行說明:
在前測的部分,由於簡答題作答區的設計是給學生一個相當大的空白框供學 生作答,但學生則誤以為要將整個空白框寫滿,因此就直接放棄作答。為了避免 學生再次產生恐慌,故在題目最後方特別註明建議的作答字數。在作答區的部分,
則是明確畫出作答的行數,以取代空白框來暗示學生作答的長度,同時也可藉此 限制學生的作答時間,避免學生因特別著墨於某一題而沒時間寫其他的題目。
在第五題和第六題的部分,題目的開頭皆為「根據上述資料」,但因沒有註 明是指哪篇文章,因此學生在作答時是隨意挑一篇文本的內容進行作答,而不是 統整所有的文本內容進行作答,因此將敘述更改為「根據上述四篇資料」,明確 說明作答時應參照的文本。
在後測的部分,作答區與前測有一樣的問題,故也進行修正。另外在題目的 呈現上,第五題由於題目只要求學生寫出歷史人物的心理感受,因此學生也只寫 出感受的部分,卻沒有說明歷史人物為什麼會有這樣的感受,故在真正後測試題 的部份特別插入「為什麼?」的字眼,並在試題尾端特別提醒學生要根據資料提 出相關證據。關於前測與後測試題的最後修訂版可以參照附錄。
透過預試的確可以了解學生對於試題的反應以進行修正,但試題能否真正測 得學生的歷史思維能力則需檢驗試題的效度。在本研究中主要是透過專家效度進 行檢驗。本研究邀請 2 位現任專家教師針對試題與歷史思維能力指標的對應性進
行檢核,檢核結果為前、後測試題與歷史思維能力指標完全相互對應。當確定好 試題後,接下所關心的就是如何評分,尤其是簡答題的部分,以下將針對這個部 分進行詳細說明。
三、評分標準
在批閱試卷時,為增加評分者信度,將提供歷史思維能力的評分標準,給閱 卷者參考。在評分方式上,選擇題答對獲得 1 分,答錯則得 0 分;簡答題的部分
在批閱試卷時,為增加評分者信度,將提供歷史思維能力的評分標準,給閱 卷者參考。在評分方式上,選擇題答對獲得 1 分,答錯則得 0 分;簡答題的部分