研究工具與信效度考驗

本研究以內容分析法探討國中教育會考 2014 年至 2021 年的地理試題。以下 就研究工具、信效度考驗以及資料處理與分析三個部份說明：

一、研究工具

本研究首先選取社會科中的地理試題，依年、題號予以編碼，將試題分為題 幹、選項，並將答案、通過率等彙整為研究基礎資料如附錄一；再將試題依命題 範圍、認知歷程向度、試題型態等三部份進行分析及探討。

在命題範圍的部分，本研究以「臺灣區域」、「中國區域」、「世界區域」

為主類目，「自然地理」、「人文地理」、「環境地理」為次類目，發展國中會 考地理科試題編碼表（如表 三-2），做為命題範圍分析的基礎。

表 三-2

國中會考地理試題編碼表 主類目 次類目 編碼 項目

臺灣 自然 T1 臺灣的位置與範圍、自然環境（地形、氣候、河流、海 岸與島嶼）

人文 T2 臺灣的人文環境（人口、聚落、交通）、產業、區域發 展特色

環境 T3 臺灣的環境問題與保護

中國 自然 C1 中國的自然環境（位置、地形、氣候）

人文 C2 中國的人口、產業（與臺灣／世界的互動）、區域特色 的形成（與聚落、交通、人口的關係）

環境 C3 中國的環境與資源問題

世界 自然 W1 東北亞、東南亞、南亞、西亞與中亞、俄羅斯、歐洲、

北美洲、中南美洲、大洋洲、兩極地區的自然環境（氣 候對產業的影響）

人文 W2 東北亞、東南亞、南亞、西亞與中亞、俄羅斯、歐洲、

北美洲、中南美洲、大洋洲、兩極地區的產業發展、族 群與多元文化、人口問題、產業發展、人類活動、政治 與產業、政治紛爭對全球影響、現代文明，全球經濟議 題

環境 W3 全球環境問題

註：整理自國民中小學九年一貫課程綱要，教育部，2008。

29

30

表 三-3 中的項目包括基本概念與臺灣、區域特色、地理議題、問題探究等主 題項目，依國中會考地理試題編碼表的主、次類目予以分類，以探討會考試題與 新課綱各主題之間的連結。其中，如項目敘述內有臺灣、中國或大洋洲、東南亞 或歐洲等世界區域之名稱者，即將其分類至臺灣、中國或世界等主類目；項目敘 述文字有自然環境、地形、氣候等內容劃分為「自然」次類目，如有人口、文化、

經濟發展等內容則歸類於「人文」次類目，環境衝擊、保育等內容則劃分於「環 境」次類目中；新課綱中「田野觀察」之主題項目主要是引導學生觀察環境、使 用工具、思考表達的教學活動，以兼重學習歷程與結果的多元評量為主，因此不 列入以紙筆測驗為主的會考試題類目分析。

二、效度考驗與信度檢定

（一）效度考驗

研究者與兩位專家針對國中地理科試題編碼表主類別與次類別的劃分進 行討論，以下就研究者的背景、專家背景和研究者的教育訓練加以說明。

1.研究者背景

研究者為國立臺灣師範大學地理系畢業，迄今邁入教學第十四年，擔 任過專任教師、導師，並在完全中學兼職教學行政教師；在教學過程中曾 任教國一至國三的課程，有實際撰寫九年一貫課程綱要及十二年國民基本 教育課程綱要課程計畫及地理教學的經驗。

2.專家背景

以研究者任教學校的兩位地理教師擔任專家，進行研究試題的探究與 討論，其背景如下：

（1）A 師：女性，33 歲，國立臺灣師範大學地理系畢業，任教十年，

現今擔任兼職行政教師，教授高二、高三地理課程，有實際撰寫十二 年國民基本教育課程綱要課程計畫及教學經驗。

31

32

33

（二）信度檢定

本研究使用內容分析法的分析者信度（analyst reliability）檢核方式（王 文科，2014），兩位評分員以獨立自主的立場共同分析資料，在同一時間所 得的一致性即為本研究的信度；評分者間信度愈高，表示內容分析的結果愈 一致；若評分者間信度愈低，則表示內容分析的結果愈不一致。因此本研究 邀請兩位現職高中地理教師為評分員，以及研究者共三人，以「相互同意值」

進行「評分者一致性」的信度檢定，其過程和步驟如下（徐偉民、徐于婷，

2009）：

1.樣本選擇：為符合研究目的採取立意抽樣（purposive sampling），以 2021 年國中教育會考的地理科試題作為檢核樣本。

2.效度考驗：由研究者向兩位評分員說明試題內容分析之初步編碼表的分 類方式，針對編碼表進行問題討論與釐清，並對疑義項目進行溝通與修 正。

3.試題分類：研究者與兩位評分員各自獨立將 2021 年國中會考地理科試題，

依據編碼表進行試題之類目分析。

4.信度計算：將試題分類之結果利用下列公式進行計算。

（1）相互同意值（pi）

pi

=

N₁+N₂

M：兩人共同同意項目數 N_i：每位評分員評定的項目數

（2）評分者信度（r）

r

=

1+[(n−1)𝑝]

n：評分員人數 p：平均相互同意值

34

信度檢定結果呈現如表 三-6，平均相互同意度為 0.92，評分者信度為 0.97，

達研究工具之信度係數需介於 0.67 至 0.8 之間的檢驗標準（王文科，2014）。

表 三-6

2021 年國中教育會考地理科試題類目分析信度檢定結果

評分員 A B

B 0.95

研究者 0.90 0.90

註：平均相互同意值 p=0.92，信度 r=0.97 三、資料處理與分析

（一）資料處理

1.分析單位：本研究以試題為研究單位，首先擷取題幹、選項，並彙整答 案、通過率數據整合為研究基礎資料。

2.編號說明：本研究以「年─題號」的順序將試題編號，例如 2014 年的第 1 題，其編號即為 2014-01；各年試題以 Google 表單編製示例如附錄二，

連結如表 三-7 所列。

表 三-7

2014-2021 年國中教育會考地理試題編碼表連結 年 Google 表單連結

2014 https://forms.gle/Za1snS7YWPAQpVFR9 2015 https://forms.gle/dHbUjPpwpQPJdwzT8 2016 https://forms.gle/kePXms475iTF89yLA 2017 https://forms.gle/pzxVyyJvpV6XUCvT6 2018 https://forms.gle/LJ5nHnUPBYV7K8zm6 2019 https://forms.gle/cR81b3TCQJAestqB8 2020 https://forms.gle/XFvYqsT5mrVyYWMk8 2021 https://forms.gle/XWXPGgcYkyCo7vE5A 註：研究者自行編製。

35

3.編碼原則：本研究以研究者及編碼員進行試題類別判斷為量化數據進行 統計的項目有「命題範圍」，「認知歷程向度」、「試題型態」則由研究 者進行分類，詳細編碼原則說明如下。

(1)命題範圍：

主類目：臺灣區域、中國區域、世界區域。

次類目：自然地理、人文地理、環境地理。

試題涵蓋兩者以上之類目，可予以多重編碼。

(2)認知歷程向度：

記憶：從長期記憶中檢索相關知識，例如再認、回憶。

瞭解：從口頭、書寫和圖表溝通的訊息中建構意義，包括詮釋、

舉例、分類、摘要、推論、比較、解釋等歷程。

應用：在某情境中執行或使用程序，包括執行、實行的過程。

分析：將材料分解成其組成部分，並指出這些部分之間及其與 整體結構或目的之間的相互關聯，例如區辨、組織、歸因。

評鑑：根據規準與標準做判斷，例如檢查、批判。

創作：將各個元素組裝在一起，形成一個完整且具原創性的作 品，包括通則化、規劃、製作的歷程。

(3)試題型態：

簡述題：以簡明扼要的文字敘述構成題幹的試題，主要測量學 生記憶、理解或分析所具備的地理知識能力。

情境題：將所學到的概念用日常生活或時事的實際情境加以敘 述，藉以測量學生對情境中的事物、行為或現象的瞭解，以及能

36

否以所學概念解決情境中的問題。

圖表題：依據各種圖或統計表，編擬一系列題目測量學生正確 分析和解釋圖表的能力，包括確認結論的正確性、資料間的關係、

資料的應用，以及評鑑假設和推論的合理性。

地圖題：根據地圖編擬試題，可以測量學生閱讀地圖和理解地 圖的能力。

（二）資料分析

1.命題概念之量化分析：以 Microsoft office Excel 為統計工具，進行主類 目臺灣區域、中國區域、世界區域以及次類目自然地理、人文地理、環境 地理的次數及百分比計算；若試題分屬兩種以上類目，則兩種類別分別計 算。

2.認知歷程向度之量化分析：以 Microsoft office Excel 為分析工具，計算 試題在記憶、瞭解、應用、分析、評鑑、創作等向度的次數及百分比。

3.試題型態之量化分析：以 Microsoft office Excel 為分析工具，計算試題 在簡述題、情境題、圖表題、地圖題的次數及百分比。

37