研究工具與信效度考驗

本研究透過內容分析法，分析大學入學考試地理科試題分析—2009 年至 2013 年為例。以下就研究工具、劃記方式及研究的信度與效度以及資料處理與分析探 討之，分述如下：

一、研究工具

為完整呈現大學學科能力測驗及指定科目考試地理科試題分析研究，本研究 建立初步分析類目表，並經過專家效度檢定，調整初步分析類目表有二：

1.以95暫綱和99課綱的課程綱要之內容以主題方式分析，由於95暫綱和99暫綱的 章節內容、順序、冊別分布均有明顯差異，為了便於分析主題，本研究根據過去 課程大綱的演變，依照課程大綱內容作出以下研究主題分類，共分為三大主分類

（通論地理、區域地理、應用地理），以及十個次分類（表3-3、3-4），並說明 次類目表中所包含的項目（表3-5）作為本研究主題分析的基礎。

2.以布魯姆認知目標分類修訂版為主，包含知識向度和認知歷程向度的主類目與 次類目，如表3-6所示。

表3-3

學測地理科課程單元之分布比例

主類別 次類別 題數 比例（％）

通論地理 地理資訊 自然地理 人文地理 地理實察 區域地理 世界地理 臺灣地理 中國地理 鄉土地理專題

註：修改自102學科能力測驗社會考試說明。大學入學考試中心，2011，臺北市：

大學入學考試中心。

表3-4

類別 次類別 95暫綱 99課綱

表3-6

二、劃記方式

本研究分析對象主要以 2009~2013 年大學學測及指考地理科試題為主。其劃 記方式說明如下：

（一）主要劃記規則

每一個題目中，僅出現單一主題，則在其所的類目中劃記一次。

（二）重疊部分

每一個題目中，傳達不相同的主題，皆各劃記一次方式。如某題若包含兩個 主題，則各類目皆劃記一次。

三、專家效度與信度

本研究探討大學入學考試地理科試題分析—2009 年至 2013 年，其專家效度與 信度考驗如下。

（一）專家效度考驗

質性研究是以研究者為主要研究工具，包括資料蒐集、分析，都是在主觀的 狀態下進行（Ely、Anzul、Friedman、Garner & Steinmetz,1997；Patton,1990），因 此研究者的素養會影響到資料的分析的品質與結果，並為了使資料分析更加確 實，研究者會輔以兩位專家針對劃定主分類與次分類進行討論（參見附錄一專家 問卷），以下就研究者的背景、專家背景和研究者的教育訓練加以說明。另外，

參考大考中心所出的分年試題分析，其中民國2009年到2011年的試題分析有作簡 單的認知層次分類，將試題分為記憶、理解、高層次，逐題進行反覆斟酌及對照，

以增加分析的效度。

1.研究者背景

研究者為國立嘉義大學教育系中等教育組，並輔修地理系畢業。迄今已教學 滿七年整，擔任過導師與專任教師，並帶領學生參加地理奧林匹克競賽進入全國 決賽獲佳作；在教學過程中從高一至高三（包含社會組與自然組）均有教授，其 84課綱、95暫綱及99課綱高中地理科的實際教學實施均有參予。

2.專家背景

以研究者任教學校的兩位教師擔任專家，協助研究者針對疑慮試題進行探究 和討論，而其背景如下：

A 師：女性，29 歲，彰化師範大學教育研究所畢業，輔修地理。任教年資五 年，擔任導師，教授高一地理，其 95 暫綱及 99 課綱高中地理科的實際教學實施 均有參予。

B 師：男性，29 歲，臺灣大學地理環境資源研究所畢業。任教年資三年，擔 任地理科專任教師，教授高一至高三地理（包含社會組及自然組），其 95 暫綱及 99 課綱高中地理科的實際教學實施均有參予。

3.研究訓練

在研究所的學習中，研究者在研究所一年級上學期修習「教育研究法」，在 課程訓練下，讓研究者對於研究方法有更深的了解；研究所一年級下學期修習「質 性研究」，並多次以質性研究撰寫報告，了解質性分析和詮釋；並在研究所二年 級修習「行動研究」，期間也以解決實務教學工作並提升教學品質實際實施統整 教學並撰寫報告，亦提升研究者的專業知能。也為了提升論文撰寫的知識能力，

研究者也參閱國內外的期刊和碩博士論文和書籍，以增進研究者的研究方法及研 究能力。

再者，依專家提供修改意見，修訂評判指標，以確定內容分析類目表。針對專家 的建議加以修改，並重整建構出適合本研究之分析類目表，類目表之效度分析如 表 3-7 所示。

表3-7

主類別 次類別 專家 A 專家 B 同意百

3.研究者將類目表、類目定義及信度檢驗表給予 2 名評分員，並說明劃記方式。

（b）研究者信度（Rj）

Rj=1 Pj Pj 2



根據上述公式計算，所得之相互同意度及信度值如下表 3-9、表 3-10、表 3-11、

表 3-12 所示。

表 3-9

學測地理科類目相互同意值一覽表

評分員 A B 研究者

A - 0.950 0.925

B - - 0.900

研究者 - - -

平均相互同意度=0.925 評分員信度：0.974 研究者信度：0.954 表 3-10

指考地理科類目相互同意值一覽表

評分員 A B 研究者

A - 0.895 0.895

B - - 0.947

研究者 - - -

平均相互同意度=0.912 評分員信度：0.969 研究者信度：0.959 表 3-11

學測地理科試題知識向度與認知歷程向度分布相互同意值一覽表

評分員 A B 研究者

A - 0.850 0.850

B - - 0.900

研究者 - - -

平均相互同意度=0.875 評分員信度：0.955 研究者信度：0.933

表 3-12

指考地理學科試題知識向度與認知歷程向度分布相互同意值一覽表

評分員 A B 研究者

A - 0.842 0.895

B - - 0.842

研究者 - - -

平均相互同意度=0.869 評分員信度：0.952 研究者信度：0.930

內容分析的信度若有 0.8 以上可算信度很高（楊效榮，1981）。由上述信度考 驗結果，學測地理學科類目部分之信度為 0.972，研究者信度為 0.961；指考地理 學科類目部分之信度為 0.969，研究者信度為 0.954；學測地理學科知識向度與認 知歷程向度部分之信度為 0.955，研究者信度為 0.933；指考地理學科知識向度與 認知歷程向度部分之信度為 0.952，研究者信度為 0.930。符合內容分析的信度應 在 0.8 以上的要求。