研究的信效度

壹、信度

內容分析法中的信度分析是指測驗研究者內容分析之類目及分析單位，是否能 夠將內容歸入相同的類目中，並且使所得結果一致，一致性愈高，內容分析的信度 也愈高；一致性愈低，內容分析的信度也愈低。因此，信度會直接影響內容分析之 結果（歐用生，1991）。信度即可靠性（ trustworthiness ）， 是指測驗結果之一 致性（consistencies）或穩定性（stability），而內容分析中的信度是單位分派 給類目時，評分員間達到一致性的程度，如果評分員對所有單位的同意度完全一致，

則代表信度高，如果評分員間的一致性完全憑機運，偶而一致，偶爾不一致，則絲 毫沒有信度可言（王石番，1991）。據此，本研究邀請了三位評分員連同研究者共 四位，共同來進行本研究主題類目及策略之信度檢驗，進行步驟如下：

一、抽取檢定樣本

本研究之研究範圍主要以 2010 年康軒版與翰林版等兩個版本之國民中學社會 領域教科書，研究者將每個版本視為一個層次，採用分層隨機抽樣方式抽取樣本。

2010 年康軒版國民中學社會領域教科書共六冊 102 章，隨機抽取 9 章；2010 年翰 林版國民中學社會領域教科書共六冊 102 章，隨機抽取 9 章。兩個版本總計 204 章

（課），共抽取 18 章（課）作為信度分析對象。

二、評分員

本研究邀請三位評分員連同研究者共四位進行信度檢定，為提高研究品質，此 三位評分員皆為熟悉國中社會學習領域課程之國中社會科教師，評分員之代號及背 景資料如下表 3-4-1。

表 3-4-1 評分員背景資料說明表

評分員代號 背景資料 教學年資

A 現任國中歷史教師，國立臺灣師範大學歷史學系畢

業，雲林虎尾科技大學資訊管理研究所畢業。 15 年

評分員代號 背景資料 教學年資

B

現任國中公民教師，國立臺灣師範大學公民與訓育學 系畢業，國立臺灣師範大學公民教育與活動領導研究 所課程修畢。

15 年

C 現任國中地理教師，國立高雄師範大學地理學系畢

業，國立彰化師範大學地理研究所課程修畢。 11 年

三、信度分析工作之步驟

(一)說明：研究者對三位評分員說明類目的定義、分析單位與類目分析表的劃記方 式。

(二)歸類：評分員間針對問題加以溝通與釐清後，則獨立進行類目分析表的歸類。

並請三位評分員，同時看社會學習領域公民、歷史、地理三冊，才不會形成 以研究者的信度為主。

(三)計算：利用公式，並根據歸類的結果進行信度的計算。

1.相互同意度：

依歸類之結果，計算信度，公式如下（楊孝濚，1987）： 求相互同意度 =

2𝑀

𝑁

+𝑁

N1：第一位評分員應有的同意之數目 N2：第二位評分員應有的同意之數目

求信度＝

n∗平均相互同意度 1+[(n−1)∗平均相互同意度]

求研究者相互同意度＝

研究者與其他評分員間相互同意度

n−1

求研究者信度

＝ _{1+研究者相互同意度} ^{2∗研究者相互同意度}

依預試之結果各類目之相互同意度及信度結果如下：

1、「國家認同內涵」主題類目：

表 3-3-4 國家認同內涵主題類目評分員相互同意度一覽表

信度為 0.92 ，研究者信度 0.90

2、「國家認同內涵」策略類目：

表 3-3-5 國家認同內涵策略類目評分員相互同意度一覽表

信度為 0.87 ，研究者信度 0.82

信度愈高代表將內容歸入相同類目的一致性高，就本研究而言，信度採以 0.80 以 上為標準，結果顯示此主題類目及策略類目皆符合本研究所需。

貳、效度

王石番（1991）認為用來檢視內容分析效度的方法很多，有評審團法（jury）、

已知團體法（known-group）、獨立效標法（independent-criterion ）、建構效度 評分員 A B C 研究者

A ＊ 0.62 0.69 0.77 B 0.62 ＊ 0.71 0.86 C 0.69 0.71 ＊ 0.79 研究者 0.77 0.86 0.79 ＊

評分員 A B C 研究者 A ＊ 0.50 0.70 0.70 B 0.50 ＊ 0.40 0.70 C 0.70 0.40 ＊ 0.70 研究者 0.70 0.70 0.70 ＊

（construct-validity）和預測效度（predictive- validity）等。評審團法是由 研究者延攬針對研究問題獨到見解的專家多位，評斷研究設計、變項定義、抽樣方 法等研究過程，適時提出看法，改進研究品質。

本研究採用評審團法檢測效度，由研究者與三位評分員根據課程標準綱要，輔 以過去教學經驗及文獻探討心得進行訂定類目，依據各學者對國家認同內涵的看法 及過去相關研究的國家認同類目加以修改而成之外，並請益指導教授及二位對公民 教育課程素有研究的大學教授共同審閱，討論分析類目的適用性、含有之概念及說 明，加以修正，故應能符合本研究的需要。

參、資料處理

本研究在內容分析上可分為兩部分：一為量化分析，另一為質的分析。

一、量化的分析

利用次數分配、百分比描述國中社會領域教科書中整體上不同版本的分數的分布概 況。

二、質的分析

根據量的分析，引用教科書有關分數教材的單元內容，並加以逐類目分析說明。