信度與效度

一、信度檢定

內容分析法中所謂信度分析係指測量研究者利用內容分析之類目與分析單 元，是否能妥善將內容歸入相關的類目中，且能得到一致的結果(楊孝濚，1989）。 內容分析法的信度直接影響內容分析的結果(歐用生，1996)，所以信度檢定是內 容分析法中非常重要的步驟。本研究的信度分為評分者信度和研究者信度兩項，

詳述如下：

(一)信度公式

計算信度的公式如下(楊孝濚，1989；郭生玉，2000)：

相互同意度 = 2M / (N1 + N2) M:完全同意之數目

N1:第一位評分者應有的同意數 N2:第二位評分者應有的同意數

平均相互同意度(P) = 相互同意度總和 * 2(n-2)! / n!

n:評分員人數

評分者信度 = n * 評分者平均相互同意度 / [1 + (n–1)*評分者平均相互 同意度]

n:評分員人數

研究者相互同意度 = 研究者與其他評分者間相互同意度的平均 n:評分員人數

研究者信度 = 2 * 研究者相互同意度 / (1 + 研究者相互同意度)

(二)信度結果

本研究在進行分析工作之前，研究者先選擇歷年基測、聯測部分試題，歸類

42

於適當的能力指標項目，並將每一項能力指標依序舉出一個相對應的試題範例，

若該能力指標項目無合適的試題，則由研究者自行設計，並整理成「評分者信度 評鑑表」，詳見附錄 2。再諮請研究者任教學校四位具有多年教學經驗的資深自然 科教師，擔任評分者，以協助評鑑所列舉的範例是否適當。四位評分者依評鑑表 回收的時間先後依次編號為 A、B、C、D，其學、經歷依次如表 3-3：

表 3-3 評分者背景資料

評分者 專業科目 學歷 自然科教學經歷

A 生物 國立臺灣師範大學生物學士

國立高雄師範大學特教碩士 十六年

B 物理 私立淡江大學物理學士 二十八年

C 化學 國立彰化師範大學化學學士 二十六年

D 物理 國立臺灣師範大學物理學士 三十年

評分者評鑑表中所列舉之試題範例，經由四位評分者評鑑所列舉範例是否適 當，並將結果整理成表3-4，計算評分者信度及研究者信度如下：

表3-4 評鑑結果統計表

相互同意度 A B C D

B 0.79

C 0.85 0.88

D 0.76 0.76 0.82

研究者 0.91 0.88 0.94 0.85

評分者平均相互同意度 = (0.79 + 0.85 + 0.88 + 0.76 + 0.76 + 0.82 ) / 6 = 0.81

評分者信度 =

4 * 0.81

= 0.945 1 + (4-1) * 0.81

研究者相互同意度 = (0.91 + 0.88 + 0.94 + 0.85) / 4 = 0.895

研究者信度 =

2 * 0.895

= 0.945 1 + 0.895

楊孝濚(1989)指信度係數需達到 0.80 以上，而本研究之評分者信度與研究 者信度均高於 0.90，算是很高的信度，顯示由研究者一人獨自進行正式的分析研

43

究，已具備可以接受的信度水準。

二、效度檢定

內容分析類目及分析單元的效度分析，僅應用於研究者自行發展的類目。依 據研究理論或借用他人已發展而成的類目，作內容分析時，很少再作效度分析。

本研究的類目均依據國民中小學九年一貫課程綱要能力指標，故研究中的類目應 具有相當的效度。

44