一、信度的定義
信度即可靠性(trustworthiness),是指測驗結果的一致性
(consistencies)或穩定性(stability)而言。內容分析的信度是單位分派 給類目時,編碼員達到一致性的程度,也就是(一)分析者一致性,亦即不 同編碼員使用相同類目於相同內容,應該得到相同的結果;(二)時間一致 性,亦即一個編碼員或一群編碼員,使用相同類目於相同內容,應該得到 相同的結果。(王石番,1989)
二、信度檢定計算公式(楊孝嶸,1989)
(一)評分者信度 1.相互同意度:
2M
相互同意度=
N1+N2
M :為完全同意之數目
N1:為第一位評分員應有的同意數目 N2:為第二位評分員應有的同意數目
2.信度:
N x 平均相互同意度 信度=
1+﹝(n-1) x 平均相互同意度﹞
N 是指評分者人數
(二)研究者信度
1.研究者相互同意度:
研究者與其他評分員間相互同意度的總合 研究者相互同意度=
N-1
2.研究者信度:
2 x 研究者相互同意度 研究者信度=
1+研究者相互同意度
三、信度檢定實施步驟:
本研究信度分析,按下列步驟實施:
(一)依照隨機抽樣的方式,從母群體(48 本國語教科書)中,以十分之 一分層隨機抽樣的方式,抽取信度檢定的樣本,一共選出五本國 語課本,被抽選出的樣本分別為:仁林版第五冊、南一版第六冊 及第十一冊、康軒版第四冊、翰林版第二冊。
(二)研究者向評分員說明類目定義、編碼原則、分析單位與信度表之 登錄方法,並加以舉證使之更明確。其中評分員一共有三位,包 括兩位國小老師,以及研究者本身,兩位國小老師,其中一位為 語文教育學系畢業,目前已任教七年,擔任低年級導師工作;另 一位國小老師已任教十年,目前在國民教育研究所進修。
(三)對於問題加以溝通與釐清之後,由研究者及評分員各自針對所抽 取的樣本,進行類目表的歸類。
(四)利用公式,並根據歸納的結果計算信度。
四、信度檢定結果 (一)評分者信度:
1.相互同意度:
評分員 A B
B 0.85
研究者 0.85 0.8
2.信度:0.94
(二)研究者信度:
1.研究者相互同意度:0.83
2.研究者信度:0.91
楊孝嶸(1989)內容分析法的信度並無法達到百分之百的準確度,若能 達到 0.8 甚至 0.9 的程度,即是達到很高的信度。本研究的評分者信度為 0.94,研究者信度為 0.91,介於 0.91 至 0.94 的程度,因此具有一定的內 在信度,因此本研究的工具可以採用。
叁 效度檢定
Budd(1967)認為檢視內容分析效度的方法有以下幾種:評審團法 (jury)、已知團體法(known-rroup)、獨立效標法(independent-
criterion)、建構效度(construct-validity)和預測效度(predictive- validity)等(引自王石番,1989)。本研究採取評審團法,由上述信度考 驗的兩位評分員,針對分析類目的分類、定義與適用性,給予建議之外,
並結合口試指導委員的看法與建議,以符合研究上的需要。
肆 資料處理
在檢定研究類目之信度與效度之後,由研究者針對 48 本研究對象,
進行類目的歸類及分析的工作,對於資料的統計及分析部分,處理方式如 下:
一、採用內容分析法中最常用的「次數分析」,計算 48 本研究對象的故事 課文出現的次數、百分比,並加以統計排序。
二、根據本研究故事類課文之類目表,將故事課文歸類至類目表中,並針