貳 貳
貳、 、 、研究的信度與效度 、 研究的信度與效度 研究的信度與效度 研究的信度與效度
本研究以台灣文化圖像類目為內容分析的研究工具,其效度與信度考驗如下。
一 一一
一、、、效度考驗、效度考驗效度考驗 效度考驗
本研究的分析類目,主要是依據文獻探討發展而來,其效度考驗乃透過 E-mai 與電 聯方式(參見附錄一專家問卷),敦請三位專家學者檢核分析類目的適切性,藉此提高 研究之效度,做出更精確的評斷。茲以匿名的方式,簡要說明三位專家學者的背景,詳 見表 3-4-4。
表 3-4-4 專家學者背景說明
編號 服務單位 職稱 年資 專長與經歷
A 國立台中教 育大學
助理教授 12 年 台灣的古蹟與文化、台灣史
B 台中市鎮平 國小
國小教師 5 年 從事社會學習領域教學、鄉土語言(閩南語)
教學,曾經從事過內容分析研究。
C 台中市忠明 國小
國小教師 6 年 從事社會學習領域教學,曾經從事過內容分 析研究。
資料來源:研究者自行整理。
再者,依專家提供修改意見,修訂評判指標,以確定內容分析類目表。針對專家的 建議加以修改,並重整建構出適合本研究之分析類目表,類目表之效度分析如表 3-4-5 所示。
表 3-4-5 類目表之效度分析
表 3-4-5 類目表之效度分析(續)
表 3-4-5 類目表之效度分析(續)
主類目 次類目 專家 A 專家 B 專家 C 同意百分比 結果 精神
文化
民俗藝陣 同意
同意,待修正
不同意
同意
同意,待修正
不同意
同意
同意,待修正
不同意
100%
保留
刪去
增加
資料來源:研究者自行整理。
就倫理文化而言,有鑑於台灣文化圖像是大中華文化的一部分,以致於難以區分、
辨別。因此,在進行專家效度檢驗以及與指導教授討論之後,研究者將倫理文化部分予 以刪除。此外,在研究者進行試探性分析時,為配合教科書上的編排設計,在與指導教 授討論後,於精神文化次類目內,增加節慶、禮俗、民俗藝陣等三項次類目,以利於類 目分析與討論。
二二二
二、、、信度考驗、信度考驗信度考驗 信度考驗
依據內容分析法之信度考驗方式,建立本研究之信度。以評分員在同一時間所得到 的研究結果一致性為本研究之信度。若一致性越高,則內容分析的信度越高;反之,則 越低。本研究信度檢驗的程序如下:
(一)選擇樣本:採立意取樣,每版本選取一課作為檢驗的樣本。
(二)預計邀請三名評分員,加上研究者本身,共同參與信度檢驗的工作。三位評分員 背景說明如表 3-4-6 所示。
表 3-4-6 評分員背景說明
編號 相關背景
評分員 A 台中市教育大學課程與教學研究所,碩士生二年級,男性。大學主修社會 教育學系,曾修習台灣文化圖像史、古蹟與台灣文化圖像,目前為國小教 師。研究所曾修習教育研究法。
評分員 B 台中市教育大學課程與教學研究所,碩士生二年級,女性。目前為國小教 師。研究所曾修習教育研究法,曾經從事過內容分析研究。
表 3-4-6 評分員背景說明(續)
編號 相關背景
評分員 C 台中市教育大學課程與教學研究所,碩士生二年級,女性。大學主修初等 教育學系,曾修習國民小學社會教材教法。研究所曾修習教科書專題研究、
教育研究法。
資料來源:研究者整理。
(三)研究者將類目表、類目定義及信度檢驗表給予 3 名評分員,並說明劃記方式。
(四)待評分員完成歸類劃記,依下列公式計算評分者信度與研究者信度,分述如下:
1.評分者信度
(1)求相互同意度值(Pi):
相互同意度 Pi=
N2 N1
2M + M:兩人同意的項目數 N1:第一評分員總做答題數 N2:第二評分員總做答題數
(2)求平均相互同意值(P):
平均相互同意度 P N
Pi
n
1 -i
∑
≡
∑
n1 -i
Pi :研究者與其他評分員間相互相同值之和 N:相互比較的次數
(3)評分者信度(R):
信度 R 1
[ (
1)
P]
P
− +
≡ ×
n n
n:評分員的人數
2.研究者信度
(1)研究者相互同意值(Pj)
1 P Pj 1
≡ −
∑
−
n i
n
i
n:評分員人數
(2)研究者信度(Rj)
Rj=1 Pj Pj 2
+
根據上述公式計算,所得之相互同意度及信度值如下表 3-4-7、表 3-4-8 所示。
表 3-4-7 國小社會教科書「台灣文化圖像」類目相互同意值一覽表──文字部分
評分員 A B C
B 0.881
C 0.896 0.849
研究者 0.934 0.901 0.912
平均相互同意度=0.895 評分員信度:0.972 研究者信度:0.945
表 3-4-8 國小社會教科書「台灣文化圖像」類目相互同意值一覽表──圖片部分
評分員 A B C
B 0.796
C 0.871 0.810
研究者 0.874 0.854 0.925
平均相互同意度=0.855 評分員信度:0.959 研究者信度:0.922
內容分析的信度若有 0.8 以上可算信度很高(楊效榮,1981)。由上述信度考驗結果,
文字部分之信度為 0.972,研究者信度為 0.945;圖片部分之信度為 0.959,研究者信度 為 0.922。符合內容分析的信度應在 0.8 以上的要求。