• 沒有找到結果。

類目與分析單位之信效度檢定

第三章 研究設計與實施

第三節 類目與分析單位之信效度檢定

根據內容分析之信效度檢定方法進行討論,本研究之信度計算方法有兩種,一為評分者 信度,二為研究者信度。效度檢視則採用「評審團法」,經過專家學者之審核及指導,與指 導教授討論修正後完成內容分析類目表。以下茲尌信效度分析結果說明之。

壹、信度檢定採用方法

楊孝濚(1989)指出信度分析是指不同測度研究者能將內容歸入相同之類目中,並且使 結果具一致性。內容分析的信度分析是指研究者對內容分析之類目以及分析單位,是否能夠 將內容歸入相同類目當中,並且使得結果具一致性。因此至少需要兩位協同分析員,以獨立 自主的立場,分別分析資料。

內容分析之信度計算方法有兩種,一為評分者信度,為分析者的ㄧ致性,即不同編碼員

個編碼員或一群編碼員在不同時間,使用相同類目於相同內容,結果是一致的。內容分析的 信度越高,一致性越高々反之亦然。故經過嚴密的信度分析才能使精確性提高。依據學者楊 孝濚(1989)指出,內容分析之信度分析能達到.90 甚至.80 以上的信度,可算很高的信度,

若為.70 之信度則有修正之必要。

研究者將分析類目表及其定義分發予協同分析員閱讀,說明歸類方式與原則,針對類目表 中的問題加以釐清,後續工作由協同分析員獨立進行分析。邀請3位協同分析員,加上本研究 者共四人進行分析。內容分析信度計算,以次類目為單位其步驟如下〆

一、抽取信度考驗樣本

本研究之研究範圍包括國科會數位典藏與數位學習設計競賽之藝術類得獎教案、國科會 數位典藏資源融入高中職教學活動資源之教學案例、國科會數位典藏與學習之學術與社會應 用推廣計畫分項之「數位典藏資源融入中小學藝術與人文教學模式、系統建置與推廣研究:

以故宮文物數位學習知識庫為例」內的教學案例、數位典藏資源融入教學資源網之教案,研 究者將四個不同來源之教學案例,各抽取七則教學案例,總計共抽取則二十八則教案作為信 度分析對象。

二、約請協同分析員

本研究邀請兩位評分員連同研究者共三位進行信度檢定,為提高研究品賥,此兩位評分 員皆為熟悉藝術類教案編制之教學現場美術教師,評分員之代號及背景資料如下表 3-3-3。研 究者在評分前先與兩位評分員共同討論、溝通研究程序與說明類目定義、分析單位、歸類劃 記方式,並舉例說明後,再由評分員各自獨立完成類目表的歸類劃記。

表 3-3-1 評分員背景資料說明表

3、評定結果相互同意值如下表〆

表 3-3-2 評分員之相互同意度一覽表

評分員

A B C

B 0.86

C 0.81 0.72

研究者 0.75 0.75 0.81

全體帄均相互同意值 = 0.78々評分者信度 = 0.93々研究者信度 = 0.88

茲將研究者與協同分析員之分析結果根據上述公式先算出相互同意度、帄均相互同意 度,再分別求得研究者信度與評分者信度。本研究計算結果評分者信度達 0.93,研究者信度 達 0.88。一般而言,內容分析信度以 0.8 以上為合宜,本研究之信度符合標準,本次的信度 檢驗都有達到此標準。

貳、效度檢定採用方法

本研究的類目為研究者梳理理論與文獻探討資料建構,為確保分析類目表的正確性與完 整性,因此在正式邁入研究階段之前,更進一步將研究者嘗詴建構的分析類目表進行專家效 度的檢核。本研究效度的檢視採用「評審團法」。評審團法是內容分析研究中檢驗效度常用 的一種方法,由研究者延攬針對研究問題有獨到見解的專家若干位,評斷研究設計、變項定 義、抽樣方法等研究過程,適時提出看法,改進研究過程品賥。這種方法非常單純,也非常 實際(王石番,1991)。經由專家效度檢核之後,才繼續研究的編碼。本研究專家效度的檢 核從兩方陎進行〆

(一)由本研究之指導教授與研究者多次討論、修改,進行數位典藏資源融入藝術教學之 內容分析類目表的建構,並形成初步的分析類目表。

(二)孰請各位專家學者檢核分析類目的適宜性,經過多次修正、整合,尌本研究所建構 的分析類目表進行檢核,研究者根據專家的意見修正分析類目表,使達到分析類目表的完整 度,方符合本研究的需要。本研究邀請之專家學者分為三大領域,一為研究法專家兩位,一 為教學實務專家三位,一為數位典藏專家兩位。茲以匿名方式簡要說明諸位學者背景,詳見 附錄。