第三章 研究設計與實施
第五節 研究的信度與效度
本研究採用內容分析法,在進行研究時,信度是編碼員技術與經驗、類目與 規則、編碼原則、整理研究資料等綜合表現。研究者在進行資料處理時,信度採 用時間一致性原則,並經由與指導教授討論及修調研究類目,確立研究效度。
一、信度
內容分析的信度要符合客觀性,以相同的工具對樣本資料重複測量時,應該 達到一致性的相同結果,表示信度高。資料的特質通常無法由研究者控制,故提 昇信度的方法只限於改進編碼員及類目的品質。信度亦在評估設計與資料能否代 表實際情形的程度 (王石番,1996)。而內容分析的信度基於一致性原則,可分 為分析者一致性及時間一致性兩種;其中時間一致性,即一個編碼員或多個編碼 員在不同時間間隔下,採用相同類目於相同的分析內容中進行分析,應該得到相 同的結果 (王石番,1996;王文科、王智弘,2009;Fraenkel & Wallen, 2003/2004)。
本研究採時間一致性原則,間隔一定時間,由一位編碼員進行分析。
(一) 研究者背景資料
研究者目前就讀於國立臺中教育大學教育學系課程與教學碩士班,數學教學 經驗十四年;在就讀期間,與本研究有關之已修畢課程,在國小教育學程方面包 括:普通數學、國小數學教材教法、教育心理學、教育測驗與評量、學習評量、
課程發展與設計等;在研究所課程方面包括:數學課程領域研究、教育心理學研 究、質性研究、高等教育統計與套裝軟體應用、課程教學與諮詢實習研究、課程 評鑑研究等學科。目前除了學生身份之外,並參與科技部數學相關計畫兼任助理 至今約一年半,同時擔任某小學一半年數學補救教學志工。
(二) 信度分析
研究者可使用重複登錄的方法,檢視結果的一致性,說明資料信度;準確性 是編碼過程在功能上符合明確標準或預定結果的程度;穩定度分析為過程自始至 終是不變的,可由登錄再登錄的過程賦予資料劃記與歸類相關性的高低,反應編 碼員本身分析的穩定度 (王石番,1996)。本研究對象備課用書資料內容編排呈 現多樣化 (如表 3-4),因此力求研究者本身對資料劃記與歸納之準確性與穩定 度,以利後續提升研究結果與討論的價值;因此本研究採以研究者內部一致性為 信度考驗之依據。同一編碼員間隔兩個不同時間點編碼兩次,在這兩次的過程 中,有關類目訂定、分析單位界定、測量、給予數值等相關性的高低,得以反應 編碼員本身分析的穩定性。研究者依據分析類目自我訓練,從不斷修調類目的期 間開始,以所有備課用書內容為練習對象,反覆將類目與備課用書對應並劃記多 次。
在2015 年 2 月 12 日~2015 年 2 月 14 日進行第一次分析,分別就三個版本 進行分析類目、分析單位以及舉例分類;在2015 年 2 月 23 日~2015 年 2 月 24 日進行第二次分析。研究者在三個版本的第一回劃記後,相隔10 天再重新劃記 一回,以進行信度之內部一致性考驗。
(三) 信度分析步驟
1.抽樣:研究者經由建立分析類目及其修調後,選定三個版本中內容及形式 多樣的全數教材,不同版本三冊共三個單元:康軒版數到100、南一版數到 100、
翰林版100 以內的數;依據分析類目進行編碼與劃記。
2.說明:研究者在開始進行劃記工作前,必定將分析類目仔細閱讀,重複印 證是否理解,再開始登錄工作。
3.歸類:研究者依表 3-4 分析單位界定與劃記範圍,逐頁將所欲分析的各個 單元按分析類目表分類劃記。
4.計算:將分類結果計算信度,公式如下:
兩次劃記歸類之信度考驗為0.96,表示研究之內部一性達信度標準,其結果 具穏定性與可靠性。
*
三個版本第一次與第二次編碼數目統計編碼數目 主類目
教學提示層次 教學提示形式 合計
第一次編碼數目 151 217 368 第二次編碼數目 154 209 363 M 完全同意之數目 140 199 339
總編碼次數 2
二、效度
效度即強調正確性,效度愈高則表示結果愈能顯現分析對象的真正特質;而 檢視效度的方法有很多種,包括評審團法、已知團體法、獨立效標法、建構效度 以及預測效度等 (王石番,1996)。本研究採用評審團法,由研究者根據多年的 教學經驗、探討文獻中各專家學者的看法與主張、研究設計、定義分析單位等;
並與指導教授進行多次討論,適時提出看法,精進研究過程品質,進而發展出合 適的類目,符應研究目的與問題的解決。