研究的信度與效度

壹、信度

內容分析的信度是單位分配給類目時，至少兩位編碼員間達到一致性的程 度。編碼員對所有單位同意度完全一致，表示信度高。信度資料至少有兩個編碼 員，用共同語言獨立進行編碼，這些共同語言包含了描述類目、變數數值及複雜 的分類架構。研究信度要高，編碼者的技術、洞察力、經驗、類目和編碼規則清 晰性及資料複雜性等面向，不論是素材、分析人員、研究過程信度都要高，才有 可能達到高信度（王石番，1989）。以下針對本研究評分員選定與背景及信度分 析步驟說明之。

一、評分員選定與背景

本研究邀請兩位評分員，連同研究者共三人進行相互同意的信度檢驗。研究 者與其他兩位評分員現在均為國小教師，對國小學生學習情形也有所掌握，並 且研究者與評分員均修過課程所一年的數學科教材教法，目前於台中教育大學 課程與教學研究所在職專班進修中，對於國小數學教材有基本的了解與分析的 能力。評分員及研究者從 97 年 11 月起每隔兩週參與指導教授之國科會計畫討 論會，在討論過程中評分員及研究者皆學習到建立類目表、運用分析軟體時所 需注意的事項及編碼過程的技巧等等，對於使用ATLAS.ti 軟體有一定的了解與 認知。本研究連同研究者共有三位編碼員一同進行教材分析與編碼的工作。

二、信度分析步驟

（一）樣本抽樣

本研究採用隨機抽樣，從四個版本教科書中，各類目各抽選一個例題。期 望藉由隨機抽樣的方法，真正檢測信度的大小。

（二）向編碼員說明編碼原則

4.研究者本身信度:

1. P= (0.875+0.75+0.75)/3=0.79

2. R= 3 0.79 1 2 0.79 0.92

× = + ×

3.研究者信度： 2 0.79 1 0.79 0.88

× = + 參、效度

Budd、Thorp and Donohew (1967)認為檢視內容分析效度的方法有很多，包 含了評審法、已知團體法、獨立校標法、建構效度與預測效度等。其中評審團法 是最傳統卻也是最實際的方法，其為邏輯驗證的延伸，並且優於邏輯驗證。研究 者針對研究問題尋找有獨到見解的專家若干位，評斷研究設計、變項定義、抽樣 方法等研究過程，在討論過程中適時提出看法，改進研究品質（王石番，1989）。

本研究採用評審團法來檢測效度，由研究者與評分員根據相關文獻與教學經 驗進行討論，在編碼期間，研究者與評分員進行交叉編碼，且研究者本身在不同 時間進行對編碼結果自我訓練及反思，此一歷程為一個持續修正的過程，在研究 過程中不斷進行類目的修訂，發展出更符合研究需要的類目，並根據指導教授提 出相關修改意見，經過重新審視後釐清才正式進行編碼工作，本研究在此過程中 建立專家效度。