研究工具及信效度

(二) 探討試題的知識型態與認知歷程分佈情形：根據魯姆認知分類 修正版分類表分析填寫之結果做出統計，了解各份試題所評量 之認知向度是否平均分佈。

(三) 歸納整理歷年來各縣市於不同教學主題命題比率之情形：將分 析之結果作成統整表，提供參與考試者以及命題者作為參考。

(四) 根據試答者填答結果，整理出各份試題之難度以及鑑別度分佈 狀況，提供給命題者作為參考。

第五節 研究工具及信效度

本研究採用內容分析法。在研究工具的部分依照分析過程依序使用

「教學主題分析表」以及「布魯姆認知領域目標分類修正版」兩項；本 節介紹此兩項工具的使用方法，並且說明此次研究分析者信效度之計算

方式。

一、教學主題分析表

研究者根據民國 97 年教育部所修改的九年一貫課程綱要中「自然 與生活科技」學習領域之教材內容要項，刪除了「理化科」、「生物科」、

以及「地球科學科」的相關內容，僅保留和「生活科技科」有關之課程 綱要，製作出「教學主題分析表」，如附錄一；另外根據課程綱要中所 附的教學細目保留和生活科技相關之內容，整理成「教學主題分析細目 表」如附錄二；此表係研究者自行改自國中生活課技課程綱要，因此在 研究實行的過程中，透過由專家審查的方式，確保此研究工具之內容效 度。

分析者在使用此工具時，可以根據分析之題目所屬的教學大綱，將 題號填入空格之中，藉以瞭解該份試題之命題方向；若遇題意不清、或 者所屬範圍有爭議之題目，則可參考教學主題分析細目表之內容做為分 析之依據。

二、布魯姆認知領域目標分類修正版分類表

此分類表採用 Anderson 和 Krathwohl (2001)編輯的布魯姆認知領域 目標分類修正版分類表，如附錄三。黃光雄(1985)提到：此分類表在當 初發展的過程中，已廣納各方成就測驗學者和評量專家們的意見，而「布 魯姆認知領域目標分類修正版」更是多年來多位學者專家進行修正討論 之後所修改而成的架構，故這個理論可以正確的用在試題的分析之上，

其理論效度可由第二章的討論中獲知。

在「布魯姆認知領域目標分類修正版分類表」的使用方法上，分析 者需分析每一個題目之「知識類型」及「認知歷程」，並將其題號填入 相對應的空格中。

楊孝濚（1978）認為，在內容分析中所用之分析類目及分析單元的

效度分析，僅應用於研究者自行發展的類目，如依據研究理論或借用他

1989)。在正常況下，內容分析之信度很少會到達 100%的準確，如果有 0.9 或者 0.8 以上的信度，就可以算有很高的信度(楊孝濚，1978)。

在本研究中將採用評分者信度(scorer reliability)與研究者信度 (researcher reliability)，其公式的使用分述如下：

(一) 評分者信度：本研究在實驗性分析時的分析者總共有三位；依

本次研究試分析過程中之相互同意度為

析前，將分析之類目表，以及布魯姆認知領域目標分類修正版之定義分 發給分析者進行閱讀，後進行獨立分析。並於分析結束後，針對意見相 左者進行討論，達到三者皆認同之結果，直到建立共識，使分類規則一 致，確保內容分析結果之準確性，以提升分析者進行內容分析之效度，

其討論結果於下節內容中以條列的方式說明。