第三章 研究方法與設計
第五節 研究工具信效度
一、研究工具的信度
由於本研究的主要研究方法是內容分析法，而信度分析是指測量研究者分析之 類目，是否能將內容歸入相同的類目中，使研究結果有一致性與穩定性。郭生玉
（2004）指出分類的結果會受到評分者主觀判斷的影響，而導致評分的誤差，則需 考慮其評分者信度。進行信度考驗時，評分者間一致性高表示可以降低主觀判斷的 成分，研究的結果就更為客觀。
（一）「參考連結網站內容分析統計表」之研究工具的信度檢定，依下列步驟進行：
1.邀請一位評分者，由目前任教國小自然科，教學年資五年以上，且具有國小 科學教育碩士學位之教師來擔任。
2.由研究者將「參考連結網站內容分析統計表」及其定義分發給評分者閱讀，
並說明分類方式和原則。
3.由研究者與一名評分者共兩人隨機抽取之十個國小學校網站，依統計表自行 分類，因為不是以等第評分，而是連續性的（分數）評分，所以將分析結果 的信度採皮爾森積差相關（Pearson’s product-moment），考驗二位評分者間 的一致性，評分結果如表3-3。
表3-3 皮爾森積差相關信度分析結果
經由電腦SPSS運算，皮爾森積差相關r= .997，達p< .01顯著水準，顯示二位評 分者在「參考連結網站內容分析統計表」評分的一致性。
（二）「教學資源內容分析統計表」的分析結果之評分者信度檢定，依下列步驟進行：
評分結果如表3-4所示，得Kappa一致性係數K值= .898，進一步將所得K值帶入z 分數公式，進行顯著性考驗，計算的結果得到z＝7.76，查表得知z.99＝2.33，當z大 於2.33時，就達到p< .01顯著水準，表示二位評分者在「教學資源內容分析統計表」
評分結果的一致性。
表3-4 Kappa一致性係數信度分析結果
來進行信度的雙重考驗，分析兩人看法一致及不一致的次數，顯示分析結果是否仍 有一致性。王文科與王智弘（2004）即指出由於觀察者間的記錄可能有出入，所以，
合理的解途徑之一，即為對行為發生或不發生所評定結果的一致性或不一致性計算 信度係數，此種信度係數有二種：（1）整體信度(overall reliability)；（2）發生信度
（occurrence reliability）。其中，整體信度是用來表示，對於相同事件，兩個觀察者 作全部觀察，所得結果的一致性，符合本研究工具的分析方式，故研究者採用此一 方式進行評分者信度的雙重檢驗。整體信度公式如下：
觀察者看法一致的次數 整體信度 =
一致次數＋不一致次數
在二位評分者對十所國小學校網站進行自然科學相關之參考連結網站與教學資 源的內容分析後，研究者會依據兩位評分者分類後一致的次數和不一致的次數，分 別算出這十所學校在參考連結網站與教學資源的整體信度；Slavin（1992）指出，整 體信表需達 .80，才算合理。
表3-5 參考連結網站內容分析統計表之整體信度分析結果 學校代號 看法一致次數 看法不一致次數
A 16 3
B 8 2
C 2 0
D 6 0
E 8 1
F 4 2
G 3 0
H 2 1
I 30 5
J 22 4
總計 101 18
整體信度= .85
表3-6 教學資源內容分析統計表之整體信度分析結果 學校代號 看法一致次數 看法不一致次數
A 0 0
B 0 0
C 8 1
D 2 1
E 1 0
F 2 0
G 0 0
H 1 0
I 1 1
J 12 2
總計 27 5
整體信度＝ .84
由表3-5、表3-6分析結果顯示，本研究之「參考連結網站內容分析統計表」與「教 學資源內容分析統計表」整體信度考驗分別為 .85與 .84，即二位評分者間有一致性。
兩位評分者根據本研究工具進行網站內容分析後，顯示分析的類目一致性頗 高，表示研究工具相當穩定。此外，研究者也會將二人對教學資源內容歸類不一致 的部份全部列舉出來，並和此位評分者及指導教授針對兩人分類不一致的進行討 論，以取得一致性的看法，或適度的修改研究工具，以期望對看法不一致的內容能 有共通性的歸類依據。
二、研究工具的效度
「參考連結網站內容分析統計表」與「教學資源內容分析統計表」是研究者反 覆瀏覽台中縣的網站和閱讀相關研究後訂立。並委請研究者之指導教授，與一位在 大學任教且具有物理博士學位的科學教育專家討論分析向度與類目的適切性，經過 反覆修正後，以建立專家效度，並符合本研究之需要。
第六節 研究流程
本研究依據研究目的以及文獻探討結果，設計的研究流程如圖3-2所示：
設計網站內容分析統計表 1. 教學資源內容分析統計表 2. 參考連結網站內容分析統計表
設計晤談大綱 擬定研究主題
蒐集相關文獻與分析
進行晤談
轉譯晤談文字稿
資料處理與分析 進行網站內容登錄
撰寫論文 進行統計分析
建立信度與效度 1. 專家效度 2. 評分者信度
反覆修訂
專家審視 確定研究目的與問題
反覆修訂
圖3-2 研究流程圖