研究工具之信效度

本研究以「教學資源內容分析統計表」和「參考連結網站內容分析統計表」兩 項研究工具來分析彰化縣國小網站之自然科學相關內容。另一方面，利用「國小科 學教師對學校網站使用的現況與需求訪談大綱」來訪談七位現職國小科學教師。對 於此三種研究工具，分別採用不同的信效度檢驗方式，整理如表3-6所示。

表3-6 研究工具之信效度分析方式一覽表

研 究 工 具 信度考驗方式 效度考驗方式 教學資源內容分析統計表 1.Kappa一致性係數

2.整體信度 專家效度 參考連結網站內容分析統計表 1.皮爾森積差相關

2.整體信度 專家效度 國小科學教師對學校網站使用的

現況與需求訪談大綱 無 專家效度

本研究之網站內容分析統計表的信度，分別採用Kappa一致性係數、皮爾森積差 相關及整體信度，來考驗不同評分者間的一致性。以下就研究工具之信效度的處理 與分析方式，分別說明如下：

一、研究工具之信度處理

信度（reliability）即可靠性，是指研究結果的一致性或穩定性，本研究的主要 研究方法是內容分析法，黃光雄和簡茂發（1994）指出內容分析法中的信度分析是 指測度研究者內容分析之類目及分析單元，是否能夠將內容入相同的類目中，並且 使研究結果有一致性與穩定性。一致性愈高，內容分析的信度也愈高；一致性愈低，

則內容分析的信度也愈低。郭生玉（2004）也指出分類的結果會受到評分者主觀判 斷的影響，而導致評分的誤差，則需考慮其評分者信度，評分者信度越高，表示評

分者間的評分愈一致；反之則表示評分者間的評分愈不一致，其中所包含的評分者 誤差愈大。

本研究的主要研究方法是內容分析法，研究者為檢定研究工具在分析向度及類 目結果的一致性，對於網站內容分析兩項工具採評分者信度來進行信度分析，分別 說明如下：

（一）教學資源內容分析統計表

本研究對於「教學資源內容分析統計表」的分析結果，以 Kappa 一致性係數及 整體信度來進行評分者信度的雙重檢定。

1.Kappa 一致性係數

關於評分者間信度（interjudge reliability）的檢定，林清山（2000）指出，由 k 位評分者評 N 個人或 N 件作品時，假定評分者所評定的對象是可以評定等第，亦即 可以排出次序的，則採用肯德爾和諧係數（the Kendall coefficient of concordance）來 考驗評分者間的一致性；假定評分者所評定的對象評分者所評定的對象只能把它歸 到某些類別，而不能排出次序者，則適用於考驗類別變項之評分者間分類一致性的 方法，採用 Kappa 一致性係數（K coefficient of agreement）來考驗評分者間的一致 性。

本研究「教學資源內容分析統計表」的分類結果，其內容可歸到某一個類別，

但無法進行排序，屬於類別變項的評定資料，亦即適用於統計法中用來考驗類別變 項之評分者間一致性的方法，故採用Kappa一致性係數來分析二位評分者間是否有一 致性。

所謂 Kappa 一致性係數指評分者實際評定一致的次數百分比 P（A）與評分者理 論上評定一致的最大可能次數百分比 P（E）（經校正過機誤之後）之比率（林清山，

2000）。就本研究工具而言，亦即二（k=2）位評分者對十（N=10）所國小學校網站 進行內容分析後，對網站內容加以評斷，然後歸類到二個向度之十個類目（m=10）

中。用公式表示之則為：

望透過這個方式，讓評分者更能確切了解有哪些內容需要檢閱，以求更佳 的評分者信度。

（4）研究者以隨機抽樣的方式抽取彰化縣十所國小學校網站做為信度分析樣 本，並與此位評分者根據本研究「教學資源內容分析統計表」之分析類目，

對這十所國小學校網站做瀏覽及檢閱的動作，進行教學資源的內容分析。

（5）接著研究者與評分者各自依照統計表之向度及類目進行分類，並將各校分 析的結果登錄於統計表中。此外研究者與評分者也會將所看到與自然科學 相關的內容，依其路徑記錄成書面資料，以便日後比對兩人分類的異同之 處，進行整體信度的分析。

（6）研究者與此評分者分析完這十所學校網站後，將其結果利用SPSS Windows 10.0中文版統計分析軟體，針對樣本網站的評分結果，計算出評分者間的 Kappa一致性係數值（K），考驗二位評分者間的分類結果是否具有一致性。

（7）將Kappa一致性係數（K）帶入z分數公式，進行顯著性考驗。

研究者與評分者根據本研究之教學資源內容分析表之分析類目，針對彰化縣十 所學校網站進行瀏覽及檢閱，以分析國小網站中與自然科學相關之教學資源的相關 內容，分析結果如表3-7所示。

研究者以兩人分類之數據進行 Kappa 一致性係數信度考驗，計算結果得 K 值 為 .882，由此顯示二位評分者對本研究內容分析類目之 Kappa 一致性係數＞0。

最後進一步將所得之K值帶入z分數公式，進行顯著性考驗，計算的結果得到z

＝8.844，查表得知z.⁹⁹＝2.33，當z大於 2.33 時，就達到p< .01 顯著水準。本研究 工具的z值為 8.844＞2.33，達到p< .01 顯著水準，亦即二位評分者對學校網站中之 教學資源內容分析之分類具有相當的一致性，評分者間的信度顯然大於 0。

表3-7 Kappa一致性係數信度分析結果

2.整體信度

本研究工具先以Kappa一致性係數進行信度考驗，來看評分者間是否達到一致 性。但從中無法得知研究者與評分者在進行教學資源分析時，對於網站中的資料有 沒有因為兩人所看到的內容不同卻歸於同一類，或是將相同的內容歸到不同類別的 情況，而導致兩人各別歸類出來的項目數量，卻存在著不一致性。所以研究者另外 採用「整體信度」來進行信度的雙重考驗，分析兩人看法一致及不一致的次數，看 分析結果是否仍有一致性。王文科和王智弘（2004）即指出由於觀察者間的記錄可 能有出入，合理的解途徑之一，即為對行為發生或不發生所評定結果的一致性或不 一致性，計算信度係數，此種信度係數有二種：（1）整體信度(overall reliability)；（2）

發生信度（occurrence reliability）。其中整體信度是用來表示，對於相同事件，兩個 觀察者作全部觀察，所得結果的一致性，符合本研究工具的分析方式，故研究者採 用此一方式進行評分者信度的雙重檢驗。整體信度公式如下：

觀察者看法一致的次數 整體信度 =

一致次數＋不一致次數

研究者與評分者在根據本研究「教學資源內容分析統計表」的分析類目進行教 學資源的內容分析時，除了針對這十所國小學校網站做瀏覽及檢閱的動作外，兩人 皆將所看到與自然科學相關的內容依其網頁路徑記錄成書面資料，以方便研究者比 較兩人對網站內容的分類看法有哪些是一致的，有哪些看法有所出入，並以此為依 據來進行整體信度的分析。

當研究者與評分者對十所國小學校網站進行自然科學相關之網路教學資源的內 容分析後，研究者與評分者比較分類後一致的次數和不一致的次數，算出這十所學 校分析的整體信度；此外研究者在事後也將兩人對學校網站中之教學資源內容歸類

不一致的部份全部列舉出來，並與此位評分者及指導教授針對兩人分類不一致的進 行討論，以取得一致性的看法，讓看法不一致的內容能有共通性的歸類依據。整體 信度的分析結果如表3-8所示。

表3-8 「教學資源」內容分析統計表之整體信度分析結果 學 校 評分者看法

一致的次數

評分者看法

不一致的次數 整體信度

A 1 0

B 2 0

C 0 0

D 6 1

E 2 1

F 2 0

G 2 0

H 4 1

I 5 0

J 4 1

總 計 28 4

.88

Slavin（1992）指出整體信度需達 .80才算合理，由表3-8得知，對十所學校進 行教學資源內容之整體信度分析後發現，本研究工具之整體信度為 .88＞ .80，顯 示二位評分者對於教學資源內容分析之分類具有相當的一致性，研究工具相當穩定。

（二）參考連結網站內容分析統計表

本研究對於「教學資源內容分析統計表」的分析結果，以皮爾森積差相關及整 體信度來進行評分者信度的雙重檢定。

1.皮爾森積差相關

本研究「參考連結網站內容分析統計表」的分類結果，既不屬於評分者所評定 的對象是假定可以評定等第，亦即可以排出次序者，也不屬於把相關內容歸到某一 類別，適用於類別變項時用來表示評分者間一致性的方法者，而是以連續性的分數 記分，所以不適用於肯德爾和諧係數及Kappa一致性係數來考驗二位評分者間是否有 一致性。郭生玉（2004）指出，如果評分者不是以等第評分，而以連續性的分數評 分，則採用皮爾森積差相關（Pearson’s product-moment correlation）。因此對於此項 研究工具，研究者採皮爾森積差相關來分析二位評分者間的相關性，評分者之間相 關性高則表示主觀判斷的成分低，研究的結果就更為客觀。此研究工具在進行皮爾 森積差相關法的信度分析方式，依下列步驟進行，說明如下：

（1）本研究工具信度考驗之評分者除研究者本人之外，並另行邀請一位在國小 任教五年，多次參與彰化縣科展製作比賽且獲得良好成績，且目前正在某 大學科學教育研究所進修之現職國小教師擔任評分者。

（2）研究者將「參考連結網站內容分析統計表」及分類依據發給評分者閱讀，

並就參考連結網站內容分析的三個向度、十三個分析類目的分類方式及原 則，對此位教師進行說明，使其了解各類目之分析原則。

（3）研究者先以二所學校為例，告知評分者點選的順序與原則。首先點閱各處

（3）研究者先以二所學校為例，告知評分者點選的順序與原則。首先點閱各處