網站評估設計

網站評估已經發展數年，評估的方法可分為三大方向：使用者調查、日誌檔 分析和導覽度評估(曾嘉賢，2009)。日誌檔分析和導覽度評估，技術層面比較高，

在此不列入考慮。本研究國小環境教育網站，網站評估方面著重在網站品質與網 站內容之適合度，所以使用專家評估方式來進行。邀請屏東縣環境教育三位推廣 人員，來審查網站評估表及實地進行網站評估。以下分別介紹網站評估專家成員、

網站評估工具審核、網站評估方法。

一、網站評估專家成員

本研究所建置之國小環境教育網站，兼顧網站功能性與內容適合性，所以邀 請之專家成員必須兼顧融入課程教學能力、資訊素養能力與環境教育學經歷，以 下介紹專家成員學經歷背景，如見表 15。

表 15

網站評估專家成員一覽表

編號 姓名 學歷 服務單位、職稱、工作內容、經歷

1 林福貹 碩士

屏東師範學院數理教育研究所碩士

屏東縣東興國小訓導主任、自然科教學專任教師 榮獲三年環境教育特優學校

屏東縣環保局教育宣導團模範志工 大仁科技大學觀光系兼任講師 屏東縣教學輔導教師

東興國小綠色學校網站管理員

2 王詩淵 碩士

高雄師範大學資訊教育研究所碩士 屏東縣石門國小總務主任

屏東縣環境教育輔導團輔導員

屏東縣學務管理系統維護人員、專長網站資料庫

49

09 實施節能減碳活動資料

51

從表 18 中可知網站使用者介面設計評估表之初稿都符合專家意見。在此保 留原來編定之項目。分析完三種評估表之後，研究者依分析修改結果，重新編定 國小環境教育網站評估表(附錄二)，再寄給三位專家以求確認。此網站評估表除 了勾選項目之外，還設計增加空白處以方便評估人員填寫意見，以彌補評估表不 足之處或方便專家說明原因。

三、網站評估方法

本研究網站評估表經專家審核確定同意後，請原來三位專家和三位國小教師，

實際進行本研究之網站建置成效評估。問卷收回後進行三種資料分析方式分別為：

評分者間信度計算，依大項評估指標進行分析，依以小項評估指標進行分析。

(一) 信度計算方式

通常測量的進行使用的工具是「人」，而非量表之時，不同的評量者可能打 出不同的分數，分數誤差變異的來源是評分者間的差異，若計算各得分的相關，

即是評分者間信度。而如果評分者所評定的分數是等第，應採用 spearnan 相關 或 kendall 和諧系數(邱皓政，2006)。本研究網站評估，評分者間信度採用 Kendall 和諧系數。

本研究評分者間的信度計算，是使用 spss 軟體，操作步驟為：按分析、無 母數檢定、k 個相關樣本，將所有三大項目亦即 30 題評估指標一起計算求得之 kendall 和諧系數。和諧系數值介於 0~1 之間，數值愈高代表相關性愈高。

(二) 大項評估指標分析方式

依據網站成效評估表的三大項目：網站資料內容、網站互動功能以及使用者 介面三方面來進行評估結果分析，評估人員共有六位，採用平均數的方式來代表 該大項目指標所得之分數，如見表 19。

表 19

網站建置成效評估方式之一表

評估員 1 評估員 2 …… 總平均 信度計算 A 網站資料內容 A1 平均數 A2 平均數 …… A 平均數

Kendall 和諧系數 B 網站互動功能 B1 平均數 B2 平均數 …… B 平均數

C 使用者介面 C1 平均數 C2 平均數 …… C 平均數

53 資料來源：研究者自編。

參閱表 19 說明步驟：

1、將網站評估問卷表，依勾選位置給予 1~5 分。非常不符合 1 分、不符合 2 分、普通 3 分、很符合 4 分、非常符合 5 分。

2、計算每位評估人員每一大項之總分，再除該大項之題數，得到 1~5 分。

3、計算每一大項之全部總分，再除該大項之全部分數，得到 1~5 分。

4、配合評估表專家所給予之意見，合理解釋每一項分數高低所包含之成因。

(三) 小項評估指標分析方式

除了依大項目指標分析之外，每一小項指標也要進行評估結果分析，以深入 探究該網站建置細部結果。每一小項指標都有六位評估人員進行評分，評分後使 用平均數來計算，如見表 20。

表 20

網站建置成效評估方式之二表

指標 1 指標 2 指標 3 指標 3 指標 4 ……

A 網站資料內容 平均數 平均數 平均數 平均數 平均數 ……

B 網站互動功能 平均數 平均數 平均數 平均數 平均數 ……

C 使用者介面 平均數 平均數 平均數 平均數 平均數 ……

平均數 總平均 總平均 總平均 總平均 總平均 總平均 資料來源：研究者自編。

參閱表 20 說明步驟：

1、將每一小項指標，三位評估人員之給分予以平均。每一小項分數平均之 後得到 1~5 分。1 分為非常不符合、2 分為不符合、3 分為普通、4 分為 很符合、5 分為非常符合。

2、配合評估人員之意見，將 30 小項指標，逐項或合併解釋此分數背後之成 因。

四、網站評估設計-小結

本研究之國小環境教育網站評估，採用五等第問卷調查法。依據第二章文獻 分析研究者自編網站評估工具，並邀請三位專家進行評估工具之審查修改。修改 後之評估工具問卷調查表分成三大項目共有 30 題指標。待網站全部建置完成後，

請原三位專家及三位國小教師共六位實際上網評估。評估問卷回收之後以平均數 計算出各指標之得分，亦即網站建置之該項目得分。接著，依據三大項指標評估 及小項指標評估，來進行評估結果分析，並配合評估人員之意見，解釋各項目建 置情形是否已達到預期之成效，以作為後續網站建置改進之依據。最後將六位評 估人員，以及 30 題評估指標，進行評分者信度，以確定本研究網站評估之信度。

55