綜合分析與討論

為建構一個適切且具系統性的教學網站評估指標層級架構與權重體 系，本研究藉由文獻分析、雙項細目分析與 2 個階段的問卷調查，成功發 展出我國教學網站評估架構、指標內涵與權重體系。各階段討論內涵與分 析結果，均為本研究的重要過程，茲於本章最後，以一小節進行綜合分析 與討論，俾做為本研究下一章節結論與建議的參考。

壹、 教學網站評估指標建構階段 一、 透過文獻探討進行指標內涵初擬

本研究先蒐集國內外相關文獻資料，了解一般網站及教學網站的評估 內涵並分析其發展趨勢；綜理文獻後，首先發現一般網站評估機制多從資 訊構建理論、網站績效、使用滿意、服務質量或品質管理等層面切入，經 分析，一般網站評估內涵包含「網站內容」、「網頁設計」、「網站系統技術」

與「個人化服務」等 4 項層面及 13 項指標；而後再運用雙向細目分析法綜 理較為其他研究者所採用之教學網站評估指標做為後續討論的基礎，發現 教學網站評估機制則多從課程教學與自主學習層面切入，經分析，教學網 站評估內涵包含「網站內容」、「多媒體教材」、「網頁設計」、「網站系統技 術」與「個人化服務」等 5 項層面及 15 項指標。

比較一般與教學網站的評估機制，不外乎從網站內容、網站功能、網 站服務、網站易用性與使用效果、網站設計與架構、網站安全等為考量重 點。為進一步發展上述網站基本指標以外的各項可能，本研究嘗試以學習 者角度，按網路使用行為與步驟，依序探究學習者在各行為階段所面臨到 的各種情境、反應與選擇，以技術接受模式中感知可用性、易用性與有趣 性等觀察元素，重新整理發展出教學網站評估架構計 5 項層面、36 項指標，

各項指標定義說明亦於此階段完成草稿。

93

二、 利用模糊德菲法進行指標修正

為進一步確認評估指標之適切性及定義描述，本研究問卷先由 20 位 學者專家協助篩選及修改指標，以求適用於我國教學網評估指標建構系統。

茲就「教學網站評估指標建構之適切性評估暨模糊德菲法專家問卷」中適 切性評估與重要性程度對指標修正的影響，分述如下：

（一） 依適切性評估結果，分二部分進行篩選：

1. 計算反應次數：經計算，專家針對各項指標「適用」與「修改」

勾選次數比例均高於 90%，爰所有指標項目均予保留。

2. 計算平均數：經編碼與計算，本研究所訂之指標項目符重要性原 則（平均數達 1.8 以上）；惟酌修平均數為 1.8 至 1.85 間指標之 定義說明，參考專家意見，酌調「網站系統技術品質」層面的「科 技設備相容性高」與「連結品質良好流暢」二項指標部分定義與 文字。

（二）依重要性程度結果，進行第二階段篩選：

專家根據學識專長與經驗，對各項指標的重要性進行衡量，由低到高、

於 0 至 10 間填寫指標重要程度；經依序轉換為 0~1 的數值後，計算 36 項 指標之三角模糊數，運用反模糊化求取各評估項目之明確值（即總值，μT）

後，未達門檻值（0.6）者計有 6 項，全部剔除，包含：

1. 網站系統技術層面之「技術支援工具」（0.543）。

2. 網頁設計之「視覺風格具一致性」（0.556）、「文字大小設計適切並 具一致性」（0.575）、「圖形顏色呈現調和」（0.571）、「視頻元素的 搭配使用」（0.555）、「音頻元素的搭配使用」（0.566）等 5 項指標。

三、 與其他相關研究進行指標比對與確認

經前述方法篩選，本研究發展出教學網站評估指標包含 5 項層面 30 項指標；與第二章所蒐集國內外教學網站評估指標項目相互比對，發現上 述被剔除的 6 項指標，在其他研究文獻上顯少單獨作為評估指標；另外，

94

11 項指標非為早期多數研究者所關注，而本研究認為其對於教學網站評估 機制，具有某程度的影響性；指標範疇與項目如表 4-24。

表 4-24 其他研究者未予關注或探究的指標

層面 指標項目

網站系統技術品質 1. 安全機制與個資隱私 2. 科技設備相容性高 網頁設計 1.系統架構性與層次區隔 課程教材品質 1. 課程範圍明顯區隔

2. 教材可擴展移植性 3. 教材具互動模式 4. 功能術語具一致性 個人化服務 1. 提供自主學習工具

2. 學習歷程之運用 3. 提供奬勵制度 網站基本資訊 1.創意具吸引性 資料來源：研究者自行整理

貳、 計算指標權重階段

一、 運用模糊層級分析法了解各級指標權重情形

本研究發展教學網站評估架構與指標項目後，據此編製第二階段相對 權重專家問卷；透過專家對於指標的 99 次成對比較，了解指標間的相對重 要程度，再運用模糊層級分析方法建立 6 組成對比較矩陣、99 組三角模糊 數值、6 組模糊正倒值矩陣，於求得 5 層面 30 項指標之模糊權重（包含最 小值模糊權重、平均值模糊權重、最大值模糊權重）之後，運用解模糊化 與正規化方式，算出專家對於指標相對權重的共識（權重體系如圖 4-1），

作為未來教學網站評估時探討分析之參據。

二、 進行指標內涵的一致性檢定，確認本研究結果之可信度與實用性 為避免造成不良的決策，本研究針對上述評估指標進行成對比較矩陣

95

24%以下者 25%以上者

一致性檢定。經檢核，「網站系統技術品質」、「網頁設計」、「課程教材品質」、

「個人化服務功能」、「網站基本資訊內容」等 5 層面的一致性指標（CI.）

與一致性比率（CR.）均小於 0.1，符合一致性檢定；另「網站系統技術品 質」層面下 7 項指標、「網頁設計」層面下 3 個指標、「課程教材品質」層 面下 10 項指標、「個人化服務功能」層面下 5 項指標、「網站基本資訊內容」

層面下 5 項指標之一致性指標（CI.）與一致性比率（CR.）亦均小於 0.1，

符合一致性檢定；證明本研究建構之教學網站評估指標權重體系具資訊科 技心理教育專業、網站設計管理、現場教學使用等三類專家意見的一致性，

符合某程度的可靠度與實用性。

三、相對權重比值討論與代表意涵

（一）從本研究發展之教學網站評估指標整體權重體系來看，在評估層面 上以「課程教材品質」（34.13%）的權重最高，其次為「網站系統技 術品質」（27.05%），「網頁設計」的權重最低，僅佔 8.93%；由此可 見，成功構建教學網站的主要因素首在課程教材品質。第一層評估 指標權重百分比及排序圖示如圖 4-2。

圖 4-2 教學網站評估指標權重百分比及排序圖示（第一層指標）

96

3.75%~5%者 5%以上者

（二）綜理本研究發展之教學網站評估指標權重體系，在第二層指標項目 上以「教材內容正確完整」（6.44%）的權重最高，其次為「安全機 制與個資隱私」（6.18%）、「課程範圍明顯區隔」（5.18%）、「科技設 備相容性高」（5.11%），比例均佔 5%以上；而「教材可擴展移植性」

（4.99%）、「提供自主學習工具」（3.86%）、「傳輸下載回應穩定且快 速」（3.75%）、「學習歷程之運用」（3.54%）及「教材內容豐富多元」

（3.53%）、「導航系統明確」（3.4%）比例達平均值 3.33%以上；至 於「搭配運用數位媒體功能」的權重最低，僅佔 1.65%。第二層評估 指標權重百分比及排序圖示如圖 4-3。

圖 4-3 教學網站評估指標權重百分比及排序圖示（第二層指標）

由此可知，在教學網站評估時，首應注重網站上教材內容的提 供，符合教學目標與教育學理，並具備邏輯清晰、規劃完整、內容 正確並可即時更新等特性；而網站系統技術提供的安全保密機制與 保護個資隱私，讓學習者放心使用的機制，以及網站中課程範圍依 不同主題或使用者而有所區隔，對象明確，符合學習者需求的設計，

97

對網站評估亦具重要影響程度。

（三）本研究結果求算出教學網站第一層評估指標項目與排序，經與同樣 採取模糊層級分析法研究遠距數位學習系統評估指標的 Chao 和 Chen （2009）研究結果相比較，認為網站的數位學習課程教材在 網站評估重要性排第一，網站系統技術或平臺質量的重要性排第二，

至於該研究排序第三至第五項的指標（自主學習、同步學習、學習 紀錄），與本研究排序第三的個人化服務功能（提供自主學習工具、

建立學習成就評估機制、學習歷程之運用）類似；而本研究甚而認 為，網站基本資訊內容的呈現，以及網頁設計相關內涵，在建構教 學網站評估架構時，亦為不可忽略的項目。本研究與 Chao 和 Chen

（2009）的研究指標權重排序比較情形如表 4-25。

表 4-25 教學網站評估研究結果差異比較表（一）

本研究

研究對象：教學網站

Chao & Chen （2009）

研究對象：遠距數位學習系統 1.課程教材品質 34.13% 1.數位教學教材 24.3%

2.網站系統技術品質 27.05% 2.網站學習平台質量 21.6%

3.個人化服務功能 16.47% 3.自主學習 18.6%

4.同步學習 18.1%

5.學習紀錄 17.5%

4.網站基本資訊內容 13.42%

5.網頁設計 8.93%

資料來源：研究者自行整理

98

（四）另將本研究求算出第二層評估指標項目與排序，經與同樣採取模糊 層級分析法研究科學教育網站評估指標的張琬翔和尹玫君（2014）

研究發展的網站評鑑表進行比較（如表 4-26），認為下述均為評估 網站重要的指標項目：

1. 網站課程範圍明顯區隔，內容呈現學習目標層次並切割成易理解 區塊，單一網頁亦應依適合對象與教材難易等資訊合宜設計。

2. 教材可擴展移植性高，網站提供軟體供學習者從實際操作建構知 識。

3. 提供自主學習工具，能依個人需求彈性選擇學習內容等。

4. 導航系統明確，網站提供循序漸進的步驟引導思考。

5. 搜尋檢索功能便捷，提供與主題相關的參考網站與資訊等。

6. 提供互動回饋與社群交流平臺等協助工具等。

而本研究甚而認為，教材內容正確完整、網站安全機制與個資 隱私、科技設備相容性、傳輸下載回應穩定且快速、學習歷程之運

而本研究甚而認為，教材內容正確完整、網站安全機制與個資 隱私、科技設備相容性、傳輸下載回應穩定且快速、學習歷程之運