結合模糊層級分析法與關聯法則建構數位學習系統活動流程評估準則

(1)

結合模糊層級分析法與關聯法則建構數位學習

系統活動流程評估準則

Integration of FAHP and Association Rule to Establish the

Evaluation Mechanism for e-Learning Platform

林湘霖

1

Shiang-Lin Lin

王貞淑

2

Chen-Shu Wang

國立政治大學資訊管理學系國立臺北科技大學資訊管理研究所

1

Department of Management Information Systems, National Chengchi University and

2

Graduate Institute of Information Management, National Taipei University of

Technology

(Received August 14, 2012; Final Version October 7, 2013)

摘要：數位學習 (e-Learning) 平台係藉由資訊科技做為媒介，由許多異質學習模組組成，像是：測驗評分模組與學習互動模組，提供授課者與學習者更彈性的學習環境。各學習模組的預設功能及目的不同，因此有必要探討 e-Learning 平台的使用者對於平台中各學習模組評估準則的差異程度。本研究以兩大 e-Learning 平台為例，「Moodle」及「Wisdom Master」，並以兩平台中共有的活動流程為標的，即「測驗評分」與「學習互動」，找出授課教師對兩模組的評估要素排序，進而產生 e-Learning 平台評估機制。本研究所提出的評估機制為二階段模型，第一階段中先由文獻中彙整了三項 e-Learning 平台評估構面，包括：平台技術、平台功能及平台介面。考量各學習模組異質特性，針對「測驗評分」流程則再細分為九項準則及二十項子準則；而針對「學習互動」流程則細分為八項準則及十八項子準則。並於第一階段實地對台灣地區三十位教師進行深度專家訪談，以模糊層級分析法 (FAHP) 進行分析。進一步的，在第二階段再結合模糊語意於層級分析結果中，將受測者意向經模糊語意轉換後，以關聯法則進行資料分析。分析結果揭露了不同學習流程之評估要素間相對模糊權重、重要性排序及關聯規則的確存在差異。針對「測本文之通訊作者為王貞淑，e-mail: [email protected]。本研究受行政院國科會專案計畫 (NSC 98-2410-H-216-004-MY2) 補助，特此致謝。

(2)

驗評分」流程，授課教師普遍認為傳輸資料的正確性與連結穩定性兩項準則最為重要；而針對「學習互動」流程，授課教師最為在意的則是數位學習平台是否提供即時交流知識且能夠快速更新主題內容的互動平台。此外，九項關聯規則分析結果亦揭露了在兩組活動流程中，分別與「介面圖文編排」跟「傳輸資料的正確性」相關的衡量準則，亦可供 e-Learning 平台開發者做為後續 e-Learning 平台發展與維護之參考依據。關鍵詞：數位學習、流程管理、模糊層級分析法、關聯法則

Abstract: E-Learning platform enables instructors and learners a more flexible learning environment

through information technology. Usually, e-Learning platform contains of diverse learning modules, such as online tests module and interactive learning module. The function for each learning module differ from each other, therefore it is necessary to establish the evaluation criteria for e-Learning platform from specific learning module perspective. In this study, we take two learning modules, the online test module and the interactive learning module, of two e-learning platforms (which are major adoption in Taiwan), Moodle and Wisdom Master, as investigation targets. There are two stages to establish the evaluation mechanism for e-Learning platform. In stages one, the evaluation criteria are collected from previous researches and three dimensions are finally aggregated, including: technology, function and interface, for e-Learning platform evaluation. Three dimensions are further divided into 9 factors (contain 20 sub-criteria) for the interactive learning module evaluation and 8 factors (contain 18 sub-criteria) for the online test module evaluation. A deep interview is implemented and all 30 interviewed instructors rank the evaluate criteria for each learning modules. The collected feedback further analysis using the methodology of analytic hierarchy process (AHP).Furthermore, the second stage adopts a fuzzy mechanism (as known as FAHP) to convert the important weight of AHP result in the first stage into discrete scale for association rule generation. The analysis results reveal that the ranking and important weight of evaluation criteria significant differ from learning muddles that supports our view point. For the online test module, two criteria, the correction for networking transmission and the stability for connection, are primary concern. On the other hand, for the interactive learning module, most instructors are focus on the design of interface for knowledge sharing and course material upload. Finally, the association rules also provide some guideline to improve the performance of e-Learning platform from each learning module. 9 association rules reveal the relationships among evaluation criteria particular for the interface design and the connection correction. The system developers can further refer these contributions for e-Learning platform

(3)

maintenance and performance improvement.

Keywords: E-Learning, Process Management, Fuzzy Analytic Hierarchy Process (FAHP), Association

Rule

1. 緒論

隨著科技發展及網際網路日趨普及化，許多課程教材 (courseware) 大多可以以數位課體的方式呈現。學習方式也從傳統侷限於定點、定時，轉變為能夠彈性配合學習者的需求，因此越來越多人透過資訊科技進行線上學習。這並不是教學工具的改變，而是教學與學習環境的改變，也造就了一個嶄新的學習平台，即所謂的數位學習 (e-Learning) 平台。根據拓墣產業研究所顧問公司估計，2006 年全球花費在數位化教育的費用達 465 億美元，並預估不出五年可達 620 億美元1_{。另外，像是美國的麻省理工學院的「開放課程資料」計畫，能夠提供使用者免費下載課}

程教材，而英國的 Learndirect 學習中心網 (吳美美，民 93) 以及日本的 eJapan 計畫亦將 e-Learning 列為重點發展之一 (Tzeng et al., 2007)。隨著全球各國大力投入開發資源，e-Learning 日趨發展 且蔚為風潮。目前市面上 e-Learning 系統的種類及模組極為多元，雖然不同的 e-Learning 平台操作介面與使用環境略有差異，但大多包含了：平台環境設定、線上測驗、資源分享以及線上互動與討論…等功能。在 e-Learning 平台中，上述各項模組的預設功能大多不盡相同，例如：使用者可以透過平台環境設定模組中的參數，進行操作環境個人化設定 (如：顏色或聲音)。另外，像是教師則可以透過線上測驗模組中的功能，進行試題設定 (如：選擇題或問答題)並配置試卷的開放時間與批閱方式。對使用者而言，e-Learning 平台必需提供適當的指引，讓使用者熟悉 e-Learning 平台環境。而對系統建置者而言，了解使用者對於異質學習活動的需求以及使用者對於各學習模組的衡量指標都是相當重要的議題。唯有了解使用者如何衡量 e-Learning 平台，才能設計及開發最符合使用者需求的 e-Learning 介面與平台。

近年來，已有不少學者投入衡量 e-Learning 平台的成效 (Ozkan and Koseler, 2009) 或是評估課程建置 (謝翠如，民 95) 與學習成效 (Shee and Wang, 2008)。然而，卻顯少有研究由 e-Learning 平台內異質的學習模組觀點出發，探討使用者對於 e-Learning 平台的評估準則。有鑑於此，本研究以兩大 e-Learning 平台為例，「Moodle」及「Wisdom Master」，以兩平台中共有的活動流程為標的，「測驗評分」與「學習互動」，找出授課教師對兩模組的評估要素排序，進而產生 e-Learning

1

拓墣產業研究所，掌握數位學習產業發展現況與趨勢，2007。

(4)

平台評估機制。本研究之研究目的條列如下： (1) 針對「測驗評分」與「學習互動」兩組 e-Learning 活動流程，建構兩組活動流程之階層式評估層級架構。 (2) 收集 e-Learning 平台上授課教師的意見，經由深度專家訪談，彙整專家經驗與意見回饋，再透過模糊層級分析法與關聯法則，取得各評估要素間之相對模糊權重，並找出各模組評估子準則對於整體活動流程之重要性排序，與子準則間有用之關聯規則。 (3) 提出一整合決策分析架構，結合了模糊層級分析法、關聯法則與模糊語意等多個決策方法，作為 e-Learning 系統評估之參考依據。

2. 文獻探討

本研究係以評估數位學習系統之活動流程為主要研究主題，以下就所涉及之主題，包含：數位學習、多準則決策方法與模糊層級分析法，彙整相關文獻。

2.1 數位學習

數位學習 (e-Learning) 最早是於 1999 年由美國的學者 Jay Cross 所提出，並開始引起各方關注。雖各界詮釋不一，但基本概念皆為透過線上媒體或網路之類的傳播技術來進行學習方面之活動交流。由於 e-Learning 科技的標準在推動上已大致底定，因此目前市場環境對 e-Learning 在技術上的需求已漸漸消退，而慢慢傾向著重於 e-Learning 之成效與學習內容。美國人力資源發展協會 (American Society for Training and Development; ASTD) 對 e-Learning 之定義為學習者利用電腦，透過網際網路、衛星廣播或光碟等傳播媒介進行課程學習的途徑2_{。Gartner Group 則認} 為 e-Learning 是一種遠距教學，使用各種影音媒體來進行授課教學，但最主要是利用網際網路之管道來傳輸數位內容3_。目前各大專院校所使用的 e-Learning 平台不盡相同，雖功能上多有相似之處，但就使用者而言，操作不同的 e-Learning 平台，還是容易造成使用上之混淆。因此，建置一套好的網站衡量機制，不僅可以幫助使用者找到適合自己最佳的 e-Learning 網站，更可提升進行線上學習之品質與學習成效。

2.2 多準則決策方法

多準則決策方法 (multiple criteria decision making; MCDM) 主要涉及到評估及選擇的問題

2

美國訓練發展協會 (American Society for Training and Development; ASTD)，http://www.astd. org/。

3

顧能公司 (Gartner Group)，http://www.gartner.com/technology/home.jsp。

(5)

(Keeney and Raiffa, 1993)，近幾年已在運籌及管理科學的領域上快速發展。Tzeng et al. (2007)提 到 MCDM 是評估 e-Learning 系統最合適的方法；MacCrimmon (1969) 也提出透過層級分析可取得準則配置與優先選擇架構，決策者藉由層級分析可得到決策目標與決策準則間之關聯性的目標層級架構。

資訊系統的評估乃是多準則之決策問題 (Alonso et al., 2000)，且 AHP 為解決此類問題中最 廣泛且實用的方法。而 e-Learning 系統的建置概念是植基資訊系統上，是為了一特定目的及方向所發展之資訊系統。

2.3 模糊層級分析法

Saaty (1980) 提出層級分析法 (analytical hierarchy process; AHP) 為多準則決策方法中解決問題的最適方法之一。它能夠將決策問題結構化並提供準則、目標權重和替代方案，再對各準則施以一致性判定。鄧振源、曾國雄 (民 78) 提到 AHP 在使用上需假設一系統可被分成多類別 (classes) 和要素 (components)，且各要素間均具獨立性 (Independence) 之層級結構。

然而，傳統 AHP 能針對要素間重要程度進行考量，但在人類的思維上，具有模糊性之特性，即專家在決定要素間之重要性時，並非都有明確的界限劃分，其結果可能有失偏頗；且採用傳統 AHP，當層級數增加時，則評估因素間兩兩比較之次數將成指數成長，易使填答者因回答問題過多，思緒混淆，導致評估效率降低；此外，傳統 AHP 在整合群體意見時所使用之幾何平均數，不適用於當眾決策者對各評估要素之認知差異很大時，這將導致部分評估者之觀點無法反應在評估問題上 (Belton andf Gear, 1985; Millet and Harkear, 1990)。

有鑑於此，Buckley於 1985 年提出模糊層級分析法 (fuzzy analytic hierarchy process; FAHP)，用以解決上述之問題。該方法結合了模糊理論 (fuzzy theory) 與 AHP，補足專家在對評估層級架構中兩要素作重要性比較時，所伴隨之模糊性的缺點，並能更真實地反映現實狀況。

2.4 關聯法則

關聯法則 (association rules; AR) 是由 Agrawal 等幾位學者於 1990s 所提出的一種資料探勘法，目的是希望從一群龐大的交易資料項及屬性間，找出彼此間有關聯之規則，這些規則能有 效揭示未知的關係，並提供預測和決策的結果。其定義假設 I = {i_1,i_2,i_3…i_m}為一組 items 之集合，且產生之規則形式為X→Y，其中 X ⊆ I, Y ⊆ I 且 X∩Y = ø，每一條關聯規則皆需有 Support 值 (以 supp 表示) 與 Confidence 值 (以 conf 表示) 兩個參數來判斷找出之關聯法則是否具有存 在的意義。而一組有效的關聯規則，其支持度及信賴度須滿足使用者訂定之最小支持度 (minimum support, minsupp) 及最小信賴度 (minimum confidence, minconf)。

(6)

3. 數位學習系統評估準則架構

本研究旨在由各別的學習活動觀點出發，探討 e-Learning 平台的主要使用者 (教師) 對於 e-Learning 平台的評估準則。本研究所提出之 e-Learning 系統評估準則架構為兩階段模型，其架構如圖 1 所示。先比較 Moodle 與 Wisdom Master 兩大 e-Learning 平台，並挑選「測驗評分」與「學習互動」兩組流程作為評估標的 (步驟①)。根據文獻彙整，遴選適合衡量兩組流程之評估要素，建置評估層級架構 (步驟②)。再依據所建立之評估層級架構進行 AHP 問卷設計，並實施深度問卷訪談 (步驟③)。之後回收並彙整各專家之問卷 (步驟④)，應用 AHP 專業軟體 Super Decisions，驗證每份問卷之一致性；並經由資料探勘軟體 WEKA 進行 AR 分析 (步驟⑤)。藉由 FAHP 求算各要素間相對模糊權重，再經由層級串聯，予以各子準則對於整體評估層級架構之重要性排序；並透過 AR 分析找出各子準則間有價值之關聯規則，並對資料分析後的結果進行探討 (步驟⑥)。本研究建置之評估層級架構及提出之評估機制，最終可供 e-Learning 系統建置者或使用者作為建置或挑選系統時的一個參考依據 (步驟⑦)。

3.1 兩階段 e-Learning 評估架構：流程評估觀點

在台灣地區，較為常見的 e-Learning 平台為 Moodle 與 Wisdom Master 兩大 e-Learning 平台，本研究由上述兩大平台，擷取「測驗評分」及「學習互動」兩組 e-Learning 活動流程，分別進行評估與比較，並訂定兩組活動流程之核心功能，作為專家在評估該組流程時之依據。

(7)

(1) 測驗評分流程：以 Moodle 平台為例，將「測驗評分」流程的操作分為教師及學生部分，並於圖 2 中繪製該組流程之活動圖，大致包含了新增測驗內容、測驗上傳、測驗評分三個活動，各活動間的串聯主要是由新增測驗內容該活動觸發。 (2) 學習互動流程：以 Moodle 為例，同樣地將「學習互動」流程的操作分為教師及學生部分，該流程以系統中的「討論區」為主軸，活動之操作流程如圖 3 之活動圖所示，大致包含了新增討論主題、閱讀討論內容、對討論主題發表意見三個活動，各活動間的串聯主要是由新增討論主題該活動觸發。

3.2 多準則決策評估

(1) 遴選各層級評估要素：

本研究根據 Parikh and Verma (2002) 之研究，將評估構面分為「技術」、「介面」及「功能」三個構面，再彙整了多位學者的觀點，整合出對應的評估層級要素，並加以說明如表 1。

(8)

圖 3 學習互動流程活動圖：以 Moodle 平台為例 (2) 模糊層級分析法操作流程：本研究採用 FAHP，求算各評估要素間之相對模糊權重以及各子準則對於整體評估層級架構之重要性排序。FAHP 之操作流程如圖 4 所示，本研究將針對各步驟予以說明。 1) 確認決策問題與建置評估層級架構：根據遴選之評估要素，建置 e-Learning 兩組活動流程之評估層級架構，並定義各層級評估要素間之關聯如圖 5 所示。 2) 比較要素評估尺度：當建構完目標之評估層級架構後，兩要素間需依據成對比較尺度進行重要性之比較。Saaty (1990) 提到 AHP 之成對比較尺度總共分為九個等級 (包括：同等重要、略為重要、頗為重要、極為重要、絕對重要與各尺度間之相鄰值)，如表 2 所示。 3) 建立成對比較矩陣：以上一層級某一要素作為某一層級的要素評估基準，並進行要素間之成 對比較。舉例而言，將受測者對 n 個要素 A1，A2，A3，…，An比較結果的衡量值，置於成對

比較矩陣 A 的上三角形部分，而下三角形部分為相對位置數值的倒數，即 aij＝1/aji，其中，

(9)

表 1 兩組流程評估層級架構之評估要素說明 構面準則子準則參考文獻 (D1) 技術 (C1) 傳輸品質 (C1.1)良好的連線品質：使用者在傳輸資料時，不會有傳輸動作突然中斷的情形發生。 Livengood et al. (1997) (C1.2)傳輸資料的正確性：資料內容正確無誤地上傳至使用者欲存放的系統空間。 (C2) 系統穩定性 (C2.1)連結穩定性：系統連結穩定，不會經常斷線及需維修。 (C2.2)等候時間：等候系統頁面顯示或是等待資料上傳結果所需花費的時間。 Yang et al. (2005) (C2.3)除錯能力與錯誤恢復程度：系統發生錯誤時能快速復原或排除錯誤。 Nielsen (1993) (D2) 介面 (C3) 導覽介面 (C3.1)使用容易性：操作時介面呈現容易上手，並有指引說明書教導使用者如何使用該系統之功能或相關的輔助工具。何祖鳳等 (1998) (C3.2)理解性：標題、文字和圖像易辨識理解，並有清楚的系統架構分類，讓使用者一目了然且容易理解其操作使用的方式。蔡秀勤 (民 93) (C3.3)有效的導覽機制：系統是否提供有效導覽機制，如課程檢索功能，讓使用者快速找到欲瀏覽之頁面。 Yang et al. (2005) (C4) 視覺滿意度 (C4.1)系統美觀性：系統擁有美觀舒適的操作介面，讓使用者操作流程時，對系統介面有好感並能愉快操作。 Wilkinson et al. (1997) (C4.2)介面的圖文編排：系統在介面的編排上是否符合使用者的習慣，以增加使用者在操作上之流暢度。曹汝民 (民 90) (C5) 系統回饋 (C5.1)明確的指引與提示說明：系統提供使用者在流程操作時明確的提示與說明，讓使用者操作起來更順暢。林川勝 (民 99) (C5.2)適度顯示系統訊息與回應：沒有過多的系統提示訊息影響到流程操作。 (D3) 功能 (C6) 數據統計 (C6.1)學習進度控管：可透過系統查看某課程的成績統計資料，讓使用者藉此了解成績的落點。李俊佳 (2005) (C6.2)學習歷程記錄：使用者可透過系統，察看曾開過那些課程及主題。謝翠如 (民 95) (C7) 提供搜尋服務 (C7.1)提供測驗搜尋：可透過搜尋介面搜尋欲查看及找尋的測驗項目及內容。 Laura et al. (1999) (C7.2)流程操作時的諮詢管道：提供使用者搜尋問題及解決辦法之諮詢與支援管道。 (C8) 功能完整性 (C8.1)評量方法之完整性：系統提供多種評分方式，讓使用者在評分時上可選擇分數、級位、合格與不合格等多種方式。林姵君 (民 96) (C8.2)系統化的測驗評分組織架構：系統在該流程上提供完善的功能架構。 (C9) 使用者控制 (C9.1)使用者控制與學習活動管理：系統提供使用者安排學習課程進度或線上測驗活動獎勵之管理。

Shee and Wang (2008) (C9.2)控管與製作測驗及教材機制：提供使用者教材及測驗的製作、編修、引用、分享、與管理的機制。 Laura et al. (1999) (D3) 功能 (C6) 個人化 (C6.1)個人化介面設定：提供個人化介面設定，方便使用者依使用習慣操作流程，並可配置喜好之操作版面及常用之課程架構。 Pujola (1998) (C6.2)討論主題追蹤：針對使用者有興趣的主題或內容作更新的追蹤設定。

Pituch and Lee (2006) (C7) 功能完整性 (C7.1)討論輔助工具之完整性：是否具備電子信箱、布告欄及線上通訊等功能。 (C7.2)討論區系統組織架構之完善性：討論區功能架構完整且清楚分明，如：具備發文、回復及資源分享等功能。林姵君 (2007) (C8) 互動性 (C8.1)方便性：容易與其他使用者進行互動，並進行知識及經驗的分享與交流。黃明祥、顏文成 (民 95) (C8.2)即時性：討論區的討論主題或內容能即時的更新。

(10)

圖 4 FAHP 方法流程圖

(11)

表 2 AHP 成對比較尺度表

強度定義

1 同等重要(Equal importance)

3 略微重要(Moderate importance of one over another) 5 頗為重要(Essential or strong importance) 7 極為重要(Very strong importance) 9 絕對重要(Extreme importance)

2,4,6,8 尺度間相鄰值(Intermediate values between the two adjacent judgments)

4) 計算最大特徵值 (𝜆𝜆max) 及特徵向量 (eigenvector)：透過數值分析中特徵值解法，找出特徵 向量及最大特徵值_{𝜆𝜆max，並求算各層級要素之權重。} 5) 一致性檢定：決策者在成對比較時要達成前後一貫性是相當困難的，因此需進行一致性檢定來檢驗評估過程中決策者所下判斷之合理程度。而一致性指標 (C.I.) 與一致性比率 (C.R.) 可用來檢驗權重之一致性，且 C.I.與 C.R.均必須小於或等於 0.1，才能通過一致性檢定。以下分別針對 C.I.與 C.R.作解釋： A =                     1 . . . / 1 / 1 . . . . . . . . . . . . . . . . . . . . . 1 / 1 . . . 1 2 1 2 12 1 12 n n n n a a a a a a (1)

(a) 一致性指標 (consistency index; C.I.)：Saaty 建議 C.I.值最好小於等於 0.1，即 C.I.≦0.1， 一致性方可接受。計算公式如式(2)，其中_{𝜆𝜆max 為最大特徵值，n 為層級要素之個數。}

C.I. = 𝜆𝜆𝑚𝑚𝑚𝑚𝑚𝑚−𝑛𝑛

𝑛𝑛−1 (2)

(b) 一致性比率(consistency ratio; C.R.)：當研究問題變複雜時，成對比較矩陣 A 的階數亦會 增加，導致較不易判斷其一致性，針對這點，Saaty 提出「隨機指標 (random index; R.I.)」，用來調整不同階數所產生不同 C.I.值之變化，即 C.R.值，並建議其值最好亦小於等於 0.1， 即 C.R.≦0.1，表示一致性程度為滿意。其調整公式如式(3)： C.R. = 𝐶𝐶.𝐼𝐼. 𝑅𝑅.𝐼𝐼. (3) 6) 計算各層級要素之整體三角模糊數：經由計算與一致性驗證後，可得每份專家問卷中各評估要素之相對權重。為求得整體評估要素之相對模糊權重，需先建立各評估要素之三角模糊數。

(12)

本研究依據 Dubois and Prade (1978) 之研究，以整體問卷中各評估要素權重之最小值 (Li)、中間值 (Mi)、最大值(Ri)為該評估要素之三角模糊數。計算公式如式(4)到式(6)所示，其中， h 代表第 h 位專家，i 代表第 i 項評估準則要素，n 代表專家總數： Li = 𝑚𝑚𝑚𝑚𝑚𝑚_ℎ�𝐿𝐿ℎ_𝑖𝑖， ℎ = 1，2， … … 𝑚𝑚� (4) Mi = �∏𝑛𝑛_ℎ=1�𝑀𝑀_𝑖𝑖ℎ， ℎ = 1，2， … … 𝑚𝑚�� 1 𝑛𝑛₍₅₎ Ri = 𝑚𝑚𝑚𝑚𝑚𝑚_ℎ�𝑅𝑅_𝑖𝑖ℎ， ℎ = 1，2， … … 𝑚𝑚� (6) 7) 正規化各層級之三角模糊數：由上述步驟所得之三角模糊數，在解模糊以求得最終權重前，需先進行正規化已使得研究結果更為嚴謹 (Chang and Lee, 1995)。各要素正規化後之三角模 糊數以 (nLi， nMi， nRi) 表示，其求算公式如下式(7)到式(9)所示： 𝑚𝑚𝐿𝐿𝑖𝑖 = 𝐿𝐿𝑗𝑗 ��∑ 𝑅𝑅𝑘𝑘𝑖𝑖 𝑖𝑖�∗�∑ 𝐿𝐿𝑘𝑘𝑖𝑖 𝑖𝑖�� 1 2 (7) 𝑚𝑚𝑀𝑀𝑖𝑖= _{∑ 𝑀𝑀}𝑀𝑀𝑖𝑖 𝑖𝑖 𝑘𝑘 𝑖𝑖 (8) 𝑚𝑚𝑅𝑅𝑖𝑖 = 𝑅𝑅𝑗𝑗 ��∑ 𝑅𝑅𝑘𝑘𝑖𝑖 𝑖𝑖�∗�∑ 𝐿𝐿𝑘𝑘𝑖𝑖 𝑖𝑖�� 1 2 (9) 8) 三角模糊數解模糊暨標準化：經由正規化所得之三角模糊數，最後需在予以解模糊化。將所 得之三角模糊數轉換為一實數值 DFi，且為使各層級要素求得之 DFi值加總為 1，需再進行 一次標準化並求得最後各要素之權重值 DFi′。公式如下式(10)及式(11)： DFi = {(𝑛𝑛𝑅𝑅_𝑖𝑖−𝑛𝑛𝐿𝐿𝑖𝑖)+(𝑛𝑛𝑀𝑀𝑖𝑖−𝑛𝑛𝐿𝐿𝑖𝑖)} 3 +𝑚𝑚𝐿𝐿𝑖𝑖 (10) 𝐷𝐷𝐷𝐷𝑖𝑖′ = _∑𝑘𝑘𝐷𝐷𝐷𝐷_{𝐷𝐷𝐷𝐷}𝑖𝑖 _𝑖𝑖 𝑖𝑖=1 (11) 9) 層級串聯及重要性排序：經由上述步驟，可求得在目標層下第一層第 i 個構面之權重 NWi、 第一層第 i 個構面下第二層第 j 個準則之權重 NWij，以及第二層第 j 個構面下第三層第 k 個 子準則之權重 NWijk。為了求得目標層下之第三層第 k 個子準則之權重 NWk，則須進行層級串聯，其公式如(12)所示。 𝑁𝑁𝑁𝑁𝑘𝑘=𝑁𝑁𝑁𝑁𝑖𝑖*𝑁𝑁𝑁𝑁𝑖𝑖𝑖𝑖*𝑁𝑁𝑁𝑁𝑖𝑖𝑖𝑖𝑘𝑘 (12) 經由層級串聯之運算，可求得各子準則對整體評估層級架構之絕對權重值，進而予以各子準則其重要性排序。

(13)

3.3 關聯規則

FAHP 方法可從專家所評定的各層級要素相對分數中，求算各要素其模糊權重及相對重要性程度，再經由層級串聯，找出各子準則對於整體評估層級架構之重要性排序。然而，如欲找出某兩項評估要素間是否存在相互影響及其影響程度，則需要配合資料探勘中的 AR 來找出要素間之影響與相互關聯性。本研究以傳統 AHP 求算每份問卷中各評估要素之相對權重，再以 Chen and Hwang (1992) 所提出之模糊語意尺度變數表，將連續型的相對權重數據，轉換為間斷型的模糊語意資料。最後，將每位受測者意向經模糊語意轉換後，即可做為階段二 AR 分析的輸入參數，並找出各子準則間有用之關聯規則，其操作流程步驟如圖 6 所示。

在語意轉換的部分，本研究根據 Chen and Hwang (1992) 提出之模糊語意變數尺度轉換表，作為每份問卷各評估子準則之權重轉換為模糊語意的依據，如表 3 所示。本研究參照表中的 Scale 2，將調整後之數值以「Low」、「Medium」與「High」三種語意區隔，並將 0-1 的權重數值劃分成「Ignore (0-0.307)」、「Unimportant (0.308-0.538)」、「Normal (0.539-0.769)」與「Excellent (0.770-1)」四個級距。

(14)

表 3 數值轉換模糊語意對照表

Value Scale 1 2 3 4 5 6 7 8

No. of terms used 2 3 5 5 6 7 9 11

0.077 None Ignore ● 0.154 Very low ● ● ● ● ● 0.231 Low-very low ● ● 0.308 Low ● ● ● ● ● ● 0.385 Fairly low Unimportant ● ● ● ●

0.462 More of less low ● ●

0.539 Medium ● ● ● ● ● ● ● 0.616 More of less High

Normal ● ● 0.693 Fairly high ● ● ● 0.770 High ● ● ● ● ● ● ● ● 0.847 High-very high Excellent ● ● 0.924 Very high ● ● ● ● ● 1.000 Excellent ● 如某份專家問卷之評估子準則經由計算所得之相對權重值為 0.125，則對應之模糊語意即為 Ignore；如相對權重值為 0.875，則對應之模糊語意則為 Excellent，以此類推。模糊語意轉換之範例如表 4 所示。

4. 實驗設計與分析

4.1 問卷設計

本研究進行之專家問卷分析，主要目的在藉由專家之回饋意見來衡量各項評估要素間的相對重要程度。再經由 FAHP 法與 AR 分析，求算評估層級架構中，各要素間之相對模糊權重、重要性排序與關聯規則。問卷設計方式是以表 2 之成對比較尺度表為依據，進行 9:1 到 1:9 的相對重要性評估測量，並要求問卷專家逐一勾選出各要素間之相對重要程度。 表 4 模糊語意轉換範例 評估子準則 C1.1 C1.2 C2.1 C2.2 C2.3 相對模糊權重 0.125 0.875 0.550 0.335 0.115 模糊語意 Ignore Excellent Normal Unimportant Ignore

(15)

4.2 問卷對象

為使本研究之評估層級架構能確實對 e-Learning 活動流程進行有效的衡量，問卷對象的專家必須能確實考量到評估層級中的各評估層面，以供日後系統開發者建置系統上或使用者流程操作上作為考量之依據。本研究在專家之認定上，主要係以各大專院校資訊領域且具有實際操作 e-Learning 平台的經驗的教授為主。最後，在為期二個月的實驗過程中，本研究實地走訪國內 21 間學校，總計共發放 30 份專家問卷，並對每一位專家學者進行一對一的訪談，每份問卷訪談時間平均為 30 分鐘 (時間最長者為 2 個小時以上)。問卷之人口統計資料如表 5 所示。

4.3 模糊權重分析

本研究應用 AHP 專業軟體 Super Decisions，驗證各問項是否符合一致性，即 C.R.值小於0.1，以確保分析結果的有效性。經過檢定後求得各要素間之相對權重，再求算評估層級中各要素之整體相對模糊權重。問卷之尺度「1：9」等數字係表示同組中兩要素之重要程度比值，當勾選愈靠近 X 要素時，即表示其較 Y 要素愈重要；反之，如勾選愈靠近 Y 要素，表示其較 X 要素愈重要。 4.3.1 相對模糊權重計算與分析： 考量到每位受訪者的對重要性程度標準不一，例如：在 1 (同等重要) 至 9 (絕對重要) 的範圍內，受訪者 A 認定 5 分即為十分重要，卻是受訪者 B 普通重要的門檻值而已。為了避免這樣的落差均化分析結果，本研究將問卷資料彙整並代入三角模糊數，再予以解模糊化。最後，本研究取得兩組 e-Learning 活動流程評估層級架構之各要素相對模糊權重值，如表 6 與表 7 所示。衡量兩組 e-Learning 活動流程時，「功能」皆為最重要之考量構面 (排名均為第一名，均分為 0.357 以上)。e-Learning 最大意義即是在使學習數位化，並且透過網路，加強教授者與學習者的互動。因此，無論是在哪個活動流程上，唯有具備完善且強大的功能，才能滿足使用者的需求，再輔以良好的介面設計，讓使用者在操作流程時更容易且更順暢。其中，「使用者控制」是測驗評分流程必要的衡量要素。當使用者操作該活動流程時，如系統能提供安排課程進度及完善的教材或試卷編修管理的功能，將有利於線上測驗與評量之進行；而學習互動流程則強調「互動性」的重要，該流程中是以討論區為核心功能，強調使用者之間能夠擁有良好的互動，再搭 表 5 問卷專家樣本資料 平台使用年資慣用平台 5 年以下 6 Moodle 18 5~10 年 15 Wisdom Master 9 10 年以上 9 其他平台 3

(16)

表 6 構面與準則之相對權重值 測驗評分流程學習互動流程構面模糊權重準則模糊權重構面模糊權重準則模糊權重 D1 技術 0.313 C1 傳輸品質 0.451 D1 技術 0.273 C1 傳輸品質 0.461 C2 系統穩定性 0.549 C2 系統穩定性 0.539 D2 介面 0.329 C3 導覽介面 0.371 D2 介面 0.363 C3 導覽介面 0.407 C4 視覺滿意度 0.264 C4 視覺滿意度 0.301 C5 系統回饋 0.366 C5 系統回饋 0.292 D3 功能 0.358 C6 數據統計 0.277 D3 功能 0.364 C6 個人化 0.298 C7 提供搜尋服務 0.127 C7 功能完整性 0.300 C8 功能完整性 0.290 C8 互動性 0.402 C9 使用者控制 0.306 表 7 子準則相對權重值與重要性排序 測驗評分流程學習互動流程子準則名稱相對權重絕對權重排序子準則名稱相對權重絕對權重排序 C1.1 良好的連線品質 0.446 0.063 4 C1.1 良好的連線品質 0.472 0.059 6 C1.2 傳輸資料的正確性 0.554 0.078 1 C1.2 傳輸資料的正確性 0.528 0.066 4 C2.1 連結穩定性 0.428 0.074 2 C2.1 連結穩定性 0.408 0.060 5 C2.2 等候時間 0.285 0.049 11 C2.2 等候時間 0.307 0.045 16 C2.3 除錯能力與錯誤恢復程度 0.287 0.049 9 C2.3 除錯能力與錯誤恢復程度 0.284 0.042 17 C3.1 使用容易性 0.357 0.043 15 C3.1 使用容易性 0.390 0.056 9 C3.2 理解性 0.334 0.041 16 C3.2 理解性 0.332 0.048 14 C3.3 有效的導覽機制 0.310 0.038 18 C3.3 有效的導覽機制 0.277 0.040 18 C4.1 系統美觀性 0.438 0.038 17 C4.1 系統美觀性 0.408 0.046 15 C4.2 介面圖文編排 0.562 0.049 12 C4.2 介面圖文編排 0.592 0.067 3 C5.1 明確的指引與提示說明 0.506 0.061 5 C5.1 明確的指引與提示說明 0.526 0.056 10 C5.2 適度顯示系統訊息與回應 0.494 0.059 6 C5.2 適度顯示系統訊息與回應 0.474 0.050 12 C6.1 學習進度控管 0.507 0.050 8 C6.1 個人化介面設定 0.456 0.049 13 C6.2 學習歷程記錄 0.493 0.049 10 C6.2 討論主題追蹤 0.544 0.059 7 C7.1 提供課程搜尋 0.485 0.022 20 C7.1 討論輔助工具之完整性 0.471 0.051 11 C7.2 流程操作時的諮詢管道 0.515 0.023 19 C7.2 討論系統組織架構完善性 0.529 0.058 8 C8.1 評量方法之完整性 0.551 0.057 7 C8.1 方便性 0.519 0.076 1 C8.2 系統化的測驗評分組織架構 0.449 0.047 14 C8.2 即時性 0.481 0.070 2 C9.1 使用者控制與學習活動管理 0.426 0.047 13 C9.2 管理與製作測驗及教材 0.574 0.063 3

(17)

配完善且多元的功能，如：佈告欄、聊天室…等，讓進行討論之主題能迅速更新並即時獲得解答。而研究結果亦證實了，不同的學習活動其評估準則的確存在差異。其次為「技術」構面(排名均為第二名，均分為 0.346 以上)，「系統穩定性」在兩組活動流程中，皆為一重要的考量要素，唯有連線穩定且不常故障的系統，才能增加使用者之使用信心；且穩定的系統在資料上傳或下載時，也較不易因為斷線而導致資料傳輸不完整或是發生錯誤。最後，為「介面」構面(排名均為第三名，均分為 0.293 以上)，受測專家則普遍認為「導覽介面」較為重要，當使用者不熟悉 e-Learning 系統之操作時，如系統能提供明確的指引，或是完整的輔助說明工具，將幫助使用者快速熟悉系統，並順利完成流程之操作。在測驗評分流程中，除了好的導覽介面外，「系統回饋」之重要性亦不可忽視，原因在於進行線上測驗評分時有一定的程序，若使用者在操作每一步驟時，系統能自動予以提示及說明，將降低操作整個流程時，發生錯誤之機會。 4.3.2 層級串聯與重要性排序： 進一步，本研究應用 FAHP 進行各衡量準則 (含子準則) 權重求算，各要素求得一相對模糊權重，再透過層級串聯，給予各子準則對整體評估層級架構之絕對權重及重要性排序，如表 7 所示。由分析結果顯示，受測專家在衡量兩組 e-Learning 流程之評估要素時，無論是「技術」、「介面」與「功能」構面，皆有其重要之要素需考量，足見提供技術純熟、介面美觀且功能完善之 e-Learning 平台是使用者在操作 e-Learning 活動流程時不可或缺的。在「測驗評分流程」中，使用者可以透過 e-Learning 系統，進行線上考試及評量，系統必須能讓使用者正確的上傳及下載試題或教材，且對於系統連線的要求上，應具備更高的穩定度，讓使用者不至於因錯誤的流程操作，以及不明的斷線，導致使用者填答至一半須重新進行，而錯過考試時間。而在功能上，e-Learning 系統應具備完整的教材試題製作、編修及管理工具，提供教師進行線上測驗時更多的選擇性；而在「學習互動流程」中，最重要的核心功能，即是透過討論區讓使用者進行學習與互動。因此，系統應提供更方便即時交流知識且能夠快速更新主題內容的平台，在功能及介面圖文編排上，也應符合使用者之習慣，並讓使用者一目了然，操作起來更為順手。

4.4 專家分群分析

除了對整體專家問卷結果進行分析外，本研究經由問卷專家之樣本彙整，進一步依據專家慣用之 e-Learning 平台以及使用平台之年資進行分群分析。 4.4.1 e-Learning 慣用平台分群分析：

(18)

Master 平台兩組群組，並分別以 FAHP 法，求算兩組群組中，各子準則對於「測驗評分」與「學習互動」流程之重要性排序，以及找出兩組專家在認知上差異較大的子準則進行分析。

透過專家慣用系統分群分析，針對「測驗評分」流程，兩組專家對於「有效的導覽機制」(差距 10 名)、「介面圖文編排」(差距 11 名) 與「適度顯示系統訊息與回應」(差距 5 名)之重要性認定上，有著較大的差異。由於 Wisdom Master 平台相較於 Moodle 平台，在功能階層的編排上較為複雜，讓使用者在使用時，需花費較多的時間熟悉操作環境，且整體介面的呈現亦顯得較為不友善。而一般「測驗評分」流程在進行線上測驗或上傳作業時，都會有時間上的限制，因此慣用 Wisdom Master 之專家，多數認為系統應提供導覽機制及適當的訊息回應，幫助使用者提升操作流程時之效率；而慣用 Moodle 平台的專家則認為，若系統能提供符合使用者使用習慣之介面排版，將能大幅提升操作流程時的流暢度。而針對「學習互動」流程，在「良好的連線品質」(差距 8 名)、「傳輸資料的正確性」(差距 6 名) 與「連結穩定性」(差距 11 名) 三項子準則中，係以慣用 Moodle 平台之專家較為重視。由於 Moodle 平台為學術界所開發之開放式網路教學平台，相較於業界推出之 Wisdom Master 平台，在開發環境及軟體技術上，後者具備較雄厚的資金及技術支援，在系統的穩定度上亦較前者高。有鑑於此，慣用 Moodle 平台之專家普遍認為，系統如能提供良好的連線品質、連結穩定度以及傳輸資料的正確性，對於利用討論區進行學習互動流程是相當重要的；相對的，由於 Wisdom Master 之功能模組較為多元，以致使用者在操作時顯得較為困難，操作介面亦較為不直覺，因此慣用 Wisdom Master 平台的專家較為重視「有效的導覽機制」(差距 10 名)、「明確的指引與提示說明」(差距 6 名) 及「適度顯示系統訊息與回應」(差距 11 名) 三項子準則，期望能在複雜的使用環境中，透過系統的輔助，以提升操作的順暢度以及降低尋找所需功能的時間；此外，在「學習互動」流程中，最主要的核心功能便是討論區，因此系統是否能提供「討論主題追蹤」(差距 7 名) 便顯格外重要。Wisdom Master 平台有提供如同 MSN 的即時通訊功能，讓使用者能即時的與老師或同儕間進行線上討論。然而，Moodle 平台則未有類似的功能，因此慣用 Moodle 平台之專家，對於該子準則之重要性相較於慣用 Wisdom Master 之專家更為強調，以期望 Moodle 平台能強化在使用者間即時互動功能不足的遺憾。 4.4.2 e-Learning 使用年資分群分析： 本研究係依據專家使用數位教學平台之年資，將整體專家問卷分為五年以下、五至十年與十年以上三組群組，並分別以 FAHP 法，求算三組群組中，各子準則對於「測驗評分」與「學習互動」流程之重要性排序，以及找出三組專家在認知上差異較大的子準則進行分析。透過專家使用年資分群分析，針對「測驗評分」流程，使用年資最短的專家較為重視「適度顯示系統訊息與回應」(差距 8 名)。由於使用年資的長短，關乎專家對於 e-Learning 平台之熟悉程度。因此，使用年資較短的專家相較於使用年資較長的專家，對於 e-Learning 平台之功能及

(19)

介面較為生疏，在操作上較需要系統提供適度的訊息來輔助；此外，由於測驗教材為該流程之核心物件，因此在「管理與製作測驗及教材」該子準則上，無論專家使用年資長短，皆一致認同有絕對之重要性。而在「學習互動」流程中，使用年資較長的專家相較於使用年資較短的專家，更為重視「討論輔助工具之完整性」(差距 8 名)。由於使用年資較長的專家，對於 e-Learning 系統更為了解且較富經驗，在操作該流程時，較易察覺討論輔助工具的不足之處。因此，使用年資較長的專家對於系統是否提供完整的討論輔助工具上，其重視程度較高；此外，由於討論區是該流程之核心功能，使用者之間討論的方便性與即時性是使用者普遍所重視的，因此無論專家使用年資長短，對於該流程之「方便性」與「即時性」兩準則皆呈現高度的重視。

4.5 關聯規則分析

本研究彙整 30 位專家之問卷，透過 AHP 法，求得每份專家問卷各子準則之相對權重，並依據模糊語意轉換表，將各權重之連續型數值資料轉換為間斷型語意資料；再透過 WEKA 軟體進行 AR 分析，配合兩流程排序前五名之子準則，由產生之 50 筆關聯規則中，挑選出有意義且具參考價值之關聯規則。最後，本研究分別從「測驗評分」流程中挑選出五筆規則；「學習互動」流程挑選出四筆規則，總計九筆關聯規則，如表 8 所示，並分別進行分析及討論。透過 AR 分析，本研究歸納出約 9 筆具意義之關聯規則，並對於兩項學習活動流程，提出以下建議： (1) 在「測驗評分流程」中，系統若提供符合使用者習慣之介面圖文編排，且在操作流程時，給予明確的提示與說明，將可提高資料在傳輸時的正確性。此外，檔案在進行上傳或下載時， 表 8 兩組活動流程之關聯規則

Process Left-hand Side Right-hand Side Confidence 測驗評分介面圖文編排 (excellent) 傳輸資料的正確性(excellent) _0.79 明確的指引與提示說明(excellent) 傳輸資料的正確性(excellent) 0.79 連結穩定性(excellent) 傳輸資料的正確性(excellent) _0.72 管理與製作測驗及教材(excellent) 傳輸資料的正確性(excellent) 0.71 評量方法之完整性(excellent) 傳輸資料的正確性(excellent) _0.71 學習互動使用容易性 (Excellent) 介面圖文編排(Excellent) 1 傳輸資料的正確性(Excellent) 介面圖文編排(Excellent) 0.94 個人化介面設定(Unimportant) 介面圖文編排(Excellent) 0.93 介面圖文編排(Excellent) 系統美觀性(Unimportant) 0.76 註：括弧內的值為屬性的值域

(20)

應避免不明斷線而導致傳輸錯誤或失敗。因此，系統在連結穩定性的要求上，便顯得十分重要，即傳輸之測驗資料正確，系統提供之完整評分方式才具意義。建議對於部份上傳成功 (上傳完整性不足者) 之使用者 (例如：只成功上傳一部份的答案)，應即刻提供使用者反饋，以免影響使用者對於 e-Learning 平台的使用意願及觀感。最後，在管理與製作測驗評分教材時，需強調資料上傳時內容的正確性，以避免提供錯誤的資訊給學生。 (2) 在「學習互動流程」中，建議著重於提供良好的介面圖文編排。良好的介面設計，能讓系統使用起來更為容易，在討論區進行資訊分享時，也更能確保資料傳輸的正確性。此外，系統在介面的圖文編排上，若已符合使用者的操作習慣，則個人化介面設定的需求就沒有那麼強烈。最後，系統提供良好的介面圖文編排雖可提高資料傳輸之正確性，但在系統的介面外觀上，可能為了讓使用者操作流程時更方便且更直覺，在視覺呈現美觀程度上就不是使用的主要考量。

5. 結論與建議

e-Learning 為目前炙手可熱之議題，在應用上也越來越廣泛，無論企業界、學術界或是政府單位，皆大力推導 e-Learning，且多已導入 e-Learning 平台，作為輔助線上教學的資訊系統。本研究分為幾個階段，先針對 Moodle 與 Wisdom Master 兩大 e-Learning 平台之背景、功能性及模組進行比較，並從中挑選「測驗評分」與「學習互動」兩組 e-Learning 系統最常使用之活動流程作為評估標的。根據文獻彙整，遴選兩組 e-Learning 活動流程之評估要素，建置評估兩組活動流程之階層式評估層級架構。再依據該評估層級架構，進行 AHP 問卷設計。透過 FAHP 與 AR 分析問卷資料，找出各要素間之相對模糊權重、重要性排序與關聯規則，進而了解使用者或系統建置者在操作及設計 e-Learning 系統時，應考量的因素為何。比較兩組活動流程重要性排序之差異，在「介面圖文編排」上，由於「學習互動流程」在功能及操作上較為多元，且強調即時性的互動，因此，系統在文字或圖片的排版上，若能更符合使用習慣，讓使用者能快速找到欲使用的功能或選項，便可增加在操作上之流暢度；而「測驗評分流程」因操作步驟較為制式化，在介面的圖文編排上，相對重要性沒有那麼高。而「明確的指引與提示說明」與「適度顯示系統訊息與回應」，在兩組流程的重要性排序上，亦存在較大之差異。由於在進行線上測驗評分時有一定的步驟，透過適度的系統訊息提示，可引導使用者順利完成流程的操作。反之，利用討論區進行教學互動時，其功能較為複雜且多元化，所以在操作上，使用者可恣意使用，較不受流程步驟的限制；另外，「除錯能力與錯誤恢復程度」，在兩流程排名中也有較大的差異。在「測驗評分流程」中，無論是線上測驗或是上傳作業皆有時間上的限制，操作時更不容出錯，因此系統發生錯誤時恢復及除錯的速度相當重要。而「學習互動流程」的操作較隨心所欲，也較沒有時間的限制，因此，系統除錯與恢復能力相對沒這

(21)

麼重要。而經由關聯規則所透露出的訊息顯示，在兩組活動流程中，「介面圖文編排」跟「傳輸資料的正確性」皆息息相關，即表示 e-Learning 系統若能提供良好的介面圖文編排，對於輔助使用者在透過系統傳輸資料的正確性上便能大幅提升。本研究結果證實了應以 e-Learning 平台中之學習流程 (或活動) 做為最小單元，因受測者在衡量評估要素時存在顯著差異，也因此的確不適宜以同樣的衡量要素開發 e-Learning 系統內的所有學習流程。本研究的分析結果亦可進一步供 e-Learning 平台開發者做為後續平台發展與維護之參考依據。目前本研究之研究範圍，並不包括政府單位、企業組織及國中小學所使用的 e-Learning 系統；且由於在進行 AHP 專家問卷訪談時，對於專家在時間或精神上之負擔較大，為使分析結果更為精確且更具參考價值，本研究在 e-Learning 系統流程挑選上，僅選擇「測驗評分」與「學習互動」兩組最頻繁使用之流程作為研究標的。後續研究可考慮再加入其他的 e-Learning 活動流程進行分析，或是加入其他的決策分析法，例如：決策實驗室法 (DEMATEL)、多元尺度分析法 (MDS) 或灰階關聯法 (GRA) 等。透過不同分析方法，求算各評估要素之權重，以提升研究結果的精確度與可信度，並與本研究之分析結果進行比較。

參考文獻

李俊佳，「網路學習系統評估模式之研究-模糊多屬性決策之應用」，中原大學資訊管理學系未出版碩士論文，民國 91 年。何祖鳳、陳俊榮、陳銘欽，「網路教學系統評估準則之研究」，遠距教育，第七卷，民國 87 年， 20-29 頁。吳美美，「e-Learning 現況與未來發展」，圖書館學與資訊科學，第三十卷第二期，民國 93 年， 92-106 頁。林川勝，「e-Learning 系統建構與評估指標之研究－以探究教學輔導網為例」，國立彰化師範大學數位內容科技與管理研究所未出版碩士論文，民國 99 年。

林姵君，「應用 DeLone & McLean 資訊系統成功模式建立企業資源規劃系統-從使用者觀點探討」，國立彰化師範大學會計學系未出版碩士論文，民國 96 年。

黃明祥、顏文成，「AHP 應用在 e-Learning 網站評估之研究－以原住民族 e-Learning 網站為例」， 2007 ICIM 第十八屆國際資訊管理學術研討會，民國 96 年。曹汝民，「非同步網路教學網站評鑑指標發展之研究」，國立台北科技大學技術及職業教育研究所未出版碩士論文，民國 90 年。鄧振源、曾國雄，「層級分析法 (AHP) 的內涵特性與應用 (上) 」，中國統計學報，第二十七卷第六期，民國 78 年，5-22 頁。蔡秀勤，「數位教材介面設計－以印度 IBM 知識工廠之設計原則為例」，資策會 e-Learning 技術

(22)

中心，民國 93 年。

謝翠如，「e-Learning 課程評估模式」，國立中興大學資訊科學所未出版碩士論文，民國 95 年。 Agrawal, R. and Srikant, R., “Fast Algorithms for Mining Association Rules,” VLDB-94 20th Int. conf.,

1994, pp. 487-499.

Alonso, G., Hagen, C., Agrawal, D., El Abbadi, A. and Mohan, C., “Enhancing the Fault Tolerance of Workflow Management System,” IEEE Concurrency, Vol. 8, No. 3, 2000, pp. 74-81.

Belton, V. and Gear, T., “The Legitimacy of Rank Reversal-A Comment,” Omega, Vol. 13, No. 3, 1985, pp. 143-144.

Buckley, J. J., “Fuzzy Hierarchical Analysis,” Fuzzy Sets and Systems, Vol. 17, No. 3, 1985, pp. 233-247.

Chang, P. T. and Lee, E. S., “The Estimation of Normalized Fuzzy Weights,” Computers and

Mathematics with Applications, Vol. 29, No. 5, 1995, pp. 21-42.

Chen, S. J. and Hwang, C. L., Fuzzy Multiple Attribute Decision Making: methods and applications, Springer-Verlag, 1992, pp. 465-486.

Cross, J., Informal Learning: Rediscovering the Natural Pathways That Inspire Innovation and

Performance, Pfeiffer, 2006.

Dubois D. and Prade H., “Operations on fuzzy numbers,” International Journal of Systems Science, Vol. 9, No. 6, 1978, pp. 613-626.

Keeney, R. L. and Raiffa, H., Decision with Multiple Objectives: Preference and Value Tradeoffs, John Wiley and Sons, Inc., 1976.

Livengood, S. P., “An Evaluation Instrument for Internet Web Sites,” Eric Document Reproduction Service, No. ED413899, 1997.

Laura, G. M., “Evaluating net evaluators,” Searcher, Vol. 7, No. 2, 1999, pp. 57-66.

MacCrimmon, K. R., Improving the System Design and Evaluation Process by the Use of Trade-Off

Information: An Application to Northeast Corridor Transportation Planning, RAND Corporation,

1969.

Millet, I. and Harkear, P. T., “Globally effective questioning in the Analytic Hierarchy Process,”

European Journal of Operational Research, Vol. 48, No. 1, 1990, pp. 88-97.

Nielsen, J., Usability Engineering, Academic Press, 1993.

Ozkan, S. and Koseler, R., “Multi-dimensional Students’ Evaluation of e-learning Systems in the Higher Education Context: An Empirical Investigation,” Computers and Education, Vol. 53, No. 4, 2009, pp. 1285-1296.

(23)

Pujola, J. T., “Ewebuation,” Edinburg Working Papers in Applied Linguistics, No.9, 1998, pp.104-115. Pituch, K. A. and Lee, Y. K., “The Influence of System Characteristics on e-Learning Use,” Computers

andEducation, Vol. 47, No. 2, 2006, pp. 222-244.

Parikh, M. and Verma, S., “Utilizing Internet Technologies to Support Learning: an empirical analysis,”

International Journal of Information Management, Vol. 22, No. 1, 2002, pp. 27-46.

Saaty, T. L., “Analytic Hierarchy Process,” Encyclopedia of Biostatistics, Published by John Wiley and Sons, Inc., 1980.

Saaty, T. L., “How to make a decision: The Analytic Hierarchy Process,” European Journal of

Operational Research, Vol. 48, No. 1, 1990, pp. 9-26.

Shee, D. Y. and Wang, Y. S., “Multi-Criteria Evaluation of the Web-Based e-Learning System: A Methodology Based on Learner Satisfaction and its Applications,” Computer and Education, Vol. 50, No. 3, 2008, pp. 894-905.

Tzeng, G. H., Chiang, C. H. and Li, C. W., “Evaluating Intertwined Effects in e-Learning Programs-A Novel Hybrid MCDM Model Based on Factor Analysis and DEMATEL,” Expert Systems with

Applications, Vol. 32, No. 4, 2007, pp. 1028-1044.

Wilkinson, G. L., Bennett, L. T. and Oliver, K. M., “Evaluating Criteria and Indicators of Quality for Internet Resources,” Educational Technology, Vol. 37, No. 3, 1997, pp. 52-58.

Yang, Z., Cai, S., Zhou, Z. and Zhou, N., “Development and Validation of an Instrument to Measure User Perceived Service Quality of Information Presenting Web Portals,” Information and