大學生對MOOC課程的評估

全文

(1)國立臺灣師範大學資訊教育研究所碩士論文. 指導教授：邱貴發. 博士. 大學生對 MOOC 課程的評估 College Students’ Evaluation of MOOC Courses. 研究生：邱方薇撰中華民國一○五年七月.

(2) 摘要在線上課程的帶動下，MOOC成為新興的教育趨勢。近年來各國及國內均投入許多資源在MOOC課程發展上，以提升課程品質。雖目前有一些幫助提升品質之指標，但較偏重課程與教學設計者的觀點，尚未從學習者的觀點發展評估MOOC課程的指標與研究。本研究發展了給大學生使用的MOOC課程評估指標，並邀請大學生對於四門MOOC課程做評估。根據學生填答的數據了解學生對於四門MOOC課程的評估，且由訪談資料了解學生對於課程的想法。本研究提出了一個可供大學生評估MOOC課程的指標，評估指標由四大規範（課程說明、課程教材、討論與回饋及測驗與作業）和24項指標組成。請大學生使用發展的MOOC課程評估指標評估現有的MOOC課程，發現四門課程均未達到「符合」之程度。本研究發展了由學習者評估MOOC課程的指標，也實際邀請大學生使用評估指標對現有的MOOC課程進行評估，但因參與之大學生只有某科技大學的少數學生，評估指標及大學生對MOOC課程的評估結果尚不足以證明評估指標的應用性，建議後續研究繼續修訂指標及擴大大學生的參與人數，以建立大學生適用的MOOC課程指標。. 關鍵詞：磨課師、課程評估指標、大學生。.

(3) Abstract Developing indicators and criteria using college students’ point of view and inviting twenty-two students to assess four MOOC courses, this study intended to develop usable MOOC assessment indicators/criteria and to understand college students’ assessing of existing MOOC courses. . As a result, this research developed four indicators (Course Descriptions、Course Materials、Discussion and Feedback、Tests and Assignments )with 24 criteria . Using those criteria to assess the selected MOOC courses, it was found that the attributes of MOOC courses did not closely meet the criteria. The usability of the criteria and the reliability of students’ assessment couldn't be adequately proven in this study because of the few sample size. It is suggested that more researchesis needed to validate the usability of the assessment indicators and criteria, and that a more appropriate conceptual framework being built to guide the study of MOOC course pre-assessment (before the course is open to the students). Keywords：MOOC, Course Indicators, Course pre-assessment.

(4) 目錄附表目錄……………………………………………………………………………iii 附圖目錄……………………………………………………………………………vi 第一章. 緒論…………………………………………………………………………1. 第一節. 研究背景………………………………………………………………1. 第二節. 研究目的與待答問題…………………………………………………2. 第三節. 研究限制………………………………………………………………2. 第二章. 文獻探討……………………………………………………………………3. 第一節. 國內外數位課程品質規準……………………………………………3. 第二節. MOOC 課程品質評鑑…………………………………….…………23. 第三節. 結語…………………………………………………………………27. 第三章. 研究方法…………………………………………………………………29. 第一節. 研究歷程……………………………………………………………29. 第二節. 研究工具……………………………………………………………31. 第三節. 評估規範與指標設計………………………………………………33. 第四節. 研究對象……………………………………………………………40. 第五節. MOOC 課程選擇與評估……………………………………………40. 第六節. 資料蒐集與分析……………………………………………..………41. 第四章. 結果與討論……………………………………….…………………43. 第一節. MOOC 課程評估規範與指標………………….……………………43. 第二節. 對 MOOC 課程之評估結果……………………….…………...……44. 第三節. 討論…………………………………………………………………65. 第五章. 結論與建議………………………………………………………………69. 第一節結論 … ………… …… ……… ………… …… ……… ………… 69 第二節建議…………………………………………………………70 i.

(5) 參考資料…………………………………………………………………… 75 附錄………………………………………………………………………………..79 附錄一磨課師課程評估之專家意見………………………………………80 附錄二磨課師課程評估表…………………………………………………87. ii.

(6) 附表目錄表 2.1.1. 數位學習課程認證評審規範一（科目說明）…………………………….... 4. 表 2.1.2. 數位學習課程認證評審規範二（維持學習動機）……………………….... 5. 表 2.1.3. 數位學習課程認證評審規範三（學習者與教材互動）………………….... 6. 表 2.1.4. 數位學習課程認證評審規範四（師生互動）…………………………….... 8. 表 2.1.5. 數位學習課程認證評審規範五（同學互動）…………………………….... 10. 表 2.1.6. 數位學習課程認證評審規範六（學習評量）…………………………….... 11. 表 2.1.7. 數位學習課程認證評審規範七（教學管理服務）………………….……... 13. 表 2.1.8. 數位學習課程認證評審規範八（平台功能檢核）………………….……... 14. 表 2.1.9. 教育部數位教材認證規範一（教材內容）…………………………….…... 15. 表 2.1.10. 教育部數位教材認證規範二（導引與追蹤）…………………………….... 16. 表 2.1.11. 教育部數位教材認證規範三（教學設計）….. ……………………………. 17. 表 2.1.12. 教育部數位教材認證規範四（教學媒體）….. ……………………………. 19. 表 2.1.13. 教育部數位教材認證規範五（創新）….. …………………………………. 19. 表 2.1.14. The Quality Matters（Overview and Introduction）………………….……... 20. 表 2.1.15. The Quality Matters（Learning Objectives）….. ………………………….... 20. 表 2.1.16. The Quality Matters (Assessment and Measurement）…………………….... 21. 表 2.1.17. The Quality Matters（Instructional Materials）……………………………... 21. 表 2.1.18. The Quality Matters （Course Activities and Learner Interaction）……….... 21. 表 2.1.19. The Quality Matters （Course Technology）………………………………... 21. 表 2.1.20. The Quality Matters （Learner Support）……………………………………. 22. 表 2.1.21. The Quality Matters （Accessibility and Usability）………………………... 22. 表 2.2.1. MOOCs 特色…………………………….. …………………………………... 23. 表 2.2.2. 7Cs 學習設計框架…………………………….. …………………………….. 23. 表 2.2.3. Anoush, Manuela & Allison 十項 MOOCs 評估指標………………………... 25. 表 2.2.4. 磨課師課程及教學設計參考手冊成品審查重點………………………….... 26. 表 3.2.1. 台灣磨課師平台統整…………………………….. …………………………. 32. iii.

(7) 表 3.3.1. 磨課師評估規範…………………………….. ………………………………. 33. 表 3.3.2. 磨課師平台課程介紹介面統整…………………………….. ………………. 34. 表 3.3.3. 專家審核規範一（課程說明）之指標…………………………………….... 36. 表 3.3.4. 專家審核規範二（課程教材）之指標……………………………………... 37. 表 3.3.5. 專家審核規範三（討論與回饋）之指標…………………………………... 39. 表 3.3.6. 專家審核規範四（測驗與作業）之指標…………………………………... 39. 表 3.5.1. 實驗課程選定…………………………….. …………………………………. 41. 表 4.1.1. 規範一（課程說明）評估指標…………………………….. ………………. 43. 表 4.1.2. 規範二（課程教材）評估指標…………………………….. ………………. 43. 表 4.1.3. 規範三（討論與回饋）評估指標…………………………….. ……………. 44. 表 4.1.3. 規範四（測驗與作業）評估指標…………………………….. ……………. 44. 表 4.2.1. 課程 A 規範一（課程說明）數據結果…………………………….. ………. 45. 表 4.2.2. 課程 A 規範二（課程教材）數據結果…………………………….. ………. 46. 表 4.2.3. 課程 A 規範三（討論與回饋）數據結果………………………………….... 47. 表 4.2.4. 課程 A 規範四（測驗與作業）數據結果………………………………….... 47. 表 4.2.5. 課程 A 規範平均值…………………………….. ……………………………. 48. 表 4.2.6. 課程 B 規範一（課程說明）數據結果…………………………………….... 49. 表 4.2.7. 課程 B 規範二（課程教材）數據結果…………………………………….... 50. 表 4.2.8. 課程 B 規範三（討論與回饋）數據結果………………………………….... 51. 表 4.2.9. 課程 B 規範四（測驗與作業）數據結果…………………………………... 51. 表 4.2.10. 課程 B 規範平均值…………………………….. ……………………………. 52. 表 4.2.11. 課程 C 規範一（課程說明）數值結果…………………………………….... 53. 表 4.2.12. 課程 C 規範二（課程教材）數據結果…………………………………….... 54. 表 4.2.13. 課程 C 規範三（討論與回饋）數據結果…………………………………... 55. 表 4.2.14. 課程 C 規範四（測驗與作業）數據結果…………………………………... 55. 表 4.2.15. 課程 C 規範平均值…………………………….. ……………………………. 56. 表 4.2.16. 課程 D 規範一（課程說明）數值結果…………………………….. ………. 57. iv.

(8) 表 4.2.17. 課程 D 規範二（課程教材）數據結果…………………………………….... 58. 表 4.2.18. 課程 D 規範三（討論與回饋）數據結果…………………………….. ……. 59. 表 4.2.19. 課程 D 規範四（測驗與作業）數據結果………………………………….... 59. 表 4.2.20. 課程 D 規範平均值…………………………….. ……………………………. 60. 表 4.2.21. 課程 A 指標 3.3 學生回饋…………………………….. …………………….. 61. 表 4.2.22. 課程 B 指標 3.3 學生回饋…………………………….. …………………….. 61. 表 4.2.23. 課程 C 指標 3.3 學生回饋…………………………….. …………………….. 62. 表 4.2.24. 課程 D 指標 3.3 學生回饋…………………………….. …………………….. 63. 表 4.2.25. 學生修課意願統計…………………………….. ……………………………. 64. 表 4.2.26. 規範與指標數…………………………….. …………………………………. 65. 表 4.2.27. 課程規範平均數值與修課人數…………………………….. ………………. 66. 表 4.2.28. 課程平均最高最低指標…………………………….. ………………………. 66. v.

(9) 附圖目錄圖 2.2.1. 7Cs 學習設計框架進程圖……………….. …………………………………. 24. 圖 2.2.2. MOOCs 評估類別與規範…………………………….. …………………….. 26. 圖 3.1.1. 研究歷程…………………………….. ………………………………………. 30. 圖 3.6.1. 訪談步驟…………….…………………………….. ……………………….... 42. vi.

(10) 第一章. 緒論. 本章共分為三節，第一節說明研究背景，第二節說明研究目的與待答問題第三節為研究限制。. 第一節. 研究背景. 2012 年是 MOOC 元年，MOOC 將 2001 年以來開放式課程（OpenCourseWare, OCW）的單向閱讀方式，轉變為雙向的教學，MOOC 不只為教育產業創造出新商機，也促進了全球企業職訓動能(劉怡甫, 2013)。 2014 年網路趨勢報告（Meeker, 2014）指出 2500 萬人透過 Duolingo 學習語言，Coursera 有 700 萬名線上學生，iTunes U 有 6500 萬次課程下載。就上述的數據，可以了解目前的教育，已不再只是面對面在課堂的教學，線上數位教學已是主要趨勢，而 MOOC 則為目前線上數位教學的發展重心。在臺灣，教育部於 2013 與大學合作，啟動「MOOC 計畫」，提供線上選修課程，企圖建立華人 MOOC 的領導品牌(吳清山, 2013；何榮桂, 2014)，教育部成立的臺灣磨課師（http://courses.taiwanmooc.org/）」平台於 2013 年共開了 99 門課，吸引 4 萬 8000 人註冊選修，至今共開設 153 門課(林志成,2015)。全球 MOOC 近年來的開課數眾多，雖然證明了磨課師在數位學習的重要性，但完課率甚低(Marcus Varner, 2013)；完課率低除了學習者本身因素外，課程品質也是造成主要原因。在課程品質上，雖有少數國外文獻提及 MOOCs 課程評估指標，且國內教育部也審核 MOOC 課程品質，但評估觀點較偏向課程開發及設計者。MOOC 課程最終目的是給學習者使用，目前並未發展以使用者為出發點的指標來評估課程品質。本研究針對國內現有大學通識 MOOC 課程，開發大學生使用的課程評估指 1.

(11) 標，以了解大學生對 MOOC 課程的觀點。. 第二節. 研究目的與待答問題. 本研究以大學生觀點發展磨課師課程的評估指標，並使用發展的評估指標了解大學生對目前之臺灣 MOOC 課程的看法。. 根據上述研究目的，本研究要探討之待答問題如下：一、大學生可用的 MOOC 課程評估指標為何？二、大學生對於台灣 MOOC 課程的評估結果為何？. 第三節. 研究限制. 本研究之磨課師課程評估指標仍處於發展之階段，雖經多次修改，仍有不足之處，以下說明評估指標與研究對象之限制。一、評估指標之限制本研究發展之評估指標只針對目前所開設適用於大學以上學習者的磨課師課程，且以通識課程為主，如欲將評估指標應用於其他課程，應依學習者及課程之需求作適當的修訂。二、研究對象限制評估指標是為了了解大學生對 MOOC 課程的觀點，故課程評估指標的使用者為大學生。參與本研究之大學生為北部某科技大學行銷管理系的學生，因此本研究中的大學生評估結果尚缺統計上的樣本代表性。. 2.

(12) 第二章. 文獻探討. 本章內容分為三節，第一節為國內外數位課程品質規準，第二節為磨課師品質評鑑，第三節為結語。. 第一節. 國內外數位課程品質規準. 以下探討教育部數位學習課程認證、數位學習品質服務中心的數位教材認證，及美國之 Quality Matters。一、教育部數位學習課程認證教育部為確保數位學習課程的品質，於 2005 年成立數位學習認證中心（Accreditation Center of E-learning，ACE），提供數位教材認證、數位課程認證及數位學習碩士在職專班審查(高士鈞, 2009)。因本研究的重點在磨課師課程評估，以下只針對數位課程認證。數位學習課程認證需通過自評及外審，評審規範包含科目說明、維持學習動機、學習者與教材互動、師生互動、同學互動、學習評量及教學管理服務八項(T&D， 2011)，共計 37 項指標，其中 18 項為必備指標及 19 項選備指標。審核評等分「A＋」、「A」及「B」三級，一個「A＋」等級及一個「B」級，得相抵成為「A」等級。而認證通過之標準上，第一，必備指標必須全部達 A 等級(含)以上，第二，各項規範平均必須達 A 等級(含)以上。 (一) 規範一：科目說明此一規範有五項指標，其中三項為必備（必）。指標內容如下表 2.1.1。. 3.

(13) 表 2.1.1 數位學習課程認證評審規範一（科目說明）屬性必. 指標. 評審標準. 課程網頁列出課程目標、單元教學目標及學 1-1 A+ 課程網頁適當說明課分數三者，且說明適當者。程目標、單元教學目標課程網頁列出課程目標、單元教學目標及學分 A 及學分數。數中，至少二項，且說明適當者。 B. 必. 課程網頁能適當呈現單元架構，及依週次說 1-2 A+ 課程網頁提供適當的明學習活動及進度。單元架構及學習進度。課程網頁能呈現單元架構，及依週次說明學 A 習活動及進度，且說明尚適當者。 B. 必. 課程網頁未說明成績考評的標準或相關考評標準不適當者。. 課程網頁適當說明適用對象及學前能力兩 1-4 A+ 課程網頁適當說明適項。用對象及學前能力。課程網頁適當說明適用對象及學前能力之其 A 中一項者。 B. 選. 課程網頁未能說明單元架構或學習進度者。本規定所寫課程的單元架構，須以週次或章節來呈現。. 課程網頁能適當說明各種考詴、作業及學習 1-3 A+ 課程網頁適當說明科參與等成績考評的比率標準。目成績的考評標準。課程網頁有說明各種考詴、作業或學習參與 A 等成績考評比率標準，且說明尚適當者。 B. 選. 課程網頁僅說明課程目標、單元教學目標及學分數三者之一，或說明不適當者。. 課程網頁未說明適用對象或學前能力，或相關說明不適當者。. 課程網頁適當說明學生參與學習進度表中各 1-5 A+ 課程網頁適當說明學種教學活動的方法。生參與學習進度表中課程網頁大致說明學生參與學習進度表中各 A 各種教學活動的方法。種教學活動的方法。 B. 課程網頁未能說明學生參與學習進度表中各種教學活動的方法。. 本規定所寫教學活動，指講課、實作、討論等；所寫參與方法，指學習者如何參與教學活動，如抄筆記、參與討論等。. 4.

(14) (二) 規範二：維持學習動機此一規範有四項指標，其中二項為必備（必）。指標內容如表 2.1.2。表 2.1.2 數位學習課程認證評審規範二（維持學習動機）屬性必. 指標. 評審標準. 2-1 A+ 教材及教學活動能含括科目中課程及單元 A 教學目標。 B. 教材及教學活動能含括所有的課程及單元教學目標。教材及教學活動能含括 90%以上（含）的課程及單元教學目標。教材及教學活動與教學目標未緊密結合；或未達 90%的課程及單元教學目標。. 本規定所寫教材及教學活動能涵蓋教學目標，申請者須檢附教材及教學活動對應教學目標之檢核清單，以利審查。必. 2-2 A+ 教師在單元中提供檢核學習者成就的教學 A 活動。 B. 三分之二以上單元能運用適當教學活動，提供學習者檢核其學習成就。二分之一以上單元能運用適當教學活動，提供學習者檢核其學習成就。單元僅以單向老師講解式方法教學，或未達二分之一單元能運用適當教學活動，提供學習者檢核其學習成就。. 本規定所寫檢核學習者成就的教學活動，指作業、線上測驗、案例研討、角色扮演、討論會、媒體練習…等。選. 2-3 A+ 教材及教學畫面顯示該主題的學習總分量 A 與進度。 B. 在課程的教材畫面及影音檔播放中，均能顯示該主題的學習總分量與進度。在課程的教材畫面或影音檔播放中，能顯示該主題的學習總分量與進度。在課程的教材畫面及影音檔播放中，未能顯示該主題的學習總分量與進度. 本規定所寫教材及教學畫面的學習總分量，指單元主題之各種媒體呈現形式的編號、名稱及時間數量。. 5.

(15) 屬性選. 指標. 評審標準. 2-4 A+ 教師依據教學目標選用多種適當的教學活 A 動。 B. 教師依據教學目標有提供五種以上適當的教學活動。教師依據教學目標有提供三種以上適當的教學活動。教師未提供，或僅依據教學目標提供一或二種教學活動。. 本規定所寫教學活動，指教師為達成教學目標，帶領學生所從事的活動項目，如在同步教學中的講述、演示、指定學生發言、辯證、口頭考評等，或非同步教學中的解答說明、轉指定其他學生發言、示範操作、提示、辯證、拋出新議題…等。 (三) 規範三：學習者與教材互動此一規範總共有六項指標，其中三項為必備（必）。指標內容如下表 2.1.3。表 2.1.3 數位學習課程認證評審表規範三（學習者與教材互動）屬性必. 指標. 審核標準. 3-1 A+ 教材有適當的重點提 A 示。 B. 三分之二以上單元有適當的重點提示說明。二分之一以上單元有適當的重點提示說明。未達二分之一單元有提供適當的重點提示說明。. 本規定所寫教材的重點提示，指利用各種媒體或運用各種形式來凸顯教材的重點。必. 3-2 A+ 教材內容提供適當的實例以協助學生理解。 A B. 三分之二以上單元有提供適當的實例或個案。二分之一以上單元有提供適當的實例或個案。未達二分之一單元有提供適當的實例或個案。. 本規定所寫實例，指提供生活實例或練習範例。. 6.

(16) 屬性必. 指標. 評審標準. 3-3 A+ 教材提供充分的練習或課後反思活動。 A. 三分之二以上單元有充分的練習或課後反思活動。二分之一以上單元有充分的練習或課後反思活動。. 未達二分之一單元有練習或課後反思活動。 B 本規定所寫練習或課後反思活動，指在學習教材後所提供的內容整理、作業題或自我評量等。選. 3-4 A+ 教材提供充分的科目補充教材或外界網路 A 資源。 B. 選. 選. 3-5 教材符合自學性質且分量適當。. 3-6 教材提供友善下載的功能。. 三分之二以上單元有提供補充教材或外界網路資源。二分之一以上單元有提供補充教材或外界網路資源。未達二分之一單元有提供補充教材或外界網路資源。. 本規定所寫補充教材，指未列入正式教材之列，但與教學之單元內容有關係，且可鞏固學習者之觀念，因此所提供的補充知識。所寫外界網路資源，指在教材內容中，直接引用具創用 CC 授權之網路資源、或建有外界網路資源的動態連結，可供學習者依需要連結參考。 A+ 三分之二以上單元適合學生自學，且分量適當。二分之一以上單元適合學生自學，且分量適 A 當。未達二分之一之單元適合學生自學，或分量不 B 適當。本規定所寫自學教材，指課程材料中除了知識內容外，還須包含有學習目標、章節結構圖、重點提示、內容整理、自我評量等協助學生學習的策略。 A+ 三分之二以上單元有提供友善下載的功能。 A. 二分之一以上單元有提供友善下載的功能。. 未達二分之一單元有提供友善下載的功能。 B 本規定所寫友善下載，指為方便使用者離線瀏覽教材內容，而將這些內容以簡易或行動的形式去除不必要資料，重新安排為一適當格式之下載方式，方便離線閱讀。. 7.

(17) (四) 規範四：師生互動此一規範有六項指標，其中三項為必備（必）。指標內容如表 2.1.4。表 2.1.4 數位學習課程認證評審規範四（師生互動）屬性必. 指標. 評審標準. 4-1 A+ 課程網頁建有授課教師的介紹資訊及課業 A 輔導電子信箱。 B. 提供詳細的授課教師介紹資訊（含研究內容的連結等）及課業輔導電子信箱。僅提供簡短的授課教師介紹資訊及課業輔導電子信箱。未有授課教師的介紹資訊及課業輔導電子信箱。. 必. 4-2 A+ 師生在非同步教學中. 一學期中有 9 個以上與科目內容相關的議題，且師生間有質與量良好的交互討論。. 能針對議題積極參與 A 討論。. 一學期中有 6 個以上與科目內容相關的議題，且師生間有質與量良好的交互討論。. B. 一學期中未達 6 個與科目內容相關的議題，或師生間的交互討論質與量不佳。. 本規定所寫師生間的討論其質與量，可以依學生及教師的發言數、發言內容、交互討論程度來衡量；授課教師應有適度的參與。必. 4-3 A+ 教師能於課程討論區適時回應學習者的問 A 題。 B. 教師能在二天內回應課程討論區中學習者的問題，並提供良好的回饋。教師能在一週內回應課程討論區中學習者的問題，並提供良好的回饋。教師未能在一週內回應課程討論區中學習者的問題；或所提供回饋的方式有爭議。. 本規定所寫教師回應問題，指任課教師應適度參與非同步課程討論，課程助教亦可協助任課教師回應問題。所寫回應學習者問題的天數，指工作天，不含例假日。. 8.

(18) 屬性選. 指標. 評審標準. 4-4 A+ 同步教學時，師生雙方均能積極參與課程主題相關的討論互動。 A. B. 三分之二以上的同步教學活動，教師與學習者間都能就課程主題相關的內容討論有良好的互動。二分之一以上的同步教學活動，教師與學習者間都能就課程主題相關的內容討論有良好的互動。未實施同步教學活動，或同步教學活動，教師與學習者間極少或未能就課程主題相關的內容討論有良好的互動。. 本規定所寫討論互動方式，包括教師提問要求學習選. 選. 者回答或學習者自動發問。 4-5 A+ 教師公告「線上辦公室時間」，每週固定一小時以上，且教師在該時段登入上網，供學習者教師實施固定的「線上線上與教師互動。辦公室時間」，供學習教師公告「線上辦公室時間」，兩週固定一小 A 者線上與教師互動。時以上，且教師在該時段登入上網，供學習者線上與教師互動。教師未能提供「線上辦公室時間」，或未達每 B 兩週一小時者，或教師未在該時段登入上網者。本規定所寫線上辦公室時間，指教師公告一約定時間，學習者可以在此時間上網與教師或助教做即時互動；線上辦公室時間得與同步教學合併舉辦；申請者須提供上線記錄之佐證資料，以利審查。 4-6 A+ 課程教學中，提供固定的線上學習輔導人員的課程提供線上學習輔服務。導人員的服務。課程教學中，提供不固定的線上學習輔導人員 A 的服務。課程教學中，未提供其他線上學習輔導人員的 B 服務。本規定所寫線上學習輔導人員，指班級的正式教師之外，另外提供的客座講員或線上助教等人員。申請者須提供相關佐證資料，以利審查。. 9.

(19) (五) 規範五：同學互動此一規範有四項指標，其中一項為必備（必）。指標內容如表 2.1.5。表 2.1.5 數位學習課程認證評審規範五（同學互動）屬性必. 指標. 評審標準. 5-1 A+ 非同步教學中，學習者之間對於課程內容相 A 關議題有充分的交互討論。 B. 非同步教學討論中，每個議題相關討論達修課人數百分之五十以上者。非同步教學討論中，每個議題相關討論達修課人數百分之三十以上者。非同步教學討論中，每個議題相關討論未達修課人數百分之三十者。. 本規定所寫交互討論之質與量，申請者須提供佐證資料，以利審查。選. 5-2 A+ 教師於課程教學時，使用合作學習策略。 A B. 教師依課程性質適時且充分採用合作學習策略。教師依課程性質適當採用合作學習策略。教師依課程性質宜採用合作學習策略但未採用者；或課程誤用合作學習策略，造成學生額外負擔。. 本規定所寫合作學習策略，指學生分組討論、合作專案研究、或同儕互評等活動，申請者須提供合作學習策略之佐證資料，以利審查。選. 選. 5-3 A+ 學習者間以同步方式進行課程內容相關議 A 題討論時，有適當的互動。 B. 學習者間以同步方式進行課程議題討論，交互討論適當且活絡。. 5-4 A+ 課程建有班級同學的. 課程網站中，提供同學的姓名、電子信箱及自我介紹的個人網頁等資訊。. 自我介紹、電子信箱或 A 個人網頁等資訊。. 課程網站中，僅提供同學的姓名、電子信箱等資訊。. B. 學習者間以同步方式進行課程議題討論，交互討論尚稱適當且活絡。未實施同步教學，或學習者間以同步方式進行課程議題討論，交互討論未能切題或討論不熱絡。. 課程網站中，未提供同學的姓名、電子信箱等基本資訊，或僅提供同學的姓名資訊。. 10.

(20) (六) 規範六：學習評量此一規範有六項指標，其中三項為必備（必）。指標內容為如表 2.1.6。表 2.1.6 數位學習課程認證自評規範六（學習評量）屬性必. 指標. 評審標準. 6-1 A+ 課程的學習評量配合教學目標與教材內容。 A. B. 課程的學習評量方式符合課程性質，且評量題目能涵蓋全部的教學目標與教材內容。課程的學習評量方式符合課程性質，且評量題目能涵蓋三分之二以上的教學目標與教材內容。課程的學習評量方式並不符合課程的性質，或評量題目未能涵蓋三分之二以上的教學目標與教材內容。. 本規定所寫課程的學習評量方式，可採非實體性評量或實體性評量。非實體性評量是藉由學習者的線上紀錄，包括瀏覽教材時間或測驗成績來評量；實體性評量則是教室實作或教室測驗的評量。必. 6-2 A+ 課程網頁提供線上測驗或評量活動。 A B. 全部單元均有提供適當之線上測驗或評量活動的機制。二分之一以上單元有提供適當之線上測驗或評量活動的機制。未達二分之一之單元有提供適當之線上測驗或評量活動的機制。. 本規定所寫「單元」，原則上以一般教科書的「章」或課程「週」為依準。必. 6-3 A+ 課程的線上測驗或評量活動提供評閱結果 A 與回饋。 B. 提供線上測驗或評量活動的評閱結果、正確答案與清楚的解說回饋。提供線上測驗或評量活動的評閱結果、正確答案與簡單的回饋。僅提供線上測驗或評量活動的對錯及正確答案，並無解說回饋；或評閱結果有爭議。. 11.

(21) 屬性選. 指標內容. 審核標準. 6-4 A+ 課程的作業題目協助學習者彙整教材重點 A 並激發深層的思考與應用。 B. 選. 6-5 課程在線上實施學習者作品觀摩。. 選. 6-6 教師應用學習者的學習歷程紀錄做為評量依據。. 提供四次以上的作業題目，且題目能協助學習者彙整教材重點並激發深層的思考與應用。提供二至三次的作業題目，且題目能協助學習者彙整教材重點並激發深層的思考與應用。. 只提供零至一次的作業題目，或題目未能協助學習者彙整教材重點並激發思考與應用。 A+ 每次作業教師均有選定學習者優良作業做線上作品觀摩。二分之一以上作業有選定學習者優良作品做 A 為線上作品觀摩。二分之一以上作業未實施線上的學習者優良 B 作品觀摩。本規定所寫線上學習者作品觀摩，可由系統自動在作業區標示作品或改列到觀摩區展示；教師也可以自己動手複製作品(作業)另行在教材資源區公告。 A+ 教師能夠應用教學系統自動匯集學習者的學習歷程紀錄做為評量依據。教師部分應用教學系統自動匯集學習者的學 A 習歷程紀錄做為評量依據。教師未能應用學習者的學習歷程做為評量依 B 據。本規定所寫學習歷程，指學習者在學習過程中從事各項學習活動所累積的成果，如對教材瀏覽的時間次數、參與上課紀錄、討論的發言、繳交的作業、及測驗成績等，申請者須提供相關之佐證資料，以利審查。. 12.

(22) (七) 規範七：教學管理服務此一規範有五項指標，其中二項為必備（必）。指標內容如表 2.1.7。表 2.1.7 數位學習課程認證評審規範七（教學管理服務）屬性必. 指標. 評審標準. 7-1 A+ 教學單位適當保存課程網站的科目資料。 A B. 所有科目資料在開課期間及開課結束後三年內，均有備份。大部分科目資料在開課期間及開課結束後三年內，能有備份。科目資料在開課期間或開課結束後三年內，未有備份。. 本規定所寫之資料保存，申請者須提供相關之佐證資料，包括：班級師生名單、使用教材、教學歷程活動、學習成果記錄等項目，以利審查。必. 7-2 A+ 課程在線上實施學習者對科目教材與教學活動的評鑑問卷。 A. B. 課程期中及期末時，能在線上實施學習者對科目教材、教學及平臺環境的評鑑問卷（兩個向度以上）。課程期中或期末時，能在線上實施學習者對科目教材、教學及平臺環境的評鑑問卷（兩個向度以上）。課程期中及期末時未能在線上實施學習者對科目教材、教學及平臺環境的評鑑問卷。. 本規定所寫之評鑑問卷，申請者須提供評鑑問卷內容之佐證資料，以利審查。必. 7-3 A+ 課程評鑑中顯示學習者滿意本科目的網路 A 教學。 B. 在課程評鑑中，顯示三分之二以上的學習者於學習本科目時滿意網路教學。在課程評鑑中，顯示二分之一以上的學習者於學習本科目時滿意網路教學（或願再度選用網路教學課程）。未做課程評鑑，或在課程評鑑中只有不到二分之一的學習者於學習本科目時滿意網路教學（或願再度選用網路教學課程）。. 本規定所寫之評鑑，申請者須提供評鑑問卷統計結果之佐證資料，以利審查。. 13.

(23) 屬性選. 指標. 審核標準. 7-4 A+ 教師充分利用線上公告欄公布科目進度與 A 即時訊息。 B. 選. 7-5 A+ 教師對班級實施師生面對面的科目檢討會議，並將會議紀錄置於 A B 課程線上公布欄。. 教師公布科目進度與即時訊息達十六則以上者。教師公布科目進度與即時訊息達七則至十五則者。教師未利用線上公告欄；或教師公布科目進度與即時訊息未達七則。除將會議紀錄置於課程線上公布欄，亦有針對紀錄中相關問題提出因應方案，並確實改進教學之線上紀錄。僅有會議紀錄置於課程線上公告欄。. 課程未提供師生面對面的科目檢討會議，或沒有紀錄者。本規定所寫科目檢討會議，可採實體面對面或線上同步面對面之進行方式。. (八) 規範八：平臺功能檢核此一規範有一項指標，且為必備（必）。指標內容如表 2.1.8。表 2.1.8 數位學習課程認證評審規範八（平台功能檢核）屬性必. 指標 8-1 A+ 課程教學所使用的平臺，其功能檢核項目 A （附件）能符合教學的需求。 B. 評審標準課程教學的平臺功能檢核項目有 10 項(含)以上能符合教學的需求。課程教學的平臺功能檢核項目有 8~9 項能符合教學的需求。課程教學的平臺功能檢核項目僅有 7 項(含)以下能符合教學的需求。. 上列之評審規範與指標是評審已實施過的線上課程，雖然磨課師為線上課程，但由於本研究要發展的是可以由學習者評估的指標，所以此一評審指標並不完全適用於磨課師課程評估，本研究發展之評估指標會參考此評審表，發展適合由學習者評估磨課師課程的指標。. 14.

(24) 二、數位教材認證國科會為了提升數位學習品質於 2002 年通過「數位學習國家型科技計畫」並於 2008 年貣與「數位典藏國家型科技計畫」合併為「數位典藏與數位學習國家型科技計畫」。為辦理推廣與認證服務，2012 年將數位品質認證中心更名為數位學習品質服務中心(eLQSC)。自 2013 年，隨著國家型科技計畫之結束，品質服務中心由財團法人中衛發展中心自行管理營運。數位學習品質服務中心目前負責的認證有數位教材認證、數位學習服務認證、數位學習營運服務認證、學習類應用程式(APP)認證四大類(數位學習品質網站, 2016)。由於本研究是要發展磨課師課程評估指標，以下指探討數位教材認證。數位教材品質認證的適用對象為自製或接受委製數位教材的數位學習業者、機構、學校或公部門。評鑑面向分別為教材內容、導引與追蹤、教學設計、教學媒體與創意五項檢核指標，分 8 項必備檢核重點與 11 項選擇性檢核重點。認證教材分級方式，分 A 級（65 分以上）、 AA 級（78 分以上）、及 AAA 級（91 分以上）。 (一) 規範一：教材內容（Content）表 2.1.9 數位教材認證規範一（教材內容）屬性必備. 檢核重點. 要求內容. 1.1 正確性. 要求 1.：教材內容具正確性。. (Accuracy). 要求 2.：教材內容符合學習者程度。要求 3.：教材內容能避免偏見與刻版印象。. 15.

(25) 屬性. 檢核重點. 要求內容. 必備. 1.2 內容組織與完整 (Organization&completeness). 要求 1.：教材的組織架構由合理且明確的單元所組成。要求 2.：對應於教材名稱與時數，教材所涵蓋之內容具適當深度與廣度。要求 3.：單元的內容適切且份量合宜。. (二) 規範二：導引與追蹤 Navigation & tracking 表 2.1.10 數位教材認證規範二（導引與追蹤）屬性必備. 檢核重點 2.1 導引 (Navigation). 要求內容要求 1.：數位教材提供的導引功能使學習者有效控制學習的進行。要求 2.：導引功能容易操作與使用。要求 3.：導引的圖像、名稱及功能符合普遍之使用習慣與認知，且彼此不衝突。. 選擇性. 2.2 操作指引與求助功能 (Orientation & help). 要求 1.：數位教材提供適切的操作指引，功能標示清楚且名稱使用具一致性。要求 2.：數位教材能顯示目前學習者在教材中的所在位置。要求 3.：數位教材提供適切的求助管道。. 16.

(26) 屬性選擇性. 檢核重點 2.3 學習追蹤 (Learning tracking). 要求內容要求 1.：學習追蹤的標示清楚且名稱與功能具一致性。要求 2.：學習追蹤的功能可顯示學習者已完成與未完成之學習內容。要求 3.：教材提供學習者再次進入教材時，回到前次學習單元之功能。. (三) 教學設計（Instructional design）表 2.1.11 數位教材認證規範三（教學設計）屬性必備. 檢核重點 3.1 教學目標 (Instructional objectives). 要求內容要求 1.：數位教材具體且完整地呈現整體教學目標。要求 2.：數位教材具體而完整地呈現單元教學目標，且反映整體教學目標。. 必備. 3.2 教學方法 (Instructional methods). 要求 1.：數位教材所使用的教學方法能有效呈現或展示教學內容。要求 2.：數位教材運用多樣化的教學方法(二種以上)來呈現或展示教學內容。要求 3.：數位教材所運用的教學方法能促進學習內容與學習者先備知識的連結。. 17.

(27) 屬性. 檢核重點. 必備. 3.3 練習與形成性評量 (Practice & formative evaluation). 要求內容要求 1.：數位教材提供適當的練習活動，幫助學習者熟悉學習的內容。要求 2.：數位教材具形成性評量機制有助於學習者暸解學習進展與效果。要求 3.：練習活動或形成性評量能涵蓋教學目標。. 選擇性. 3.4 總結性評量 (Summative evaluation). 要求 1.：總結性評量的內容與教學目標相符且適切涵蓋各教學單元。要求 2.：總結性評量活動能提供學習上適切的回饋且能指出學習成效不足之教學單元。要求 3.: 總結性評量多樣化，具二種以上的評量方法。. 選擇性. 3.5 促進學習之策略. 要求 1.：數位教材提供學習者與學習內容之互. (Facilitation strategies). 動機會。要求 2.：數位教材的設計能促進學習動機。. 必備. 3.6 一致性 (Congruence). 要求 1.：數位教材的每個教學目標都有適量的教材內容供學習者學習。要求 2.：數位教材的教學內容能達成預定的教學目標。要求 3.：數位教材的教學目標、學習活動、及練習與評量的內容具一致性。. 18.

(28) (四) 教學媒體（Instructional media）表 2.1.12 數位教材認證規範四（教學媒體）屬性必備. 選擇性. 選擇性. 檢核重點. 要求內容. 4.1 媒體設計與運用. 要求 1.：教學媒體之運用能促進學習動機。. (Media design & use). 要求 2.：教學媒體之運用能促進學習內容的理解。. 4.2 介面設計. 要求 1.：介面設計具一致性。. (Interface design). 要求 2.：介面能適切呈現教材內容。. 4.3 媒體元素. 要求 1.：媒體元素具有適切的製作品質。. (Media elements). 要求 2.：媒體元素的運用符合多媒體設計原則。. (五) 創新（Creativity）表 2.1.13 數位教材認證規範五（創新）屬性選擇性選擇性選擇性選擇性選擇性. 檢核重點. 要求內容. 5.1 教材內容(Content) 5.2 導引與追蹤 (Navigation & tracking) 5.3 教學設計 (Instructional design) 5.4 教學媒體 (Instructional media) 5.5 其他面向(Other). 數位教材品質認證只針對數位教材，但磨課師課程除了教材外，尚需考慮其他面向。. 19.

(29) 三、The Quality Matters Higher Education Rubric 為了保障每門高等教育線上課程的品質，2003～2006 年，美國馬里蘭網路教育聯盟在教育部的資助下，制訂了網路高等教育課程認證標準 — 品質標準（Quality Matters Rubric Standards）(蒋家琼，2014)。在審核上，如果認證得分超過總分的 85%，且所有核心指標均達標，則認證通過。內容整理如下表。 (一) 課程介紹（Course Overview and Introduction）表 2.1.14 The Quality Matters Course（Overview and Introduction）指標. 權重. 1.1 課程介紹說明如何開始學習、如何找到課程內容。. 3. 1.2 學員明確獲知課程內容及結構。. 3. 1.3 明確說明網上討論、郵件和其他交流方式的基本規則。. 2. 1.4 明確課堂禮儀和基本規範，如有需要，提供外部連結。. 2. 1.5 說明課程中可能需要的基本或前提知識。. 1. 1.6 說明學員需要掌握的基本操作技能。. 1. 1.7 網上提供主講人或設計者的自我介紹。. 1. (二) 學習目標（Learning Objectives）表 2.1.15 The Quality Matters（Learning Objectives）指標. 權重. 2.1 模組總體學習目標針對的是可以測量的結果。. 3. 2.2 單元課程的學習目標可以測量，並與模組總體目標一致。. 3. 2.3 各層學習目標都從學員的角度清晰定義。. 3. 2.4 詳細指導學生如何達成學習目標。. 3. 2.5 學習目標根據課程的層級水準合理制定。. 3. 20.

(30) (三) 評量（Assessment and Measurement）表 2.1.16 The Quality Matters（Assessment and Measurement）指標. 權重. 3.1 測量方法針對學習目標，與課程活動及資源一致。. 3. 3.2 詳細說明評分規則。. 3. 3.3 學員的學習參與和成果能用具體、描述化的標準加以測量。. 3. 3.4 測量手段是連續的、多元化、方法適宜的。. 2. 3.5 學員可以自行評估自己的學習進程。. 2. (四) 課程教材（Instructional Materials）表 2.1.17 The Quality Matters（Instructional Materials）指標. 權重. 4.1 培訓指導資料確實對課程目標有貢獻。. 3. 4.2 詳細解釋培訓資料的目的和使用方法。. 3. 4.3 用準確的引用方式來注明課程中的資源和材料。. 2. 4.4 資訊資料更新及時。. 2. 4.5 培訓資料全面展示課程內容相關的各種觀點。. 1. 4.6 詳細解釋必修和選修內容的區別。. 1. (五) 活動與互動（Course Activities and Learner Interaction）表 2.1.18 The Quality Matters（Course Activities and Learner Interaction）指標. 權重. 5.1 學員參與部分能説明達到課程學習目標。. 3. 5.2 學員參與部分提供激發主動學習的互動機會。. 3. 5.3 說明學員的回應和回饋時間安排。. 3. 5.4 明確說明學員互動的重要性。. 2. (六) 課程科技（Course Technology）表 2.1.19The Quality Matters（Course Technology）指標. 權重. 6.1 課程中應用的工具和多媒體形式有助於實現課程目標。. 3. 6.2 課程中應用的工具和多媒體形式説明學員積極參與。. 3. 6.3 線上課程的巡覽列緊湊、高效、富有邏輯。. 3. 21.

(31) 指標. 權重. 6.4 學員可以很容易地掌握課程需要的技術。. 2. 6.5 課程採用當前流行技術。. 1. (七) 學習者支援（Learner Support）表 2.1.20 The Quality Matters（Learner Support）指標. 權重. 7.1 教學指導中介紹或給出技術支援的連結。. 3. 7.2 教學指導中介紹或給出課堂規範和服務的連結。. 3. 7.3 教學指導中介紹或給出學術支持和其他資源如何利用的連結。. 2. 7.4 教學指導中介紹或給出學員服務及如何利用的連結。. 1. (八) 易用性（Accessibility and Usability）表 2.1.21 The Quality Matters（Accessibility and Usability）指標. 權重. 8.1 課程應用可操作技術，指導學員適應介面. 3. 8.2 課程方式提供可聽或可視內容的替代表示. 2. 8.3 課程設計清晰易讀、減少注意力分散. 2. 8.4 課程設計方便輔助工具的應用. 2. 目前數位教學評鑑大多以數位教學的整體評鑑為主，上述文獻雖已聚焦於數位學習課程，但其評估者非大學生，且某些指標未完全適用於 MOOCs。本研究將綜合上述之文獻，修改並發展可由大學生進行評估的 MOOC 課程評估指標。. 22.

(32) 第二節. MOOC 品質評鑑. 近年來隨著 MOOC 平台及課程的增加，各國研究者開始關注 MOOC 的課程品質。 Conole（2013）除了彙整出 MOOC 的特色外（如表 2.1.22），在教學策略上，也對於設計出高品質 MOOC 提出七大類指標，項為 Conceptualise, Capture, Communication, Collaborate, Consider, Combine,以及 Consolidate，該七項指標稱之為 7Cs learning design framework（Ahmed M. Y. ,2014)。指標內容如圖 2.2.1 及表 2.2.1。表 2.2.1 MOOC 特色 Open. 開放. Massive. 大量. Use of Multimedia. 多媒體的運用. Degree of Communication. 溝通程度. Degree of Collaboration. 合作程度. Learning pathway. 學習途徑. Quality Assurance. 品質保證. Amount of reflection. 回饋量. Certification. 證書. Formal Learning. 正式學習. Autonomy. 自主性. Diversity. 多樣性表 2.2.2 7Cs 學習設計框架包含元素. 概念化 Conceptualise. 希望課程有什麼願景？. 提取 Capture. 教學資料來源的審查. 溝通 Communicate. 什麼樣的機制促進學生與老師及學生間溝通？. 合作 Collaborate. 什麼樣的機制促進學生合作？. 考量 Consider. 考量教學策略. 結合 Combine. 評估設計之總體意見. 加強 Consolidate. 實施且評估實際的學習情境 23.

(33) 願景概念化活動提取. 溝通. 整合. 評估. 綜合結合實行加強. 圖 2.2.1 7Cs 學習設計框架進程圖上述文獻能夠讓教學設計者在設計 MOOC 課程時有一個概念式，並幫助建構出一個富有完整性的課程。雖本研究之研究重點在於以學習者的角度發展 MOOC 規範以及評估指標，可以藉由上述之設計框架來學習了解 MOOC 課程之重要元素評估。 Anoush, Manuela &Allison (2014)總共用十項課程指標評估 MOOC 課程，分別為五個與學習資源相關指標 Problem-centred（問題為中心）, Activation（激活）, Demonstration（展示）, Application（應用）, Integration（整合）, 以及五個較為抽象學習者能力部分 Collective knowledge, Collaboration, Differentiation, Authentic resources, Feedback，詳細內容如表 2.1.24。. 24.

(34) 表2.2.3 Anoush, Manuela &Allison十項MOOC評估指標指標. 指標內容. Problem-centred 問題中心. 要促進學生學習，就是要讓學習者學習到如何解決在現實生活中可能會遇到問題。. Activation 激活. 學習者激發已有知識以及技能作為新知能的基礎有助於學習進步。. Demonstration 展示. 當學習者觀察教師展示的技能作為一種學習，便能促進學習。. Application 應用. 運用獲得的新技能來解決問題能夠促進學習。. Integration 整合. 當學生反思、討論以及辯論自己所學的新知能，則學習者. Collective knowledge 蒐集知識. 蒐集知識有助於學習進步。. Collaboration 合作. 當跟其他人一起合作助於學習進步。. Differentiation 區別. 當不同的學生根據他們的需求提供不同的方法去學習。. Authentic Resources 真實的資源. 提供真實世界的情況。. Feedback 回饋. 專家適當的回饋能夠促使學習者進步。. 才能進步。. 另外，Mohamed , Ulrik & Marold （2014）把 MOOC 指標分兩大類 Pedagogical Criteria（教學類）與 Technological Criteria（技術類）以下之六大規範 74 項評鑑指標，六大規範分別為 Instructional Design（教材設計）, Assessment（評估）, User Interface（用戶介面）, Video Content（視頻內容）, Learning and Social Tools（學習與社會工具）, Learning Analytics（學習分析），如圖 2.2.2。. 25.

(35) 教學設計教學類. 磨課師指標. 評估用戶介面技術類視頻內容. 學習與社會工具. 學習分析. 圖 2.2.2 MOOC 評估類別與規範在台灣方面，雖尚未發展評估指標，但目前有台灣 MOOC 磨課師課程及教學設計參考手冊(教育部，2015)，幫助磨課師課程設計。其中，伍、教材影片製作內 5-3-8 QA 與修正提供成品審查表格，其中包括十二項審查重點，如表 2.2.4。表 2.2.4 磨課師課程及教學設計參考手冊成品審查重點審查重點課程內容(標題、文字、圖片、圖表、動畫內容)是否正確？課程聲音(旁白、音樂、音效)是否正確？課程測驗或評量的內容是否正確？內容表現(如用字遣詞、圖、表、舉例等)是否清楚合適,能讓學習者容易了解？內容呈現之觀點是否能避免對於不同族群、性別、階級、年齡、語言或其他群體的學習對象存有不當之偏見？內容是否符合教學目標？內容深度與廣度是否符合教學目標？單元名稱、單元內容與單元目標之間是否具一致性？各單元內容份量是否分配合理？是否運用講述、案例、示範、模擬、挑戰、類比、角色扮演、問題導向、問題解決等二種以上(含)之教學方法來呈現或展示教學內容？. 26.

(36) 審查重點是否可引發學習者對學習內容的注意？是否能維持學習者對學習內容的興趣？圖片、動畫及影像等是否有良好製作品質？（如畫面清晰度、播放速度是否合宜等）旁白是否清楚？配樂是否品質良好且不會干擾學習？根據上述之文獻，皆偏重於課程開發設計與實施的評鑑規準，鮮少有由學習者評估部分。. 第三節. 結語. 根據上述文獻，尚未有由學習者所評之磨課師課程評估指標。目前的國內外之線上課程評鑑指標，並不全然適用於磨課師課程的評估。雖然文獻皆不完全適用於本研究欲發展之學習者觀點評估的指標，但可以根據文獻內之規準加以整合並進行修訂，進而發展適合為學習者之簡易評估指標，除了可幫助學習者對於選課參考依據，也對發展者借由學生之評估做課程調整。. 27.

(37) 28.

(38) 第三章. 研究方法. 本章分研究歷程、研究工具、評估規範與指標設計、研究對象、指標可行性測試及資料蒐集與分析。. 第一節. 研究歷程. 本研究之歷程可分為四階段：第一階段，確立研究主題為大學生對 MOOC 課程的評估，針對線上課程評估及 MOOC 課程評估，蒐集相關文獻，歸納發展為大學生可以使用的 MOOC 課程評估指標。第二階段，對已發展的 MOOC 評估指標進行專家意見徵詢。先與指導教授討論評估的規範與指標，再以專家意見徵詢表請專家提供意見，經修訂後發展成大學生的 MOOC 課程評估表。第三階段，請大學生使用發展的 MOOC 課程評估表，進行 MOOC 的評估，並訪談大學生，以了解大學生對 MOOC 課程評估的看法。第四階段，根據大學生的評估結果進行分析與討論。研究歷程如圖 3.1.1。. 29.

(39) 研究主題確立第一階段. 研究架構擬定. 文獻探討. 評估指標設計. 與指導教授討論進行指標修改. 第二階段. 專家評估工具修改. 專家評估指標合適性. 學習者評估表設計. 指標修改第三階段. 大學生評估課程. 根據研究結果進行分析第四階段. 提出研究結果並歸納研究結論建議. 完成研究. 圖 3.1.1 研究歷程 30.

(40) 第二節. 研究工具. 本研究的工具包括磨課師課程評估指標、專家審核表及磨課師課程平台。一、磨課師課程評估指標指標內容於第三節說明。二、專家審核表為提升評估指標之效度，設計了專家審核表，請專家審核研擬的 MOOC 評估規範與指標，依據專家之建議進行指標修改。本研究邀請專家針對初步指標進行審視，以四點量表，對各指標適合度進行建議。在專家意見回收後，保留平均數 3 以上之指標，並根據專家給予之建議進行修訂。專家建議及修改結果於第三節說明。三、磨課師課程平台本研究使用之台灣磨課師課程平台如下： (一) 育網(eduWant) 於 2013 年由國立交通大學建立，目前合作院校達 64 所，約 400 門課，結合微學程及實體考試。 (二) 中華開放教育平台(OpenEdu) 為中華開放教育聯盟因應教育部於 2013 年推動的「新一代數位學習計畫」而創立之教育平台。該聯盟聯合有意發展開放式課程的學校或機構，藉由聯盟體系的建構、營運基金的募集、組織人力的運作，提供開放式課程建置輔導、平臺維運，行銷推廣等服務。該平台目前有 49 門課程，除了適用於大學之課程外，另開高中之增能課程。. 31.

(41) (三) 學聯網(ＳhareCourse) 為清華大學與捷鎏科技創辦，2014 年註冊人數三千多人，除了與大學院校合作外，也與多家培訓機構共同在平台開放課程，擴及職能訓練內容。 (四) 台灣全民學習平台(TaiwanLIFT) 由國立空中大學、國立交通大學及神通資訊科技股份有限公司於 2013 共同推動「台灣全民學習啟動 (Taiwan Learning Initiative For Everyone, Taiwan LIFE)」計畫，並於 2014 年 6 月正式推出「Taiwan LIFE」全民學習平台。表 3.2.1 台灣磨課師平台統整平台. 育網. 中華開放教育平台. 學聯網. 國立交通大學、國立空中大學、神通資訊科技股份有限公司. 推動組織. 國立交通大學. 中華開放教育聯盟. 合作組織. 64 間大學. 加入聯盟之組織及 68 間大學及培 50 間大學及個人訓機構培訓機構. 課程總數. 發展方向. 清華大學、捷鎏科技. 台灣全民學習平台. 約 400 堂. 49 堂 (含高中增能課程). 約 250 堂. 約 400 堂. 將協助介紹台灣的優質課程及大學到以中國大陸為主的全球華人市場。. 聯合有意發展開放式課程的學校或機構，藉由聯盟體系的建構、營運基金的募集、組織人力的運作，提供開放式課程建置輔導、平臺維運，行銷推廣服務，滿足數位學習產業的發展。. 透過與大學以及企業合作，藉由網路雲端這個技術將資源分享給全台各地的學生。. 將國內學生的學習成果具體落實到認證考試、學分銀行及終身學習學位等制度上面。. 32.

(42) 第三節. 評估規範與指標設計. 一、磨課師課程評估規範（向度）設計因本研究在於開發大學生使用的磨課師課程評估指標，故初期根據台灣 MOOC 磨課師課程及教學設計參考手冊 V1.2(台灣磨課師課程及教學設計，2015，頁 13) 之 MOOC 課程結構設計評估指標規準，再修訂為符合大學生的規範(表 3.3.1)。表 3.3.1 磨課師評估規範台灣磨課師課程及教學設計參考手冊. 本研究的評估規範. 教學計畫表. 課程說明 Course Descriptions. 課程教材. 課程教材 Course Materials. 討論與回饋. 討論與回饋 Discussion and Feedback. 測驗作業與專題. 測驗與作業 Tests and Assignments. (一) 課程說明 Course Descriptions 台灣磨課師課程及教學設計參考手冊將 MOOC 課程結構的第一部分規劃為教學計畫表，針對教學設計者或教師。因為本研究要發展適用於大學生之磨課師課程評估指標，故稱為課程說明 Course Descriptions。 (二) 課程教材 Course Materials 磨課師的特色之一在於將一堂課程內容以 5-10 分鐘的短片教導學習者，此一規範著重課程影片的呈現。 (三) 討論與回饋 Discussion and Feedback 目前台灣磨課師的討論以及回饋，大多在社群平台進行學生對學生或是學生對老師之即時或非即時討論與回饋，本評估表只評估磨課師平台上之課程，所以 33.

(43) 討論與回饋部分著重於磨課師課程上之電腦即時回饋以及課程影片回饋。 (四) 測驗與作業 Tests and Assignments 測驗與作業是任何課程應有的成分，MOOC 課程亦須內含形成性和總結性測驗及作業的設計。二、磨課師課程評估指標設計當規範確定後，接著設計各規範下的評估指標。 (一) 「課程說明」規範下的評估指標比較台灣磨課師平台的課程說明，找出現頻率較多之項目。以下統整台灣四大平台課程介紹之項目，如表 3.3.2。表 3.3.2 磨課師平台課程介紹統整課程介紹項目. 課程名稱. 開課學校. 開課時間. 課程教師. 課程目標. 課程進度. 評量方式. 育網. V. V. V. V. V. V. V. 中華開放教育平台. V. V. V. V. V. V. 學聯網. V. V. V. V. V. V. 台灣全民學習平台. V. V. V. V. V. V. V. 適用對象. 先備知識. 簡介影片. V. V. V. V V V. V. 而根據表 3.3.2 統整課程介紹出現頻率較高之項目，並結合數位學習課程認證、數位教材品質認證以及 The Quality Matters 之必備與重點指標，修改為適合大學生的評估指標。以下為「課程說明」規範下的評估指標： 1.1 課程名稱具吸引力。 1.2 課程簡介影片具吸引力。 1.3 課程具體說明學習目標。 1.4 課程清楚提供學習進度。 34.

(44) 1.5 課程具體指出適用對象。 1.6 課程具體說明學習者須具備的學前能力。 1.7 課程提供授課教師的資訊。 1.8 課程具體說明學習表現的考核標準。 (二) 「課程教材」規範下的評估指標磨課師課程教材的特色在於將一堂課程內容以 5-10 分鐘的短片教導學習者，此一指標結合台灣磨課師課程及教學設計參考手冊 V1.2 之伍、教材影片製作內 5-3-8 QA 與修正提供成品審查表格及數位學習課程認證、數位教材品質認證以及 The Quality Matters 必備與重點指標，修改為適合大學生的評估指標。以下為「課程教材」規範下的評估指標： 2.1 各單元的課程影片數量適當。 2.2 課程影片時間分配適當。 2.3 課程影片的教學方式能協助我理解課程內容。 2.4 課程影片提供適當的實例。 2.5 課程影片可引發我對學習內容的注意。 2.6 課程影片中圖片、動畫及影像等有良好製作品質。（如：畫面清晰度、播放速度合宜等） 2.7 課程影片旁白清楚。 2.8 課程影片文字大小適中。 (三) 「討論與回饋」規範下的評估指標目前台灣磨課師的討論及回饋，大多在社群平台進行學生對學生或是學生對老師之即時或非即時討論與回饋，本評估表只評估磨課師平台上之課程，所以討論與回饋部分只著重於磨課師課程上之電腦即時回饋以及課程影片之回饋。由於本課程評估表屬於事前評估，所以此部分的評估題目包含開放題目。 35.

(45) 以下為「討論與回饋」規範下的評估指標： 3.1 課程影片提供開放式討論問題。 3.2 課程對測驗結果給予適當回饋。 3.3 對於課程的討論與回饋有何建議？(開放式問題) (四) 「測驗與作業」規範下的評估指標因屬於事前評估，所以針對測驗及作業與課程內容是否連結進行評估。本規範下的指標結合數位學習課程認證、數位教材品質認證及 The Quality Matters Rubric 之必備與重點指標，發展出適合大學生的評估指標。以下為「測驗與作業」規範下的評估指標： 4.1 課程提供測驗與作業。 4.2 課程的測驗與作業針對學習目標。 4.3 課程的測驗與作業針對課程影片內容。 4.4 課程的測驗與作業能協助我彙整教材重點。 4.5 課程的測驗與作業能激發我思考。三、專家審核規範及指標發展後，經由指導教授修改後設計成專家意見表。意見表為四點量表及開放式的填寫空間，讓專家針對各指標回饋。專家意見表見附錄一：磨課師課程評估表之專家意見。表 3.3.3 整理出專家回饋之內容及修訂過之指標。 (一) 「課程說明」規範下的專家審核建議表 3.3.3 專家審核課程說明規範下之指標專家建議. 指標 1.1 課程名稱具吸引力。. 專家 A 可 36. 專家 B. 專家 C. 4. 非常合適. 4. 非常合適. 修改與否維持。.

(46) 專家建議. 指標. 專家 A. 修改與否. 專家 B. 專家 C. 1.2 可課程簡介影片具吸引力。. 4. 非常合適. 4. 非常合適. 維持。. 1.3 可課程具體說明學習目標。. 3. 合適. 4. 非常合適. 維持。. 1.4 可課程清楚提供學習進度。. 3. 合適. 4. 非常合適. 維持。. 1.5 建議 Massive 課程具體指出適用對象。的對象。. 4. 非常合適. 3. 合適. 維持。. 3.. 3.. 合適. 合適. 1.7 課程提供授課教師的資可訊。. 4. 非常合適. 4. 非常合適. 維持。. 1.8 課程具體說明學習表現可的考核標準。. 4. 非常合適. 4. 非常合適. 維持。. 1.6 課程具體說明學習者須可具備的學前能力。. 維持。. (二) 「課程教材」規範下的專家審核建議表 3.3.4 專家審核課程教材規範下之指標指標. 專家建議專家 A. 專家 B. 這個問題就要 3. 斟酌，因磨課合適師會由很多 2.1 5~15 分鐘的影各單元的課程片所形成，所影片數量適當。以用數量來評估似乎不太合. 專家 C 3. 合適. 宜。. 37. 修改與否 2.1 各單元的課程影片數量適當。(課程數量指每週課程總短片之數量).

(47) 專家建議. 指標. 專家 A. 專家 B. 專家 C. 修改與否. 2.2 這對不太了解 4. 課程影片時間磨課師的學習非常合適分配適當。者可能會不知道如何回答，建議將磨課師影片特色 5~15 分鐘的元素加在這題裡。. 3. 合適. 2.3. 4.. 4.. 課程影片的教學方式能協助我理解課程內容。. 非常合適. 非常合適. 2.4 可課程影片提供適當的實例。. 3. 合適. 4. 非常合適. 2.5 可，可在加入課程影片可引引起學習興趣發我對學習內容的注意。. 4. 非常合適. 4. 非常合適. 2.6 可課程影片中圖片、動畫及影像等有良好製作品質。（如：畫面清晰度、播放速度合宜等）. 3. 合適. 4. 非常合適. 2.7 可課程影片旁白清楚。. 3. 合適. 4. 非常合適. 維持. 2.8 可課程影片文字大小適中。. 3. 合適. 4. 非常合適. 維持. 可. 2.2 課程影片時間分配適當。 (課程影片指單一課程片段時長). 維持. 維持. 維持. 維持. 38.

(48) (三) 「討論與回饋」規範下的專家審核建議表 3.3.5 專家審核討論與回饋規範下之指標內容專家建議. 指標. 專家 A. 專家 B. 修改與否. 專家 C. 3.1 可課程影片提供開放式問題。. 3. 合適. 3. 合適. 維持. 3.2 課程對測驗結果給予適當回饋。. 4. 非常合適. 4. 非常合適. 維持. 可. 課程有提供 3. 線上討論，議合適 3.3 題討論(不討對於課程的討論與回論) 饋有何建議？【開放問題】. 4. 非常合適課程助教或線上帶領老師對於課程討論有適當的回應。. 維持. (四) 「測驗與作業」規範下的專家審核建議表 3-3-6 專家審核測驗與作業規範下之指標專家建議. 指標. 專家 A. 專家 B. 專家 C. 修改與否. 4.1 可課程提供測驗與作業。. 3. 合適. 4. 非常合適. 維持. 4.2 課程的測驗與作業針對學習目標。. 可. 3. 合適. 4. 非常合適. 維持. 4.3 可課程的測驗與作業針. 3. 合適. 4. 非常合適. 對課程影片內容。. 39. 維持.

(49) 專家建議. 指標. 專家 A. 專家 B. 這還蠻難回 3. 4.4 答的合適課程的測驗與作業能協助我彙整教材重點。. 4. 非常合適. 4.5 可課程的測驗與作業能激發我思考。. 4. 非常合適. 3. 合適. 第四節. 修改與否. 專家 C. 4.4 課程的測驗與作業能協助我彙整課程重點。維持. 研究對象. 本研究的目的為發展適用於大學生之磨課師課程評估指標及了解大學生對 MOOC 課程的評估結果，所以研究對象為台灣北部某私立科技大學行銷管理系 22 位大二學生，年齡介於 19~21 歲間，學生未修習過磨課師課程。. 第五節. MOOC 課程選擇與評估. 評估的實施分二階段，第一階段為選擇課程，第二階段為大學生對 MOOC 課程進行評估。一、課程選擇本研究只發展一般性的 MOOC 課程評估指標，故根據國內外近年來數位學習內容依照領域分為四大類：自然科學、醫療衛生科學、社會科學、生命科學（徐新逸, 2006）來進行最初之課程選擇。另外，評估表是學習者在選課前對於正在開課中課程做是否選課之評估，所以課程選擇正在開課中之課程。因學習者需評估一堂以上之課程，所以在課程選定上，限制於單一平台課程，減少學習者花時間登入不同平台。下表整理所選定之課程(表 3.5.1). 40.