實驗設計與評量

為驗證我們所提出之智慧型推薦學習服務之效果，本研究提出一個研究模 式，如圖 3-17 所示，主要是在驗證本推薦學習系統對於學習者的學習效果，以 瞭解由我們所提出的智慧型推薦學習服務法則是否有達到學習者的需求，以下便 詳細描述各項變數。

圖 3-17 研究模型

實驗模型中的自變數為智慧型推薦學習服務方法，在此推薦方法中還包含了 新增學習領域的功能。實驗模型中的依變項為使用的效果，其中包含了系統整體 接受度、推薦準確度、教材內容滿意度、操作介面滿意度以及系統穩定度五項構 面，本研究是參考過去相關文獻並與指導教授討論後決定各項構面之名稱。系統 整體接受度的目的是衡量學習者對於本研究系統整體表現是否滿意，推薦準確度 的目的是在衡量推薦方法的推薦績效，教材內容滿意度的目的是衡量教材內容之 屬性是否有達到學習者之需求，操作介面滿意度的目的是衡量學習者對本系統的 前端介面是否感到簡便與友善，而系統穩定度的目的是衡量本系統的連線速度或 相關硬體設備是否符合學習者連線的需求。為瞭解學習者對於效果的滿意程度，

我們將於實驗完畢後給予學習者一份評量問卷。在問卷中，推薦準確性是以教材 是否為學習者所需要為主要評量，其中又分為一般推薦的準確性與新增學習領域

或學習興趣的準確性。在使用滿意度的部份主要是由學習者評量系統之穩定度、

操作介面的使用滿意度與 SCORM 標準之教材的使用滿意度。

二、實驗設計

本研究共分三個階段進行，並採隨機抽樣方式，如圖 3-18 所示。實驗進行 期間的第一至二週，系統不開放任何推薦功能，學習者僅能於教材列表中點閱自 己想看的教材。第三至四週中，系統將開放智慧型推薦功能，並於推薦區域中顯 示推薦教材。第五至六週中，加入新增學習領域或學習興趣功能，提供學習者多 重選擇興趣科目。於第一至六週的實驗期間內，學習者可隨時登入系統使用，點 閱自己喜歡或需求的教材。最後，我們在第七週以線上表單的方式對所有的學習 者進行問卷調查。

圖 3-18 實驗設計示意圖

三、研究假說

本研究主要是探討學習者對於智慧型推薦學習服務系統的整體滿意度，並根 據 Liaw、Chen 與 Huang(2008)提出的合作式學習系統模型建立模型與假說，藉 由系統穩定度、操作介面滿意度、推薦準確度以及教材內容滿意度等四個構面建

立研究假說，如圖 3-19 所示。假說一為推薦準確度是否被系統穩定度與操作介 面滿意度影響。假說二為教材內容滿意度是否被系統穩定度與操作介面滿意度影 響。假說三則為系統整體接受度是否被推薦準確度與教材內容滿意度影響。本研 究之研究假說整理表如表 3-1 所示。

圖 3-19 研究假說模型 表 3-1 研究假說整理表

假說項目 內容說明

H1a 系統穩定度與推薦準確度成正相關。

H1b 操作介面滿意度與推薦準確度成正相關。

H2a 系統穩定度與教材內容滿意度成正相關。

H2b 操作介面滿意度與教材內容滿意度成正相關。

H3a 推薦準確度與系統整體滿意度成正相關。

H3b 教材內容滿意度與系統整體滿意度成正相關。

H4 教材內容滿意度與推薦準確度成正相關。

四、實驗流程

在研究流程方面，本研究共分四個步驟，如圖 3-20 所示，依序為教材分類 與教材標準之製作、推薦系統之建立、進行實驗與績效分析，詳細說明如下。

(一)教材分類與教材標準之製作：本研究之學習教材以數位內容科技系相關 課程為範圍，其中以計算機概論、資料庫系統與網際網路概論三科目為興趣學 科。教材由數位內容科技系之任課教師所提供，並依照任課教師之建議作教材的 分類，分類後在不影響教材內容的情況下將所有教材的格式依照 SCORM 標準重

製並上傳至系統。

(二)推薦系統之建立：建立學習者資料庫、教材資料庫、關聯推薦數據庫、

各推薦方法程式等，並將所有程式以模組開發方式整合進 XOOPS 中。

(三) 進行實驗：驗證本研究所提出之推薦學習系統的滿意度，以及驗證智 慧型推薦學習服務方法之效果。

(四) 績效分析：依據實驗所得之資料，分析推薦準確性及使用滿意度，以 驗證智慧型推薦學習服務之推薦方法是否有用。本研究在績效分析分為推薦準確 性與使用滿意度兩種，推薦準確性中分為二個向度，分別為無新增領域的教材推 薦準確度與有新增領域的教材推薦滿意度，而使用者者滿意度中則分為三個向 度，分別為內容滿意度、介面操作滿意度以及系統穩定度。

圖 3-20 研究流程圖

第六節 問卷設計 一、 問卷設計

本研究方法採用問卷調查法，問卷的內容是以蒐集與本研究相關之文獻加以 彙整為依據，參考以學習風格為基礎之學習資源推薦機制研究(管怡婷，2004)、

推薦策略與推薦資訊對線上推薦績效影響之研究(吳晨帆，2005)以及網路學習之

表 3-2 問卷構面與題項參考整理(續)

圖 3-21 網路問卷調查

為了避免實驗之學習者對本問卷之題目有所曲解而產生誤答的情況，在實驗 以及發放問卷調查之前進行前測。本研究於 2009 年 4 月 17 日至 2009 年 4 月 30 日之間進行前測實施，採便利抽樣 30 位學生，當中包含大學生以及研究生作為 前測樣本，經問卷回收 30 份，有效問卷 30 份。在前測進行的過程中，我們有先 行製作操作教學影片並口頭向學習者說明實驗的動機與目的，若有學習者對於題 目語意不明或填答困難的題目時，可以隨時向我們發問或表達意見。由於本研究 問卷的問項絕大多數皆來自於過去相關的文獻，再加上指導教授及專家的建議加 以修正，且經由前測過後產生正式問卷，因此本研究之問卷具有一定之內容效度。

二、 前測分析

前測問卷回收後，隨即以統計軟體 SPSS 12 版進行項目分析。為了驗證問卷 各項構面信度，本研究採用 Nunally(1978)的建議，將 Cornbach’s α值訂為 0.7，

利用 Cornbach’s α係數來檢定各主要構面之衡量細項的內部一致性，當係數值 超過 0.7 表示高信度，若低於 0.35 則表示應該拒絕。分析結果發現前測的全量表 的同質性極高，內部一致性係數 Cronbach’s α為 0.93，顯示出量表項目具有相 當的同質性。