U-BOPPPS 教學模式之評估與建構

技術及職業教育學報 第七卷第一期 2016 年 9 月 頁 97～117

U-BOPPPS 教學模式之評估與建構

鍾智超1_、詹為淵2_、羅希哲3 摘要 本研究旨在探討整合 U 化（Ubiquitous）技術與數位科技之 BOPPPS（Bridge-in、 Objective、Pre-assessment、Participatory Learning、Post-assessment、Summary）之 作法必要性與有效性分析，以建構 U-BOPPPS 創新教學模式。本研究邀請 10 位 專家進行 2 回合專家問卷調查；第一回合採 Fuzzy Delphi，確認 BOPPPS 六階段 作法之必要性。第二回合，以 AHP 評估於傳統課堂授課、數位學習平臺與 U-learning 平臺等三種教學環境下，BOPPPS 各階段作法之有效性權重比例。結論 為，（1） BOPPPS 六階段，共有 31 項必要作法。（2）依照 BOPPPS 各階段作法 之有效性分析，歸納 BOPPPS 於課堂授課、數位學習平臺與 U-learning 平臺等三 種教學環境下之教學重點。（3）建構 U-BOPPPS 教學模式。最後，提出 U-BOPPPS 教學建議，（a）課程前-宣導 U-BOPPPS 教育思維，引導學生積極參與、（b）課程 中-強化 U-BOPPPS 課程設計，培養學生合作學習、（c）課程後-建置 U-BOPPPS 多元評量，提高學生學習成效。以此，提高整合 U 化技術與 BOPPPS 創新教學之 有效性。 關鍵字：無所不在、BOPPPS、模糊德菲法、層級分析法、無所不在的學習 1 _{鍾智超：高美醫護管理專科學校助理教授} 2 _{詹為淵：國立高雄海洋科技大學副教授} 3 _{羅希哲（通訊作者）：國立屏東科技大學教授} 電子郵件：[email protected] 收件日期：2015.12.29；接受日期：2016.09.12

Journal of Technological and Vocational Education September, 2016, Vol.7 No.1,pp. 97~116

10.6235/TVE.2515

Assessment and Construction of U-BOPPPS

Instructional Model

Chih-Chao Chung1, Wei-Yuan Dzan2, Shi-Jer Lou3

Abstract

This study investigated the necessity and effectiveness of integration of Ubiquitous techniques with BOPPPS method of digital technology, in order to develop the innovative teaching model of BOPPPS. Ten experts were invited for a 2-round expert questionnaire survey. Round 1 adopted Fuzzy Delphi to confirm the necessity of six phases of BOPPPS. Round 2 used AHP to evaluate the effectiveness weight ratio of each phase of BOPPPS under three teaching environments – traditional classroom instruction, e-learning platform, and U-learning platform. The conclusions are drawn as follows: (1) in the six phases of BOPPPS, there were a total of 31 necessary methods; (2) according to the effectiveness analysis on various phases of BOPPPS, this study summarized the teaching focuses of BOPPPS under three teaching environments, namely classroom instruction, e-learning platform, and U-learning platform; (3) this study developed the teaching model of U-BOPPPS. Based on the results, this study proposed U-BOPPPS teaching suggestions: (a) before the course: advocate the educational thinking of U-BOPPPS to guide students to aggressively participate into the teaching; (b) during the course: strengthen the course design of U-BOPPPS to develop students’ collaborative learning; (c) after the course: develop U-BOPPPS multiple assessments to improve students’ learning effectiveness. By doing so, the effectiveness of innovative teaching of BOPPPS integrated with Ubiquitous techniques could be improved.

Keywords: Ubiquitous、BOPPPS、Fuzzy Delphi、AHP、U-learning

1 _{Chih-Chao Chung: Kaomei Junior College of Health Care & Management, Taiwan, Assistant}

Professor

2 _{Wei-Yuan Dzan: National Kaohsiung Marine University, Taiwan, Associate Professor}

3 _{Shi-Jer Lou(Corresponding Author): National Pingtung University of Science and Technology,}

Taiwan, Professor

E-maill: [email protected]

壹、前言

近年來 3C 科技產品不但普及，並且發展趨近於無所不在（Ubiquitous），名 為 U 化，或稱為無所不在的運算（Ubiquitous Computing） （Satyanarayanan, 2011）。 U 化是將各項已經 E 化的資料庫整合後，提供使用者各種能隨時隨地接收這些資 訊的裝置及環境。讓使用者需要資訊時，不需要再連上網路去尋找，而是可以即 時的透過網路取得各式各樣與目前使用者所在的周遭環境相關的資訊（Al-Neyadi & Abawajy, 2009; Sejong, 2010）。目前更運用雲端服務與相關技術，讓使用者能 隨時隨地即時的接收與發送多媒體訊息。若此 U 化技術若能應用於教學上，發展 U-learning 平臺，其成效將是令人期待。 隨著資訊科技及網際網路的蓬勃發展，應用資訊科技之滲透力、發展性，與 突破時空限制的優勢，使得數位學習平臺之建置已逐漸成為學校教育必備的設施 之一（王全興、蔡清田，2009；Hawkins, 2004）。因此，重整傳統教學與網路教 學，妥善進行教學設計，發展創新教學型態與模式，開發新的課程內容，已是教 育革新必然的趨勢（羅希哲、蔡慧音、曾國鴻，2011）。然而，目前尚無系統化 的整合模式，大多由任課教師單打獨鬥，自行發展數位教材及應用數位科技部分 功能於創新教學上。更遑論在整合上述新興科技於發展創新教學的同時，如何檢 視課程的有效性與實用性，值得教育工作者省思。 傳統教學設計重概念的傳授與精熟，傾向以試題評量的方式作為教學的手段。 故 ， BOPPPS （ Bridge-in 、 Objective 、 Pre-assessment 、 Participatory Learning 、 Post-assessment、Summary）將課程分成多個小單元，便於授課教師用以評量課程 設計的成效（Giustini, 2014）。因此，BOPPPS 被廣泛應用於各領域的教學上， 是具有效益的教學方式（Chung, Dzan, Shih & Lou, 2015; Rogoschewsky, 2011）。 然而，現今整合 U 化技術與數位科技的創新教學設計，強調以學生為中心的學習 方式，必須加入多元化的教學與評量方式，提升學生解決問題的能力，以貫徹技 職教育「做中學」的理念 （Lou, Chung, Dzan, Tseng & Shih, 2013）。

鑑此，本研究將設計一套系統化的方式，重新探討 BOPPPS 六階段教學目標 與做法之必要性；接著，分析 BOPPPS 在傳統課堂授課、U-learning 平臺與數位 學習平臺等教學環境下之有效性，建構 U-BOPPPS 教學模式，提高整合 U 化技術 與數位科技之創新教學課程之有效性與實用性。本研究目的有三： （一）探討 BOPPPS 各階段作法之必要性 （二）分析 BOPPPS 各階段作法於各教學環境之有效性 （三）建構 U-BOPPPS 教學模式

貳、文獻探討

本研究針對 BOPPPS、數位學習、以及無所不在的運算文獻整理歸納如下： 一、BOPPPS

BOPPPS Model 最早是由加拿大英屬哥倫比亞大學（University of British Columbia）的 Douglas Kerr 於 1978 年所提出。BOPPPS 模組的基本概念，是將 教學內容切割為一個個小單元，每個教學小單元內有其「起承轉合」，所有小單 元組合而成單堂課程（張仁壽，2014；Sibley & Canuto, 2010）。BOPPPS Model 是一個可以活用在各類教學型態之教學模式，在實際的教學中若能善用 BOPPPS Model，即可達成有效果、有效率、又具有效益的有效教學（Chung, Dzan, Shih & Lou, 2015; Rogoschewsky, 2011）。例如，Fu、Ren 與 Yang（2015）應用 BOPPPS 於電腦程式語言課程的教學設計；Giustini（2014）在哥倫比亞大學的教學和學術 成長中心，提出以 BOPPPS 作為館課程教學設計的依據。因此，為了在有限的時 間、人力和物力投入下，能達成有效教學；BOPPPS 教學設計的基本元素共有六 個階段，其執行重點整理如表 1。 （一）導言（Bridge-in） 目的為吸引學生的注意力，幫助學生專注在即將要介紹的內容。教師說明學 習此課程的理由，提出和教學主題相關的問題來引導學生進入課程。 （二）學習目標（Objective） 教師清楚傳達教學目標，如課程的重點知識、學習價值，以及可習得之能力， 讓學生明確掌握學習的方向。 （三）先測（Pre-assessment） 對教師而言，透過先測可了解學生的興趣與能力，進而調整內容的深度與進 度；對學生而言，可透過先測聚焦於特定的學習方向，也可藉此向教師表達複習 或澄清的需求。 （四）參與式學習（Participatory Learning） 分為兩種類型，常見的一種是教師與學生之間的互動，另外一種則是同學之 間的討論。善用教學策略，將學生分成小組討論問題，或者讓學生進行反思並提 出問題，為課堂內的參與度加溫。 （五）後測（Post-assessment） 以了解學生的學習成效、及是否達成教學目標。針對不同的課程教授內容， 評量方式有所不同。 （六）總結（Summary） 此階段由教師幫助學生總結課堂內容、整合學習要點。此外，適當表揚學生

的努力和學習成果。 表 1 BOPPPS 教學策略各階段之教學目標與做法 各階段教學目標 各階段作法 導言  有效的開場  喚起學生的學習興趣與注意力 1. 說明學習的理由、重要性或共通性 2. 敘述主題相關的故事或個人經驗 3. 提出和主題相關聯的引導問題 4. 提供吸引人的引言或特殊的事實 5. 連結到已經學過或未來要學的內容 學習目標  告知學習目標  具體明確的敘述可觀察或可衡量的學 習目標，包含認知、情意及技能 1. 告知學生將學到什麼（will do what） 知識或技能 2. 告知學生在什麼情況下學得（under what）知識或技能 3. 告知學生可以學得如何（how well） 先測  了解學生的興趣與先備知識（能力）  聚焦此課程的目的  提供學生表達複習或澄清的需要  幫助教師調整內容深度和進度 1. 正式考試 2. 作業 3. 開放式問題 4. 腦力激盪（聯想題…等） 5. 小測驗（百萬小學堂） 參與式學習  保持學生的專注興趣  透過師生之間及同儕之間的活動，培養 學生主動學習、深入思考及強化印象 1. 小組討論教材的題目 2. 讓學生思考 3. 個人報告或小組報告 4. 個案研究 5. 情境模擬 6. 提出自我思考問題 後測  檢視學生學習進展  了解學生學了什麼，是否達到教學目標 1. 知識理解-選擇題、是非題 2. 知識理解-簡答題 3. 技能檢核-檢核表、評量表 4. 技能檢核-作品展示 5. 應用分析-短文寫作、解決問題等作業 6. 態度價值-態度量表、心情短文、日誌 札記 總結  有效的結束  摘要回顧與總結課堂內容，幫助學生整 合學習，並預告下堂課內容，以利延伸 學習 1. 課程重點回顧 2. 學生回饋活動（對本課程的建議） 3. 表揚學生的努力 4. 分享學生的學習成果 5. 學生的口頭評論 6. 提出個人之應用行動計畫

資料來源：Fu, Ren & Yang, (2015); Giustini, (2014); Lou, Dzan, Lee & Chung, (2014) 綜上，本研究整理 BOPPPS 各階段之教學目標及作法，以此發展 BOPPPS 各 階段作法必要性之專家問卷。期能透過專家問卷，確定 BOPPPS 各階段之必要性 作法，作為 U-BOPPPS 教學模式的主要架構。藉此，提高 U 化技術應用於教學之

有效性，以豐富教師的教學方式，使學生的學習管道更多元，進而提升學生的學 習成效。 二、數位學習與 BOPPPS 發展趨勢 在網路蓬勃發展的時代，許多傳統教學上的學習活動已能透過網路教學方式 呈現出來，甚至可依據個人需求選擇不同且多樣的教學環境（陳年興、楊錦潭， 2006）。透過數位學習（e-Learning），可以讓學習者在不同時間、不同地點進行 學習，而且學習的素材、教育與資源可以重複再利用（吳美美，2004）。因此， 數位學習平臺，已成為各學校提供給學生輔助學習之必要設備。此外，孫仲山與 劉一慧（2010）以科技接受模式及社會認知論為基礎，探討大學生數位科技應用 行為研究中發現，環境對大學生的行為意圖影響最大。因此，在新世紀裡的教師， 在教學上應思考如何將資訊科技融入教學之中，據以引導學生使用科技蒐集資料 以協助自己的學習，激發學習的興趣（Hadjilouca, Constantinou & Papadouris, 2011）。 綜上，可見學習活動上不再受限於傳統教室，逐漸由傳統教室教學進入了混成式 教學時代（Lou, Chung, Dzan & Shih, 2012）。而 BOPPPS 模組也從傳統面授課程 的應用，逐漸演變成以學生為中心、網路為基礎，學生在提出問題、獲得資源後， 可以在系統中與他人合作完成作品，並且可在線上直接解決問題，達到教學目標 （Lou, Dzan, Lee & Chung, 2014）。學習者只要利用相容的設備，在教師指定的 時段內進行學習，並且遇到問題還可以在線上，與教師或同儕請教與討論。 而 U 化及數位科技的快速發展，更帶動了行動學習的趨勢，學習者也可以利 用閒暇或零碎的時間，如等車、坐捷運等時間內，利用智慧型行動載具在學習平 臺上進行學習或複習，有效利用時間，提升學習成效。因此，本研究將進一步探 究 U 化行動學習環境與 BOPPPS 的有效整合模式。 三、無所不在的運算 （Ubiquitous Computing）

無所不在的運算（Ubiquitous Computing）概念由 Mark Weiser 博士於 1991 年發表「The Computer for the 21st Century」，他認為在大型電腦與個人電腦後， 未來第三波的電腦運算，科技將無所不在地融入於日常生活中，邁入無聲科技時 代 （Satyanarayanan, 2001; Weiser, 1991）。在無所不在運算應用環境中，主要是 利用當時的情境資訊作為授予使用者權限的條件，在進行授予使用者權限的過程 中，根據使用者當時所在位置的情境指派給使用者相對應的權限（Hung, Diep, Zhung, Lee & Lee, 2006; Sejong, 2010; Wu & Fan, 2012）。而 U 化更是讓使用者能 隨時隨地使用網路上的資源，想創造一個不受時間與空間限制的環境（黃國禎、 陳德懷，2014）。它結合了網路環境、資訊設備、裝置平臺、資訊內容，透過這 樣的網路環境架構，讓任何人可以在任何時間、任何地點，利用任何裝置（個人

數位化助理、智慧型手機、筆記型電腦）連接上網，並且讓人們不會感覺到有實 體網路操作障礙的存在，提供使用者隨時隨地取得資源的便利性（Hwang, Tsai & Tsai, 2012; Martin, Diaz, Plaza, Ruiz, Castro & Peire, 2011）。因此，U-learning 已經 廣泛地應用在相當多的領域，例如自然科學、歷史及語言學等（Hwang & Tsai, 2011; Hwang, Yang, Tsai & Yang, 2009）。U-learning 主要以智慧型手機為行動載具，具 有完整性、便利化、及互動性等優點，讓學生能整合、連接及分享多元化的學習 資源（蕭顯勝、馮瑞婷、簡正杰、黃向偉、洪琬諦，2007）。

綜上，隨著 U 化技術的進步，影響著我們的生活及學習方式，在教育上提供 多元的教學方法，學習者也獲得更多的學習良機（邱柏升、郭彥宏、黃悅民、陳 宗禧，2009）。鑑此，本研究將整合 U 化技術於 BOPPPS 之創新教學設計，運用 Fuzzy Delphi 與 AHP 等研究方法進行評估與分析，據以建構 U-BOPPPS 教學模 式。

參、研究設計

依照研究目的與文獻探討結果，本研究流程設計說明如下。 一、研究流程 本研究整合 U 化技術與數位科技，進行 U-BOPPPS 創新教學模式之評估與發 展，研究流程，如圖 1。首先，針對 BOPPPS 相關文獻進行探討，歸納 BOPPPS 各階段之教學目標及作法，發展「BOPPPS 各階段作法必要性專家問卷」；並請 3 位專家，將問卷中語意不清與不適於衡量必要性之項目予以修正、刪除，以提 高問卷效度；經彙整，BOPPPS 六階段，共 31 項執行做法。本研究邀請數位教學、 行動學習及課程設計等，共 10 位專家進行第一回合問卷調查，採 Fuzzy Delphi 分析 BOPPPS 各階段之必要教學作法。接著，發展「BOPPPS 各階段作法有效性 專家問卷」，探討 BOPPPS 於課堂授課、數位學習平臺與 U-learning 平臺執行之 有效性分析。本研究邀請 10 位專家進行第二回合 AHP 專家問卷調查。以此，建 構 U-BOPPPS 教學模式。期能在數位教學及 U 化行動學習趨勢下，作為教師在執 行 BOPPPS 教學策略時，亦能整合數位科技及 U 化技術之重要參考依據。

圖 1 研究設計流程圖 二、研究對象 本研究之研究對象為 10 位專家學者，專家背景資料整理如表 2，受邀專家的 教學年資皆在十年以上，專業領域主要分為數位教學應用、無所不在學習、混成 式教學及教學設計等（包含 4 位教學資源中心主任、3 位電算中心主任、3 位技職 教育所長）。以此，期能透過專家意見整合數位科技與無所不在學習技術於 BOPPPS 教學設計的結果。 表 2 專家背景資料彙整表 項目 次項目 人數 百分比（%） 性別 男 7 70.0 女 3 30.0 教學年資 10 到 15 年 6 60.0 15 年以上 4 40.0 職稱 副教授 2 20.0 教授 8 80.0 專業領域

（

可複選） 數位教學應用 7 33.3 無所不在學習 4 19.0 混成式教學 6 28.6 教學設計 4 19.0 BOPPPS 文獻探討 確認 BOPPPS 作法 U-learning 平臺 建構 U-BOPPPS 教學模式 發展 U-BOPPPS AHP 專家問卷 BOPPPS AHP 專家問卷調查 BOPPPS Fuzzy Delphi 專家問卷調查 數位學習平臺

第一回合

三、研究方法

（一）Fuzzy Delphi

Fuzzy Delphi 是由傳統 Delphi 衍生而來，Delphi 是專家預測法，也是群體決 策法的一種（Noorderhaven, 1995）。Fuzzy Delphi 相較於傳統 Delphi 可以節省調 查的時間與成本；專家個別意見得以闡示；考慮到訪查過程中的模糊性；計算過 程簡單等優勢（Klir & Folger, 1988）。

故，本研究 BOPPPS 各階段作法必要性專家問卷，採 Fuzzy Delphi 以達集思 廣益之效，亦可得到專家們的個別意見，進而獲得符合時代潮流且最貼近主題的 分析結果，作為本研究建構 U-BOPPPS 教學模式的主要依據。依照專家的經驗， 評估並給予主觀價值判斷之評分。問卷中的評選尺度定義以 0~1 為模糊數範圍， 給予三個值，代表其中某一項語言變數的三角模糊數。例如以（0.4，0.5，0.6） 表示「尚可」之語言值，其中 0.5 為最大滿足程度之值，而 0.4 與 0.6 分別為專家 的容許範圍。

（二）AHP（Analytical Hierarchy Process）

層級分析法（Analytical Hierarchy Process, AHP） 主要運用於在具有多項評 估準則所下的決策問題，其方法乃先將這些複雜的問題系統化，藉由層級結構的 建立，使決策者能更了解各自評選準則之間的相對關係。此外，AHP 可容納較多 的評選準則，透過簡易的兩兩比較方式，判斷問題的權重進而決定順序，故便於 讓決策者對多項準則同時進行評估工作（Nydick & Hill, 1992; Saaty, 1977）。

因此，因應整合 U 化技術與數位科技之創新教學環境的多元化，本研究以 AHP 進行 BOPPPS 各階段作法於「課堂授課」、「數位學習平臺」及「U-learning 平臺」等教學環境之有效性分析。透過 AHP 取得 BOPPPS 各階段作法於上述 3 種教學環境之權重分布，以建構 U-BOPPPS 教學模式。整個過程，由相關專家公 平客觀地填寫，藉由一致性比例（Consistency Ratio, C. R.） 的檢定，C.R.值小於 或等於 0.10，則視為可接受範圍（Saaty, 1990）。

肆、結果與討論

依照研究目的及研究設計執行，將結果進行分析與討論，分別說明如下。 一、BOPPPS 各階段作法必要性 Fuzzy Delphi 分析

本研究共發放 11 份專家問卷，有效回收 10 份問卷，整體問卷回收率為 90.9%。 依據 10 位專家第一回合的意見，以 Fuzzy Delphi 計算各階段作法的總值（T 值）， 如表 3。除了 6-6「提出個人之應用行動計畫」T 值為 0.6788，其餘皆高於 0.7。

顯示專家們對於各階段作法認同度一致性甚高，可做為後續評估 BOPPPS 各階段 作法有效性之重要項目。以下分別以 BOPPPS 六階段說明其作法之必要性。 （一）導言 專家們強調此階段教師必須向學生說明學習的理由、重要性或共通性（如 1-1， T=0.856）；必要時，可以提供一個吸引人的引言或特殊 的事實（如 1-4，T=0.796）， 提高學生的學習興趣。 （二）學習目標 大多數專家認為此階段必須告知學生這個課程甚至這個單元，將學到什麼 （will do what）知識或技能（如 2-1，T=0.854）。此外，告訴學生可以學到何種 程度（如 2-3，T=0.796）。 （三）前測 此階段的測驗方式專家意見一致認為，腦力激盪與開放式問題（如 3-4， T=0.801 及 3-3，T=0.778）優於正式考試（如 3-1，T=0.706）。唯本研究尚屬教 學設計階段，為求後續評分與分析之便利性，保留正式考試之作法。然，教師於 正式教學時，可視狀況調整測驗方式。 （四）參與式學習 從專家們的意見中顯示，學生親自參與並進行思考的重要性（如 4-2，T=0.854）； 透過個人報告或小組報告方式，具體呈現學生的想法（如 4-3，T=0.817）。亦可 配合教材題目的引導，讓學生討論發表，提出自我思考問題（如 4-1，T=0.797 與 4-6，T=0.791）。 （五）後測 後測可分為知識與技能兩部分，在知識理解方面，除了一般的選擇是非題外， 專家們更推崇簡答題的方式（如 5-2，T=0.801）。在技能檢核方面，強調理論與 實際的結合；除了制式的檢核量表外，也重視學生的動手實作（如 5-3，T=0.812 及 5-4，T=0.801）。 （六）總結 在課程最後，多數專家一致認為課程重點回顧、表揚學生努力以及分享學生 學習成果的重要性（如 6-1，T=0.837、6-3，T=0.799 及 6-4，T=0.791）。此外， 學生對於課程的回饋與建議，更是精進課程設計與教學成效的重要參考依據（如 6-2，T=T=0.797）。

綜上，透過 Fuzzy Delphi 專家問卷評比，確認 BOPPPS 各階段作法之必要性， 作為後續建構 U-BOPPPS 教學模式設計之參考。

表 3

BOPPPS 各階段作法必要性 Fuzzy Delphi 專家問卷分析

各階段目的 各階段作法 左值 右值 總值 （T） 排序 導言 1-1 說明學習的理由、重要性或共通性 0.911 0.198 0.856 1 1-2 敘述主題相關的故事或個人經驗 0.812 0.302 0.755 5 1-3 提出和主題相關聯的引導問題 0.812 0.297 0.758 4 1-4 提供吸引人的引言或特殊的事實 0.850 0.257 0.796 2 1-5 連結到已經學過或未來要學的內容 0.817 0.292 0.762 3 學習目標 2-1 告知學生將學到什麼知識或技能 0.907 0.199 0.854 1 2-2 告知學生在什麼情況下學得知識或技能 0.773 0.335 0.719 3 2-3 告知學生可以學得如何 0.850 0.257 0.796 2 前測 3-1 正式考試 0.761 0.350 0.706 5 3-2 作業 0.782 0.329 0.727 4 3-3 開放式問題 0.834 0.277 0.778 2 3-4 腦力激盪（聯想題…等） 0.855 0.252 0.801 1 3-5 小測驗（百萬小學堂） 0.818 0.292 0.763 3 參與式學習 4-1 小組討論教材的題目 0.851 0.257 0.797 3 4-2 讓學生思考 0.907 0.199 0.854 1 4-3 個人報告或小組報告 0.873 0.239 0.817 2 4-4 個案研究 0.832 0.283 0.775 5 4-5 情境模擬 0.817 0.297 0.760 6 4-6 提出自我思考問題 0.850 0.267 0.791 4 後測 5-1 知識理解-選擇題、是非題 0.808 0.304 0.752 5 5-2 知識理解-簡答題 0.855 0.252 0.801 2 5-3 技能檢核-檢核表、評量表 0.865 0.241 0.812 1 5-4 技能檢核-作品展示 0.855 0.252 0.801 2 5-5 應用分析-短文寫作、解決問題等作業 0.817 0.292 0.762 4 5-6 態度價值-態度量表、心情短文、日誌札記 0.821 0.287 0.767 3 總結 6-1 課程重點回顧 0.891 0.217 0.837 1 6-2 學生回饋活動（對本課程的建議） 0.851 0.257 0.797 3 6-3 表揚學生的努力 0.855 0.256 0.799 2 6-4 分享學生的學習成果 0.849 0.267 0.791 4 6-5 學生的口頭評論 0.779 0.333 0.723 5 6-6 提出個人之應用行動計畫 0.737 0.379 0.679 6

二、BOPPPS 各階段作法於各教學環境有效性分析 在了解 BOPPPS 各階段作法之必要性之後，本研究採 AHP 法進行第二回合 專家問卷，探討 BOPPPS 各階段作法於課堂授課（代號 A）、數位學習平臺（代 號 B）、以及 U-learning 平臺（代號 C）等教學環境之有效性分析，整理如表 4。 AHP 評估結果包含，有效性權重值、λ 值、C.I.值及 C.R.值。從一致性比例檢定 C.R.值皆小於 0.1 可知，專家們評估結果具有一致性。依照 10 位 AHP 專家問卷 結果，分析 BOPPPS 各階段作法於三種教學環境之有效性。以此，進一步歸納各 教學環境之教學重點，分別說明如下。 （一） BOPPPS & 課堂授課 - 著重師生良性互動及學生學習有效性 AHP 分析結果，於課堂授課教學有效性權重高於其他教學環境之 BOPPPS 作 法有 1-1、3-1、4-3、5-3、5-4、5-5、6-1、6-3、及 6-5，權重分別為 0.403、0.377、 0.346、0.367、0.406、0.346、0.346、0.400、0.416，顯示多位專家認為課堂授課 存在的必要性。 歸納 BOPPPS 於課堂授課之教學重點為，在課程開始時，由教師說明課程學 習的理由與重要性，使學生了解教師的教學方式以及為何而學（張仁壽，2014）。 接著，透過正式的前測考試，可使教師了解學生的程度分布，以調整教學內容及 進度。以此，設計合適的專案主題，使學生從實做中學習，並且提出專題報告。 再者，實施知識應用與技能檢定，著重於知識應用與技能學習的有效性（Chung, Dzan, Shih & Lou, 2015）。最後，由教師作課程回顧，歸納課程重點。此外，表 揚學生學習過程中的努力，以提高學習成就感。彙整學生對課程的建議，做為調 整課程設計之重要參考依據。 （二） BOPPPS & 數位學習平臺－強調同儕共同合作及學生學習參與度 AHP 分析結果顯示，於數位學習平臺教學有效性權重高於其他教學環境之 BOPPPS 作法有 1-4、1-5、3-2、3-5、4-2、4-5、4-6、5-1、5-6、6-2 及 6-6，權重 分別為 0.383、0.365、0.443、0.440、0.368、0.414、0.393、0.448、0.383、0.371、 0.431，顯示大多數專家認為數位學習平臺對於協同教學是有助益的。 歸納 BOPPPS 於數位學習平臺之教學重點為，先將學生分組，強調同儕間的 合作學習。使不同的參與者存在於同一個活動之中，並且擁有共同的目標，以達 資訊分享的目的（Bao & Bouthillier, 2007）。於課程初期，在學習平臺上建置與 課程有關的案例或影片，供學生參考，並且連結到學生已經學過或未來要學的內 容。在前測方面，發布相關作業或小測驗，使學生填答，以掌握學生的學習程度。 以此，定期發布與課程議題有關的情境模擬及任務，提供小組學生可隨時在網路 討論與思考的環境，進而提出自我思考問題與解決之道（Lou, Dzan, Lee & Chung,

2014）。課程結束後，採用線上測驗，檢視學生的學習成效。實施線上問卷，蒐 集學生的學習心得及學習態度轉變等文本資料。藉此，檢視課程設計與教學成效。 最後，要求學生上傳個人對本課程的應用行動計畫，使學生能具體應用課程習得 之知識與技能。此外，請學生上網填寫對課程的建議，做為未來課程設計之重點。 有效應用學習平臺多元化的功能，提高學生學習的參與度。 表 4 BOPPPS 各階段作法於各教學環境有效性 AHP 專家問卷分析

No. A B C 權重 λ/ C.I./ C.R. 排序 No. A B C 權重 λ/ C.I./ C.R. 排序

1-1 A 1 1.29 1.41 0.403 3.000016 1 4-4 A 1 0.88 0.87 0.304 3.000283 3 B 0.78 1 1.08 0.311 0.000008 2 B 1.14 1 0.94 0.340 0.000141 2 C 0.71 0.93 1 0.287 0.000014 3 C 1.15 1.06 1 0.356 0.000244 1 1-2 A 1 0.92 0.9 0.313 3.000008 3 4-5 A 1 0.53 0.82 0.247 3.013649 3 B 1.09 1 0.97 0.339 0.000004 2 B 1.89 1 1.09 0.414 0.006824 1 C 1.11 1.03 1 0.348 0.000007 1 C 1.22 0.92 1 0.338 0.011766 2 1-3 A 1 0.89 0.85 0.303 3.000027 3 4-6 A 1 0.82 1.2 0.328 3.000294 2 B 1.12 1 0.97 0.342 0.000013 2 B 1.22 1 1.39 0.393 0.000147 1 C 1.18 1.03 1 0.355 0.000023 1 C 0.83 0.72 1 0.278 0.000254 3 1-4 A 1 0.87 1.1 0.326 3.000477 2 5-1 A 1 0.42 0.57 0.196 3.001464 3 B 1.15 1 1.35 0.383 0.000239 1 B 2.38 1 1.21 0.448 0.000732 1 C 0.91 0.74 1 0.290 0.000411 3 C 1.75 0.83 1 0.356 0.001262 2 1-5 A 1 0.82 0.91 0.301 3.000036 3 5-2 A 1 0.44 0.38 0.170 3.000798 3 B 1.22 1 1.09 0.365 0.000018 1 B 2.27 1 0.94 0.396 0.000399 2 C 1.10 0.92 1 0.333 0.000031 2 C 2.63 1.06 1 0.434 0.000688 1 2-1 A 1 0.85 0.84 0.297 3.000278 3 5-3 A 1 1.09 1.24 0.367 3.001097 1 B 1.18 1 0.94 0.344 0.000139 2 B 0.92 1 1.03 0.326 0.000549 2 C 1.19 1.06 1 0.359 0.000240 1 C 0.81 0.97 1 0.306 0.000946 3 2-2 A 1 0.76 0.62 0.255 3.003332 3 5-4 A 1 1.37 1.37 0.406 3.000292 1 B 1.32 1 0.97 0.356 0.001666 2 B 0.73 1 0.95 0.292 0.000146 3 C 1.61 1.03 1 0.389 0.002872 1 C 0.73 1.05 1 0.302 0.000252 2 2-3 A 1 0.91 0.88 0.309 3.000001 3 5-5 A 1 1.05 1.07 0.346 3.000013 1 B 1.10 1 0.97 0.340 0.000001 2 B 0.95 1 1.03 0.331 0.000006 2 C 1.14 1.03 1 0.351 0.000001 1 C 0.93 0.97 1 0.323 0.000011 3 3-1 A 1 0.98 1.05 0.337 3.000529 1 5-6 A 1 0.74 0.93 0.293 3.001056 3 B 1.02 1 1 0.336 0.000264 2 B 1.35 1 1.14 0.383 0.000528 1 C 0.95 1.00 1 0.328 0.000456 3 C 1.08 0.88 1 0.325 0.000911 2 3-2 A 1 0.53 1.03 0.266 3.014771 3 6-1 A 1 1.05 1.07 0.346 3.000013 1 B 1.89 1 1.35 0.443 0.007385 1 B 0.95 1 1.03 0.331 0.000006 2 C 0.97 0.74 1 0.291 0.012734 2 C 0.93 0.97 1 0.323 0.000011 3 3-3 A 1 0.95 0.91 0.317 3.000018 3 6-2 A 1 0.87 1.09 0.326 3.000135 2 B 1.05 1 0.97 0.335 0.000009 2 B 1.15 1 1.21 0.371 0.000067 1 C 1.10 1.03 1 0.347 0.000015 1 C 0.92 0.83 1 0.303 0.000116 3 3-4 A 1 0.82 0.74 0.280 3.000185 3 6-3 A 1 1.3 1.37 0.400 3.000306 1 B 1.22 1 0.94 0.346 0.000092 2 B 0.77 1 1 0.303 0.000153 2 C 1.35 1.06 1 0.373 0.000159 1 C 0.73 1.00 1 0.297 0.000263 3 3-5 A 1 0.52 0.88 0.250 3.007734 3 6-4 A 1 1.3 0.85 0.335 3.005832 2 B 1.92 1 1.3 0.440 0.003867 1 B 0.77 1 0.52 0.239 0.002916 3 C 1.14 0.77 1 0.310 0.006667 2 C 1.18 1.92 1 0.426 0.005028 1 4-1 A 1 0.76 0.62 0.254 3.000006 3 6-5 A 1 1.38 1.47 0.416 3.000444 1 B 1.32 1 0.81 0.334 0.000003 2 B 0.72 1 1 0.295 0.000222 2 C 1.61 1.23 1 0.411 0.000005 1 C 0.68 1.00 1 0.289 0.000382 3 4-2 A 1 0.83 1.13 0.325 3.003859 2 6-6 A 1 0.57 1.09 0.279 3.015923 3 B 1.20 1 1.13 0.368 0.001929 1 B 1.75 1 1.31 0.431 0.007962 1 C 0.88 0.88 1 0.306 0.003327 3 C 0.92 0.76 1 0.290 0.013727 2 4-3 A 1 1.05 1.07 0.346 3.000013 1 B 0.95 1 1.03 0.331 0.000006 2 C 0.93 0.97 1 0.323 0.000011 3

（三） BOPPPS & U-learning 平臺－培養個人獨立思考及學生學習主動性 AHP 分析結果顯示，於 U 化平臺教學有效性權重高於其他教學環境之 BOPPPS 作法有 1-2、1-3、2-1、2-2、2-3、3-3、3-4、4-1、4-4、5-2、及 6-4，權 重分別為 0.348、0.355、0.359、0.389、0.351、0.347、0.373、0.411、0.356、0.434、 0.426，顯示大多數專家認為具有主動性與即時性的 U-learning 平臺，對於上述做 法是較佳的選擇。 歸納 BOPPPS 於 U-learning 平臺之教學重點為，在課程開始前，須完成學生 行動裝置的設定。在課程開始前一週，由教師主動發送短訊或連結給學生；提供 課程相關的故事或個人經驗，以及提出和主題相關聯的引導問題，讓學生於課前 預習及思考。接著，說明本課程將在什麼情況下，學到什麼知識或技能，以及能 夠學得如何，使學生具有概略的想法。以此，提高學生的學習興趣，聚焦學習目 標。由於資訊分享是雙向的過程，彼此都能透過對方有所收穫（Talja, 2002）。 因此，教師可主動發送開放式或腦力激盪的問題給學生，可要求學生初步思考後， 於時限內回覆，以掌握學生的學習狀況。在參與式學習中，也可以此方式，要求 學生討論教材中的題目，或者進行專題個案研究，以培養學生獨立思考的能力。 定期發送簡答題目，作為學生知識理解的檢測，養成學生學習的主動性。最後， 教師發送優秀學生的學習成果，說明課程知識與技能的應用，以達到交叉學習的 目的。 三、U-BOPPPS 教學模式 經過 AHP 專家問卷分析，明確的評選出 BOPPPS 各階段作法之最有效的教 學環境，如圖 2 可以清楚的了解 BOPPPS 各階段作法於課堂授課、數位學習平臺 及 U-learning 平臺等三種教學環境的分布狀況（矩形為課堂授課、導角矩形為數 位學習平臺、摺角矩形為 U-learning 平臺）。以此，建構 U-BOPPPS 教學模式， U-BOPPPS 教學建議以課程前、中、後三方面分別說明如下。 （一）課程前 - 宣導 U-BOPPPS 教育思維，引導學生積極參與 藉由 U 化技術及數位科技的整合，學生學習不再受限於時間及地點，因此， 在課程前，教師可以利用 U-learning 平臺完成 BOPPPS 之「導言」、「學習目標」 及「先測」三個階段。在課程開始前，教師利用 U 化技術之主動發送訊息功能， 發送學習此課程的理由給學生，並提出和教學主題相關的議題、案例及影片等。 以多媒體的方式呈現學習教材，提供豐富的資訊，幫助學生建立概念，引導學生 進入課程，以達到吸引學生注意力的目的（Uluyol & Agca, 2012）。接著，在 U-learning 課程主頁清楚傳達教學目標，例如，課程重點知識、學習價值，以及 可習得技能，讓學生明確掌握學習方向。最後，請學生登入 U-learning 平臺之綜

合評量功能，完成前測之線上評量，並將評量結果回傳給教師及學生。讓教師了 解學生的程度分布，以調整教學內容；也讓學生能更聚焦於學習方向。 （二）課程中 - 強化 U-BOPPPS 課程設計，培養學生合作學習 BOPPPS 於課程進行中，強調以學生為主體的「參與式學習」；主要分為師 生互動與同儕討論兩方面。在師生互動方面，教師可透過 U-learning 平臺觀察並 了解學生的學習狀況，例如，學生在 U-learning 平臺上驅動問題的討論品質與頻 率及學生自我評量的成績等，再由教師主動與學生互動或提供專業諮詢。在同儕 討論方面，教師依課程單元在 U-learning 平臺上發佈驅動問題，引導小組學生進 行討論、反思並提出問題。學生可以利用 U-learning 平臺之即時討論功能，事先 進行問題的討論與意見分享；透過合作學習的模式，提升學習動機，促使更多的 知識創造與學習上的經驗交流（Ryu & Parsons, 2012）。

（三）課程後 - 建置 U-BOPPPS 多元評量，提高學生學習成效 BOPPPS 著重在檢視課程設計之有效性，因此，教師於課程結束後，需對學 生實施「後測」及「總結」，以了解學生學習成效及總結課堂內容。教師可應用 U-learning 平臺實施多元化的評量方式，例如，線上綜合評量、學生學習歷程或 作品照片、影片上傳等。藉由不同面向之多樣化評量方式，檢視學生的學習成效 （Giustini, 2014）。最後，教師在 U-learning 平臺上表揚並分享優秀學生的作品， 並且整合課程學習重點與作品之連結，使學生達到有效學習的目的。 綜上，由於資訊科技的進步與功能推陳出新，行動載具儼然成為時下青年學 子分享訊息、溝通與聯繫的主要管道。本研究應用 U-learning 平臺之易於使用、 提供多樣化學習資源、即時教學指導及學生互相討論的特性（Hwang, Tsai & Tsai, 2012），建構 U-BOPPPS 教學模式。使教師能採取預先及主動的方式，發送課程 相關知識、驅動問題或影片等，使學生能於上課前進行獨立思考與預習。以此， 有效的幫助學生做知識的連結與整合，以提高學生的學習興趣與動機，進而提高 學生的學習成就（Chen, Klopfer, Perry & Sheldon, 2012）。此外，透過多元化的評 量方式，檢視學生的學習成效，作為修正課程內容設計之主要依據，以提升整合 U 化技術與數位科技之創新教學設計的有效性。

圖 2 BOPPPS 各階段作法與三種教學環境之分布圖 Brid g e-in 課堂授課 數位學習平臺 U-learning 平臺 Ob jec ti v e P re -a ss ess m en t P arti cip ato ry lea rn in g P o st -a ss ess m en t S u m m ary 說明學習的理由重要性或共通性 小組初步討論 敘述主題相關的故事或個人經驗 提供吸引人的引言或特殊的事實 告知認知、情意及技能的學習目標 進行課堂討論 提出和主題相關聯的引導問題 連結到已經學過或未來要學的內容 告知學生將學到什麼 告知學生在什麼情況下學得 告知學生可以學得如何 前 置 作 業 學生行動裝置設定 網路平臺設定 學生分組 修課學生個人資料 小組討論重點歸納 小組擬定學習計畫 正式考試 開放式問題 腦力激盪(聯想題…等) 作業 小測驗(百萬小學堂) 記錄前測成績 實施專題製作 小組討論教材的題目 個案研究 讓學生思考 提出自我思考問題 情境模擬 個人報告或小組報告 技能檢核-檢核表、評量表 技能檢核-作品展示 應用分析-短文寫作、解決問題等作業 知識理解-簡答題 知識理解-選擇題、是非題 態度價值-態度量表心情短文、日誌 札記 紀錄後測成績 教學模式修正 課程重點回顧 學生的口頭評論 學生回饋活動(對本課程的建議) _{提出個人之應用行動計畫} 分享學生的學習成果 表揚學生的努力 研 究 與 分 析 統計分析

伍、結論與建議

依據研究目的，本研究綜合分析與討論之結論與建議分述如下： 一、結論 無所不在的學習是必然的發展趨勢，而 U-learning 平臺將是普及無所不在學 習的最佳工具之一。如何提升無所不在的學習的課程品質，實為當務之急。因此， 除了建置 U-learning 平臺外，藉由 BOPPPS 教學策略的融入，以檢視其教學品質 及成效，使之功效發揮至極致。本研究透過 Fuzzy Delphi 收斂 10 位專家意見，得 到 BOPPPS 六階段，共 31 項必要作法，未來可作為教師執行 BOPPPS 教學策略 的重要參考依據。 本研究邀請 10 位專家以 AHP 評估 BOPPPS 各階段必要作法於三種教學環境 之有效性分析。在符合一致性檢定的條件下，得到以課堂授課、數位學習平臺、 以及 U-learning 平臺等教學環境下，BOPPPS 各階段作法的有效性權重分布。分 析歸納 BOPPPS 於三種教學環境之教學重點，分別是（1）BOPPPS 於課堂授課-著重師生良性互動及學生學習有效性，（2）BOPPPS 在數位學習平臺-強調同儕 共同合作及學生學習參與度，（3）BOPPPS 與 U-learning 平臺-培養個人獨立思 考及學生學習主動性。以此，可提供教師在不同教學環境下，整合 BOPPPS 教學 策略於課程設計的重要參考。 本研究綜合專家之意見，建構 U-BOPPPS 教學模式。藉由教學流程圖的呈現， 清楚了解 U-BOPPPS 各階段之作法，並且提出 U-BOPPPS 課程前、中、後之教學 建議，（1）課程前-宣導 U-BOPPPS 教育思維，引導學生積極參與、（2）課程中 -強化 U-BOPPPS 課程設計，培養學生合作學習、（3）課程後-建置 U-BOPPPS 多元評量，提高學生學習成效。以此，作為教師在執行 U-BOPPPS 創新教學模式 的重要參考。 二、建議

本研究採 Fuzzy Delphi 收斂 10 位專家意見，取得 BOPPPS 各階段共 31 項必 要作法，並且以 AHP 評估 BOPPPS 各階段必要作法於三種教學環境之有效性權 重分析，據以發展 U-BOPPPS 教學模式。因此，本 U-BOPPPS 創新教學模式可提 供給未來有意投入無所不在學習之教師參考。 本研究認為，因應數位科技的進步，沒有任何教學設計理論或教學方法可以 符合每一種不同的情況，在整合上必須考慮其必要性與有效性。因此，建議研究 者未來可以納入各課程特色或屬性，整合數位科技之應用，依照本文提出之評估 流程，以 Fuzzy Delphi 評估專屬課程之教學作法必要性，再以 AHP 評估專屬課程

與數位科技整合之教學作法有效性，將可得到更符應課程特色的創新教學模式。 在未來研究上，可參考本研究建構之 U-BOPPPS 教學模式，依照 U-BOPPPS 功能需求，開發 U-learning 平臺系統作為實施無所不在學習之行動學習工具。把 無所不在的學習，融入學生的生活中，探究學生學習態度與學習成效之影響，作 為修正 U-BOPPPS 的參考依據。

參考文獻

王全興、蔡清田（2009）。從批判教育學觀點論資訊教育的潛在課程。教育資料 與研究雙月刊，89，23-48。 吳美美（2004）。數位學習現在與未來發展。圖書館學與資訊科學，30（2），92-106。 邱柏升、郭彥宏、黃悅民、陳宗禧（2009）。基於有意義學習之無所不在學習評估 模式。理工研究學報，43（1），21-36。 孫仲山、劉一慧（2010）。行為意圖、激勵、壓力對數位科技應用行為的影響。技 術及職業教育學報，3（3），87-108。 張仁壽（2014）。談新課綱與教學現場因應-BOPPPS 教學模組。物理教育學刊， 15（1），46-47。 陳年興、楊錦潭（2006）。數位學習: 理論與實務。臺北：博碩文化。 黃國禎、陳德懷（2014）。未來教室行動與無所不在學習。臺北：高等教育。 蕭顯勝、馮瑞婷、簡正杰、黃向偉、洪琬諦（2007）。無所不在環境下之混合式非 正式學習系統之建置。生活科技教育月刊，40（5），39-56。 羅希哲、蔡慧音、曾國鴻（2011）。高中女生 STEM 網路專題式合作學習之研究。 高雄師大學報，30，41-61。

Al-Neyadi, F., & Abawajy, J. H. (2009). Context-based e-health system access control mechanism. Advances in information security and its application, 36, 68-77. Bao, X., & Bouthillier, F. (2007, May). Information sharing as a type of information

behavior. Information Sharing in a Fragmented World: 35th Annual Conference

of the Canadian Association for Information Science. McGill University,

Montreal. http://www.cais-acsi.ca/proceedings/2007/bao_2007.pdf

Chen, V. H., Klopfer, E., Perry, J., & Sheldon, J. (2012). Ubiquitous games for learning (UbiqGames): Weatherlings, a worked example. Journal of Computer Assisted

Learning, 28(5), 465-476.

Chung, C. C., Dzan, W. Y., Shih, R. C., & Lou, S. J. (2015). Study on BOPPPS Application for Creativity Learning Effectiveness. International Journal of

Engineering Education, 31(2), 648-660.

Fu, Y. X., Ren, X. Y., & Yang, X. Y. (2015). Introducing BOPPPS Computer Language Teaching Method. Applied Mechanics and Materials, 701-702, 1271-1274.

Giustini, D. (2014). Utilizing learning theories in the digital age: from theory to practice. Journal of the Canadian Health Libraries Association, 30(1), 19-25. Hadjilouca, R., Constantinou, C. P., & Papadouris, N. (2011). The rationale for a

teaching innovation about the interrelationship between science and technology.

Science & Education, 20(10), 981-1005.

Hawkins, K. M. (2004). The principal as technology leader. Research Roundup, 21(2), 457-466.

Hung, L. X., Diep, N. N., Zhung, Y., Lee, S., & Lee, Y. K. (2006). A flexible and scalable access control for ubiquitous computing environments. Intelligence and

Security Informatics, 3975, 688-689.

Hwang, G. J., & Tsai, C. C. (2011). Research trends in mobile and ubiquitous learning: A review of publications in selected journals from 2001 to 2010. British Journal

of Educational Technology, 42(4), 65-70.

Hwang, G. J., Tsai, C. C., & Tsai, P. S. (2012). Developing a survey for assessing preferences in constructivist context-aware ubiquitous learning environments.

Journal of Computer Assisted Learning, 28(3), 250-264.

Hwang, G. J., Yang, T. C., Tsai, C. C., & Yang, S. J. (2009). A context-aware ubiquitous learning environment for conducting complex science experiments.

Computers & Education, 53(2), 402-413.

Klir, G. J., & Folger, T. A. (1988). Fuzzy sets, uncertainty, and information. Englewood Cliffs: Prentice Hall.

Lou, S. J., Chung, C. C., Dzan, W. Y., & Shih, R. C. (2012). Construction of A Creative Instructional Design Model Using Blended, Project-Based Learning for College Students. Creative Education, 3(7), 1281-1290.

Lou, S. J., Chung, C. C., Dzan, W. Y., Tseng, K. H., & Shih, R. C. (2013). Effect of Using TRIZ Creative Learning to Build a Pneumatic Propeller Ship while Applying STEM Knowledge. International Journal of Engineering Education,

29(2), 365-379.

Lou, S. J., Dzan, W. Y., Lee, C. Y., & Chung, C. C. (2014). Learning Effectiveness of Applying TRIZ-Integrated BOPPPS. International Journal of Engineering

Education, 30(5), 1303-1312.

Martin, S., Diaz, G., Plaza, I., Ruiz, E., Castro, M., & Peire, J. (2011). State of the art of frameworks and middleware for facilitating mobile and ubiquitous learning development. Journal of Systems and Software, 84(11), 1883-1891.

Noorderhaven, N. G. (1995). Strategic decision making. Wokingham: Addison-Wesley. Nydick, R. L., & Hill, R. P. (1992). Using the Analytic Hierarchy Process to Structure the Supplier Selection Procedure. International Journal of Purchasing and

Rogoschewsky, T. L. (2011). Developing a Conference Presentation: A Primer for New Library Professionals. The Canadian Journal of Library and Information Practice

and Research, 6(2), 1-8.

Ryu, H., & Parsons, D. (2012). Risky business or sharing the load? Social flow in collaborative mobile learning. Computers & Education, 58(2), 707-720.

Saaty, T. L. (1977). A scaling method for priorities in hierarchical structures. Journal of

mathematical psychology, 15(3), 234-281.

Saaty, T. L. (1990). How to make a decision: the analytic hierarchy process. European

journal of operational research, 48(1), 9-26.

Satyanarayanan, M. (2001). Pervasive computing: Vision and challenges. Personal

Communications, IEEE, 8(4), 10-17.

Satyanarayanan, M. (2011). Mobile computing: the next decade. ACM SIGMOBILE

Mobile Computing and Communications Review, 15(2), 2-10.

Sejong, O. (2010). New role-based access control in ubiquitous e-business environment. Journal of intelligent manufacturing, 21(5), 607-612.

Sibley, J., & Canuto, L. (2010). Guide to Teaching for New Faculty at UBC. Canada: The University of British Columbia.

Talja, S. (2002). Information sharing in academic communities: Types and levels of collaboration in information seeking and use. New Review of Information

Behavior Research, 3(1), 143-159.

Uluyol, C., & Agca, R. K. (2012). Integrating mobile multimedia into textbooks: 2D barcodes. Computers & Education, 59(4), 1192-1198.

Weiser, M. (1991). The computer for the twenty-first century. Scientific American,

265(3), 66-75.

Wu, M. Y., & Fan, J. H. (2012). Research on Context and Attribute-based Access Control Model for Ubiquitous Computing Environment-A Case of Hospital Environment. Information and Management Science, 3(2), 36-47.