教育部教學實踐研究計畫成果報告
計畫編號：PSL1100274
學門專案分類：社會(含法政)學門 執行期間：2021.08.01 – 2022.07.31
數位學習過程中即時反饋訊息之問題診斷與改善 :以國家考試雲端系統為例
行政學(一)(二)
計畫主持人：胡至沛副教授
執行機構及系所：中華大學行政管理學系 成果報告公開日期：
■立即公開
□
延後公開(統一於 2024 年 9 月 30 日公開)繳交報告日期：2022.8.20
數位學習過程中即時反饋訊息之問題診斷與改善:以國家考試雲端系統為例
本研究聚焦於透過學生在使用國家考試雲端系統時，立即診斷系統所產生的各種學習回 饋資訊，了解背後真正的可能成因，進而尋求改善方式。本計畫在 110 學年度行政學課程上 執行，教師判讀系統所產生的結果，改變過去讓學生自行重複練習方式，使用不同的輔導教 學策略，加強同學在課程學習上的專注力，並且透過競賽方式予適當的獎勵。據此，本計畫 有三個主要發現：
首先、深度訪談結果指出，採取隨堂測驗具有一定的提升學習專注力的效果，學生的學 習動機與測驗的配分比重，兩者決定線上測驗的作答態度；必須改變選擇題的樣態，減少記 憶內容與題項；提供競賽與獎勵，以及適時提供學生測驗後的回饋資訊。
其次、課程測驗競賽的結果發現，有助於提升同學參與隨堂測驗（缺課率降低），過程 中獲得獎勵的學生，集中在部分特定群體上；僅鼓勵到特定「願意」學習的同學，至於其他 學習意願低落和抱持順便猜猜看者並未起太大作用。
最後、課程回饋問卷調查則是呈現出綜合性結論，使用國家考試雲端系統的確增加了師 生互動性，以及教學方式的變化，促進學習的專注力；然而實施競賽獎勵測驗之後，的確增 加學生自我發現錯誤的意識，但是卻減少專注力放在課程的互動過程。
關鍵詞：國家考試雲端系統 即時回饋系統 行動載具學習 無所不在學習 行政學
目錄
1.研究動機與目的 ... 1
2.文獻探討 ... 5
3.研究問題 ... 13
4.研究設計與方法 ... 13
5.教學暨研究成果 ... 16
6.建議與省思 ... 27
參考文獻 ... 29
附件一 學生學習回饋調查問卷 ... 33
附件二 訪談題綱 ... 36
圖目錄
圖 一 國家考試雲端系統答對率 ... 3
圖 二 國家考試雲端系統學生登入測驗時資訊 ... 4
圖 三 學生使用國家考試雲端系統學習成績一覽 ... 4
圖 四 國家考試雲端系統簡介 ... 12
圖 五 研究架構 ... 14
表目錄
表 一 學生報考國家考試意願與系統使用滿意度 ... 2表 二 108-2 測驗回答正確率 ... 3
表 三 深度訪談對象 ... 15
表 四 110-1 隨堂測驗結果 ... 17
表 五 110-2 獎勵與競賽線上測驗規則 ... 18
表 六 110-2 隨堂測驗結果 ... 19
表 七 獎勵名單分布 ... 20
表 八 獲獎次數分析表 ... 20
表 九 獲得多項獎勵分析表 ... 20
表 十 成對樣本 t 檢定 ... 21
表 十一 雙重差異分析 ... 21
1
數位學習過程中即時反饋訊息之問題診斷與改善:以國家考試雲端系統為例 1.研究動機與目的
(1) 研究動機
如同其他國內「公共行政」相關科系，一直把輔導學生參加公職考試當作教學上的特色之 一，同樣也是設定為畢業生未來可能的就業方向。因此，自 104 學年度開始，配合校方 105 至106 學年度 520 工程獎勵補助款，建置了「人社院國家考試暨專業證照教學實驗教室特色 實驗教室建置計畫」，運作至今剛好屆滿4 年。本人為該系統之主要規劃建置者，同時亦是長 期的使用者，回顧這 4 年來，為了充分發揮這套系統的功能與特色，在實際教學應用與輔導 上，則是有以下措施：
A.配合課程教學使用：本人所教授之行政學(一)(二)課堂，率先配合使用(初期為期中與 期末考使用手機上系統考試，108 學年度配合執行教學實踐計畫，擴大為隨堂測驗)；108-1 與 108-2 亦有系上公共管理(一)(二)、國家考試專題(二)等授課教師參與。
B.增設大會考畢業門檻：此部分選定大學部，進行專業學科大會考(105 學年度畢業開始，
由各科授課老師出 30 題選擇，再由系統隨機出題)，未及格科目必須繼續輔導，滿足 5 科通 過的畢業門檻。
C.配合校方管考，定期檢核：從 105 學年度起，由研發處按季繳交成果追蹤成果報告，
並且設定使用率標準與回饋改善機制。
事實上，設立該系統可謂是國內公共行政學系的首創之舉，經由多年的輔導，目前已有 1 位 103 級畢業生，考上 2019 年的地方特考。然而，除了本人的觀察與分析之外，並且透過 108 學年度的教學計劃補助，得以發現系統在實際執行上的所展現的真實面貌1：
A.參與國考意願的變化：在執行 108 學度教學實踐計畫時，配合學期的期中期末考，分 別進行了 4 次學生問卷調查，當中特別增設未來參與國家考試的題項，從表一可以看出經過 1 年的行政學教學與使用系統經驗，該班大一同學對於未來是否要參考國家考試，產生的懷 疑，並且當中不願意報考的人數反而小幅度的增加
B.穩定的使用滿意度：表二中亦透露出另一個訊息，經過 1 年的使用經驗，學生們對於 該系統的整體滿意度，普遍都維持有85％以上的滿意程度，表示無意見者約為 15％之間。
1 本人於申請 108 學年度計畫時，曾指出此套國家考試系統實際使用上，存在著許多的潛在問題，例如：叫好 不叫座的使用率、方便背多分的測驗題型、非全面性的使用、學生缺乏誘因與動力進入練習，以及教學與考試 兼顧的兩難等，上述的問題，在108 學年度中透過深度訪談與問卷調查，許多都獲得驗證。
2
表 一 學生報考國家考試意願與系統使用滿意度
選項 108-1 期中 108-1 期末 108-2 期中 108-2 期末
報考國 考意願
無 5 4 9 8
有 21 18 15 16
考慮中 18 22 19 19
整體滿 意度
非常滿 意
4(9.1％) 5(11.4％) 8(18.6％) 9(20.9％)
滿意 34(77.3％) 33(75％) 26(60.5％) 27(62.8％)
無意見 6(13.6％) 6(13.6％) 9(20.9％) 7(16.3％)
C.「背多分」的疑慮仍在：此部分的問題一直存在於採用選擇題的測驗方式，而且這種 疑慮在實際操作過程中特別明顯。本人於 108-2 所使用的教學策略為：依照章節於授課後立 即測驗(自行新增題目，學生事先未知題目與自我練習)，測驗完畢後放置於系統，開放學生自 我練習，並且於期中、期末考中，由各章題庫中抽取測驗。因此，從表二所呈現的結果可以 發現，只要是事先未知題目的隨堂測驗，其正確率都偏低；反觀開放練習後的正式期中末考，
其正確率都有顯著的提高。上述兩表當時在2020 年 8 月 24 日交通大學所舉辦的 108 年教學 實踐成果交流會上，受到熱烈的討論，甚至有教師直接反應提問，正確率的變化，是因為背 多分使然？2
2 在此特別感謝會議主持人陳敦源，以及劉康慧與黃一峯老師等人所給予的提問與指教。
3
表 二 108-2 測驗回答正確率
性質 隨堂測驗 期中考 隨堂測驗 期末考
單元 非 正 式 組 織
非營 利 組織
組 織 發 展 與 學 習
組 織 病象
綜 合 出 題
行政領 導
行 政 激 勵
行政溝通 行政運作 新觀念
綜 合 出 題
答對率 61.1
％
70％ 58.4
％
65.1
％
82.25％ 66.4％ 66.7％ 75.5％ 67.7％ 88.89％
事實上，在目前所採用的國家考試雲端系統中，至少有 3 項隨著考試測驗的進行，立即 產生的回饋資訊，可以協助教師瞭解在測驗結果中可能隱藏的問題：
A.容易錯誤的題項：只要是自我練習或正式考試，結束後系統會自行統計成績分布，並 且計算各題答對率，此功能有助於教師瞭解班上同學測驗結果與不足之處(目前僅能手動排序 答對率高低)。
圖 一 國家考試雲端系統答對率
B.作答時間長短：透過出卷系統即時查看學生登入時間、IP 位置，以及交卷狀態，若時 間過短則時有亂答與猜題可能，過長則可能是有不會或舞弊的可能。
4
圖 二 國家考試雲端系統學生登入測驗時資訊
C.學生個人學習歷程：學生只要進入系統，所進行的答題練習與正式考試，都會產生 記錄資料，教師端可以檢視特定學生作答情況，瞭解其學習狀況。
圖 三 學生使用國家考試雲端系統學習成績一覽
(2)研究目的
自 104-2 開始著手規劃建置此套系統，並且開始嘗試應用於行政學課程中，中間歷經 108 學年度的獎勵補助，累積了10 學期的教學使用經驗。目前主要的使用方式是配合教學進度，
5
於每學期配合授課單元進行隨堂測驗，並且於期中、期末考當中，依照測驗範圍，自行從隨 堂測驗題庫內挑選題目，置於系統當中，並且開放修課學生自行反覆練習，在正式考試時，
由系統自行隨機出題，由學生自行使用手機進入系統作答，此部分的作答分數約佔 25％-30
％。
有鑑於上述所觀察到的問題，本研究則是聚焦於如何透過學生在使用國家考試雲端系統 時，立即診斷系統所產生的各種學習回饋資訊，了解背後真正的可能成因，進而尋求改善方 式。因此，本研究依然規劃在行政學課程上執行，在教師端判讀系統所產生的結果，改變過 去讓學生自行重複練習方式，使用不同的輔導教學策略，例如逐題解答並說明原因，以及透 過適當的獎勵以激勵學習成效。同時，透過大學部問卷調查與利害關係人深度訪談(畢業生、
行政學教師、學生、專業測驗中心人員)等，以探究如何能有效與正確解讀系統所產生的立即 學習資訊，並且建構出有效的改善措施。
2.文獻探討
(1) 即時回饋系統與學習 A.意義與特性
回顧以往，在傳統的教室課堂中，教師們多以簡報、影片或其它網路資源來豐富課堂內 容與教材，此種教學方式也僅限於單向式的知識傳遞。然而隨著科技的發展，許多國家都大 力提倡利用資訊與傳播科技來促進教育革新與成效(蔡福興，2016)，而電腦科技與網際網路的 普及突破了傳統教室活動的時空限制，並透過學習者與同儕及教師的互動進而提升學習成效 (Hiltz & Wellman, 1997)。因此，應用科技與網路資訊融入於課程中已是目前的教學趨勢，此 種數位學習之使用率之高低，其在學習動機、學習行為及學習成效有顯著差異(黃添丁，2015)。
換言之，在電腦科技與網際網路的普及下，資訊科技應用在教育上也越來越受到重視，
教師要從傳統課堂上單獨講授、抄寫黑板，加入更多元的教學方式，教室內的「教」與「學」
將產生改變的風潮(郭志安、吳昭儀，2020)。據此，由電腦輔助教學的概念所延伸的數位學習 平台、數位遊戲式學習、網路學習、行動學習、擴增實境學習，以及大規模網路開放課程(MOOC) 在近年來大量出現，這些在教學型態上的轉變，都是為了讓學生能獲得更好的學習資源( 林 秋斌、蘇怡慈、李美萱，2012；林裕淩、鄭麗珍、林芝，2008；Y. L. Lin, H. W. Lin, & Hung, 2015；Chiang, Yang, & Hwang, 2014)，並且可以增加學生的學習動機、吸引學生的注意力、提 高學生主動參與學習活動的意願(Roblyer & Edwards ,2000)。
在眾多強調科技與網路資訊的教學中，即時回饋系統(interactive response system, IRS)可 謂是改善課堂教學品質的重要資訊設備之一。此套系統最早出現在最早出現在1991 年美國哈
6
佛大學物理系教授 Eric Mazur 所設計的 Flashcard 系統，讓學生立即回饋問題的選項，其成 效甚佳，目前在歐、美地區已普遍應用於課堂教學活動中；臺灣最早係因應中小學「班班有 電腦」之教育政策推展，中央大學於2000 年開發完成「按按按」(Edu Click)高互動遙控教學 環境，在課程教學歷程中以IRS 即時回饋系統進行評量，能透過此模式快速瞭解學生學習情 形，並針對學生學習困境以進行補充說明與解答疑惑。
在實際運作上，即時回饋系統是透過電子裝置(如 PDA、手機或遙控器)，讓課堂中全班 學生可以即時回饋資訊給老師的一種教學應用系統(張東山，2010)，它能有效提升學生學習的 積極態度和參與度，也能提升學生的專注力(林凱胤，2014；Erika & Richard, 2008)，同時學生 也 認 為 教 師 於 課 堂 上 使 用 此 系 統 ， 能 使 其 更 容 易 理 解 課 程 內 容(Abram, Scott, Linda &
Cynthia,2008)。換言之，即時回饋系統的基本概念是將課程活動由單向式講述模式，轉化為雙 向問答式教學，教師能從授課過程中立即掌握學生的學習狀況，進而調整授課內容與教學進 度(郭志安、吳昭儀，2020)。
B.立即互動、掌握學習狀況
Strang(2011)認為在課堂上使用教學輔助系統，此舉可以提供一個進行對談、討論、訊息 交換的空間，促進師生或同儕之間的溝通，在此學習環境下，透過對話和分享知識，有利於 激發學生主動參與的學習態度，因此在教育情境裡，要讓溝通真正發揮效用，立即性與持續 不斷地連結是具重要性的(Farmer, 2006)。此外，翁兆言(2017)等人指出由於即時回饋系統主要 是結合互動科技與同步學習，應用於教室課堂上，因此學生每人只要手持一只回饋裝置，配 合老師的遙控裝置，加上電腦連線的接收器，就可以在教學過程中，隨時進行提問、隨堂測 驗或其他互動式教學。換言之，即時回饋系統除能協助教師對全班快速提問外，也同時提供 學生另一種除了舉手發問外的提問管道，開啟互動與對話的可能性(邱華慧，2020)，同時也的 確展現出傑出的應用效果，例如：在Chen、Magoulas、與 Dimakopoulos(2005) 的研究發現即 時回饋系統確實能反應在學生的學習成就上，不僅平均成績進步，學生之間的成績差異也縮 小。
此外，使用即時回饋系統可以達到讓全班學生參與活動的目的，教師可以再針對學生在 系統上的回答給予回饋，以提供學生檢核個人想法的機會(Trees & Jackson, 2007)，不論學生 原本的答案是對或錯，都能在回饋的過程中獲得學習(Vaughn & Rawson, 2012)，部分學生也可 能因為了解到教師會透過系統進行課堂學習狀況檢核，進而提升課前預習或是課堂學習投入 的比例。因此，將即時回饋系統應用於教學上，有助於適時喚回學生的注意力、促進同儕間 的互動對話，也讓學生的提問能得到快速的回饋，增加課程參與感；同時也能輔助教師依據
7
教學狀況，隨時調整課程進行方式和速度，讓同儕和師生間的互動，能夠依教學現場狀況動 態調整(邱華慧，2020)。
事實上，即時回饋系統並非是近年來的創新科技，只是現在架設在雲端上，進而使用時 更為方便，在過去研究都指出，即時回饋系統之所以能夠達到幫助學生在課堂中積極學習的 效果，其中一項主要的原因在於能持續促進學生和他人，以及既有知識的產生互動。教師透 過在系統上的提問，能夠開啟學生和同儕互動的話題，互動有助於澄清錯誤觀念、解決課業 疑難。此外，透過即時互動和回饋，任課教師也能了解學生對於課程關鍵內容理解程度的高 低，以便知道哪一部分的內容需要再加強講解或練習，並且快速地做出內容深淺或速度快慢 的必要調整(Aljaloud,Gromik, Kwan, & Bi l l ingsley,2019)。
然而，此系統也非完美無瑕，莊禮聰(2018)曾指出在課堂有限時間，以及需要獲得高分的 壓力下，發現部分學生會以網路搜尋答案的方式快速作答，這樣的現象背離了希望能檢核學 習狀態之初衷，雖然網路帶來了即時的便利性，卻也有其可能的弊端，應該思考該如何透過 更為完善的課程設計來減少可能的舞弊。
C.大學課程的應用
邱華慧(2020)指出行動載具的普及不只增加資訊獲得的便利性，也大幅改變人際溝通的 方式，採取嚴禁措施並非是應對現今大學課堂上學生滑手機行為的良策，透過手機應用教學 科技，將科技便利性和課程互動方式作結合，或許是授課教師能和手機化敵為友，並且改善 學生學習投入的方式。實際上，在許多的大學課程中，大班教學是普遍存在的狀況，教師即 使努力對著學生講解課程內容，也願意解答學生們的疑問，但是學生多半處於一種被動學習 的狀態，由於彼此間的互動不多，教師也很難確切了解學生對課程內容理解的程度。
換言之，在個別教學或是小班教學的情境中，教師要藉由提問達成師生課堂上的互動較 簡單，但若是在大班教學中實屬不易，要提升在大班教學中的師生互動、促進學生學習投入 實屬不易。Aljaloud(2019)等人認為透過即時回饋系統的輔助，或許是一個有效的解決方式，
因為在大班課堂中要舉手發問，對許多學生而言是倍感壓力的事情，但是透過即時回饋系統 不直接顯示姓名的方式，可減輕學生的壓力，提高發問意願；同時，也能協助學生在回答問 題時不用擔心同儕的評價，這對於強化學生思考深度與整合課程內容訊息都具有正面效果 (Lantz & Stawiski, 2014)。
對此，黃建翔(2017)亦認為端視目前高等教育之教學實務場域中，即時回饋教學系統能更 加完備與學生之互動參與及診斷評量，教師可先將測驗題項整合於資訊軟體介面，在教學歷 程中讓評量內容轉化成電腦多媒體方式呈現在學生眼前，讓學生能在課程教學歷程中即時評
8
量，在教室便可利用電腦、遙控器、平板及手機等相關通訊設備進行測驗；其次、透過此教 學軟體相關介面功能，可記錄每位學生作答情形、顯示答題正確率之百分比，以及各題項之 作答情形，可作為教師評量學生概念發展與學生學習成效之歷程；再者、即時回饋教學系統 可將相關資訊交流即時彙整至學習歷程資料庫，將上課活動歷程之學習資料完整記錄，並可 整合課後活動，例如線上評量、教學教材瀏覽、線上作業繳交等，提供教師完整且方便之管 理工具，能使教學活動歷程整合，進而達成教學活動歷程完整記錄；最後、即時回饋系統同 時能統計學生答題的狀況，進而分析其學習成效，適時進行補救教學或問題導向學習。
邱華慧(2020)指出針對大班教學課堂中學生被動學習情形的改善，本身就是深具挑戰性 的教育實務問題，在傳統講授式的課堂中，主要是由授課教師單向提供課程內容給學生，學 生是被動地接受資訊，學生較缺乏透過實作、回饋和主動投入方式參與課程的機會，而且主 動參與學習過程正是促進批判性思考和高層次思考的有效策略。隨著高互動性科技資訊推陳 出新與教學科技不斷演進，使得行動載具學習(Mobile-Learning)、無所不在的學習(ubiquitous -Learning)已成為教育場域中具體的新興教學方式，例如強調雙向溝通、高度互動效果的軟硬 體整合，使得資訊科技展現在教學場域中，取代傳統較為單向、固定形式的教學環境，已成 為學校培育學生具備21 世紀未來競爭力的重要變革(黃建翔，2017)。
(2)行動載具學習 A.新型態的學習模式
隨著無線網路、行動運算與行動載具的快速發展，利用可攜式技術與裝置、突破地域限 制進行學習之「行動學習(mobile learning, m-Learning)」與「無所不在學習(ubiquitous learning, u-Learning)」等學習方式便開始陸續出現。近年來，更是因為相關技術之成熟與行動載具之普 及，讓世界各國紛紛重視到高滲透度之行動載具所帶來的教育新契機。據此，聯合國教科文 組織(United Nations Educational, Scientific and Cultural Organization，UNESCO)亦看到了這波 行動載具所帶來的新學習機會，因此於2013 年匯集超過 20 個國家之專家意見，對行動載具 學習政策提出建議，以作為各國制定相關教育科技政策之參考，希冀透過行動載具之輕巧、
易用與價格上的優勢來全面提升學習機會，並且提出行動素養計畫(UNESCO Mobile Literacy Project)，強調行動科技之「提供即時回饋與評量」的優勢，確實能提高學習者的學習效益 (UNESCO, 2013；王子華、楊凱悌，2015)。
換言之，因應科技的快速發展，數位學習的方式也同時歷經過以下階段：從早期的電腦 輔助教學(Computer Assisted Instruction, CAI)、到網際網路盛行後的遠距教學(distance learning)、
加入行動載具輔助學習的行動學習(mobile learning)，以及到結合各種感測裝置的情境感知學
9
習(context awareness learning)，同時這也代表了探討新興的教學輔助工具，對於教學效果的影 響一直都是熱門議題(張菀珍、葉榮木，2014；Liu, Lin, & Paas, 2014； Sung, Chang, & Liu,2016；
Sung, Chang, & Yang, 2015)。
對此，莊謙本(2012)特別指出，由於當前教育情境的轉變，可以輔助的教學媒體種類與互 動性的增加，學習機會就變得更多也更方便，學生的學習成效將取決於下列因素：1.自主調制 (Self-regulated Learning)：即主動學習精神，能自行探索自行整理所獲得的知識；2.專注力 (Attention)：即能集中注意學習焦點，既深且廣的探索知識，亦即浸沉度(Immersion degree)越 高的心理的專注度越高(Astle & Scerif, 2009)；3.科技適配度(Technology Fit)：即能充分使用教 育科技產品以遂行學習任務的程度，越會使用載具與輔具者就學得越多(Gebauer, Shaw, &
Gribbins, 2006)；4.數位內容品質(Digital content quality)：即教材內容品質與呈現品質，為學習 內容本體，直接影響學習者的知識素質；5.學習社群成員的互動(Interaction among members of learning society)：由於無所不在的學習，很容易在網路上認識新的朋友而受到朋友的影響。
B.實際應用經驗與成效
行動載具學習可以說是行動運算(mobile computing)與數位學習的交錯(Quinn, 2000)，本身 就是一種透過行動科技傳遞教學訊息給學習者的學習方式，學習者藉由其隨身攜帶之智慧型 行動裝置，依其便利與突破傳統時空限制，隨時隨地與其互動來獲得學習(Educause Learning Initiative , 2010 )，相較於傳統數位學習，行動載具學習更多了「行動力(mobility)」與「無所 不在(ubiquitous)」兩大特質(蘇怡如、彭心儀、周倩，2004；UNESCO, 2013)，因此，此類數 位學習方式亦特稱為無所不在學習。
同時，由於這種強調不受時間、地點與設備的限制與搭配真實情境的學習方式，可以強調 學習者跟環境互動以建構知識的情境學習(situated learning)(黃國禎、蘇俊銘、陳年興，2015；
廖遠光、陳政煥、楊永慈，2020)，另外，學習者所使用的行動載具，具有可攜性(portability)、
社會互動(social interactivity)、連接性(connectivity)、情境感知(context sensitivity)與個別化 (individuality)等 5 項特質(Klopfer, Squire, & Jenkins, 2002)，進而促進其不受限制地學習。
事實上，要產生行動載具學習必須具備 3 個基本要素：行動學習設備、基礎通訊設施和 學習活動模式(Chang, Sheu, & Chan, 2003；姜則維、陳昭秀，2013)，這也意味著行動載具學 習需要行動裝置、無線網路及對應教學方式相互配合。對此，潘玉龍(2017)亦指出行動載具學 習即是學習不受時空限制、學習可隨時隨地持續、學習建立在移動式產品、學習具行動網路 支持等條件，故行動載具學習不僅滿足學習者需求迫切性，讓學習者可隨時獲得學習資訊，
透過行動網路的支持，學習者更可主動搜索知識，取得有用的資料，更具機動性，達到「無
10
所不在」的特質，讓學習更加便利。
然而，根據國外運用數位學習資源平臺，以及行動載具學習系統輔助教學的相關研究顯 示，經由提供學習資訊、激勵與回饋機制、同儕對話、學習社群和教師支持系統等學習平臺 機制的規劃與設計，確實能有效地提升教學成效，特別是在促進大學生展現積極學習的功能 上(Kapıkıran & Acun-Kapıkıran, 2016)。另一方面，行動載具能夠調整學生的學習負擔，有助 於促進大學生的創造力及專業知識發展潛力，提供互動學習經驗，以深化其實務學習和反思 的能力(Al-Zahrani, 2015; Davids et al., 2015)。
據此，參照國外的發展經驗，我國教育部為了讓國小學生書包減重，並且增進學生學習 及運用資訊科技的機會，於2009 年便開始試辦的電子書包計畫，此為我國國民教育正式試辦
「行動載具學習」之濫觴(林傑聖、林怡均，2013)。同時，張菀珍與陳景章(2019)則是指出，
綜觀國內的相關研究亦發現，大學生在採用e-learning 平臺及行動載具學習系統進行教學後，
對其影響最大的為：解決學習困難的策略、專心態度、訊息處理、思考能力及減輕學習焦慮 等面向(曾釋嫻、蔡秉燁，2015)、提高大學生的應用能力、減少學習焦慮、改進自主學習策略、
激發學習動機及自主學習能力(王雅萍，2015)，以及促進大學生的同儕互動參與度、學習成效、
課程滿意度及系統使用滿意度(翁楊絲茜、廖怡茹、張晶貽、王渝蓉，2016；張菀珍，2015，
2017；張菀珍、葉榮木，2014；張菀珍等，2016)。
最後，Robisch(2015)等人對市面上的雲端行動載具學習 app 曾進行分類，依照其所設計 的教學類型和方法，大致上包含7 大教學模式(林呈彥、姚經政，2017)，對照本研究所採用的
「國家考試雲端系統」，符合當中的「互動且適性化測驗」類型。據此，本研究期望透過此種 教學模式的實施，有助於學生的學習與能力發現。
(3)國家考試雲端系統簡介
該系統源自於 104 學年度中華大學人文社會學院「國家考試暨專業證照教學實驗教室」特色 實驗教室建置計畫，當初規劃設立的目標在於，透過採購專業線上測驗主機與平台，提供院 內與開放全校師生，進行國家考試與相關專業證照的模擬練習、線上即時測驗，配合專任老 師從旁講解，藉以使學生更能熟悉相關考試內容、作答正確率，進而通過與取得證照的比率。
2016 年 10 月 25 日進行招標，11 月初完成驗收並立即上線運作，隨後陸續進行學生端與老師 端的教育訓練，並且配合執行核心能力大會考。同該系統主要的特色在於：
A.系統平台使用者端適用於 IE 及 Chrome 瀏覽器，非僅限 IE8.0 版本。；
B.可支援 Smart Phone 行動裝置及平板裝置無需額外撰寫 APP，換言之、智慧型手機、平 板、NB 與桌機，皆可透過網路連結主機使用；
11
C.具有自我練習、指定練習與模擬考試功能；
D.除了系統內建題庫外，可以自建題庫，採取線上測驗、自由選擇出題，立即獲得測驗 結果(僅限選擇題)；
E.內建題庫豐富，主要為本系學生可能參加的公職考試類型(超過一萬多題)。
12
系統登入畫面 系統題庫一覽(部分)
學生端登入畫面 手機版測驗畫面
測驗完畢，各題回答結果分析
圖 四 國家考試雲端系統簡介
13
3.研究問題
本研究希望了解學生在使用國家考試雲端系統時所產生的立即回饋資訊，當中的重要性 與如何正確判讀，並且建構出適合的輔助教學策略。因此，本研究企圖回答的主要問題有：
問題1：透過正確的判讀系統所產生的回饋資訊，能夠有效掌握學生的學習狀況與找出 學習不足之處；
問題2：系統產生的資訊其正確性與便利性，有助於增加學生信任國家考試雲端系統，
並且提升其使用意願；
問題3：獎勵與競爭的輔助教學策略，有助於學生掌握本身學習狀況，進而提高學習成 效。
同時，本研究的範圍包含：
A.教學教學範圍：本研究預計於 110 學年度執行，所涵蓋的行政學課程為必修，可分為 上下學期，分別對應的課程名稱為行政學(一)(二)，全學年共計 4 學分。
B.教材選用：坊間許有多行政學相關的國內外教科書，但是為了顧及研習同學可能有參 與國家考試的需求，本課程特別選定張潤書老師所著之行政學(修訂五版)，此書約是國內公認 內容完整，亦是準備公職考試必讀的一本教科書。另外，課程亦會建議研習同學參閱其他國 內學者所出版的相關書籍，以及作為延續性的補充教材。
C.評量方式採用：本課程在過去的規劃早已採取多元的評量方式，當中包含：隨堂作業 與測驗、筆試(含雲端系統線上測驗)、課程討論與參與，以及出席要求等
行政學一直是公共行政與管理相關學系的重點科目，也是國家公務人員行政類科與職系 必考的學科，因此在課程規劃上成為本系每年大一的新生必須修習的學分。這些普自高中畢 業的學生，基本上對於政府的運作與管理並沒有太多的概念與實際經驗，再加上過去求學過 程中，在測驗上要求比較屬於以選擇與簡答方式，因此一下要進入以論述為主的評量，實有 難度。再者，由於校方鼓勵跨院系修習課程，近幾年來開始有一定比例的外系同學參與課程，
大幅增加授課時難易度與嚴謹度掌握的困擾。總之，就普遍情況而言，課程上的學生趨向於 沈默寡言、不擅長表達自己的想法，並且缺乏自信心，對於學科的內容並不會主動積極去尋 求深入瞭解與獲得解答。
4.研究設計與方法 (1)研究架構
本研究聚焦於如何正確解讀學生使用國家考試雲端系統過程中，所產生的立即回饋資 訊，進行判讀當中的學習問題資訊，重新調整輔助教學策略。同時，李漢岳、楊介銘、宋曜
14
廷(2017)等人，在分析共計 197 篇以行動裝置輔助學習的研究後，他們發現這些研究以準實 驗研究占最多數(61%)，因此本研究亦採取單組前後測之準實驗設計，並且應用兩種研究途 徑加以分析：
A.量化問卷調查：依照內容此部份又可區分為兩類：
首先、主觀認知部分：學習專注力量表採用林玉雯(2010)等人 所發展的「課室學習專 注力量表」，稍加改編而成，共計35 題。
其次、回饋資訊意見與看法：學生主觀對於國家考試雲端系統所產生的立即回饋資訊 與便利性，採用林凱胤與楊宜真(2012) 所發展的態度量表，稍加改編而成，共計 15 題。
B.質化深度訪談：透過利害關係人深度訪談(畢業生、行政學教師、在學學生與專業測驗 中心人員)，以了解以下面向的相關問題：
i.影響學習專注力的原因 ii.系統資訊的判讀與便利性 iii.輔助教學方式的建構與改善
110-1 前測 實驗課程 110-2 後測
圖 五 研究架構
(2)研究方法及工具
本研究主要使用的研究方法與工具主要有三:
A.文獻分析法
主觀認知 (專注力) 客觀表現 (系統資訊、測驗成績)
行政學(一)(二) 國家考試系統融入教學
主觀認知 (專注力) 客觀表現 (系統資訊、測驗成績)
學生對國家考試系統所產 生的立即回饋資訊看法
深度訪談 1. 影響學習專注力的原因 2. 系統資訊的判讀與便利性 3. 輔助教學方式的建構與改善
15
本研究針對研究題目，將蒐集有關「即時回饋系統」、「行動載具學習」(無所不在學習)，
等國內外有關的論文、期刊、書籍等相關文獻，在經過研讀、分析和探討後，作為本研究了 理論依據，以及用來分析當前的執行現況。
B.深度訪談法
本研究擬採半結構式訪談方式，預先準備訪談提綱，對 4 類人員訪談，瞭解其本身對於 雲端輔助教學系統所產生的立即回饋資訊，表達其看法與建議。將訪談後獲得的資料經過整 理、分析、歸納，再提供具體可行之建議，以達到研究的功效。深度訪談對象資料如表三所 示：
表 三 深度訪談對象 受
訪 者 編 碼
身分說
明 人數
對象
選擇原因
訪談日期
A1 A2
本系在
學學生 2 吳恩文(大三)
吳翊琦(大一) 行政學科目表現優良 2022/2/24 2022/2/24
B1 B2 B3 B4 B5
校外行 政學教
師
6
朱金池 黃榮源 張鎧如 李俊達 朱鎮明
1.行政學教師
2.台灣公共行政與公共事務 聯合會(TASPAA)理事長
2022/3/18 2022/3/15 2022/3/11 2022/3/4 2022/3/4 2022/3/6
C1 C2 C3
本系畢
業生 3
葉安茹(103 級地 特)
吳睿豐 林煒翔
1.已經考取公職考試，擔任公 務員
2.正在準備公職考試
2022/2/24
2022/2/25 2022/2/25
D1
測驗中 心專業 人士
1
陳柏熹 國立臺灣師範大學教育心理
與輔導學系雲端測驗中心主 任
2022/2/28
16
C.問卷調查法
本研究中主要是調查在 110 學年度修習行政學(一)(二)的同學，母體數為 98 人(含外系 學生)，採取透過前述所設計之量表，探詢學生們的意見與態度。
(3)資料處理與分析
由於本研究同時採取量化與質化途徑的方法，因此在資料處理與分析上亦有所不同：
A.深度訪談：主要步驟有：i.將訪談錄音內容轉譯為逐字稿，在每次訪談之後，即時進行 錄音內容的轉譯工作，轉譯後再次進行逐字稿的校稿，並且參照訪談現場筆記中較為重要的 訊息，如研究參與者的聲音及非語言動作(如面部表情、眼神、動作以及情緒等)忠實呈現於訪 談內容中。再將逐字稿交由研究參與者檢核，以確立逐字稿的正確性和真實性；ii.編碼與分 析：將逐字稿編碼分類，以供資料分析、詮釋和撰寫研究報告之用；iii.資料呈現：完成前述 各項工作後，便著手資料的呈現。將所獲得的資料做出適當的判斷與解釋，並且分析所獲得 的發現結果與省思，最後呈現研究結果。
B.問卷調查：本研究將問卷回收後，逐一檢視並剔除無效問卷，將有效樣本問卷經編碼、
建檔後，以「SPSS for window 26.0 版」統計套裝軟體程式進行問卷資料分析，茲將本研究所 使用之資料處理方法分述如下：
i.描述性統計(descriptive statistics analysis)：本研究用以分析受試者在填答問卷時的意見 分布情形，所使用的統計項目包括：次數分配、百分比、平均數、標準差及排序。
ii.推論性統計：本研究採取準實驗設計，同時在分析上採取成對樣本 t 檢定(paired sample t-test)與雙重差異分析 (different in different, DID)，主要是希望夠過學生自己本身前後測的比 較，以瞭解干預變項(輔助教學策略改變)所造成的影響。
5.教學暨研究成果 (1) 教學過程與成果
本研究於 110-1 針對大一行政學(一)課程，延續 108 學年度教學實踐計畫所確立的教學 策略，在每次教學單元結束後，立即採取隨堂線上測驗，以瞭解學生在此單元內實際的學習 效果，並且配合期中期末考試期間，分別執行兩次學生學習回饋問卷調查。此外，在110-2 則是繼續針對大一行政學(二)課程，依照 12 人次的深度訪談結果建議，將教學單元後的立 即隨堂線上測驗，調整為具有獎勵誘因的公開競賽，以期望提升學生學習的意願，同樣依然 配合學期的期中期末考試，分別執行兩次學生學習回饋問卷調查。
本研究在110學年度期間，總計進行15次的線上測驗(含6次獎勵與競賽線上測驗)、4次
17
學習回饋問卷調查，以及12人次的相關利害關係人深度訪談，在此將當中的重要發現分述如 下：
A. 110-1 單元立即隨堂線上測驗
此種測驗進行方式主是依照教學單元於授課後立即測驗(教師自行新增題目，學生事先未知 題目與自我練習)，測驗完畢後放置於系統，開放學生自我練習，並且於期中、期末考中，
由各章題庫中抽取測驗。同時，就如表四所示，110-1 學期所進行的線上測驗(含期中期末考 試)，對照 108 學年度的教學實踐計畫，其結果非常相似相近，也就是：若立即隨堂測驗比 重較低，同學作答態度相對隨便，也不會在意本身的測驗結果，相對的，若線上測驗是置於 正式期中期末考，除了有自我重複練習的機會之外，也因為占分比重較高，屬於有準備就可 以拿分的項目，學生在作答態度也會比較慎重，整體完成測驗的時程也拉長。
表 四 110-1 隨堂測驗結果 110-1 行政學一(46 人選課) 導論(11/4) 傳統時期
(11/18)
修正時期 (12/4)
期中考 (12/16)
整合時期 (12/30)
期末考 (1/6) 類型 隨堂測驗
(全卷作答)
隨堂測驗(全 卷作答)
隨堂測驗 (全卷作 答)
正式考試(全 卷作答)
隨堂測驗 (逐題作答)
正式考 試(全卷 作答) 應考人數 40 人 36 人 38 人 38 人 36 人 39 人 作答時間 5-10 分鐘
(10 題)
5-10 分鐘(10 題)
5-7 分鐘 (10 題)
10-15 分鐘 (25 題)
5-7 分鐘 (10 題)
10-12 分 鐘(25 題)
盲測 是 是 是 否(開放題庫
自我練習)
是 否(開放
題庫自 我練習) 正確率 57.2% 63.9% 42.1% 83.6% 59.7% 83.3%
B.110-2 獎勵與競爭性立即隨堂線上測驗
本研究根據多位深度訪談者的建議，特別將 110-1 的線上測驗方式融入獎勵誘因與公開 競爭的機制(規則詳見表五)，同樣的，隨堂測驗完畢後放置於測驗系統，開放學生自我練 習，並且於期中、期末考中，由各章題庫中抽取測驗。
18
表 五 110-2 獎勵與競賽線上測驗規則 使用
軟體
國家考試雲端系統
進行 時間
依行政學(二)課程教學進度不定時舉行
測驗 題目
隨機線上盲測10 題選擇題
優勝 獎項
滿足以下條件，隨時頒獎
1.高手獎：自行選擇等值 800 元獎品
(3 分鐘內交卷，集滿 3 次答案正確率為 100％) 2.快手獎：自行選擇等值 500 元獎品
(依全班交卷時間，集滿 3 次名列在全班前 5 名，但須答案正確率在 80％以上) 3.好學獎：自行選擇等值 200 元獎品
(依全班交卷時間，集滿 3 次名列全班前 15 名，但須答案正確率在 80％以上) 註：本規則在實施前有充分與修課學生討論，並取得同意後使得實施
如同表六所示，110-2 所採取的隨堂測驗，不僅學生參與率增加、作答的時間相較於 110- 1 亦有所縮短，而且正確率也有一定幅度的增加。
19
表 六 110-2 隨堂測驗結果
110-1 行政學二(52 人選課) 組織導論
與結構 (3/17)(未 競賽)
行政組織 類型 (3/31)
組織文化 與氣候 (4/7)
期中考 (4/14)
非正式 組織 (4/21)
非營利組 織(5/5)
組織發 展與學 習(5/19)
組織 病象 (5/26)
期末 考 (6/9)
類型 隨堂測驗 (全卷作 答)
隨堂測驗 (全卷作 答)
隨堂測驗 (全卷作答)
正式考 試(全卷 作答)
隨堂測 驗(全卷 作答)
隨堂測驗 (全卷作 答)
隨堂測 驗(全卷 作答)
隨堂 測驗 (全卷 作答)
正式 考試 (全卷 作答) 應考人
數
41 人 44 人 42 人 46 人 (不含 2 人補考)
45 人 40 人 44 人 47 人 50 人
作答時 間
5 分鐘以 內(10 題)
5 分鐘以 內(10 題)
5 分鐘以內 (10 題)
5-10 分 鐘(20 題)
5 分鐘 以內(10 題)
5 分鐘以 內(10 題)
5 分鐘 以內(10 題)
5 分鐘 以內 (10 題)
10-15 分鐘 (40 題)
盲測 是 是 是 否(開放
題庫自 我練習)
是 是 是 是 大多
數(開 放題 庫自 我練 習)，
另加 部分 國考 題目 正確率 71.0％ 80.91％ 67％ 85.4％
(不含 2 人補考)
73.3％ 68.7％ 71.6％ 66.6％ 82.95
％
然而，表面看似美好的情況之下，本研究細究最後的競賽獲獎名單，確有意外的發現：
此次的獎勵競爭的線上測驗，僅鼓勵到少數優秀的同學。換言之，獲得獎勵者集中在班上的 14 位同學(參見表七)，他們大部份都有多次獲獎表現(參見表八)3，高達65.3％的機會同時拿
3 曾獲高手獎 100% 會再拿到其他獎勵、曾獲快手獎則是有 40％機會，甚至獲得好學獎亦有 62.5％的機會。
20
到其他項目的獎勵(參見表九)。
表 七 獎勵名單分布
4/28(第三次) 5/5(第四次) 5/19(第五次) 5/26(第六次) 小計
滿三次高手獎 1 人 3 人 1 人 5 人
滿三次快手獎 1 人 2 人 2 人 5 人
滿三次好學獎 4 人 1 人 7 人 4 人 16 人
表 八 獲獎次數分析表
高手獎 快手獎 好學獎 小計
4 次 4 人 1 人 5 人 10 人
5 次 1 人 1 人 4 人 6 人
6 次 1 人 1 人
表 九 獲得多項獎勵分析表
高手/快手/好學 高手/快手 快手/好學 高手/好學
人數 4 人 1 人 2 人
C. 學習回饋問卷調查
根據 110 學年度修習行政學(一)(二)的同學所填答學習回饋問卷調查結果，可以發現三項 特徵：
a.採取立即隨堂線上測驗的確可以有助提升學生課程學習專注力：110-1 的結果呈現出 可以使學生加強注意細節，以及從互動中聽取課程內容；至於110-2 的部分，主要發現採取 獎勵競爭的測驗方式，課程學習專注力則是沒有差異變化。
b.融入線上測驗亦可提升課程整體滿意度：例如 110-1 可以增加與授課老師的互動，以 及課程更生動有變化；此外由110-2 採取獎勵與競爭的測驗方式，亦使得學習態度更加專 注。
21
表 十 成對樣本 t 檢定
構面 110-1 學期 110-2 學期
課程學習專 注力
⚫ 某些章節需專注的細節較多，
我還是能夠很快的跟上老師所 說明的內容(0.039)↑
⚫ 在師生互動的過程中，我可以 同時看到和聽到行政學上課的 內容(0.000)↑
融入國家考 試雲端系統 策略的課程 滿意度
⚫ 國家考試雲端系統能讓我與老 師之間有更多的互動(0.037)↑
⚫ 國家考試雲端系統讓老師的上 課方式更生動有變化(0.027)↑
⚫ 國家考試雲端系統讓老師的上 課方式更生動有變化(0.031)↑
⚫ 國家考試雲端系統讓我學習態 度比以往的上課方式更專注認 真(0.026)↑
c.獎勵與競賽測驗產生的正反雙面效果：根據 110-1 前後測差異與 110-2 前後測差異的 雙重差異分析(different in different, DID)的結果顯示，110-2 所採取獎勵與競賽測驗策略所產 生的差異，對照110-1 的填答結果，可以看出，該項測驗可以使學生立即聯想到正確的答 案，但是卻也使得同學在課程中過於在意正確答案為何，而忽略掉課程中的相關互動說明與 討論過程。
表 十一 雙重差異分析 構面 110-1 學期/110-2 學期
課程學習專注 力
⚫ 在師生互動的過程中，我可以同時看到和聽到行政學上課的內容 (0.012)↓
⚫ 在老師提問時，如果我回答錯誤，我可以察覺到並立即聯想其它可能 的答案(0.013)↑
融入國家考試 雲端系統策略 的課程滿意度
D.深度訪談發現
本研究於 2022 年 2 至 3 月間，共計訪問了 12 位受訪者，這些對象包括：本系在學學
22
生、校外行政學教師、本系畢業生，以及測驗中心專業人士等4 類，在此分述當中的發現與 建議：
a.課程內容、學習動機、教學方式，以及外在環境，這些是主要的影響課堂上學習專注 力的主要原因，這也表示當前要吸引學生的學習專注力，在授課教師這端必須在教學內容、
方法與技巧不斷精進才能成功獲得學生的關注。
與「手機、電子產品」有關，有時候可能手機有一個通知，就會讓人打開看並且順便看看其 他的東西。第二的影響因素應該是「對於內容感到乏味無趣」，畢竟我覺得行政學就是稍微 比較枯燥的，難免會感到疲乏。(A2)
我覺得是動機為前提，才會影響注意力，如果他不是很想上，那所有事情都會影響他的注意 力。(B3)
學生對本學科的重視程度、老師教學方式，以及外在因素(C1)
b.建議採取動態、影片播放等互動式的教學策略，利用聲光影音與實際操作方式，促進 與加深學習的興趣與印象。
看一些別人製作較輕鬆介紹人物的影片，能夠大致清楚明瞭韋伯做了些什麼、誰是威爾遜？
而他又做了些什麼？為什麼我們要認識他？(A2)
增加圖像資料或影音資料的播放，如新聞、電影等實務案例，並將其列入課程過程的討論、
或撰寫相關問題的心得，以增加參與、操作和熟悉理論的程度。放入情境案例的判斷與分 析、或請其依照理論提出可行解方(B6)
c.肯定立即隨堂測驗具有一定加深學習的效果，但是必須注意測驗本身的設計，以及是 否屬於短暫記憶性的回答。
測驗題的形式是比較公平客觀，信度是比較高，但是效度上可能有問題，比如以對行政學的 了解來說，可能不全然是用測驗題去測驗出來的，概念可以測驗題，但情境就沒辦法，一定 要用申論題。(B1)
課後立即測驗，有沒有助於加強學習，我覺得會啦，但是就是短暫記憶(B4)
立刻做隨堂測驗，可能有些同學會知道上完課要測驗什麼的會認真去聽，但是有沒有真的學 進來就不一定了(C3)
d.採取線上測驗優劣互見，並且有使用條件，對於是否能全面取代紙筆測驗，看法仍然 不一。
這比紙筆測驗來得快速，而且現在有很多統計正確率跟立即回饋的系統，也可以測驗學生的 專注度(B1)
國考畢竟申論還是很重要，我們應該也不能放棄這個學習的過程。(B2)
23
就是一個輔助性的工具，比例大概
1/3-1/2，傳統筆試還是要有。(B5)
認為在重要考試時仍要維持「傳統紙筆測驗」較佳(C1)若用在高風險的測驗中，則需要規劃較複雜的防弊措施。(D1)
e.國家考試系統具有有一定方便性與優點，但是需加強防弊設計。
國家考試雲端系統對於將來有意願要報考公職考試的學生是有幫助的，可以盡早熟悉題型以 及答題準備方向(C2)
我覺得是蠻方便，如果要練考古題或是做沒做過的題目(C3)
雖然上網考試很方便，但也很容易作弊，所以我覺得紙本考試比較好。(A1)
f.個人的學習動機與測驗配分比重，影響決定作答態度，進而反應在成績表現上。
佔成績不高而隨便作答，期中期末考所佔比例高則是認真作答都會盡力作答。(A1)
成績還是會有影響的，如果隨堂只是參考，沒有一定要，他們可能就隨便填一填；如果是期 中期末，他們就會比較認真，所以這是一定會有影響的。(B3)
如果本身是有高度學習動機、自律的學習態度並重視自己努力程度者，仍會重視各項測驗，
甚至會過度重視考試而沒有主次輕重之分(B6)
我覺得會耶，就像我前面答的，就是會偷懶，就是一個我能不做，我為什麼要去做？(C3) 測驗的成績比重或風險程度的高低會影響作答動機，而作答動機就會影響作答行為與答題結 果。(D1)
g.鼓勵學生自我練習，以及增加使用獎勵誘因，有助於提早適應科技化的學習過程。
依照單元，題目分類，老師可以在事先依主題抓出考題，讓同學事先預習，方便他們聽課時 知道重點在哪(B4)
配合課程做個幾題，比較死板的部分，例如法條，可以用搶答，或是小組分組去積分，然後 分數高老師會給什麼獎勵或什麼誘因，讓學生願意花時間去瞭解，或是為了獎品或誘因去認 真讀書或是學一學(C3)
教師若能將課程的某次評量(或作業)採用線上測驗或線上學習單的方式來進行，可有助於學 生適應現代生活與面對未來挑戰的能力(D1)
h.改變選擇題樣態，減少記憶內容與題項，逐漸改善「背多分」的問題。
題目與他在講課時或是課本裡面的內容不要完全一致，盡量出一點變化題，需要讓人思考一 陣子的那種。(A2)
改成素養測驗，就是說他給你一段情境描述，描述裡面有你回答的資訊，搭配學過的知識，
才能回答它的選擇題(B4)
每次測驗都將題目順序、答案選項重新安排位置；將題目「換句話說」，增加學生看題目的
24
「陌生感」(C1)
若測驗中能包含測量各種不同類型的題型，而不是只測知識的記憶，只要變化選項順序、誘 答選項的敘述、題幹中的數值、專有名詞、概念類別等，不是真正理解概念的學生就無法從 背誦來答對試題。(D1)
i.透過加強錯誤題項的重新複習，以及授課教師的講解，提升對於單元觀念與知識的理 解。
老師再帶我們看一次內容重點，教會學生「如何抓重點」。(A2) 解說大家常錯的題目，等於又做了一次複習。(B5)
觀察學生容易錯或是答錯比例較高的題目加強解說，並給予重點提示；請學生針對錯誤的題 目進行訂正。(C1)
j.提供競賽與獎勵、適時提供測驗的回饋資訊，共同激勵學生的學習動機與興趣。
我覺得可以放開放臨時問答，競賽類的感覺(就很像搶答)這樣就能夠寓教於樂了(A2) 對於表現佳者，除了口頭獎勵予以肯定之外，若多次表現佳者亦可在學期成績酌予適度加 分，讓同學瞭解自身的用功努力就反映在成績上。(B6)
將成績以公開透明的方式呈現，而非僅供個人檢視，希望藉由同儕間的比較，激起學生「想 超越別人」的學習動機。(C1)
可以這些線上課程平台中加入這些給學生回饋的資訊。在老師回饋部分，大部分線上測驗平 台都有提供測驗結果的統計資訊，例如：各題目的答對率、選項填答率等。(D1)
(2) 教師教學反思
本研究透過隨堂線上測驗的教學方式，強化學生在行政學課程中的學習效益，進而產生 對該學科的印象與了解。然而，經過一年以來的教學過程，以及配合進行多次的立即隨堂線 上測驗的結果，在此提出相關教學上的反思：
A.進行立即隨堂線上測驗，準備工作繁多，並且可能影響授課內容：常見的相關的準備 工作包含出題、測驗系統的安排與建置，測驗過程中障礙的排除等。此外，為了使學生充分 瞭解隨即測驗的內容，在授課過程中常會不經意地在特定內容上再三強調，使得整體教學過 程中，容易產生片段或是只講考試重點的情況。
B.隨堂測驗的配分與比重設計掌握不易，並且會影響到學生的填答意願：此部分如同 110-1 所進行的測驗結果，若所佔比重較少，學生作答的態度趨於隨便，也不會太在意作答 結果，相反的，若將比重拉高，對於錯誤率較高的同學，容易產生挫折感，反而產生繼續學 習下去的動力。
25
C.必須留意獎勵誘因與團體競爭的模式，具有雙面的效果：這些包含有助於提升課程學 習專注力，以及學生參與隨堂測驗的人數增加，進而缺課率降低；然而從110-2 所進行的 6 次測驗結果看來，此種模式僅鼓勵到特定「願意」學習的同學，對於學習意願低落與抱持順 便猜猜看者並未起太大作用。
D.固然事後有逐題講解題目與選擇正確答案的理由，缺乏再次檢驗的機會：本研究期望 去檢證的一個核心問題即是：如何透過立即線上測驗的結果，發現學習表現不佳者，進而對 其能採取適當的輔導改善措施。然而、就本研究一年來所實施的經驗而言，受限於課程時間 與內容，僅能盡可能在測驗完畢之後立即說明題目的意涵，以及選擇答案對錯的理由，若是 要針對當中學習表現特別不佳者，則需要額外在另闢時間輔導，並且針對錯誤題目進行再次 測驗(相同題或相似題)，該學生是否願意配合亦是一個問題。
E.影響立即隨堂測驗正確率仍有許多不確定的因素：這些包含題目的難易度控制、課程 核心觀念知識的轉換設計、如何減少學生亂猜與任意作答的行為等。這些因素有些涉及到授 課老師出題的安排與設計，有些是測驗配分比重與如何改善學生亂猜亂答的作答心態。
F.授課教師熟悉測驗系統的特性與熟悉度：為了使課程的立即隨堂測驗能夠順利進行，
通常授課教師事先都必須做好萬全的準備工作，例如出題上架、模擬作答確保正確運作等，
然而在實際操作上，課堂教室的環境與學生突然發生的狀況仍考驗著授課老師的反映，例如 測驗系統無法連線、學生個人帳密錯誤或遺失，以及對於系統各種功能的不熟悉(就算事先 教育訓練過依然會發生)等。
(3) 學生學習回饋
本研究的另一目的，在於透過線上測驗系統產生的資訊其正確性與便利性，有助於增加 學生信任國家考試雲端系統，並且提升其使用意願。對此，本研究在一學年課程結束之後，
特別請修課同學針對110-2 採取獎勵與競爭的立即隨堂線上測驗方式，提供相關心得與評 價，在此歸納當中的發現如下4：
A.認同國家考試雲端系統所帶來的益處與方便性：
考試題目可都是「國考測驗題」呢！它可以有效的輔助對未來有志願想要參加國家考試的學 生先一步體驗國家考試的相關題型(修課學生 1)
因此我覺得這套系統很值得一直做使用，讓所有學弟妹都能享受這套系統的便利性及實用 性，我也很慶幸在校期間還能使用到這套系統，讓我無需擔心隨時想練習題目或複習時會遇 到的問題。(修課學生 2)
4 在此僅用數字編號順序，呈現不同修課學生所表達的心得意見。
26
B.「獎勵與競賽」策略獲得同學們的肯定，並且希望之後繼續辦理：
我很喜歡這學期的競賽模式，會為了得到小禮物更認真!!線上競賽又很好玩，非常的有趣，
完題目後會對上課的內容更加深印象!沒有缺點，只有優點!(修課學生 3)
關於隨堂測驗競賽，我覺得很新鮮而且對於學習也很有幫助。因為畢竟是競賽總是會想爭取 前面一點的名次，看到自己的名字在上面也會有種成就感，大概是不服輸的心態促使我們前 進向上吧!(修課學生 4)
我覺得在這次的「隨堂測驗競賽活動」對所有學生來說都是非常有實際作用的，因為的 希望之後下一屆還能有這樣的競賽，畢竟我覺得行政學沒有這樣的推力要讀下去是很難的。
(修課學生 5)
假如本身對課程的概念就夠深的話，肯定是能答得又快又好的，可以說是人人都有機會呢。
希望老師能繼續辦下去。(修課學生 6)
但這次不一樣的是有獎勵累積制度，這真的會激發我們的好勝心，認真思考過才作答，而且 會想追究自己成績!(修課學生 7)
C.班級上課氣氛的確有改變，學習專注力有所提升：
我覺得採取隨堂測驗競賽還滿不錯的，可以明確了解上的這堂課有沒有確實理解課堂內容，
而且這樣也能有效幫助學生集中注意力專心上課，減少在課堂使用手機的頻率，不會一整堂 課結束都不知道在上什麼，期中期末考試才在集中補知識。(修課學生 8)
我覺得隨堂測驗能夠幫助我們了解自己今天是否有記得今天教的東西，雖然有時候是用猜 的，並且做完它還能即時的反饋，讓我們能立即的知道自己的錯誤，當然原本只有國考系統 的時候，有時候就會很懶得做，所以就亂做，上課也不一定會好好上，但是老師推出獎勵機 制後，起碼讓我有一點動力去好好地看看題目，上課時也會多加點心思在上課中。(修課學 生
9)
這次的隨堂測驗競賽我覺得有好也有壞，好處是大家可能會因為獎勵機制而開始認真回答，
有種大家一起上進的這種感覺，讓我感覺大家的讀書氛圍變好了，壞處是我覺得有可能因為 這個獎勵機制的出現，有人會為了達到獎勵的標準而讀，可能不是發自內心真正想讀的，會 不會有可能沒獎勵時，就不會想自己主動去了解問題。(修課學生 10)
這次課堂採用的隨堂測驗競賽很有趣，不僅可以刺激學生在上課的專心度，也可以順便複習 課堂內容，加深學習印象，一舉數得，並且老師的獎項還沒有設定人數上限，只要有符合條 件就可以獲獎，沒有什麼可以挑剔的地方，希望這種方式可以也在其他課上實施，幫助提高 學習意願。(修課學生 11)
老師在課堂上使用此軟體，舉辦答題競賽，也激起了許多人讀書競爭的慾望，班上的學期氣
27
氛也因此受到鼓動，我也覺得這是非常棒的現象!雖然之後沒有老師的行政學課成了，但也 希望老師繼續沿用此方法，讓讀書學習不在那麼枯燥乏味。(修課學生 12)
D.獎勵機制的確激起好勝心，希望透過競賽得獲獎：
有點可惜的事我在本學期所有行政學隨堂考事都沒有贏得任何獎項，也許我還沒有找到適合 我自己的讀書、背書方法。不管之後還有沒有隨堂測驗競賽相關課程，我還事會再努力訓練 自己找到快速且有效率的讀書方法。(修課學生 13)
E.測驗期間仍有反應疑似作弊5：
但是老實說這學期的隨堂競賽我認為沒太大的效用，因為如果真的為了得到獎品，追求準確 率和速度，相信大多數同學都是複製貼上，尤其快手獎直白點就是看誰查得最快。好的系統 如果缺乏學生的自主性好像也很難發揮他最大的功效。(修課學生)
班上的人都很積極參與的樣子，雖然這樣沒有辦法限制大家是真的讀了才考還是上網查的，
不過我認為就算用查的也多少會有印象。(修課學生 14)
就直接說最大的問題，在於出題完成的時候，自我評量專區就會出現相同的考題，有心人士 就會將自我評量專區的考題猜完，考試的時候再將答案填上去，競試的時候並無公平性可 言，純粹就是拚手速而已。(修課學生 15)
F.察覺到少數「拔尖同學、贏者全拿」的情況：
後來發現前幾名都是同樣幾個人，我就很懷疑他們真的是自己作答的嗎？因為平常感覺沒什 麼在上課但一直都在高手獎，也許他們真的是自己作答或許是上網去找題目？值得思考。
(修課學生 16)
6.建議與省思
本研究的目的在於了解學生在使用國家考試雲端系統時所產生的立即回饋資訊，當中的 重要性與如何正確判讀，並且建構出適合的輔助教學策略。歷經110 學年度的實際教學與改 變使用策略之後，從中發現仍有許多不足之處，需要後續的努力：
(1)立即隨堂線上測驗所產生的效果仍有其不足之處：回顧本研究所提出的三個問題，首 先、透過線上系統的立即統計與資訊產生，的確可以知道學生的學習狀況與找出學習不足之 處，然而若要深入探究與輔導這些同學的學習狀況，在正常的課程中不易實現，若是安排額 外的時間進行，學生的配合意願也是一項考驗；其次、不論是在學生學習回饋問卷調查，以
5 此部分主要是由於系統設計的限制，上傳題庫之後不能馬上立即考試，必須等待一段時間才能開始，因此還 是有特定同學發現此一漏洞，題目會在特定區域，可以進入觀看。對此，實際在考試時是採取系統隨機抽題，
並且以AB 卷方式作為防範措施。
28
及心得回饋資訊上，學生對於國家系統所產生的資訊其正確性與便利性，普遍都肯定有其效 益，但是課程外是否持續意願使用？仍是未知；最後、本研究根據深度訪談的建議，在110- 2 的教學策略改為具獎勵與競爭性質的測驗模式，整體而言確實有提高學生的學習專注力與 學習效果。
(2)線上測驗的使用準備工作需要更有耐心與細心的執行：持平而言，經過一學年的課 程，總共實施15 次的線上測驗經驗，不論是立即隨堂測驗或是正式的期中末考試，測驗前 的繁瑣的設定工作流程都必須一再地走完(出題、系統設定、個人模擬測試、系統排程)，至 於實際測驗當下亦有相關工作(盡可能監考防弊、系統連線的穩定性、學生帳密問題的排 除)，直到最後測驗後彙整成績與結果。實際上，在享受線上測驗的便利性與產生立即性結 果之前，事前與事中的準備與安排不如想像中的輕鬆，必須重複的確認與妥善設計，才能使 每次測驗順利完成。
(3)具有獎勵與競爭性線上測驗效果的再檢視：一般而言，有好的獎勵誘因的確比較會容 易產生出指定的行為表現，這樣的效果確實呈現在110-2 所進行的 6 次測驗中，同時也普遍 也獲得學生的肯定與支持。然而，根據本研究的分析結果，卻也反應出另一個值得深思的現 象，也就是：「獎勵拔尖、贏者全拿」，換言之，此類的測驗方式特別容易激起「有意願」且
「優秀」的參與者不斷參與，反而對於原來就屬學習動機不高，以及表現不佳者，無法產生 明顯的作用。
(4)學習動機、態度與行為的連鎖效益：根據一學年所累積的學生測驗成績與行為表現觀 察，大致上可以分為三類結果：首先、對於本身所屬學習動機高者，原本的學習態度與表現 就是良好，不論採取何種教學策略對其的影響非常有限；其次、真正產生作用的是部分參與 修課的學生，他們會適時回應教學方式與內容，可能是因為競爭而在意其他人的表現，亦可 能是為了獎勵，促使本身在學習表現上有所努力；最後、當然也是有一群少數不為所動的同 學，不論採取何種教學與測驗方式，採取姑且配合一試的態度，邊走邊看結果而定，甚至完 全不在乎。
29
參考文獻
Abram, W., Scott, H., Linda, N., & Cynthia, T.(2008). Student perceptions of a wireless audience response system, Interactive Technology and Smart Education, 5(4), pp. 217-229.
Aljaloud, A. S., Gromik, N., Kwan, P., &Billingsley, W(2019).Saudi undergraduate students’
perceptions of the use of smartphone clicker apps on learning performance, Australasian Journal of Educational Technology, 35(1),pp. 85-99.
Al-Zahrani, A. M. (2015). From passive to active: The impact of the flipped classroom through social learning platforms on higher education students' creative thinking. British Journal of Educational Technology, 46(6), pp.1133-1148.
Astle, D. E., & Scerif, G. (2009). Using developmental cognitive neuroscience to study behavioral and attentional control. Developmental Psychobiology, 51, pp. 107-118.
Chang, C., Sheu, J., & Chan, T. (2003). Concept and design of ad hoc and mobile classrooms.
Journal of Computer Assisted Learning, 19(3), pp.336-346.
Chen, S. Y., Magoulas, G. D., & Dimakopoulos, D. (2005). A flexible interface design for web directories to accommodate different cognitive styles. Journal of the Association Society for Information Science and Technology, 56(1), pp.70-83.
Chiang, T. H. C., Yang, S. J. H., & Hwang, G. J. (2014). Students’ online interactive patterns in augmented reality-based inquiry activities. Computers & Education, 78, pp.97-108.
Davids, M. R., Halperin, M. L., & Chikte, U. M. E. (2015). Optimising cognitive load and usability to improve the impact of e-learning in medical education. African Journal of Health
Professions Education, 7(2), pp.147-152.
Educause Learning Initiative (ELI). (2010). 7 things you should know about mobile apps for learning. Retrieved from http://net.educause.edu/ir/library/pdf/ELI7060.pdf
Erika, B., & Richard, N.(2008). Using student response systems in lecture-based instruction: Does it change student engagement and learning? Journal of Technology and Teacher Education, 16(3), pp.375-383.
Farmer, R.(2006). Instant messaging collaborative tool or educator’s nightmare! Retrieved from https://www.student.cs.uwaterloo.ca/~cs492/papers/im.pdf
Gebauer, J., Shaw, M. J., & Gribbins, M. L. (2006). Task-technology fit for mobile information systems (Working Paper #05-0119). Champaign: University of Illinois at Urbana-Champaign, College of Business.
Hiltz, S. R., & Wellman, B.(1997). Asynchronous learning networks as a virtual classroom.
Communications of the ACM, 40(9), 44-49.
Kapıkıran, S., & Acun-Kapıkıran, N. (2016). Optimism and psychological resilience in relation to
30
depressive symptoms in university students: Examining the mediating role of self-esteem.
Educational Sciences: Theory & Practice, 16(6), pp.2087-2110.
Klopfer, E., Squire, K., & Jenkins, H. (2002). Environmental detectives: PDAs as a window into a virtual simulated world. In Proceedings of IEEE International Workshop on Wireless and Mobile Technologies in Education (pp. 95-98).
Lantz, M. E., & Stawiski, A.(2014).Effectiveness of clickers: Effect of feedback and the timing of questions on learning. Computers in Human Behavior, 31, pp. 280-286.
Lin, Y. L., Lin, H. W., & Hung, T. T. (2015). Value hierarchy for massive open online courses.
Computers in Human Behavior, 53, pp.408-418.
Liu, T.-C., Lin, Y.-C., & Paas, F. (2014). Effects of prior knowledge on learning from different compositions of representations in a mobile learning environment. Computers & Education, 72,pp.328-338.
Quinn, C (2000). M Learning: Mobile, wireless and in-your-pocket learning. Retrieved from http://www.linezine.com/2.1/features/cqmmwiyp.htm
Robisch, P., Kirsininkas, R. J., & Wang, M.(2015).Extending Cloud Computing and Learning for Mobility. In Zhuang, (Eds.) Proceedings of the 19th International Conference on Computers (pp. 92-96). Greece: Zakynthos Island.
Roblyer, M. D., & Edwards, J.(2000). Integrating educational technology into teaching (2nd ed).Upper Saddle River, N. J.: Merrill.
Strang, K. D.(2011). Asynchronous knowledge sharing and conversation interaction impact on grade in an online business course, Journal of Education for Business, 86(4), pp.223-233.
Sung, Y.-T., Chang, K.-E., & Liu, T.-C. (2016). The effects of integrating mobile devices with teaching and learning on students’ learning performance: A meta-analysis and research synthesis. Computers & Education, 94, pp. 252-275.
Sung, Y.-T., Chang, K.-E., & Yang, J.-M. (2015). How effective are mobile devices for language learning? A meta-analysis. Educational Research Review, 16, pp.68-84.
Trees, A. R., & Jackson, M. H.(2007).The learning environment in clicker classrooms: student processes of learning and involvement in large university-level courses using student response systems. Learning, Media and Technology, 32(1),pp.21-40.
United Nations Educational, Scientific and Cultural Organization (UNESCO)(2013). Policy guidelines for mobile learning. Retrieved from
http://unesdoc.unesco.org/images/0021/002196/219641E.pdf
Vaughn, K. E., & Rawson, K. A.(2012).When is guessing incorrectly better than studying for enhancing memory? ,Psychonomic Bulletin Review, 19,pp. 899-905.
王子華、楊凱悌(2015)，有效行動學習課程教學模式之設計與效益評估—以評量為中心的設
