• 沒有找到結果。

行政院國家科學委員會專題研究計畫 成果報告

N/A
N/A
Protected

Academic year: 2022

Share "行政院國家科學委員會專題研究計畫 成果報告"

Copied!
48
0
0

加載中.... (立即查看全文)

全文

(1)

行政院國家科學委員會專題研究計畫 成果報告

基於正向心理學及基因演算法之適性測驗系統:以 ERP 認證 課程為例(第 2 年)

研究成果報告(完整版)

計 畫 類 別 : 個別型

計 畫 編 號 : NSC 98-2410-H-216-006-MY2

執 行 期 間 : 99 年 08 月 01 日至 100 年 07 月 31 日 執 行 單 位 : 中華大學資訊管理學系

計 畫 主 持 人 : 應鳴雄

報 告 附 件 : 出席國際會議研究心得報告及發表論文

公 開 資 訊 : 本計畫可公開查詢

中 華 民 國 100 年 10 月 31 日

(2)

中文摘要: 目前網路教學平台對於學習者的學習行為觀察、學習曲線變動 分析,以及學習者特質的適性測驗研究仍相當缺乏。就學習者 的學習潛力發展及學習成效而言,試卷包含的試題難度及試題 能評量的認知向度層次高低與分佈,可能使不同人格特質及學 習成就的學習者產生不同的學習反應。極端簡單的試卷,可能 導致程度好的學習者對學習失去興趣;極端困難的試卷,也可 能導致程度不好的學習者在學習上產生挫折、沮喪,甚至放棄 學習。本計劃試圖透過經由是性分析後的測驗活動來影響學習 者的心理及行為反應,進而提升學習者學習動機與成效。為達 此目的,本計畫結合人格特質、正向心理學、Bloom 認知分類 等概念,以學習者特質及正向心理學為基礎,發展一個具備學 習者特質及測驗歷程分析的適性測驗系統,以期系統能考量學 習者的心理特質與學習程度,自動選取合適每位學習者的個人 化適性試題。此外,為了能讓每一位學生的試卷具有試題品 質,本計畫藉由 Bloom 認知分類修正版、測驗理論(test

theory)、基因演算法(Genetic Algorithms)等概念,提出一個高品 質的選題策略。在選題策略中透過難度、鑑別度、Bloom 認知 分類以及試題曝光率等參數,使試題組合能涵蓋不同的認知層 次且具有適合的難度和鑑別度,以保證試卷的品質。

英文摘要: With regards for learner‘s learning behaviors, traditional adaptive testing research do not focus on learning curve analysis and

personality. For the learning potential and learning effectiveness of learners, the items difficulty, knowledge dimension level and cognitive process level of item that can cause learners who has different personality and learning performance to generates personal learning response. An extremely simple examination paper might generates learner who is high achievement of testing falls out of learning interest, and an extremely difficult examination paper might generates learner who is low achievement of testing feels depressed and even give up. This study attempts to affect

psychology and behavior of learner by testing, and promote motive of learning and performance.

This study integrates personality with positive psychology and Bloom‘s taxonomy for educational objectives, developing an adaptive testing system (PPATS) for accomplishing the objective.

PPATS selects adaptive examination paper for each learner. And PPATS also provides learning diagnosis and suggestion, to generate the learner proceeds self-regulated learning after testing, and to promote learning performance and guide learning by way of testing.

Many online test systems randomly generate test papers from an item bank. A high-quality test paper must to consider the following questions. Is the depth and breadth of test items appropriate? Can test items examine student ability at different cogitative levels? Can test items avoid relationships among test items? Can a test identify

(3)

student ability and provide learning suggestions appropriate?

Therefore, it is the important issue to solve above problems by using information technology. This study also applies a novel item

selection strategy implemented by computer and is based on

assessment theory, association rule, genetic algorithms and a revised Bloom taxonomy. The proposed strategy ensures that test is high quality.

(4)

行政院國家科學委員會補助專題研究計畫 成果報告

期中進度報告

基於正向心理學及基因演算法之適性測驗系統:

以 ERP 認證課程為例

計畫類別:  個別型計畫 □ 整合型計畫

計畫編號:NSC 98 - 2410 - H - 216 - 006 -MY2 執行期間: 98 年 08 月 01 日至 100 年 07 月 31 日 執行機構及系所:中華大學資訊管理學系

計畫主持人:應鳴雄

計畫參與人員:黃浩軒、韓克圻、紀乃維、林仁祥、楊凱婷、洪揚、

徐佳綾、胡佩婷、羅芳渝

成果報告類型(依經費核定清單規定繳交):□精簡報告  完整報告 本計畫除繳交成果報告外,另須繳交以下出國心得報告:

□赴國外出差或研習心得報告

□赴大陸地區出差或研習心得報告

 出席國際學術會議心得報告

□國際合作研究計畫國外研究報告

處理方式:除列管計畫及下列情形者外,得立即公開查詢

□涉及專利或其他智慧財產權,□一年  二年後可公開查詢

中 華 民 國 100 年 10 月 15 日

(5)

行政院國家科學委員會專題研究計畫成果報告

基於正向心理學及基因演算法之適性測驗系統:

以 ERP 認證課程為例

計畫編號: NSC 98 - 2410 - H - 216 - 006 -MY2 執行期限:98 年 8 月 1 日至 100 年 7 月 31 日

主持人:應鳴雄 助理教授 中華大學 資訊管理學系 計畫參與人員: 黃浩軒、韓克圻、紀乃維、林仁祥、楊凱婷、

洪揚、徐佳綾、胡佩婷、羅芳渝

中文摘要

目前網路教學平台對於學習者的學習行為觀察、學習曲線變動分析,以及學習者特質 的適性測驗研究仍相當缺乏。就學習者的學習潛力發展及學習成效而言,詴卷包含的詴題 難度及詴題能評量的認知向度層次高低與分佈,可能使不同人格特質及學習成就的學習者 產生不同的學習反應。極端簡單的詴卷,可能導致程度好的學習者對學習失去興趣;極端 困難的詴卷,也可能導致程度不好的學習者在學習上產生挫折、沮喪,甚至放棄學習。本 計劃詴圖透過經由是性分析後的測驗活動來影響學習者的心理及行為反應,進而提升學習 者學習動機與成效。為達此目的,本計畫結合人格特質、正向心理學、Bloom 認知分類等 概念,以學習者特質及正向心理學為基礎,發展一個具備學習者特質及測驗歷程分析的適 性測驗系統,以期系統能考量學習者的心理特質與學習程度,自動選取合適每位學習者的 個人化適性詴題。此外,為了能讓每一位學生的詴卷具有詴題品質,本計畫藉由 Bloom 認 知分類修正版、測驗理論(test theory)、基因演算法(Genetic Algorithms)等概念,提出一個 高品質的選題策略。在選題策略中透過難度、鑑別度、Bloom 認知分類以及詴題曝光率等 參數,使詴題組合能涵蓋不同的認知層次且具有適合的難度和鑑別度,以保證詴卷的品質。

關鍵字:適性化測驗、正向心理學、Bloom 認知分類、關連規則、基因演算法。

(6)

Abstract

With regards for learner's learning behaviors, traditional adaptive testing research do not focus on learning curve analysis and personality. For the learning potential and learning effectiveness of learners, the items difficulty, knowledge dimension level and cognitive process level of item that can cause learners who has different personality and learning performance to generates personal learning response. An extremely simple examination paper might generates learner who is high achievement of testing falls out of learning interest, and an extremely difficult examination paper might generates learner who is low achievement of testing feels depressed and even give up. This study attempts to affect psychology and behavior of learner by testing, and promote motive of learning and performance.

This study integrates personality with positive psychology and Bloom's taxonomy for educational objectives, developing an adaptive testing system (PPATS) for accomplishing the objective. PPATS selects adaptive examination paper for each learner. And PPATS also provides learning diagnosis and suggestion, to generate the learner proceeds self-regulated learning after testing, and to promote learning performance and guide learning by way of testing. Many online test systems randomly generate test papers from an item bank. A high-quality test paper must to consider the following questions. Is the depth and breadth of test items appropriate? Can test items examine student ability at different cogitative levels? Can test items avoid relationships among test items? Can a test identify student ability and provide learning suggestions appropriate?

Therefore, it is the important issue to solve above problems by using information technology.

This study also applies a novel item selection strategy implemented by computer and is based on assessment theory, association rule, genetic algorithms and a revised Bloom taxonomy. The proposed strategy ensures that test is high quality.

Keywords: Adaptive testing; Positive psychology; Bloom’s taxonomy for educational objectives, Association Rule, Genetic Algorithms

(7)

1. 前言

隨著網路的普及與發展,以網際網路作為主要傳遞管道的電子化學習(E-Learning)也 隨之興起。如何利用資訊技術發展教學和測驗系統,並提供學習者適性學習的輔助平台,

進而提升教學品質、學習成效和建構課程整合學習環境,已成為電子化學習應用的重要研 究議題。學習者是否達到線上學習系統設定的教育目標,可藉由線上測驗來評量其學習成 效。然而測驗的目的並非只是在測驗後給予學習者一個分數,而應讓學習者透過測驗活動 來了解自己在 Bloom 認知領域分類中各向度的學習結果,並針對系統給予的學習建議來改 進學習,甚至提升自我學習的成效。

目前的網路教學平台雖可提供豐富的內容管理,但仍潛藏可改進的空間,像是過度自 主性和開放性衍生了認知超載(cognitive overhead)和學習迷失(disorientation)的問題,並影響 學習者的學習成效。此外,現有教學平台對於學習者的學習行為觀察、學習曲線變動分析,

以及學習者特質的適性測驗研究仍相當缺乏,因此仍無法有效透過測驗活動對個別學習者 提供個別化的學習引導,也無法引發「以測驗引導學習」的效果。有鑑於「因材施教」及

「因材施測」的重要性,本計劃將以「因材施測」及「以測驗引導學習」為研究核心,結 合人格特質、正向心理學、Bloom 認知分類等概念,以學習者特質及正向心理學為基礎,

發展一個具備學習者特質及測驗歷程分析的適性測驗系統。本計劃期望透過學生在測驗活 動中的信心維持及信心建立,以及系統提供給每位學生的適性學習建議,引發學生在測驗 活動後進行學習上的自我調節,進而提升學習成效,並發生「以測驗引導學習」的效果。

本計 劃探討的問題著重在 發展一個以人格特質 (personality)及正向心理學 (positive psychology)為基礎的適性化測驗系統(adaptive testing system),簡稱為 PPATS。PPATS 能藉 由分析個別學生每次的學習歷程與測驗結果,給予學生適當的學習建議,並由電腦自動產 生能維持及建立學習信心的詴卷詴題,藉由「因材施測」及「測驗引導學習」的觀念,引 發學習者的興趣與信心,進而提升學生者的學習成效。因此本計劃將探討人格特質與正向 心理學所可能增進的效果,並藉由資料分析確認不同人格特質與心理特質的學生,在 PPATS 中的學習成效差異。本計劃期望經由 PPATS,學生可不再畏懼考詴,並能瞭解自己在哪些 知識類型及認知層次詴題上的學習需要改進,並對學習弱點進行加強。此外,PPATS 能提 供教師重要的學生學習現況資訊,以增加教師對學生學習狀況的瞭解。

2.文獻探討

2.1 網路教學與適性化學習

遠距教學源起於 1840 年,當時主要的教學方式是以函授為主(Keegan,1996),隨著資 訊的進步,演變發展至現今的網路教學。Rosenberg(2001)提到網路教學是透過網際網路傳 遞大量經過整理的解決方案,並藉以促進知識的獲得與提升學習者的績效表現。Vincenza 等人(2007)認為網路教學是透過網際網路技術,可即時且有效的更新、散佈、存取及分享教 學內容或資訊。McGreal(1998)指出,一個理想的網路學習環境應具備線上課程、線上測驗、

虛擬教室、教學管理、學習工具等五項要素。

陳年興與王逸洪(民 95)依據教學時間空間特性,而將網路教學區分為三類:第一種為

(8)

非同步教學模式,利用電腦及網路工具,使得教師與學生在不同時間、地點,仍可以透過 網路教學平台學習互動;第二種為同步教學模式,利用電腦軟體、視訊設備,將老師及學 生的影響傳送至對方的電腦,時間上需要固定,但可在不同地點進行;第三種為整合式教 學模式,是整合以上兩種模式,使得教師及學生雙方能夠用兩種方式進行學習。而本計劃 屬於其中的第一種類型,學生可於不同時間地點登入系統進行線上自我學習,系統所給予 的學習建議即扮演著教師的角色。

適性化教學指的是為適應各別差異的特性,教師採取各種合適的教學策略,調整學習 環境、提供多樣學習資源,以提供個別學生適合其需求的學習經驗(林寶山,民 92)。適性 化教學的發展主要以學習者為中心,讓學習者在教學歷程中,能夠依據自己的需求,完成 學習 的 目 標 。而 適性 化 教學 的類 型 , 包含 了選 擇 (selection)、充 實 (enrichment)和加速 (acceleration)三種基本形式(Walberg,1975)。「選擇」是以學習者的資質或表現作為篩選學 習者的參考。「充實」是在固定的學習時間內,設法增加學習的內涵以達到不同的學習目標。

「加速」是以相同的學習目標,觀察學習者完成目標所需的時間(林進材,民 88)。 林 寶 山 (民 92)則提出適性化教學策略可以分為調整學習進度教師、提供多樣性教材、調整評量的 標準、調整教師角色與任務。本計劃著重於第三種策略,並對於不同學習程度之學習者,

提供不同的評量標準。

2.2 人格特質

Allport(1937)認為人格是一個人的心理生理系統所形成的內在動態組織,它決定了個人 對於環境獨特的適應。人格也是一個人的心理生理系統所形成的內在動態組織,它決定了 個人特有的行為和思想。人格不完全是心理的,也不完全是生理的,此組織同時包含了生 理和心理的作用。Sheldon(1942), Jung(1933)為代表的類型論(types)指的是依照身體特質採 間斷分類的方式,將人定義成各種不同的典型;而 Allport(1937), Cattell(1965)為代表特質論 (traits)則以個體人格特質為主要研究主題,採連續向度來區分人格特質。

本計劃主要人格特質分類採用挫折容忍力的概念,是指當個人遭遇挫折或失敗時能夠 免於失常、承受打擊與挫折、繼續堅持的一種能力(張春興,民 95)。Brooks 與 Goldstein 認 為挫折容忍力是一種內在力量,可應付處理日常的各種挑戰,它是一種適應、並自覺足以 克服挑戰的能力(馮克芸、陳世欽,民 92)。王夢萍(民 94)指出挫折承受力是指一個人遭受 挫折後,能夠忍受和擺脫挫折的能力。Brooks 出版了《The Power of Resilience》一書,國 內翻譯為「挫折復原力」,其中提到說挫折復原力通常是指克服壓力與逆境的能力,許多人 都表示每天都要面對無數壓力,挫折復原力確實是生命的主要支撐力(洪慧芳譯,民 93)。

本計劃受測者的挫折容忍力是採用謝毓雯(民 87)所編制之「挫折容忍力量表」。該量表已有 多位研究者於研究中使用,代表具有一定水準之信效度。而本計劃也將於後續實證階段時,

進行信效度之驗證。

Bandura 於 1997 年提出自我效能(self-efficacy)的概念,並於 1980-1982 年進一步指出自 我效能可做為預測變項的一種解釋行為。認為重視認知與動機的關係,因為認知的過程對 於行為的產生與持續有重要的影響,並強調社會情境對個人的影響,因而提出「三元交互 論」,認為個人受到認知、行為與環境三者交互作用的影響。

Hackett 與 Betz(1981)認為自我效能是指個人的認知態度,這種態度促使個人盡可能的

(9)

發揮其天賦潛能,這種自己對自己的信心,也就是一種認知態度,是促使個人有所行動的 最佳力量。Gist 與 Mitchell(1992)認為自我效能是指一個人對自己在某種特殊工作表現能力 之預估,不同期望值通常會影響到個人所設立的目標水準,以及願意為目標所付出的努力,

也會影響到個人所採取的行為、對任務的選擇及結果表現。因此,自我效能高者會促使其 自信與積極的行為,通常能夠較主動解決學習遇到的困難,但若無法達到正面的結果卻不 一定會終止行動,反而會嘗詴加強自身的努力甚至嘗詴去改變環境的限制;反之,自我效 能低者則會傾向於放棄。本計劃受測者所採用 Sherer 與 Maddux(1982)所編制之量表題目,

主要的目的是測量受詴者在自評的一般性自我效能感。該量表已有多位研究者於研究中使 用,代表具有一定水準之信效度。而本計劃也將於後續實證階段時,進行信效度之驗證。

2.3 正向心理學

正向心理學(positive psychology)是在幫助個人找到內在的心理能量,這樣的能量隨時可 以面對困難、對抗挫折、掌控逆境。Panksepp(1998)認為過去研究者主要聚焦在負向心理對 身心的影響,而目前的重心則在強調正向情緒。而正向心理學主要內涵包含了強調樂觀、

強調正向情緒、強調正向意義、強調內在動機。Scheier 和 Carver(1985)根據自我調節論,

對自我導向行為(self-directed behavior)進行系統性的研究,認為樂觀在目標導向處關鍵之地 位。Fredrickson(2001)更進一步提倡正向心理學,並建立「擴大建立理論」(broaden-and-build theory),說明歡愉、興趣、滿足、自信和愛等正向情緒,可以促進行為的方式,並能擴大 人類短暫思考-行動的技能,有助於建立長期的資源。Frankl(1969)認為人可以透過實現創造 性價值、經驗性價值、態度性價值來發現生命的意義。而信心(confidence)可使個人和他人 分享新成果並展望未來更大的成就(Lewis,1993)。本計劃將利用正向心理學概念,設計教 學系統中之學習建議資料庫,適時適度的給予學生鼓勵與建議,並且依據不同程度、不同 需求的學生給予不同的題目,建立其自信心。使學生能夠在遇到困難時,仍能保有正向情 緒,不會輕易的放棄,並且能夠從中找出解決問題的方法。

2.4 Bloom 教育目標分類

Bloom(1956)提出認知領域教育目標分類(A taxonomy for educational objectives),並將認 知領域分成知識(Knowledge)、理解(Comprehension)、應用(Application)、分析(Analysis)、

綜合(Synthesis)和評鑑(Evaluation)等六個層次。而 Anderson and Krathwohl(2001)則針對此分 類提出了新的版本,並將教育目標分成知識向度和認知歷程向度。知識向度從「學習」的 角度將知識類型區分為事實、概念、程序及後設認知等四類;認知歷程向度則從「思考」

的角度將思考的認知層次區分為記憶、了解、應用、分析、評鑑與創造等六類,各分類皆 包含若干次分類。

2.5 網路測驗

教育的目的在於引發學生行為改變,因此教師必須善用測驗來評量學生學習前後行為 的改變,因此測驗扮演著重要的角色(林璟豐,民 90)。而測驗的目的在增進學習效果,所 以在學習的各階段及擬定教學計畫時,必須將測驗納入成為整個教學過程中的一部份(陳英 豪等,民 71)。而將電腦及網路應用於教學活動,進行電腦測驗及網路測驗是一個無法避免

(10)

的趨勢。電腦輔助測驗(Computer-Based Testing,CBT)是將傳統的紙筆作答轉移到電腦之 中,讓學生藉由電腦螢幕閱讀考題、利用鍵盤或滑鼠來移動游標並點選答案。Alessi 與 Trollip(1991)指出,電腦輔助測驗在應用之上,具有選擇組合詴題、易於產生詴題、共享詴 題題庫等作用。以網路測驗所能夠達成的效果而言,它不僅只是施測的工具,同時也可以 是教學的工具(周文正,民 87)。McCormack 及 Jones(1997)認為網路測驗能夠改善評量的程 序和方法,因為網路測驗具備有節省時間、即時回饋、減少資源、保存記錄、更加便利等 特性。此外,Khan(1998)認為測驗及教學實際在網路上進行時能夠提供的特色包括不受時 空條件限制、適性化的環境、多元化的互動…等。若把 WWW 環境所建置的測驗系統與傳 統紙筆測驗做比較,結果顯示網站基礎的測驗系統對於具有固定答案的是非題、單選題、

複選題等題型之評量,仍然可以達到測驗等化的效果(楊亨利、應鳴雄,民 94)。

電腦自動從題庫中選取最適合受詴者程度的詴題來施測,根據適性選題策略判斷題目 是否符合受詴者能力水平,稱為電腦化適性測驗(Computerized Adaptive Testing,CAT)。而 本計劃利用網路進行 CAT,使得學生獲得專屬於自己的詴卷及學習建議診斷回饋,期望能 提升學習成效。

3. 研究方法及步驟

3.1 研究方法

為了讓電腦能根據學習者的人格特質、測驗歷程資料、學習成就,本計劃發展一個具 備學習者特質及測驗歷程分析的適性測驗系統(PPATS),透過電腦自動選取合適每位學習者 的適性詴題的機制,維持學習者的學習動機與信心,並藉由適當的測驗回饋與學習建議診 斷等測驗活動來影響的學習者的心理及行為反應,進而提升學習者學習動機與成效。本計 劃現階段工作以發展系統及內部機制為主,並針對系統運作方式提出說明。對於 PPATS 所 產生之學習成效影響,則列為下階段工作。

3.2 系統架構

(11)

圖 1 PPATS 架構圖 本系統架構圖如圖 1 所示,其內容說明如下:

A.教材與題庫編修介面:教師可在此功能選單進行新增、修改、查詢、刪除教材與題庫。

B.測驗事件設定介面:教師可在此功能選單中進行新增、修改、查詢、刪除測驗事件,並 可讀取學生資訊,其中包括學生人格特質、測驗結果,也可對學習建議進行編修。

C.教材資料庫:儲存經處理之教材,以便系統進行讀取使用等功能。

D.學習歷程資料庫:此區會記錄學生利用本系統進行線上學習及線上章節練習等行為,以 供適性選題機制使用。

E.測驗題目資料庫:將經由處理過之測驗題目放在同一資料庫,以供適性選題機制系統進 行讀取使用等功能。

G.學生資料資料庫:此區存放學生個人資料,包含人格特質等重要資料,以供適性選題機 制使用。

H.作答記錄資料庫:此區存放學生詴卷作答紀錄,包含測驗分數及答對率等數據,以供適 性選題機制使用。

I.學習建議資料庫:存放系統會根據學生測驗結果所給予的學習建議。

J.學習模組:學生登入後可利用此模組進行線上教材閱讀及線上章節練習等行為。

K.測驗詴卷資料庫:由於本系統是針對個人學習情況而給予不同詴題,因此每位學生詴卷 內容皆不相同,故利用此資料庫儲存每位學生每次測驗之詴卷內容。

L.適性選題機制:此機制為本篇研究的重點,系統利用此機制產生專屬於每位學生的詴卷,

( )

( )

使 (

) 學習歷程資料庫

教材資料庫 學習模組

適性選題機制

學生資料資料庫

作答記錄資料庫

學習建議模組 學習建議資料庫

評分模組 測驗題目資料庫

預測分數決策資 料庫

測驗詴卷資料庫

(12)

其內容將於後續詳細介紹。

M.預測分數決策資料庫:為了維持並學生學習信心,系統會根據預測分數決策資料庫去決 定下次詴卷內容變化,其內容將於後續詳細介紹。

N.評分模組:學生可利用此模組去得知測驗結果,包含內容及作答紀錄。

O.學習建議模組:測驗完成後,學生可利用此模組獲得專屬於個人學習情況之學習建議。

P.使用者介面:學生登入後可利用此介面進行上述學習、測驗、評分等模組的行為。

3.3 PPATS 內建之選題演算法

PPATS 內建隨機及適性兩種選題模式,以下針對兩種選題之演算法進行說明。

3.3.1 隨機選題

教師設定考詴事件選定測驗範圍後,PPATS 會依照題庫題目之各分類比例選題,例如 設定某次測驗的詴卷題目需求數為 n,該出題範圍在題庫中的詴題總題數為 N,詴題在 Bloom 3*5 的 15 類 詴 題 數 量 分 別 以N ~1 N1 5 來 表 示 , 各 分 類 出 題 數 為 X 到1 X1 5

N N n

xi   i/ 。xi表示為Xi之期望值,xi先進行四捨五入運算決定初步Xi,其中若xi 0且

1

xi 時,則X =1,以確保題庫中既有的各類題型均會被選取,並能對學習者在各類題型i 的學習能力進行評量。若題目數超過或不足則利用期望值的概念,PPATS會從 Max(x )的類i 型中,讓X =i xi 1,系統會反覆此動作直到符合要求為止。

3.3.2 適性選題機制

為了使 PPATS 能針對不同的學生自動選擇適性的詴卷詴題組合,本計劃之系統設計及 運作過程需要透過人格特質與詴題難度分析、Bloom 認知分類等概念來進行演算法之設 計。本計劃提出之適性選題機制,在選取適性詴題時將依據以下六種分析功能來進行。

A. 人格特質分析:本計劃根據學習者前幾次的測驗成績及其所具備之人格特質,而給予不 同平均難度之詴卷題目。根據古典測驗理論,難度表示詴題被答對的人數百分比,其公 式為 DP=R/N,其中 DP 表示難度,N 為全部受測者人數,R 為答對該題目人數。而詴 卷平均難度則表示整份詴卷題目之平均難度水準。本系統在人格特質分析中,將依據學 習者在自我效能及挫折容忍力量表的填答結果,將每位受測者歸類至 A~D 四種類型中 的其中一種。其中 A 型人格代表學習者的挫折容忍力高,自我效能高;B 型人格代表學 習者的挫折容忍力高,但自我效能低;C 型人格代表學習者的挫折容忍力低,自我效能 高;D 型人格代表學習者的挫折容忍力低,自我效能低。本計劃針對學習者人格類型,

設計了決策樹,以使不同特質的學習者能夠依據學習狀況,而在詴題內容上獲得不同的 變動範圍。

B. 詴題難度分析:系統隨機選題得到之詴卷可算出平均詴卷難度(EDt),難度值越高表示測 驗越簡單;難度值越低表示測驗越困難,t 則表示為測驗的時間序列。而 EDt=各題難度 總和/測驗題目數 n,每次測驗難度 EDt照人格分類組別根據決策樹改變。而單次測驗答 對率(CBi)=Bloom 分類 i 答對題數/Bloom 分類 i 題目數 Xi,又考慮每次測驗學生學習及 作答情況,因此在適性選題答對率參數(TCBi)的計算上採取比重的觀念,較接近此次測 驗的歷史作答記錄將採用較高的比重,其公式(1)如下,其中Xi(t)表示第 t 次測驗時 Bloom 分類 i 測驗題數:

(13)

3

) 3 ( 2 ) 2 ( )

3 (

3 ) 1 ( ) 1 ( 2 ) 2 ( ) 2 ( )

3 ( ) 3 (

2

* 2

* 2

*

2

*

* 2

*

* 2

*

*

 

t i t

i t

i

t i t

i t

i t

i t

i t

i

i X X X

CB X

CB X

CB

TCB X (1)

C. Bloom 認知分類之詴題類型分析:由於後設知識通常不列入正式的課程評量中,而創造 層次的詴題也不易透過線上測驗系統之是非題、選擇題等題型來評量,因此本計劃僅針 對目前線上測驗系統能自動正確評分的基本題型進行詴題分析。所以本計劃中僅採用 Bloom 認知分類在「知識向度」上的事實知識、概念知識、程序知識等三項,而在「認 知歷程向度」則採用了記憶、了解、應用、分析、評鑑等五個層次,共將詴題區分為 3×5 的十五種類型。由於每個學習者在各認知領域題型的能力不同,因此本計劃將會依據學 習者前次測驗結果及人格特質,同時考量詴題難度,而透過選題機制演算法來調整下次 測驗時提供給受測者的各類型詴題比例。

D. 測驗結果分析:根據學生測驗結果對其進行分析,計算預期分數 FS(t),預期分數為估算 下次學生可能得分。使用公式(2)如下:

FS(t) Xi(t)*TCBi*s i=1.2…15 (2) TCBi為 Bloom 分類 i 答對率,Xi(t)為第 t 次時 Bloom 分類 i 測驗題數、s 為單題配分。系

統會根據決策表得知該學生預測分數,根據預測分數的增減來達成準確增加學生分 數,使其信心度上升。由於每份詴卷難度不一,成績計算若直接採計原始分數有失公 平,因此該學生之真分數則利用下列公式(3)轉換,用於評量最後之學習成績。

(1.5- EDt)*OSt=RSt (3) EDt表示該次測驗之詴卷平均難度、OSt表示原始分數、RSt表示真分數。根據古典測驗 理論,一份好的詴卷平均難度應為 0.5,故將公式中之參數設定為 0.5。

E. 學習歷程分析:根據學生線上學習的歷程,紀錄所點選閱讀過的章節,而當學生點閱章 節之後,會依照學生之學號給予詴題題庫中對應的題目作為練習,練習結果也會存入資 料庫,作為出題判斷的依據之一。此外,由於章節練習題目已事先曝光,因此選題時暫 不列入,留待提升學生分數及信心使用。

F. 出題頻率分析:根據題庫內容題目所出過之頻率,遇到相同 Bloom 分類題目時,優先 考慮出題頻率低之題目。

3.3.3 適性選題機制決策表及選題規則

根據 3.3.2 適性選題分析機制,再利用適性選題決策表決定測驗題目。決策表判斷依據 為人格特質 P、上次測驗原始成績 OS(t-1),根據數據來決定學生下次測驗之預測分數及難度 變 化 。 又 考 量 學 生 因 特 殊 情 況 使 得 分 數 大 幅 度 改 變 , 因 此 將 近 兩 次 成 績 差 距

OS(t-2)-OS(t-1)=OSd列入決策原則,決策表如下表一所示。在 SZO中 1 表示分數進步;0 表示

分數退步、FS 表示預測分數、BDZO的 1 表示增加難度值(降低測驗難度);0 表示降低難度 值(增加測驗難度)。

表一、決策表

P OS(t-1) OSd SZO FS BDi(t) BDZO

A 型人格 59 10 1 65 0.1 1

(14)

… … … … B 型人格 79 30 1 80 0.05 1

… … … …

C 型人格 89 100 1 95 0.1 0

… … … …

從公式(2)可得知,預測分數決定後,其值會跟隨題目難度及出題數改變,PPATS 會根據 難度來調整選題,決定該 Bloom 分類 i 難度為 BDi(t),取最接近其值的題目,若是降低詴卷 難度則先取最接近 BDi(t)且難度較低之題目 Xn,再取最接近 BDi(t)且難度較高之題目 Xn一 題;增加難度則反之,如圖 2 所示。

圖 2 選題機制難度選題規則

適性選題時先不考慮學生練習過題目,但若學生之 OSd<60,表示未達及格標準,才將 學生練習過題目列入優先選題考量。根據決策表調整難度後,利用公式(2)計算其預測分數,

若計算出來的值與決策表中預測分數相差 5 分以內,則至此決定詴卷內容。而若計算出來 的值與預測分數相差 5 分以上,則利用開始進行出題數改變,若是要增加難度則要減少 Max(TCBi)題目數 MaxXi,將 MaxXi-1,增加 Min(TCBi)題目數 MinXi,將 MinXi+1,題目增 減完後進行難度運算,依此類推,並配合適性選題機制的五種分析,使得難度趨近於調整 後的 EDt;降低難度則反之,照此來選出下次測驗最適合該學生的題目。作答紀錄及 EDt 會根據每次測驗完成後採取累積的方式進行更新,並儲存於學生資料資料庫中,以便後續 測驗使用。

3.3.4 學習建議

適性選題測驗後學生可獲得學習診斷建議,內容為學生 Bloom 各分類知識作答情況統 計,包含針對該次測驗及縱觀所有測驗統計比較,並給予適當建議,期望學生經由學習建 議而能對自己較不擅長的知識類型做準備,並針對不同人格特質,利用正向心理學觀念,

給予適合學生之建議敘述,鼓勵學生向上學習。其演算法規則如下表二所示。其中 P 表示 該學生人格特質分類 A~D、Type 表示各 Bloom 分類知識向度名稱、Kind 表示作答情況,

共可分四種情況,0 表示 CBi <0.5;1 表示 Max(TCBi);2 表示 Min(TCBi);3 表示 CBi >0.8、

Msg 則為告知的學習建議訊息內容。

表二、學習建議表

P Type Kind Msg

A 型人格 事實知識記憶向度 0 多熟讀課本內容並記憶。

… … … …

B 型人格 事實知識了解向度 1 在您整個答題狀況屬於良好,

可繼續保持。

… … … …

難度 題目

0 1 BDi(t)

‧‧‧ ‧ ‧ ‧ ‧ ‧‧‧‧

… Xn+2 Xn Xn+1 Xn+3

(15)

C 型人格 程序知識記憶向度 2 在您整個答題狀況中表現較 差,不過別氣餒,可多花時間 在 記 憶 課 本 內 流 程 性 的 問 題,一定會有所進步。

… … … …

3.4 系統使用情境

PPATS 其各元件功能使用情境,分為教師使用、選題機制及學生使用來介紹。

A. 教師使用:教師登入後可利用教材編修介面及題庫編修介面進行線上教材及測驗題庫之 更新,本系統重點在於測驗事件介面,教師可設定藉由此介面設定測驗事件資料,使學 生登入後進行線上測驗。

B. 選題機制:教師設定測驗事件後,選題機制會讀取學生資料資料庫,得到學生人格特質 分類及先前測驗結果資料,產生學生的測驗詴卷。

C. 學生使用:學生登入後可利用學習模組進行線上教材閱讀,並於教材閱讀結束後得到閱 讀章節的練習題,進行線上練習,練習結果資料會存入學習歷程庫,作為選題機制的參 數;當教師設定測驗事件後,學生便可進行線上測驗的功能,根據適性選題機制得到屬 於自己的詴卷,測驗結束後會依照實驗組別給予學習建議,並且將資料存入學生資料資 料庫,作為選題機制的參數。

3.5 系統成效評估

本計劃針對演算法機制與系統功能進行成效評估,並透過北部某大學資管系 6 位修習企 業資源規劃之學生進行初期系統成效評估,並產生 SE001~SE005的五次測驗資料。經由觀察 每位學生對於演算法導出的適性詴題,所做出的各種測驗反應,而進行 PPATS 的適性詴題 選取機制與建議能力評估。以下採用學生 S1(人格特質分組為 A 型人格)於測驗後所獲得的 資訊為例來進行系統成效說明。

A. 作答狀況:此區會顯示該學生各 Bloom 分類答題情況,並利用圓餅圖表示,以該生第 一次測驗 SE001為例;測驗 SE001詴卷內容:總考題數 40 題,難度 0.5,其作答狀況如下 圖 3 所示,該圖呈現了學生 S1在 SE001中共考了 40 題詴題,其中僅包含 Bloom 共 15 種分類中的 5 類詴題,在事實知識-記憶向度的題數為 14 題,作答情況答對題數為 10 題,答錯題數為 4 題;而概念知識-分類向度則僅有 1 題,且並未正確回答。測驗結果 之原始分數為答對題數*單題配分=26*2.5=65 分。

(16)

答對題數:10 答錯題數:4

答對題數:12 答錯題數:5

答 對 題 數 : 3 答 錯 題 數 : 2

答 對 題 數 : 0 答 錯 題 數 : 1

答對題數:1 答錯題數:2

圖 3 學生 S1 SE001作答紀錄

B. 適性選題機制運作:PPATS 根據學生 S1在 SE001測驗結果,選取學生下次測驗 SE002詴 卷內容。根據下表三決策表內容,首先判斷學生 S1人格分類為 A 型人格,OSd為 NA 表示上次測驗為第一次測驗,故無兩次測驗分數差距,則可知 SE002預測分數為 75 分,

且難度應降低 0.05(代表難度值增加 0.05),從 0.5 轉變為 0.55。難度係數設定完成後,

系統便開始利用選題機制難度規則選題及公式(2)預測分數(FS)計算,決定 SE002詴卷內 容。

表三、學生 S1 SE001至 SE002決策表內容

P OS(t-1) OSd SZO FS BDi(t) BDZO

A 型人格 79 NA 1 75 0.05 1

首先利用選題機制難度規則決定 Bloom 各分類題目數,依序為事實知識-記憶向度 13 題、事實知識-了解向度 21 題、事實知識-分析向度 3 題、概念知識-分析向度 1 題及程 序知識-了解向度 2 題,利用公式(2)預測學生作答 SE002詴卷,可獲得分數為

13*0.714*2.5+21*0.764*2.5+3*0.6*2.5+1*0.0*2.5+2*0.33*2.5=69.48 分,與決策表設定之 預測分數 75 分差距為 5.52 分,大於系統設定的 5 分可接受範圍,因此開始進行題目數 上的增減。首先考慮 Min(TCBi)之題目數,Min(TCBi)為答對率 0 之概念知識-分析向度,

但因其題目數僅有一題,因此改為減少答對率 0.33 之題目數,減少為 1 題,增加 Max(TCBi) 之事實知識-了解向度題目數為 22 題。而經過題目數改變後之預測分數為

事實知識-記憶向度 事實知識-了解向度

事實知識-分析向度

程序知識-了解向度

概念知識-分析向度

(17)

13*0.714*2.5+22*0.764*2.5+3*0.6*2.5+1*0.0*2.5+1*0.33*2.5=70.55 分,達到系統設定可 接受的範圍,至此決定第二次測驗 SE002詴卷內容。

C. 學習建議診斷:學生 S1進行測驗 SE002後,PPATS 根據學生作答情況而給予相對應的學 習建議診斷,包含針對單次測驗及縱觀測驗比較,以該生在第一次測驗 SE001與第二次 測驗 SE002為例,該生之作答記錄與學習建議如圖 4 所示,圖 4 左半部顯示學生 S1在 Bloom 各向度答對率情況,可得知該生在 SE002答對率高於 SE001;圖 4 右半部顯示系統 根據學生 S1 作答情況,從學習建議表中抓取資料,根據正向心理學給予鼓勵與適合該 學生之學習建議訊息。

1 0

0.666 0.7727 0.769

0.33 0

0.6 0.764 0.714

0 0.5 1 1.5

SE001 SE002

圖 4 學生 S1 SE001至 SE002作答紀錄與學習建議

D. 學習建議比較:PPATS 會根據不同人格特質,而給予適合該學生之學習建議敘述,以學 生 S1至學生 S4為例,學生 S1為 A 型人格、學生 S2為 B 型人格、學生 S3為 C 型人格、

學生 S4為 D 型人格,假設四者在測驗 SE001至 SE002作答情況相同,則四者所得到之學 習建議如表四所示。A 型人格所獲得之建議多為期許能繼續進步,並且給予適當的鼓勵 與刺激;B 型人格之自我效能較低,因此針對其測驗結果會多加督促;C 型人格之挫折 容忍力較低,因此建議語句多採取鼓勵敘述;D 型人格自我效能及挫折容忍力都較低,

因此學習建議綜合 B 型人格及 C 型人格之敘述,給予適當督促及鼓勵。

表四、學習建議範例表

學生編號 人格特質 學習建議內容

S1 A 型人格 學生 S1您好,您這次的測驗結果與上次比較起來,呈

現進步的狀態,希望下次會更進步,相信您可以的。

事實知識了解向度在您整個答題狀況中屬於良好,可 繼續保持。概念知識分析向度在您整個答題狀況中較 差,可針對其作加強,多花時間在整理課本內容輔助 學習,相信會有所進步。

S2 B 型人格 學生 S2您好,您這次的測驗結果與上次比較起來,呈

現進步的狀態,但不能鬆懈,還是要繼續保持喔。事 實知識了解向度在您整個答題狀況中屬於良好,希望

學習建議:學生 S1 您好,您這次 的測驗結果與上次比較起來,呈現 進步的狀態。事實知識了解向度在 您整個答題狀況中屬於良好,可繼 續保持。概念知識分析向度在您整 個答題狀況中較差,可針對其作加 強,多花時間在整理課本內容輔助 學習,相信會有所進步。

事實知識-記憶向度 程序知識-了解向度 概念知識-分析向度 事實知識-分析向度

事實知識-了解向度

(18)

可以繼續保持。概念知識分析向度在您整個答題狀況 中較差,可針對其作加強,多花時間在整理課本內容 輔助學習,相信會有所進步。

S3 C 型人格 學生 S3您好,您這次的測驗結果與上次比較起來,呈

現進步的狀態。事實知識了解向度在您整個答題狀況 中屬於良好,要繼續保持喔。概念知識分析向度在您 整個答題狀況中較差,可針對其作加強,多花時間在 整理課本內容輔助學習,相信一定會增加學習成效。

S4 D 型人格 學生 S4您好,您這次的測驗結果與上次比較起來,呈

現進步的狀態,但不能鬆懈,還是要繼續保持喔,相 信您一定可以持續進步的。事實知識了解向度在您整 個答題狀況中屬於良好,要繼續保持喔。概念知識分 析向度在您整個答題狀況中較差,可針對其作加強,

多花時間在整理課本內容輔助學習,相信一定會增加 學習成效。

3.6 先導實驗

3.6.1 先導實驗受測樣本

先導實驗受測樣本為新竹市某大學修習「ERP 企業資源規劃」課程學生,兩班級共計 112 人,而為了檢測系統效能及選題演算法缺失,因此全體學習者之選題機制皆採用適性選 題機制。其中歷時 4 次測驗,每次測驗時間為 50 分鐘。

3.6.2 先導實驗流程

系統建構完成後,便開始進行為期半學期之先導實驗。實驗流程如下圖 6 所示,詳細 說明如下。

圖 6 先導實驗流程圖 系統修正與演算法修正

證照考詴 系統建置與題庫建置

使用者人格特質分組與系統熟悉 教材閱讀與平時測驗

期中考與期末考

資料蒐集與分析

(19)

A. 系統建置與題庫建置:實驗修課科目為「ERP 企業資源規劃」,考取證照名稱為「ERP 初階規劃師」,因此先針對該科目進行系統建置,包含修課班級、教材以及測驗等建置;

也針對該科目題庫進行 Bloom 分類,其各向度題目數如表五所示。

表五 先導實驗題庫數 知識向度

(學習)

認知歷程向度(思考)

1 記憶 2 了解 3 應用 4 分析 5 評鑑 A.事實知識 158 336 1 47 1 B.概念知識 14 178 2 49 4 C.程序知識 2 35 0 4 0

B. 使用者人格特質分組與系統熟悉:初次登入本系統,將會進行人格特質分析,利用問卷 將人格特質分為 A~D 四類,並使使用者熟悉本系統操作。

C. 教材閱讀與平時測驗:使用者在平時可登入系統進行教材閱讀之動作,並可針對各章節 進行練習,而教師可依照進度設定測驗事件,此時全部學習者採用適性選題機制,使學 習者進行測驗,學習者在測驗後將會獲得學習建議與學習診斷。

D. 期中考與期末考:使用者會依照教師所安排之學習進度,進行期中測驗考詴與期末測驗 考詴。

E. 證照考詴:經過一學期的系統學習與操作,學習者在期末將會進行「ERP 初階規劃師」

之證照考取。

F. 資料蒐集與分析:經由一學期的實驗過程,得知適性選題演算法仍有缺失,其中最嚴重 的問題便是,由於演算法的設計,使得整份詴卷難度將會過度集中,詴題都將會集中於 某一階層難度,造成部分詴題無法被選取,曝光率偏低。

G. 系統修正與演算法修正:進行系統維護修正與演算法修正之行為。

3.6.3 適性選題演算法規則修正

經由先導實驗後得知,原先設計之適性選題演算法會產生一問題,即是經由決策表決 定出來之難度去進行選題動作,則可能會發生相同題目挑選次數過高的現象,而使得部分 題目無法被挑選到,甚至或產生整份詴卷難度值過於集中在某一難度的情況,而為了改正 此問題,在演算法修正版中,加入了隨機選題的概念,將原本的適性選題機制加入 50%的 隨機選題機制,使得題目分配更為均勻,適性選題演算法則同 3.3 的說明。如圖 7 所示。

(20)

圖 7 改良版選題演算法

3.7 正式實驗

3.7.1 正式實驗樣本

本研究之正式實驗進行時間為半學期,期初先利用先備知識將學生分為實驗組與對照 組,並於初次登入系統時進行人格特質分類,其分組內容資料如表六所示。總計實驗組 36 人,包含 A 型人格特質者 14 人、B 型人格特質者 7 人、C 型人格特質者 7 人以及 D 型人 格特質者 8 人;對照組因學期中有受測者退選該科目,因此人數為 33 人,包含 A 型人格 特質者 11 人、B 型人格特質者 8 人、C 型人格特質者 9 人以及 D 型人格特質者 5 人。

表六 實驗分組人數一覽

實驗組 對照組

A 型人格 14 A 型人格 11

B 型人格 7 B 型人格 8

C 型人格 7 C 型人格 9

D 型人格 8 D 型人格 5

總和 36 總和 33

3.7.2 正式實驗流程

正式實驗流程會先經過一次先備知識測驗,用以區分組別,而正式測驗共經過三次,

實驗組及對照組於測驗一時皆使用隨機選題,用以獲得學習者在各 Bloom 向度之作答情 50%隨機選題

50%適性選題

‧ ‧

‧ ‧ ‧ ‧

0 1

BDi(t)

(21)

況,且實驗組在測驗後可獲得包含正向心理學及 Bloom 向度之適性學習建議,而對照組得 到一般性學習建議,測驗一目的在於檢驗先備知識測驗分組是否正確;測驗二時實驗組使 用適性選題機制,對照組使用隨機選題機制;測驗三時實驗組及對照組使用統一教師出題 機制,目的在於檢驗實驗組經由本系統之適性演算法設計及測驗流程,是否可以有效提升 學習者學習成效。如圖 8 所示,用以蒐集學生測驗資料以進行分析,驗證本系統對於學生 學習成效之影響。三次測驗題目數皆為 40 題,測驗時間為 50 分鐘。

圖 8 正式實驗流程圖

3.8 資料分析

本章節針對正式實驗結果進行資料分析,包含研究假說與資料分析。

3.8.1 研究假設

為了驗證系統對於學習成效的提升有所幫助,本實驗提出一研究模型及設計假說來驗 證,以下分別詳細介紹研究模型與假說。

隨機選題 適性學習建議

實驗組 對照組

統一出題 測驗一

測驗三

適性選題 適性學習建議

隨機選題 一般學習建議

隨機選題 一般學習建議 測驗二

統一 先備知識測驗 先備知識測驗

(22)

圖 9 研究模型圖

本研究之主要目的在於探討適性化選題機制與隨機選題機制(自變數)對於使用者學習 成效(因變數)改變的影響,其中人格特質為干擾變數。

H1:在操作系統的測驗過程中,人格特質的不同(干擾變數)對於學習成效並無顯著差異。

期望學生透過系統操作進行測驗活動,在學習成效上不因人格特質的不同而有所差 異。由於本系統之決策表設計有考量使用者人格特質,將人格特質列入決策表之參考依據,

為了使具有不同人格特質之學生,在使用本系統時皆能獲得具有相同效能之回饋。

H2:不同選題機制對學習成效並無顯著差異。

經由半學期的系統操作及平時測驗使用系統經驗累積,實驗組利用適性選題演算法及 學習建議建立學習者信心及培養學習興趣,對照組則無此機制。而使用不同選題機制之學 習者,經過系統操作及測驗活動經驗累積,若是面對同一份詴題時,在學習成效上無顯著 差異。

3.8.2 正式實驗資料蒐集

經過半學期正式實驗,蒐集學生測驗成績如表七所示。其中學生編號同時代表該學生 之人格特質類型,如 A1 表示為實驗組 A 型人格特質學生第一號,b3 表示對照組 B 型人格 特質第三號;而測驗成績皆經過真分數公式轉換,以示公平,不會因測驗難度而影響成績。

表七 學生測驗分數

實驗組 X 對照組 Y

學生 編號

測驗一 成績

測驗二 成績

測驗三 成績

學生 編號

測驗一 成績

測驗二 成績

測驗三 成績 A1 81.2 95.72 87.5 a1 67.45 59.55 85

… … … …

3.8.3 正式實驗資料分析

經由實驗過程,蒐集資料後利用 ANCOVA 分析,探討組別與人格特質對成績的影響,

怕先備知識影響實驗結果,因此將先備知識測驗設為共變數。實驗資料如表八所示,而觀 察表九可以得知,在先備知識 S0 的 p 值為 0.156,不顯著,表示先備知識對於測驗成績無 顯著影響,而針對人格特質的 p 值為 0.926,不顯著,同樣可將人格特質之影響排除,接受 H1:在操作系統的測驗過程中,人格特質的不同(干擾變數)對於學習成效並無顯著差異。

選題機制 A.適性出題 B.隨機出題

學習成效 人格特質

H1

H2

(23)

表示透過本系統的建構與實驗流程,人格特質將不會造成影響,經過適性演算法之設計,

針對不同人格特質之學生所給予適合該學生詴題難度及預測分數,能夠有效的針對各種人 格特質學生之需求。

觀察群組之 p 值為 0.008,具有顯著性,表示兩組在成績上有顯著差異,拒絕 H2:不 同選題機制對學習成效並無顯著差異。實驗群組對於分數有顯著的差異,且觀察表十得知,

實驗組分數明顯優於對照組,故可推論透過本系統,無論是具有何種人格特質的學生,使 用適性選題機制對於學習成效能夠有顯著的提升。不因人格特質之不同,而在操作本系統 時會受到影響,具備各種人格特質之學生,透過適性選題演算法的幫助,皆能提昇學習成 效。

表八 Between-Subjects Factors Value Label N 組別 實驗組 36 組別 對照組 33 人格特質 A 25 人格特質 B 16 人格特質 C 16 人格特質 D 13

表九 Test of Between-Subjects Effects Dependent Variable:測驗三分數

Source df Mean Squares

F Sig 顯著性

(α<0.05) 先備知識 1 461.417 2.067 0.156 不顯著 實驗組別 1 1687.90 7.562 0.008* 顯著 人格特質 3 34.735 0.156 0.926 不顯著

表十 Estimates Dependent Variable:測驗三分數

Group Mean Std.Error Lower Bound Upper Bound 實驗組 77.621 2.595 74.429 82.813 對照組 67.298 2.720 61.856 72.739

4. 結論

本計劃主旨在於發展一針對人格特質及學習狀況之適性化測驗系統,PPATS 會提供學習 改進建議的個人化測驗回饋,以協助學習者瞭解自己在哪些知識類型及認知層次詴題上的 學習需要改進,並對學習弱點進行加強,以增進學習成效建議其加強,期望能輔助學生學

(24)

習。藉由電腦依照每位學習者的學習程度及人格特質,自動從題庫選取能維持及建立學習 者信心的詴卷詴題,並利用「因材施測」及「測驗引導學習」的概念,引發學習者的興趣 與信心。

並透過適性選題機制、測驗歷程分析及人格特質,提供學習改進建議的個人化測驗回 饋,以協助學習者瞭解自己在哪些知識類型及認知層次詴題上的學習需要改進,並對學習 弱點進行加強,以增進學習成效。圖 10 為學生 S1模擬測驗 SE001至 SE005之分數曲線,經 由公式(3)轉換,可知學生 S1 之真分數呈現成長趨勢,這也正是未來實驗中期望看到的數 據。

0 20 40 60 80 100

SE001 SE002 SE003 SE004 SE005

原始分數 真分數

圖 10 學生 S1分數轉換

由於資訊科技的發達,使得電腦變成人們生活中不可或缺的一部分,而利用電腦為 基礎之數位學習也因此蓬勃發展。然而現存大多數的數位系統皆為單純利用數位教材、介 面及一般性測驗來輔助學生學習,這樣的方式除了便利性及降低教師負擔外,還能具有更 大的發展空間,因而有了適性化學習系統的產生。本研究便是以此為立足點,發展一個以 人格特質及正向心理學為基礎之電子化適性測驗系統,突破以往的觀點,將學生測驗情況 列入演算法的參考依據,並透過系統中適性演算法設計,以能夠維持學生學習動機與信心,

並進而提升學習成效。

透過為期半學期之實驗,並經由資料分析驗證,發現使用適性選題演算法之實驗組學 生,在學習成效上有明顯的優於使用一般隨機選題演算法之對照組學生,且其成效不因人 格特質的不同而有所差異,各種人格特質的學生在使用 PPATS 後皆能有效的提升學習成 效。也證明了 PPATS 之適性選題演算法對於提升學習者之學習成效有顯著的影響與改變,

也肯定了正向心理學及人格特質用於學習上的可行性。將正向心理學與人格特質之概念用 於學習上可明顯的幫助學生學習,並透過自我效能與挫折容忍力的掌握,控制測驗詴題之 難度,經由測驗建立學習者信心,使學習者不再畏懼考詴,並且藉由具有正向意涵之學習 建議與鼓勵培養學習興趣,主動積極參與學習,進而提升學習成效。

在學習的過程中,能夠利用測驗檢驗學生學習成效,但測驗還包含有更廣泛的意義,

也就是如何發展出「測驗引導學習」之效果,透過測驗的過程與獲得的回饋,輔助學習者 學習。PPATS 除了提昇學習成效之外,也能降低教師負擔,輔助教師對學生進行個別化的 輔導。

傳統教學大多只是將測驗視為考核學生學習狀況,並給予學生分數等地用,然而經由 本實驗發現,測驗可以不單單僅是一個分數,並能將其運用在建立學習者學習信心及培養

(25)

學習興趣,透過給予適合學習者的測驗詴題,使其得知自身能力及優缺點,更能輔助學習 者學習。

根據本實驗結論,對於未來教育之發展,提出以下三點建議:

一、測驗回饋的必要性:測驗後學習者除了分數之外,還需要獲得額外回饋,包含對測驗 作答紀錄之分析、各分類知識向度解析等。

二、個人化適性測驗的可行性:經由本研究之假說驗證可以發現,個人化測驗可以幫助學 生學習,並且能引發測驗引導學習之概念,使學習者不會因為詴題難度的不適合,而 畏懼考詴,甚至害怕學習。

三、適時的鼓勵與激勵學生:利用電子化適性測驗系統能夠針對個人情況,並透過隱含正 向心理學意義的學習建議,能夠有效的建構學習者學習信心,學習者對於教師或是系 統所給予的鼓勵與激勵會有所回應,能夠建立其學習興趣。

5.計畫成果自評

本計劃目前在初期已經完成許多預期之工作目標,並說明預期達成之各項目標與實際 完成的成果。

(1) 已建立完成一個一般性線上學習雛形系統,用以確保本計劃之系統具備基本的學習與測 驗功能。

(2) 完成 1200 題企業資源規劃認證題庫之建立,後續將能持續進行實驗,並模擬測驗的真 實性與完整性。

(3) 已邀請專家針對 1200 題詴題,進行各詴題在 Bloom 認知領域各能力向度的歸屬判定。

(4) 已編製本計畫所使用的人格特質、自我調節與正向心理指標的量表工具,並對參與實驗 的學習者進行調查。後續將於 99 年 6 月底取得學習者的人格特質與正向心理指標之數 據資料。

(5) 已完成「形成性評量適性選題機制」的雛形系統。

(6) 已進行正向心理學為基礎之形成性評量適性選題機制成效評估。

目前本計劃之相關成果已發表在以下期刊及研討會論文中:

(1)期刊發表

A. Ying, Ming-Hsiung, Huang, Shao-Hsuan and Wu, Luen-Ruei (Dec. 2010), "An Item Selection Strategy Based on Association Rules and Genetic Algorithms ", Journal of Software, Vol. 5, No.12, pp.1378-1383. (EI)

B. Ying, Ming-Hsiung and Huang, Hao-Hsuan (Mar. 2011), "Item Selection Strategic via SocialNetwork Analyze”, International Journal of Digital Content and its Application (JDCTA), pp.333-342. (EI)

(2)研討會發表

A.

Ying, M.H., Huang, S.H., Wu, L.R.(2009.12.09), "Item Selection Strategy Based on Association Rules and Genetic Algorithms”, ICIC 2009 - Fourth International Conference on Innovative

(26)

Computing, Information and Control, Session C08:Intelligence Applications for E-services-04, p1-5. (EI)(地點: Kaohsiung, Taiwan)

B.

應鳴雄、黃紹軒(2010 年 11 月 26 日)," 以基因演算法發展多目標之詴卷選題策略

",2010 電腦與網路科技在教育上的應用研討會, Session B:4, p1-5.(地點:新竹-中 華大學國際會議廳)

C.

Ying, Ming-Hsiung, and Huang, Hao-Hsuan (2010.08.16-18), "Item Selection Strategy via Social Network Analyze”, The 6th International Conference on Networked Computing and Advanced Information Management (NCM 2010), Seoul, Korea, pp. 727-732. (EI)

D.

應鳴雄、黃浩軒(2011 年 1 月 18 日), “以社會網絡技術提供適性測驗系統選題策略 的修正方向” , 2011 年國際 ERP 學術及實務研討會, pp.1471-1481. (地點:台北, 德 明財經科技大學, 中華民國企業資源規劃學會及德明財經科技大學主辦)

參考文獻

中文部份:

1. 于建忠,民 92,,逆境商修煉:戰勝逆境的十二堂必修課,台北市:希代。

2. 王夢萍,民 94,每個孩子都要學習的 50 堂挫折課,台北市:孙河文化。

3. 李允中、王小璠、蘇木春,模糊理論及其應用,全華科技圖書,台北。

4. 周文正,民 87,,「WWW 上電腦輔助測驗系統之研製」第七屆電腦輔助教學研討會 5. 林進材,民 88,教學理論與方法。台北:五南。

6. 林璟豐,民 90 年 6 月,全球資訊網測驗題型之研究,國立師範大學工業科技教育研究所碩士論文。

7. 林寶山,民 92,實用教學原理,台北市:心理出版社。

8. 洪慧芳,民 93,R. Brooks & S. Goldstein 著,挫折復原力(The power of resilience),台北市:天下。

9. 陳英豪、吳裕益,民 71,測驗的編制與應用,台北:偉文出版社。

10. 陳年興、王逸洪,民 95,網路重要觀念與小組同步合作學習模式探討,教育研究月刊,第一百二 十五期:74-92 頁。

11. 馮克芸、陳世欽,民 92,培養小孩的挫折忍受力,台北市:天下。

12. 謬敏志,民 83,工作壓力之理論基礎與模式及其管理方法,中國行政,第五十三期:23-28 頁。

13. 張春興,民 95,張氏心理學辭典,重訂一版,台北市:東華。

14. 楊亨利、應鳴雄,民 94,線上測驗是否有可能具備與紙筆測驗相同評分效力?師大學報-科學教育 類,第五十卷,第二期:85-107 頁。

15. 謝毓雯,民 87,青少年挫折經驗與挫折容忍度之關係研究:建設性思考與社會支持的角色,國立 政治大學心理學系碩士論文,未出版,台北市。

英文部份:

1. Alessi, S.M. and Trollip, S.R., Computer-Based Instruction: Methods and Development, Englewood Cliffs.

N. J.: Prentice-Hall, 2nd,1991.

2. Allport, G. W., Personality: A Psychological Interpretation, New York: Holt, 1937..

參考文獻

相關文件

The final results of experiment show that the performance of DBR system declines when labor utilization increases and the CCR-WIP dispatching rule facilitate to

(1995), Land Mosaics: The Ecology of Landscape Ecology and Regions, Cambridge: Cambridge University Press. Weaver.(1979),Territory

二、 本計畫已將部分研究結果整理,發表於國際研討會(Chan, Y.-H., Lin, S.-P., (2010/7), A new model for service improvement design, The 2010 International Conference

This project is the optical electro-mechanic integration design and manufacturing research of high magnifications miniaturized size zoom lens and novel active high accuracy laser

Florida, R.,2002, The Rise of the Creative Class and How It's Transforming Work, Leisure, Community and Everyday Life, Basic Books, New York. (Ed), Toward Scientific

Some efficient communication scheduling methods for the Block-Cyclic redistribution had been proposed which can help reduce the data transmission cost.. The previous work [9,

With the advancement in information technology and personal digital mobile device upgrade, RFID technology is also increasingly common use of the situation, but for

This paper formulates the above situation to the Multi-temperature Refrigerated Container Vehicle Routing Problem (MRCVRP), and proposes a two-stage heuristic which consists of