智慧型多媒體學習內容管理系統之研製、應用與評估-智慧型個人化多媒體學習內容管理系統之研製(III)

(1)

行政院國家科學委員會專題研究計畫成果報告

智慧型個人化多媒體學習內容管理系統之研製(3/3)

計畫類別：整合型計畫

計畫編號： NSC94-2524-S-009-002-

執行期間： 94 年 05 月 01 日至 95 年 04 月 30 日

執行單位：國立交通大學資訊科學學系(所)

計畫主持人：曾憲雄

報告類型：完整報告

處理方式：本計畫可公開查詢

中華民國 95 年 7 月 28 日

(2)

行政院國家科學委員會專題研究計畫成果報告

智慧型個人化多媒體學習內容管理系統之研製

(3/3)

計畫編號：NSC 94-2524-S-009-002

計畫期程：民國九十二年五月至九十五年四月

計畫進度：民國九十四年五月至九十五年四月

主持人：曾憲雄教授國立交通大學資訊工程學系

一、中文摘要

隨著網際網路的盛行，網路學習的概念已被廣泛的接受。然而，各個系統所使用的不同格式教材，使的難以互相分享彼此間的教學資源，造成教材製作成本的提高。雖然國際組織所提出的SCORM, IMS, LOM等等標準可些微的解決教材在互操作性、再用性與分享性上之困難。但在本土化教材、個人化教學與課程、試題自動化上之定義仍嫌不足。另外，在個人化教學與課程、試題自動化上，目前所提出的網路學習系統亦無法呈現出完善的效能與成果，甚至有些系統根本就忽視此考量。因此，本計畫之目標在於發展一個智慧型個人

化內容管理系統(Intelligent Multimedia Content

Management System, IMCMS)，以根據學習者的 學習能力與評估後的學習成果來提供學習者適當的個人化標準學習教材。IMCMS 包含 6 個知識模 組，(1)知識表示(KR):使用 SCORM 標準、新提出的教學活動模型(IAM) 與物件導向活動模型 (OOLA)來表示與管理學習內容與活動，並進而規劃教材標示語言(TMML)標準、(2)知識資源(KRes): 儲存所有相關的學習資源於資源庫中、(3)知識管理(KO):有效管理大量的學習物件、(4)知識擷取 (KC): 提供教師有用的工具來製作 SCORM 與 OOLA 相容的課程與活動、(5)知識包裝(KP):智慧地根據學生的學習成效來傳送想要的學習內容、服務、與試題給學生做學習、及(6)知識探勘(KMin): 分析學習歷程資料以建構適性化學習課程與概念圖。而在本計劃之計畫執行期間，總共發表了6 篇期刊論文，其中有2 篇 SSCI 與 3 篇 SCI，以及 7 篇國際會議論文與7 篇中文會議論文。關鍵詞：網路學習、SCORM、編輯工具、學習物件資源庫、學習歷程、資料探勘。

Abstract

As internet usage becomes more popular over the world, e-learning system in the past ten years has been accepted globally. However, the different formats of teaching materials among e-learning systems result in difficulty of the sharing the resources and increasing the cost of creating teaching materials. Although the SCORM, IMS, LOM, etc. proposed by international organizations can overcome the issues of interoperability, reusing, and sharing, most existing

e-learning systems can not satisfy the personalized instruction, and course and exercise sequencing. Thus, the features of local culture, personalized teaching strategy, and automatic course and exercise sequencing are still required. Therefore, this subproject aims to develop an Intelligent Multimedia Content Management System (IMCMS) to provide personalized teaching materials for learners in accordance with their learning aptitudes and evaluation results of learning.

The architecture of ILCMS consists of six knowledge modules: 1) Knowledge Representation (KR), which uses SCORM standard, new proposed Instructional Activity Model (IAM), and OOLA Model to represent and manage the learning content and activity, and proposes Teaching Materials Markup Language (TMML), 2) Knowledge Resources (KRes), which stores all related learning resources in repositories, 3) Knowledge Organizer (KO), which efficiently manages a large number of learning resources in repositories, 4) Knowledge Capturer (KC), which provides teachers with useful tools to create the SCORM and OOLA compliant learning content and activity, 5) Knowledge Packager (KP), which intelligently delivers the desired learning contents, services, test sheet to learners according to her/his learning results and performance, and 6) Knowledge Miner (KMin), which analyzes the learning portfolio to construct the adaptive learning course and concepts map. During the progress of subproject, we have published 6 journal papers including 2 SSCI and 3 SCI papers, and 7 international conference papers and 7 Chinese ones. Keywords: E-Learning、SCORM、Authoring Tool、 Learning Object Repository (LOR) 、 Learning Portfolio、Data Mining。

(3)

二、計畫緣由與目的

隨著網際網路的興盛與普及，使的網路學習環境的設計與開發已廣泛的受到重視，而如何設計一個適性化的網路學習環境，更成為目前各國發展學習科技的重要前瞻議題。目前一些國際標準組織已開始著手規範網路教材文件的標準，以導入文件交換與共享的概念。目前著名國際組織與教材標準約

有：AICC[1]、IMS[2]、IEEE LOM [3]、ADL SCORM

[5]等等。而目前各國際標準中，SCORM (Sharable Content Object Reference Model)因集各家標準之所長，已成為最受國際廣泛支持與採用的數位學習標準規範，其目的在於提供可再用與分享的課程元件撰寫準則。然而，由於目前SCORM在個人化教學的部分仍存在許多問題，例如: 在本土化教材、個人化教學與課程、試題自動化上之定義仍嫌不足。另外，在個人化教學與課程、試題自動化上，目前所提出的網路學習系統亦無法呈現出完善的效能與成果，甚至有些系統根本就忽視此考量 [7][18][16]。因此，在總計劃中，我們以開放原始碼的精神與元件設計方式，來規劃並建置一套[智慧型多媒體學習內容管理系統]，其中包括子計畫 1：「智慧型個人化多媒體學習內容管理系統之研製」、子計畫2：「智慧型個人化題庫系統之建置與管理」與子計畫3：「行動學習載具上通用型多媒體學習內容存取播放機制之研發」等3 個子計劃。本計劃所研製之IMCMS 系統包含 6 個知識模 組，(1)知識表示(KR)、(2)知識資源(KRes)、(3)知識管理器(KO)、(4)知識擷取器(KC)、(5)知識包裝器(KP)、及(6)知識探勘器(KM)，以根據學習者的學習能力與評估後的學習成果來提供學習者適當的個人化標準學習教材。在IMCMS系統中，KRes包含Learning Activity, Learning Object, Test Item, Application Program,與 Learning Portfolio等 5 個學習資源，其利用SCORM 與OOLA模型來加以描述其資料型態。而KC模組包含學習內容編輯器(Learning Content Editor, LCE)

與物件導向學習活動編輯工具(Object Oriented

Learning Activity authoring tool) [54]。在LCE中，

為了重新使用現存之傳統教材，例如:HTML與

PowerPoint ，本計劃提出內容轉換機制 (Content Transformation Scheme, CTS) [60]來將傳統教材加以切割並轉換成符合SCORM標準的教材格式。而為了編輯符合SCORM 2004 的教材，亦利用高階派翠網路理論(High Level Petri Nets, HLPN)提出物件導向課程朔模(Object Oriented Course Modeling, OOCM) [50]方法來提供教師或編輯者來有效建構出具有符合自建學習活動規則的SCORM 2004 教材。此外，所發展之OOLA編輯工具亦可幫助教師編及符合自我教學策略的學習活動。而KO模組中應用叢集方法(Clustering)與負載平衡策略而提出ㄧ稱為階層式內容管理機制(Level-wise Content Management Scheme, LCMS) [51]的學習物件庫管 理方法來有效管理、搜尋與檢索儲存於資源庫中之學習物件。當學習者初始一個學習活動時，KP模組將從學習物件資源庫(LOR)、試題庫、應用程式庫、與學習活動庫中分別擷取適當的學習物件，試卷、應用程式與學習活動來提供給學習者作學習，這些學習元件將根據教師利用KC模組所編輯的學習策略來依據學習狀況來提供給學習者做學習使用。此外，KMin模組提供學習歷程探勘機制(Learning Portfolio Mining, LPM) [49]與兩階層式概念圖建 構演算法(Two-Phase Concept Map Construction, TP-CMC) [48]。前者可根據學習者的特性應用叢集 與決策樹技術來分析成績好的學生之學習行為，以建構適性化學習課程，而後者則利用模糊集理論與資料探勘方法依據學生的測驗資料來建構概念圖。因此，學習者學習完學習活動後，教師便可利用KMin來分析其學習歷程以進ㄧ步的精煉教師的教學策略與內容。

三、結果與討論

此章節將針對本計畫之內容與成果進行說明與介紹。 3.1 Knowledge Representation (KR)

3.1.1 教材標記語言(Teaching Material Markup Language, TMML) 在目前已制定出的各種標準規範中，SCORM 因集合各家標準之所長，而成為目前最受廣泛採用的標準，而其主要參照了IMS、LOM與AICC等標準之規範。因此，在 2001 年，由台灣國立交通大學曾憲雄教授所領導的研究團體，在國科會科教處的支持下，著手將SCORM加以延伸，發展成為更完善的兩層次教材標記語言(Teaching Materials Markup Language, TMML)[68]，此TMML V1.0 不 但承襲了SCORM的標籤與結構，並詳細規劃其學科之內容，本子計畫繼續架構在TMML V1.0 架構上，作其規範上之延伸與強化，目前規劃版本為 TMML V1.5，分為:學習內容層(Content Level):主 要定義與描述學習活動與相關學習物件。測驗層 (Quiz Level): 主要定義與描述與上層學習活動相 關之測驗試題。TMML基本架構如圖 1 所示，左邊為TMML V1.5 版之分層架構示意圖，目前TMML V1.5 所有延伸皆在Content Level，共有學科分類 (Category)與教育定義(Pedagogy)，將詳述如後，而右邊為相對應之學習活動與測驗評量架構，由圖可知，在TMML架構中，依然保留SCORM 2004 的學習活動(Activity Tree) 架構規劃與順序規則 (Sequencing Rule)定義，且因 2 層式之規劃，使的 QTI的試題架構除保有原有之定義外，亦可利用上層之順序規則來導引評量測驗活動。圖1：TMML 基本架構圖

3.1.2教學活動模型(Instructional activity Model, IAM)

如前所述，TMML採用SCORM為發展基礎，並

融入了Simple Sequence Specification (SSS) 與 Question & Test Interoperability (QTI)等規範。然而

(4)

在目前的SSS中，對於龐大的學習活動樹(Activity Tree, AT)存在著不易管理與重新使用的問題，且對於個人化的學習，如何應用教育理論(Pedagogical Theory)來提供更適性化的學習環境，也是本計畫中所關心的。因此，在本計畫中，我們運用教育理論與物件導向方法論(OOM)來分別將AT的結構加以延伸與模組化，使不同之AT彼此具有關聯性與教育理論之實體意義，可便於管理與重新使用，AT 模組化之概念可參考圖2所示。於是我們提出了教

學活動模型(Instructional Activity Model, IAM)，

此模型由許多具有互關聯性(Inter-relation)與特殊

屬性的小AT節點組成，因此藉由這些互關聯性與屬性，這些AT節點便可簡易的被管理、重組與整合，IAM架構之示意圖如圖3所示。此外，我們也提出AT Selection Algorithm來瀏覽IAM架構，以動態的產生學習內容(Learning Content)給使用者。 IAM具有延伸性與彈性，因此可以藉由延伸機制來應用教育理論以符合特殊的需要。圖2：AT 模組化之概念 圖3：IAM示意圖 因此，IAM 即為一學習活動或課程之圖形化表示，其包含一些 AT、包含先備知識(Prerequiste)與貢獻(Contribution) 之能力 (Capability) 、包含具有 mReqij的 eij 與 e’ij的關係邊(Relation Edge)，及一些評估函數(Measure Functions)，所以，它可以被

表示為IAM=(ATset, Cset, Eset, E'set)，此處：

z ATset = {AT1, AT2, …,ATn}. z Cset = {c1, c2,…,cn}.

z Eset 為所有 Prerequisite Edges 的集合，被表示為

Eset =

U

E

j, Ej =Ui(eij ,mReqij), eij∈ATj.

z E'set 為所有 Contribution Edges 的集合，被表示

為E'set =

U

E'

_j, E'j =Uje'jk, e'jk∈ATj.

圖4為AT Selection Algorithm之流程圖。

圖4: IAM 之學習處理流程 圖5：IAM 之例子 例子1：在圖5 中的 IAM 可表示為如下： IAM = ({AT1, AT2 AT3, AT4, AT5,}, {c1, c2, c3, c4, c5, c6, c7, c8, c9}, {(e11,0.8), (e22,0.7) , (e23,0.8), (e33,0.8) , (e44,0.8) , (e55,0.8) , (e65,0.6)}, {e'14, e'15, e'25, e'36, e'47, e'48, e'58, e'59}). Case1: 我們假設 AC={(c1, 0.82), (c2, 0.75) } 與 CO={c4, c7, c8}. 此處括號中的數值為 val(ci). 所有的PCLAT 結果已經表示在圖5中，在經過演算法中之While 迴圈後，其執行結果如表1所 示。於是，具有最高CF值的AT1 將會被傳遞給學習者進行學習。表1：AT1與AT2之相關結果 Case2: 我們假設 AC={ (c1, 0.82), (c2, 0.75), (c4, 0.75), (c5, 0.6), (c6,unknown) }, CO={c4, c7, c8}，與 Blocking AT={AT3, AT4, AT5}。則 AT 選取處理將

進入Remedy Course Process.

在Step 2.2.5 之前，因為 AT5 有一個 cm ∈ CO，因此AT5 被選取，而如果 SelectingPolicy 為“Easiest

First”，則具有(mReq(e55)－val(c5))最小值 0.2 的 c5 將被選取。接著，計算(mReq(e55)–grade(e'15))×w(e'15))

(5)

與(mReq(e25)–grade(e'25))×w(e'25))，我們可決定具有

值為0.26 的 AT2將被傳遞給學習者作學習。

此外，本子計畫所提出之IAM更融入了Gagne 的Learning Outcome[31] (包含Verbal Information、 Intellectual Skills、 Cognitive Strategies、 Motor Skills與Attitude等5種能力)、學習風格[32](包含 Visual、Auditory與Kinesthetic等3種)與Bassing的教材組織[30] (包含Logical、Psychological與Eclectic Organization等3種組織架構)等教育理論，以提供更人性化的學習內容給使用者作學習，其詳細的定義與內容可參考[52]。 3.1.3 物件導向式學習活動模型(OOLA Model) 為了克服目前學習標準(LD、SCORM)之複雜與不足之處，及提供教師ㄧ個簡易與可套用教學理論的學習活動規劃環境，並可重新使用既有之學習資源與分享彼此之教學經驗，因此，本計劃提出了 OOLA Model 架構，來達到上述之需求，此模型具有相當的彈性(Flexibility)，主要以一教學活動中，所應具有之學習目標與內容(Content)、學習工具與互動功能(Interaction)以及學習評量(Assessment)等 3 個基本元素為著眼點所規劃而出，其主要之定義如下: 定義1 (Definition 1):

Definition 1: OOLA 可表示為一圖形結構(Graph)， OOLA = (V, E)，此處

z V={N1, N2,…, Nn}. 代表ㄧ學習活動 (Learning Activity, LA)中之學習單元(Learning Unit)。 OOLA 中之各節點(Node)依照其節點特性可區分

為以下3 種型態：

(1) NLA:代表ㄧ符合 SCORM 標準或 IAM 模型之

一學習活動(Learning Activity, LA) 或課程單元 (Single Course)。

(2)NAP: 代表ㄧ可執行之應用程式 (Application

Program, AP)，例如:聊天室(Chat Room)、搜尋引擎(Searching Engine, SE)、等。

(3) NEA:代表ㄧ課程之學習測驗(Exam Activity,

EA)。

此外，每ㄧ節點具有學習時間(Learning Duration) 之屬性設定，此屬性可讓教師或教學設計者有效的規畫與控制學習活動之進行。

z E={e1, e2,.., en}. 此為一有向邊(Directed Edge)之

有限集合(Finite Set)。此有向邊集合中，某些邊具有條件屬性(Condition Attribute, α)可供設定學習活動導引規則(Rules)，以提供學習系統做學習活動之導引控制。目前在 OOLA 定義中，從 NEA至其他三種節點(NLA、 NAP、NEA)的邊集合皆具有條件屬性之設定，即： LA EAN N 、NEANAP、NEANEA。圖 6 為 OOLA 之架構示意圖(Diagram)，如圖中所示，NLA:將連結至所設定之 SCORM 相容之學習活動或單一課程，以提供學習者(Learner)進行特性課程之學習，NAP將連結至教師或教學設計者所設定之特定應用程式(AP)，因此，當所規劃之 OOLA 學習活動執行至某一NAP節點時，系統將執行先前所設定之應用程式，並提供給學習者使用。而執行至某一NEA節點時，系統將提供所規劃好之測驗試題給學習者進行學習測驗，而測驗後的學習成果將提供給系統依照所設定之評估機制，來決定下ㄧ個 OOLA 節點，如學習者所評估之學習成果不滿足教師所規劃之標準，使用者將可能進入補救教學 (Remedial Course)之課程，以補足其不足之概念知識。而在OOLA 的彈性架構中，3 種節點型態皆可任意組合，因此教師或教學設計者可依照其想法或教學理論來設計與規劃其想要之學習活動，以提供更妥善之適性化學規劃(Adaptive Learning Design)。

α NLA (Learning Activity) NAP (Application Program) NEA (Exam Activity) α α Rule Condition 圖6: OOLA 之示意圖 3.2 Knowledge Capturer (KC) 3.2.1 內容轉換機制 (Content Transformation Scheme, CTS) 為了使我們所延伸與修訂出的 TMML 教材標準能快速與方便提供給教師與學習者使用，因此我們發展了一教材標準化之轉換機制(CTS)來快速的轉換傳統教材成為符合 SCORM/TMML 的標準教材。其轉換流程之系統展示請參考圖7 所示。圖7:傳統教材標準化之轉換流程 而為了提供教師或使用者能快速與方便編輯出符合 TMML 格式的標準教材，因此我們在建制了一套符合本標準的線上教材編輯工具，其運作流程如圖8 所示。使用者只需要登入至此系統，即可使用此教材編輯工具，不需要個別安裝系統，具有極大的方便性。此外，此編輯工具亦可作為子計畫2 之試題編輯工具，提供快速編輯符合 TMML 標準化試題之介面。

(6)

圖8：線上標準教材編輯流程

3.2.2 Object Oriented Course Modeling (OOCM) 因在目前SCORM 2004 所提出的Sequencing & Navigation (SN)規範[6]中，具有複雜的規則與架構定義，所以要製作出符合SN規範的教材變的相當的困難，雖然有相關之編輯工具被提出與開發 [4][17][19]，但因無考量到SN規範之規則定義與結構特殊性，故依然難以使用。因此，本計劃運用物件導向的概念，提出了一系統化的方法，稱為物件導向課程塑模(Object Oriented Course Modeling, OOCM)機制。

The Scheme of OOCM:

圖9為OOCM的流程架構，包含以下4個處理： (1) OOAT Modeling with HLPN: 應用 HLPN 來分

析 SN 的規則定義與架構，將 SN 規範與架構

模組化成 5 基本的順序元件，稱為 Object

Oriented Activity Tree (OOAT)。每ㄧ OOAT 如同一中介軟體(Middleware)，代表在學習活動中

一個基本的課程架構並相對應於在 SCORM

中，一個具有相關順序規則的活動樹(AT)架構。 (2) Course Construction with OOAT: 使用這些

OOAT 可建構具有複雜順序規則的 SCORM 學習活動之HLPN 模型架構。 (3) PN2AT Process: 將 HLPN 的課程模型轉換成 符合 SCORM 標準架構且具有相關順序規則 (Rules)的活動樹架構。 (4) AT2CP Process: 將轉換後的 AT 架構與相關 的實體教材資料包裝成SCORM 的教材包裹檔

案(Content Package File)。

圖9: The Flowchart of Object Oriented Course

Modeling (OOCM)

The OOAT Modeling with High Level Petri Nets (HLPN):

每ㄧ個 OOAT 相當於 SCORM 2004 活動樹中的一個叢集(Cluster)，此為 SN 的基本順序規則定義

區塊，每ㄧ個cluster 皆有一個 Sequencing Definition

Model (SDM)來定義其相關之順序行為。在今年度

中，我們先就 SDM 的 10 的定義中的 6 個:(1)

Sequencing Control Modes、(2) Sequencing Rules、 (3) Rollup Rules、(4) Objectives、(5) Objective Map 與(6) Delivery Controls 作為考量，因為這 6 個規則

定義可規劃出SN 中大部分的順序型為導引。而利

用HLPN 裡論所提出的 OOAT 架構之定義如下：

Definition 2: The HLPN of Object-Oriented Activity Tree (OOAT) is a 6-tuple,

OOAT = (P, T, Σ, A, G, E), where

1. P = {p1, p2,…, pm} 為 Place 的有限集合。P 包含

5 種形式：PG為Global Objective、PL為Local

Objective 、 PM 為 Transition 間的連接器

(Connector)、PR 檢查是否 Transition 將執行

Rollup 處理、PW檢查是否 Transition 將定義

Global Objective (PG)。此外，Pin and Pout為一

PM，用來表示輸入與輸出的Place。PG與PL 包

含 Token，用來記錄在 Tracking Status Model

(TSM)中的狀態資訊。 2. T = {t1, t2,…, tn} 為 Transition 的有限集合 (P∩T=0). T 包含 4 種型態：TA 為一學習活動或一子 OOAT 元件、TM 為 OOAT 間的連接器(Connector)、TR 處理與它相關子結點的學習狀態之Rolls up 處理、TO 將根據它的 PL來設定PG。 3. Σ = <CTSM, CO> 為 Token 的非空有限顏色集合

(Color Set)。CTSM 為 SN 中之 Tracking Status Model (TSM)，其紀錄學習者的 Activity Progress Information、Attempt Progress Information 與 Objective Progress Information 資訊。 CO 為 ordinary color、為一不帶有資訊的 Token，用 來初使與驅動一學習處理。

4. A⊆(P×T)∪(T×P)為有向邊之有限集合。PT為

從Place 至 Transition、TP為從 T 至 Place。

5. G:為 Guard Function. Transition(t

∈

T)的 Firing

Rule G(t)定議程 SDM 中的 “if-else”格式。可產 生相對應的順序行為。其定義如下： z G(TA):定義 SDM 中的 Sequencing Rule 與根 據先前的學習活動來指出學習者是否可學習下ㄧ個活動課程。 z G(TR): 根據 SDM 中的 Rollup Rule 定義來控 制ㄧ活動的Rollup Process。 z G(TO): 根據 TA的PL來設定PG的學習狀態。

6. E: 為 Arc Expression Function. E(a), ∀a∈A, 為

多少與何種Token Colort 將從 Input Place 被移

除與加到Output Place。OOAT 中的 Expression

Functions 定義如表 2 所示。 而圖10 為 OOAT 之 HLPN 的基本示意圖。根據SN 規範，我們提出 5 個 OOAT 元件：1.Linear、 2.Choice、3.Condition、4.Loop 與 5.Exit 來塑模不 同的學習策略。圖11 為 5 個 OOAT 的基本架構與相對應的課程架構及相關的 Guard Funcation 定

義。表3 為其相關的 Sequencing Definition Model

(SDM)，包含 Sequencing Control Mode (SCM)用來

控制瀏覽行為、Objective 用來定義評估條件的需求

(7)

序的評估條件。此處，每ㄧ個 OOAT 的 Guard Function 皆可對應到 SDM 中的 Sequencing Rule。

表 2. The Arc Expression Function E(a) and its

Related Token Color.

Arc Expression Function Token

E(P_GT_A), E(PGTM) <CO+CTSM> E(T_AP_L ), E(T_RP_L ), ( P_LT_R ), E( P_MT_R ), E(TRPM ), E(TOPG ), E(P_LT_O), E(PLTA) <CTSM> E(T_AP_M), E(PMTA), E(TAPG), E(T_MP_G ), E(PMTM ), E(TMPM ), E(P_WT_O), E(P_RT_R) <CO>

圖10: The Diagram of HLPN of OOAT

表3. The Related SDM definition of OOAT.

圖11: The Five Sequencing Components of OOATs

Activity Tree Transformation Process:

我們亦提出PN2AT與AT2CP演算法來將利用 OOAT所規劃的HLPN課程轉換成SCORM的AT架構並將其相關之學習資源包裝成符合SCORM標準的課程。其演算法介紹如下: z PN2AT:轉換每ㄧ個非終端的Transition成為一 個具有相關順序定義的Cluster並彙整以建構ㄧ AT的架構。

z AT2CP Process: 將PN2AT轉換後的AT架構與 其相關的實體教材包裝成一符合SCORM標準的課程檔案並用XML做描述。

圖12為PN2AT與AT2CP的處理示意圖。

圖12: An Example of PN2AT and AT2CP Process

The Prototypical Framework of OOCM Authoring Tool:

圖13 為利用 OOCM 機制所發展的 OOCM 編輯

工具架構圖，其說明如下:

(1)

Learning Object Importer: 可匯入現存之學

習資源或使用者定義之學習元件至 Learning

Object Pool.

(2)

Course Sequencing Constructor: 提供使用者

利用從 OOAT 函式庫中插入 OOAT 的方式來

編輯具有複雜順序規則的SCORM 課程。

(3)

SCORM Content Package Transformer: 利用

PN2AT 與 AT2CP 演算法來轉換圖形表示的課

程架構成為SCORM 課程。

圖14 為此 OOCM 編輯工具的使用畫面。

(8)

圖14: The Screenshot of the OOCM Authoring Tool 3.2.3 OOLA 編輯工具(OOLA Authoring Tool)

OOLA 編輯工具主要提供學習活動、學習物件、應用程式與測驗試題等之上傳與編輯介面，以提供教師便利的學習活動規劃環境。因此，此系統包含有一學習活動編輯介面，可讓教師透過簡易的圖形使用者介面(GUI)編輯介面來編輯與規劃所想要提供給學習者學習的各項學習活動單元，之後，系統中之規則轉換器(Rule Transformer, RT)便會將所規劃之學習活動轉換成相對應之規則型式(Rules Format)並存入學習活動規則庫(Learning Activity Rule Base, LARB)中，以提供 OOLA 學習系統之學習導引時的推論依據。

學習活動規則之轉換:

利用OOLA所規劃之學習活動將會利用我們先前之研究中所提出之NORM(New Object oriented Rule Model)架構[33][34][35]來建立學習活動規則庫(Learning Activity Rule Base, LARB)，因此教師或教學設計者所規劃之OOLA架構需要被轉換成符合 NORM的規則架構。而NORM為一個以物件導向為基礎的規則庫(Rule Base)知識模型，也就是針對同一個問題領域或知識領域集合成一個規則類別 (Rule Class, RC)，整個規則庫由許多規則類別構成，相同的規則類別同樣存在著上述物件導向的特性。而當系統需要應用到某個問題領域或知識領域的規則集合(Rule Set)時，便形成規則物件(Rule Object)以繼承所要的規則類別，並動態連結系統資源針對規則物件做資源分配與推論等動作。轉換後之規則庫將可利用NORM的推論引擎DRAMA[35] 來進行推論，且所轉換之規則將以XML型態來儲存，此外，因其規則為if condition then action之格

式，其亦符合目前SCORM 中 Sequencing &

Navigation之規則架構，因此將可簡易與其結合。因此，本子計畫便提出一OOLA模型轉換成NORM

規則的演算法，稱為OOLA2NORM Algorithm

(OOLA Model to NORM Rule)。故利用此演算法，每ㄧ個利用OOLA編輯系統所提供之學習活動編輯工具所規劃好之OOLA模型架構將會被轉換成一個 NORM架構中的規則類別Rule Class (RC)，每ㄧ個規則類別將包含多個事實(Fact)與相關之規則集合 (Rule Set)，DRAMA將根據學習者在OOLA的學習狀態來進行推論，以推論出下ㄧ個最適合提供給學習者學習的課程、活動或測驗。圖15: OOLA 編輯工具與相關系統畫面

3.3 Knowledge Organizer (KO)

為了針對儲存有大量符合SCORM標準教材之學習物件資源庫(LOR)提供有效的管理機制，以提供使用者有效查詢(Searching)、檢索(Retrieving)與管理(Maintaining) LOR，在KO模組中，本計劃提出ㄧ Level-wise Content Management Scheme (LCMS)。 3.3.1 The Processes of LCMS

如圖16 所示，LCMS 機制分為 Constructing Phase

與Searching Phase。前者從 SCORM 的教材中利用

CP2CT 處理來建置 Content Tree(CT) 並利用 Clustering 技術來建構與管理一個如同 Directed Acyclic Graph (DAG)的 Multistage Graph 並儲存有有學習物件(Learning Object, LO)間的關係，稱為 Level-wise Content Clustering Graph (LCCG)。

後者可根據使用者查詢來利用我們所提出的 LCCG Content Searching Algorithm (LCCG-CSAlg)

來搜尋此LCCG 架構，以同時擷取具有ㄧ般概念與

細部概念的學習內容

Constructing Phase 包含以下 3 個處理步驟:

z Content Package to Content Tree (CP2CT) Process: 轉換 SCORM 的教材成為帶有代表性 特徵向量樹狀(Representative Feature Vector)的 Content Tree(CT)。

z Level-wise Content Clustering Process: it clusters LOs according to content trees (CTs) to establish the level-wise content clustering graph (LCCG) for creating the relationships among LOs . 依據 CT 來叢集 LO 以建立 level-wise content clustering graph (LCCG)，其可建構各 LO 間之關係。

z LCCG Maintaining Process: 監督 LCCG 中之

各節點的情況，如需要便進行重建LCCG 之處

理。

Searching Phase 包含以下處理:

z SCORM Metadata Searching:利用 SCORM 的 Metadata 來搜尋 LCCG 的主要進入點。 z Level-wise Content Searching: 從入口節點來

細部搜尋LCCG 的各個相關子點，以提供更精

確的LO 擷取。

圖16: The Flowchart of Level-wise Content Management Scheme (LCMS)

3.3.2 Content Package to Content Tree (CP2CT) Process

(9)

SCORM 教材將被轉換至所規劃的 CT 架構。其 CT 定義如下:

Definition 2: Content Tree = (N, E), where z N = { n0, n1,…, nm }.

z E = {

n

_i

n

_i₊₁ | 0≦i< 3 (the depth of CT) }.

在 CT 中，每一個節點稱為“Content Node

(CN)”，並包含一特徵向量(Feature Vector)

V

，其

定義此點之代表性特徵。 E 表示上層之節點 ni連

結至下層之節點 ni+1的邊。

我們應用向量空間模型(Vector Space Model, VSM) 方法[20][21]來表示CT中每一節點的特徵。於是，

利用 Term Frequency - Inverse Document

Frequency (TF-IDF) 權重機制(Weighting Scheme) [22][23][24][25][26]，每一個CN能被表示為一N 維 度向量<tf1×idf1, tf2×idf2,…, tfn×idfn>，此處tfi 為i-th

term (keyword)的字頻(Frequency)與idfi=log(n/df(t))

為文件中i-th term 的Inverse Document Frequency (IDF) (此處n 為文件總數與df(t) 為包含此term的 文件數)。因在CT中，具有固定深度，因此可方便作為階層式之分群處理。此方式將可建立LO間之關聯係。不過因為不同教材的CT具有不同的深度，因此在轉換中，太淺的CN節點將被建立一虛擬節點(Virtual Node, VN)來作為其下層之子節點，以構成相同深度之CT架構。而此虛擬節點之特徵向量將與其父節點相同。圖17展示CP2CT process的處理過程。

圖17: The Corresponding Content Tree (CT) of the Content Package (CP) by CP2CT process

3.3.3 Level-wise Content Clustering Process

在經過前述步驟之後，每一CT 將皆具有用來分群使用特徵向量，可用來建立不同教材間之關聯性。因此，我們針對CT 的各層來分別做分群處理。而經過階層式分群處理後之架構稱為LCCG，利用此LCCG，可快速的擷取所要的 LO 即與其相關連之LO 資訊。 LCCG 為一固定層數之樹狀架構，其具有單層節點之關聯性定義存在。其定義如下所示: Definition 3: LCCG = (N, E), where

z N={(CF0,CL0), (CF1,CL1),…, (CFm,CLm)}. 每一 節點儲存有 Cluster Feature (CF)與 Child List (CL)，稱為 LCC-Node. 其中，CL 儲存下一層 中其所包含之子 AsiG-Node 的 CF 值。 z E={

n

_i

n

_i₊₁ | 0≦i<3 (the depth of ASI-Graph)}.

上層之節點 ni連結至下層枝節點 ni+1的邊。

LCCG的深度與CT深度相同。每一層將管理其下層之分群結果資訊，例如:上層將儲存有下層之分群 結果，以作為搜尋、查詢之用。此外，此Cluster

Feature (CF) 將儲存一群集(Cluster)的相關資訊。

此CF 的方法與 Balance Iterative Reducing and

Clustering using Hierarchies (BIRCH) [27] clustering algorithm是相似的，其定義如下:

Definition 3: 一群集(Cluster)中之 Cluster Feature (CF) 被定為 Triple: CF=(N,

VS

, CS), where z N: 代表一群集中的 CN 的個數。 z

VS

=

∑

N₌ i 1

V

i

v

. 代表群集中所有 CN 特徵向量 (V )的合。 z CS=

|

∑

_iN₌₁

V

i

/

N

|

=

|

VS

/

N

|

v

. 代表群集中特徵向量合的平均。此| |符號代表特徵向量的 Euclidean distance。此 (

VS

/N) 值可視為一群 值之群中心(Cluster Center, CC) 。此外，在做分群處理時，如果有一具有特徵向量

V

的CN被插入一叢集CFA=(NA,

VS

A, CSA)中，故新的CFA=(NA +1,

VS

A

V

r

+

, |(

VS

A

V

r

+

)/(NA+1)| )。

3.3.4 Level-wise Content Clustering Algorithm (LCCAlg):

根據 LCCG-Graph 的定義，本計畫提出了

Level-wise Content Clustering Algorithm ，稱為 LCCAlg，用來建構 LCCG-Graph。此 LCCAlg 包含 3 步驟: 1) Single Level Clustering Phase、2) Content Cluster Refining Phase 與 3) Concept Generalizing

Phase。圖18 展示出此 LCCAlg 的流程架構圖。

圖18: The Flowchart of Level-wise Content Clustering Algorithm (LCCAlg)

(1) Single Level Clustering Phase:

此步驟中，CT的每一層之CN將可用不同的相似度標準(Similarity Threshold)來作分群處理。此分群處理將從最底層開始處理至最高層，例如:從Item Level至Assessment Level。而所有的分群結果將儲

存在LCCG 。此外，兩CN間的相似度評估準則

(Similarity Measure) 為文件分群 (Document Clustering) [28][29] 中利用最普遍的餘弦函數 (Cosine Function). 其意義為當有兩個CN, NA 與NB 時，此相似度評估準則可利用下式來作計算： B A B A B A V V V V V V Similarity = cosine( , ) = • ，此處 VA與 VB 是 NA與 NB 各自的特徵向量 (Feature vectors)。此數值越大則表示此兩向量越相似。例如：兩CN 非常相似，則此餘弦值將近似於 1。

(2) Content Cluster Refining Phase:

(10)

式來執行分群處理，故CN 的輸入順序將影響到分群結果。為了消除因輸入順序(Input Order)所引起的問題，所以需再執行一分群修飾處理步驟 (Content Cluster Refining Phase)。給予 SLCAlg 的 分群結果，Content Cluster Refining Phase 利用原始分群之群中心(Cluster Centers)當作輸入且再執行 SLCAlg 處理來修正原始分群的正確性，直到分群結果不再改變為止。此外，兩分群之相似度可利用下面Similarity Measure 公式來作計算: B A A A A A B A B A B A CS CS N VS N VS CC CC CC CC CC CC Cos Similarity * ) ( ) ( ) , ( = • = • = 再經過相似度計算之後，如果有兩分群必須合併成一個新的分群，則此新分群之新的CF 為： CFnew= (NA+NB, VS +A VS , |(B VS +A VS )/(NB A+NB)| ).

(3) Concept Generalizing Phase:

此概念簡化步驟是利用來確使在 LCCG 中，其 LCC-Node 中的 CN 所得到之特徵向量更具客觀與代表性。於是，我們提出一個Roll-up Operation，其利用其所包含之子節點(CN)所屬於之群中心來計算CN 的特徵向量。因此，根據所建構之架構並搭配所提出之搜尋演算法，便可提供使用者有效查詢(Searching)、檢索 (Retrieving)與管理(Maintaining) LOR。圖 19 為雛型系統之使用畫面。

圖19: The Screenshot of LCMS Prototypical System 3.4 Knowledge Packer (KP)

當學習者登入並開始進行學習時，IMCMS 中

的 KP 模組便負責從學習活動資源庫(LAP)中初始

一學習活動，並根據學習者的學習成果來提供適當

的學習內容與服務。因此，此KP 模組包含系統協

調器(System Coordinator, SC)與推論引擎(Inference Engine, IE)來負責協調與推論出使用者適合的學習內容、服務、與試題測驗。

3.4.1 規則推論處理

由於教育上需求，教師能使用利用視覺化的方式來編輯符合OOLA模型的學習活動。 OOLA唯一基於New Object oriented Rule Model (NORM) 架構[33][34][35]的規則表示模型，因此，OOLA在學習活動處理時便可利用NORM 的推論引擎 : DRAMA [35]來做推論處理。圖 20 說明符合OOLA 模型的學習活動在進行學習處理的過程中，系統協調器如何驅動推論引擎以進行適當的規則推論處理，藉此推論出下一個適合學習者進行學習的內容、服務與測驗。圖20: KP模組中之規則推論處理示意圖

3.5 Knowledge Miner (KMin)

KMin模組提供學習歷程探勘機制(Learning Portfolio Mining, LPM) [49]與兩階層式概念圖建構

演算法(Two-Phase Concept Map Construction,

TP-CMC) [48]析學習歷程資料以萃取學習者的學習樣本與迷失概念。

3.5.1 學習歷程探勘(Learning Portfolio Mining, LPM) 學習歷程資料包含許多學生在學習時所留下的有用資訊，許多研究[36][37][38][39][40]已指出學習歷程的分析可幫助教師了解學生學習成效優劣的成因。因此，本計劃提出4 階段的學習歷程探勘機制來有效分析學習歷程資料。圖21: LPM 流程架構 如圖21 所示，LPM 包含以下 4 階段:

1. User Model Definition Phase: 首先基於教育理 論來定義學習者資訊，例如:性別、學習風格、認知風格、學習經驗等個人資訊。

2. Learning Pattern Extraction Phase: 應用循序樣 本探勘(Sequential Pattern Mining)技術從學習序列 (Learning Sequence)中來擷取出 Maximal Frequent Learning Patterns。因此，原始的學習者學習序列便可被對應到一個位元向量(Bit Vector)，如果在學習系列中有包含截取出的學習樣板，則所對應的位元將設為1。藉由此位元向量，距離式的叢集方法便可被用來將具有相似學習行為且成績好的學生群集在一起。

3. Decision Tree Construction Phase: 經過學習樣 式粹取之後，被分群出來的各群體便會被標上識別

碼，接著便可用2/3 好學生的個人資料來建立決策

(11)

4. Activity Tree Generation Phase: 最後，每ㄧ個群 體所包含的相對應學習樣本，便如同有效的學習規則，可用來導引相似的學生進行適性化的學習，故便利用所提出的活動樹轉換演算法來轉換學習樣

本成為個人化的SCORM2004 學習活動樹架構。

User Model Definition Phase:

在進行學習特性的擷取之前，必須先定義使用者模型來表示個人學習資訊，此處利用教育理論來定義使用者模型如下:

Learner L= (ID, LC, LS), where

z ID: 學習者識別碼。

z LC = <c1c2…cn>: 學習者的學習特徵之序列。 z LS = <s1s2…sn>: 學習者的學習課程序列， si

學習課程項目.

所定義出來得學習特徵(LC)項目如表 4 所列， 其中，Learning Motivation、Cognitive Style、Learning Style與Social Status等資訊利用問卷方式來取得，而 Learning Style Indicator [43] 與 Group Embedded Figures Test (GEFT)[44]被分別利用來取得Kolb's Learning Style[45]以及認知風格的場獨立與場依賴 (Field Dependence/ Independence)特性。

表4:學習者之學習特徵

Learning Pattern Extraction Phase:

利用所定義之使用者模型所表示的學習歷程資料

範例如表5 所表示。而整個擷取頻繁學習樣式的處

理包含如圖22 所示之 3 個步驟。

表5: 10 位學生之學習歷程資料

圖22:Learning Pattern Extraction Phase (1)Sequential Pattern Mining Process

此步驟，我們修改一Sequential Pattern Mining 演算法(GSP) [46][47]來粹取Maximal Frequent Learning Pattern，以作為表示學習者的學習特性。圖 23 則為利用修改後的GSP演算法且最小支援門檻值α=6

時，針對表5 所處理的細部流程。經處理後的各個

Maximal Frequent Learning Pattern列於表 6。

圖23: 修正 GSP 演算法的探勘處理

α

= 6

表6:Maximal Frequent Learning Patterns

(2) Feature Transforming Process

利用Maximal Frequent Learning Patterns，原始的學

習者學習序列便可被對應到一個位元向量(Bit Vector)，如果在學習系列中有包含截取出的學習樣板，則所對應的位元將設為 1。例如: 表 6 中之 <BÆDÆEÆG>為第 2 學生<A, B, H, D, E, F, C, G, I, J>的子序列而<CÆD>並不是。故藉此轉換方式[41] 可得到每ㄧ學生的學習樣本位元向量資訊，如表7 所示。

表7: Feature Transforming Process 結果

(3) Learner Clustering Process

藉由上述之位元向量，距離式的叢集方法便可被用來將具有相似學習行為且成績好的學生群集在一起。本計劃中利用ISODATA [42]來動態的將不同學習樣式特徵的學生分成不同的群集。而每ㄧ群的群中心(Centroid)將被用來代表此群的學習樣式特徵，以便後續作為轉換個人化學習活動樹的依據，表8 秀出分群後的結果。表8:應用 ISODATA 後之分群結果

Decision Tree Construction Phase:

經過學習樣式粹取之後，被分群出來的各群體便

會被標上識別碼，接著便可用2/3 好學生的個人資

(12)

來做決策樹的測試。本計劃利用 ID3 演算法來建

立決策樹，結果如圖24 所顯示。

表9: 具有分群標籤的學習者資訊

圖24:利用表 9 學習者資訊所建立的決策樹

5.2 Activity Tree Generation Phase

最後，每ㄧ個群體的群中心，便如同有效的學習規則，可用來導引相似的學生進行適性化的學習，故利用決策樹來根據學習者的學習特性(LC)做分類，以提供新學習者個人化的導引課程。而本計劃亦提出活動樹轉換演算法(PATC Algorithm)來將每ㄧ群的群中心轉換成符合SCORM2004 具個人化導引規則的學習活動樹架構。 3.5.2 兩階層式概念圖建構機制(Two-Phase Concept Map Construction, TP-CMC):

概念圖為表示學習概念之先後備知識間的關係，利用概念圖可以做有效的適性化學習導引，然而ㄧ般的概念圖皆為事先定義好的架構，雖可作為系統的適性導引之用，但製作一個良好的概念圖卻需花費大量的時間與人力，因此，本計劃針對如何有效的建構出良好的概念圖而提出了兩階層式概念圖建構機制(TP-CMC)來分析學生的測驗試題資料，利用分析後的結果來進行概念圖的建構處理。 TP-CMC 建構流程如圖 25 所示，分為 2 階段，第一階段-成績關聯規則處理(Grade Association

Rule Process):分為 3 個步驟，(1)Grade Fuzzification: 利用模糊集理論來將數值格式的分數資料，轉換成符號格式，(2)Anomaly Diagnosis:應用常模參照測驗試題分析(Item Analysis for Norm-Referencing)來計算各試題的困難度及鑑別度，以剔除不適用的試題資料，(3)Fuzzy Data Mining:應用 Look Ahead Fuzzy Mining Association Rule algorithm(LFMAlg) 來進行試提資料的概念關係探勘。在 TP-CMC 中，利用如表 10 的試題-概念對應表來記錄試題與學習概念間的關係，例如:表中 5 個試題包含A, B, C, D 與 E 等 5 個概念，1 表示之間此試題與此概念之間有關聯存在，0 則沒有。因此，藉由可關係定義，在 TP-CMC 的第二階段-概

念圖建構處理(Concept Construction Process):將

依據我們針對實際學習與測驗結果間關係的實際觀察分析，針對在第 1 階段所萃取出的關聯規則 (L-L, L-H, H-H, H-L)做概念間的前後備知識作關係定義，而提出概念圖建構演算法，來利用萃取出的關聯規則做概念圖建構。表10: 試題–概念對應表 Historical Testing Records Database Grade

Fuzzification DiagnosisAnomaly Data MiningFuzzy

L-L Rule Type L-H Rule Type H-L Rule Type H-H Rule Type Educational Experts Phase 1:

Grade Association Rule Mining Process

Mined Association Rules

Concept Map Constructor

Phase 2: Concept Map Constructing Process

Test Item-Concept Mapping Database Concept Map Dicussion A C B E D 圖25: 兩階層式概念圖建構機制(TP-CMC) 而利用TP-CMC 所建構出來的概念圖(圖 26)，除可提供給教師做教學策略的參考之外，亦可作為系統自動學習導引的依據。圖26: 概念圖建構雛形系統畫面

四、計畫成果自評

針對智慧型多媒體內容管理系統相關的標準及工具等相關研究主題，總計畫共規劃了3 個子計畫來進行的分析與研究，包含：子計畫1：智慧型個 人化多媒體學習內容管理系統之研製、子計畫2：智慧型個人化題庫系統之建置與管理與子計畫3：行動學習載具上通用型多媒體學習內容存取播放機制之研發。各子計畫間皆互相關聯與支援，以有效整合各子計畫之研究成果。本子計畫1 針對前導計畫所提出之 2 層次架構教材標準，教材標示語言(Teaching Material Markup Language, TMML) ，發展出 SCORM/TMML 之標準教材轉換與 SCORM 2004 編輯工具，以提供教師與編輯者快速的編輯出符合 SCORM/TMML 的標準化教材。此 TMML 標準規範與教材轉換與編輯工具，便可提供給子計畫2 與子計畫 3 使用，進而達到建置標準示範模式之目的。並針對 SCORM 1.3 中，複雜之學習活動 (Learning Activity)難以管理之問題，提出教學活動模型(Instructional Activity Model, IAM)架構，以達

到學習活動之管理與再使用，亦提出OOLA 模型來有效整合課程、互動學習服務、及測驗以架構更適性化學習活動。針對SCORM 學習元件資源庫發展 LOR 管理機制，以有效的提供各子計畫快速檢索所欲使用之試題與教材資料。而所提出的學習歷程探勘(LPM)與兩階層式概念圖建構機制(TP-CMC)可分析學習歷程資料以建構適性化學習課程與概念圖，此分析結果將可提供給子計畫2 做適性化試題測驗診斷與子計畫3 做行動學習。因此，本子計畫之研究成果皆有效的提供給各子計畫進行研究與整合。 z 本子計畫主要之成果與貢獻如下： 1. 基於 SCORM，提出教學活動模型架構(IAM)與物件導向學習活動(OOLA)模型，以有效管理及

(13)

整合學習內容、服務與測驗，並有效規畫與延伸

教材標示語言 (Teaching Material Markup

Language, TMML) 2. 提出物件導向課程朔模(OOCM)機制與教材標準化轉換機制，以有效編輯出符合 SCORM 2004/TMML 之標準教材。 3. 針對 SCORM 學習元件資源庫，提出階層式內容管理機制(LCMS)，以有效搜尋與管理大量學習元件。 4. 針對學習歷程分析，提出學習歷程探勘(LPM)與兩階層式概念圖建構機制(TP-CMC)，來分析學習歷程資料以建構適性化學習課程與概念圖 z 研究內容與原計畫相符的程度、達成預期目標情況: 本計劃針對各項研究議題所完成的各項成果，皆為根據當初計畫提案的規劃進行，而成果也符合原始計畫規劃。 z 研究成果之學術或應用價值、是否適合在學術期刊發表或申請專利: 在本計畫執行期間，我們總共發表了6 篇期刊論文[43-48]，其中有 2 篇SSCI與 3 篇SCI，以及 7 篇國際會議論文[49-55]與 7 篇中文會議論文[56-62]，其中[56]為佳作論文、[57]為最佳論文，而[50]在 (Jul.-Sep. 2005)與(Jan.-Mar. 2006)期間，皆為此期刊下載率的排名第9。 (計畫網站：http://e-learning.nctu.edu.tw) 5、參考文獻

[1] Aviation Industry CBT Committee (AICC) 2004, AICC - Aviation Industry CBT Committee. http://www.aicc.org

[2] Instructional Management System (IMS) 2004, IMS Global Learning Consortium. http://www.imsproject.org/

[3] IEEE Learning Technology Standards Committee (LTSC) 2004, IEEE LTSC | WG12. http://ltsc.ieee.org/wg12/

[4] Reload Editor (Reload) 2004, Reload Project, http://www.reload.ac.uk

[5] Sharable Content Object Reference Model (SCORM) 2004, Advanced Distributed Learning. http://www.adlnet.org/

[6] Sequencing and Navigation (SN) 2004, ‘Sharable Content Object Reference Model (SCORM) Sequencing and Navigation (SN) Version 1.3’, Advanced Distributed Learning.

http://www.adlnet.org/index.cfm?fuseaction=DownFile&libi d=648&bc=false

[7] P. Brusilovsky and J. Vassileva. Course Sequencing Techniques for Large-Scale Web-based Education. Journal

of Engineering Education and Lifelong Learning, Vol. 13,

2003, pp. 75-94.

[8] K. Jensen, Coloured Petri Nets. Basic Concepts, Analysis

Methods and Practical Use. Monographs in Theoretical

Computer Science, Springer-Verlag, 1997.

[9] K. Jensen, An Introduction to the Theoretical Aspects of

Coloured Petri Nets. In: J.W. de Bakker, W.-P. de Roever, G.

Rozenberg (eds.): A Decade of Concurrency, Lecture Notes in Computer Science, vol. 803, Springer-Verlag, 1994, pp. 230-272.

[10] K. Jensen and G. Rozenberg, High-level Petri Nets. Theory

and Application. Springer-Verlag Publishers, 1991.

[11] J. Lee and L.F. Lai, A High-Level Petri Nets Based Approach to Verifying Task Structures. IEEE Transactions

on Knowldge and Data Engineering, Vol. 14, No. 2, 2002,

pp. 316-335.

[12] X. Li and W. Yu, Object Oriented Fuzzy Petri Net for Complex Knowledge System Modeling. Proceedings of the

2001 IEEE International Conference on Control Applications, 2001, pp. 476-481.

[13] F.H. Lin, Modeling Online Instruction Knowledge for Virtual Training Systems using Petri Nets. Proceedings of

IEEE Pacific Rim Conference on Communications,

Computers and Signal Processing, Victoria, B.C., Canada, Vol. 1, ISBN: 0-7803-7080-5, 2001, pp. 212-215.

[14] X.Q. Liu, et al, Knowledge Aggregation And Navigation High-Level Petri Nets-based in E-learning. Proceedings of

the First International Conference on Mache Learning and Cybernetics, Beijing, China, 2002, pp. 420-425.

[15] T. Murata, Petri Nets: Properties, Analysis and Applications”, Proceedings of the IEEE, Vol. 77, No. 4, 1989, pp. 541-580.

[16] L. Sheremetov and A.G. Arenas, EVA: An Interactive Web-based Collaborative Learning Environment. Computers

& Education, Vol. 39, Issue 2, 2002, pp. 161-182.

[17] Timothy K. Shih, J. C.S. Hung, W.C. Ko, W.C. Chang, and N. H. Lin, “COLLABORATIVE COURSEWARE AUTHORING BASED ON SCORM METADATA”,

Proceedings of the IEEE International Conference on Multimedia & Expo 2003 (ICME 2003), Taipei, Taiwan, July,

2003. Retrieved 4 September 2004 from

http://www.mine.tku.edu.tw/scorm/

[18] J. Vassileva and R. Deters, Dynamic Courseware Generation on The WWW. British Journal of Educational Technology, Vol. 29, Issue. 1, 1998, pp. 5-14.

[19] J.T. D. Yang, C.Y. Tsai, and T.H. Wu, “Visualized Online Simple Sequencing Authoring Tool for SCORM-compliant Content Package”, Proceedings of the 4th_{IEEE International}

Conference on Advanced Learning technologies (ICALT 2004), Finland, August, 2004.

[20] V.V. Raghavan, and S.K.M. Wong, “A Critical Analysis of Vector Space Model in Information Retrieval, “ Journal of

the American Soczety for Information Science, 37, 1986, pp.

279-287.

[21] D. R. Cutting, D. R. Karger, J. O. Predersen, J. W. Tukey, “Scatter/Gather: A Cluster-based Approach to Browsing Large Document Collections,” Proceedings of the Fifteenth

Interntional Conference on Research and Development in Information Retrieval, 1992, pp. 318-329.

[22] G. Salton and M.J. McGill, Introduction to Modern

Information Retrieval, New York: McGraw & Hill, 1983.

[23] H, Avancini, A, Lavelli, B, Magnini, F, Sebastiani, and R, Zanoli, “Expanding Domain-Specific Lexicons by Term Categorization,” Proceedings of ACM Symposium on

Applied Computing, 2003, pp. 793-797.

[24] F. Debole and F. Sebastiani, “Supervised Term Weighting for Automated Text Categorization,” Proceedings of ACM

Symposium on Applied Computing, 2003, pp. 784-788.

[25] C.Y. Wang, Y.C. Lei, P.C. Cheng, and S.S, Tseng, “A Level-wise Clustering Algorithm on Structured Documents, “Proceedings of NCS2003, Taiwan.

[26] Y.C. Lei, A Level-wise Clustering Algorithm on Structured Documents, Master Thesis, Department of Computer Information Science, National Chiao Tung University, Taiwan, 2003.

[27] T. Zhang, R. Ramakrishnan, and M. Livny., “BIRCH: An Efficient Data Clustering Method for Very Large Databases,” Proceedings of ACM-SIGMOD Int. Conf. Management of Data, 1996, pp. 103-114.

[28] F. Sebastiani, “Machine Learning in Automated Text Categorization,” ACM Computing Surveys, Vol. 34, No. 1, 2002, pp. 1-47.

[29] W.C. Wong and A. Fu, “Incremental Document Clustering for Web Page Classification,” Proceedings of IEEE Int. Conf.

on Info. Society in the 21st century: emerging technologies and new challenges (IS2000), 2000.

[30] Nelson L. Bassing, Teaching in Secondary Schools, Boston: Houghton Mifflin Company, pp. 51-55. 1963.

[31] R.M. Gagne, “Learning Outcomes and Their Effects,” American Psychologist, No.4, 1984.

[32] R. Sternberg and E. Grigorenko, Styles of Thinking in the

(14)

[33] C.J. Tsai, and S.S. Tseng, “Building A CAL expert system based upon two-phase knowledge acquisition,“ Expert

Systems with Applications 22, 2002, pp. 235-248.

[34] C.J. Tsai, S.S. Tseng, and Y.C. Wu, “A New Architecture of Object-Oriented Rule Base Management System,” Proceeding of

Tools Asia’99, Nanjing, China, 1999.

[35] Y.T. Lin, S.S. Tseng, and C.F. Tsai, “Design and implementation of new object-oriented rule base management system,“ Expert Systems with Applications, Vol. 25, 2003, pp. 369-385.

[36] S. Beekhoven, U.D. Jong, and H.V. Hout, “Different Course, Different Students, Same Results? An Examination of Differences in Study Progress of Students in Different Courses,” Higher Education, Vol. 46, 2003, pp. 37-59.

[37] U. Fayyad, “Data Mining and Knowledge Discovery in Database: Implications for Scientific Databases,”

Proceedings of Ninth International Conference on Scientific and Statistical Database Management, 1997, pp. 2-11.

[38] D.A. Kolb, “Learning Style Inventory: Technical Manual”, Boston, Mass: McBer originally published in 1976, 1985.

[39] K. Smith and H. Tillema, “Evaluating Portfolio Use As A Learning Tool For Professionals,” Scandinavian Journal research, Vol. 42, No. 2, 1998, pp.193-205.

[40] F.H. Wang and H.M. Shao, “Effective Personalized Recommendation Based on Time-Framed Navigation Clustering and Association Mining,” Expert Systems with Applications, Vol. 27, 2004, pp. 365–377.

[41] V. Guralnik and G. Karypis, “A scalable algorithm for clustering sequential data,” Paper presented at the 2001

IEEE International Conference on Data Mining, November

29 - December 2, 2001, San Jose, California, USA.

[42] D.J. Hall and G.B. Ball, “ISODATA: a novel method of data analysis and pattern classification. Technical report,

Stanford Research Institute, Menlo Park, CA, USA, 1965.

[43] LSI (2004). Kolb's learning styles: Learning Style Indicator

(LSI), retrieved September 22, 2005 from

http://chat.carleton.ca/~tblouin/Kolb's%20Leaning%20Style s%20Model/kolbs%20test.htm.

[44] H.A. Witkin, P.T. Oltman, E. Raskin, and S.A. Karp, A

manual for the group embedded figures test, Palo Alto:

Consulting Psychologists Press, 1971.

[45] D.A. Kolb, “Learning Style Inventory: Technical Manual”, Boston, Mass: McBer originally published in 1976, 1985.

[46] R. Aggrawal and R. Srikant, “Mining Sequential Patterns,”

Paper presented at the 11th International Conference on Data Engineering (ICDE), March 6-10, 1995, Taipei,

Taiwan.

[47] R. Srikant and R. Aggrawal, ”Mining Sequential Patterns: generalizations and performance improvements,” Paper

presented at the Fifth International Conference on Extending Database Technology, March 25-29, 1996,

Avignon, France.

[48] S.S. Tseng, P.C. Sue, J.M. Su, J.F. Weng, and W.N. Tsai, “A New Approach for Constructing the Concept Map,“ to appear in Journal of Computers & Education. (Article In Press) (SSCI, SCI, EI)

[49] J.M. Su, S.S. Tseng, W. Wang, J.F. Weng, J.T.D. Yang, and W.N. Tsai, "Learning Portfolio Analysis and Mining for SCORM Compliant Environment, " Journal of Educational

Technology & Society (ETS), Vol. 9, Issue 1, 2006, pp.

262-275. (SSCI)

[50] J.M. Su, S.S. Tseng, C.Y. Chen, J.F. Weng, and W.N. Tsai, "Constructing SCORM Compliant Course Based on High Level Petri Nets, " International Journal Computer

Standards & Interfaces, Vol. 28, Issue 3, 2006, pp. 336-355.

(SCI)

[51] J.M. Su, S.S. Tseng, C.Y. Wang, Y.C. Lei, Y.C. Sung, and W.N. Tsai, "A Content Management Scheme in SCORM Compliant Learning Object Repository," Journal of

Information Science and Engineering (JISE), Vol. 21, No. 5,

September, 2005, pp. 1053-1075. (SCI)

[52] J.M. Su, S.S. Tseng, C.T. Chen, and W.N. Tsai, "Adaptive Learning Environment for Pedagogical Needs," Journal of

Information Science and Engineering (JISE), Vol. 20, No. 6,

November, 2004, pp.1057-1077. (SCI)

[53] J.M. Su, J.H Chen, Wei Wang, J,Y Chen, P.C. Sue, S. S.

Tseng, and W.N. Tsai, “Design and Implementation of

SCORM Compliant Intelligent Learning System,” Global

Chinese Journal for Computers in Education (GCJCE), Vol.

2, No. 1, 2004, pp. 45-58.

[54] H.Y. Lin, S.S. Tseng, J.M. Su, and J.F. Weng, “Design and Implementation of an Object Oriented Learning Activity System", accepted by the 10th World Multi-Conference on Systemics, Cybernetics and Informatics (WMSCI) 2006, Orlando, Florida, USA, July, 2006.

[55] C.C. Chen, S.S. Tseng, and J.M. Su, " An Adaptive Content Delivery Mechanism for Multiple Mobile Devices, " The

International Conference on SCORM 2004, Taipei, Taiwan,

January, 2006, pp. 56-66.

[56] J.M. Su, S.S. Tseng, J.F. Weng, K.T. Chen, Y.L. Liu, and Y.T. Tsai, "An Object based Authoring Tool for Creating SCORM Compliant Course, " Proc. of the IEEE 19th

International Conference on Advanced Information Networking and Applications (AINA 2005), Taipei, Taiwan,

March, 2005, pp. 209-214.

[57] J.M. Su, S.S. Tseng, C.Y. Chen, and J.F. Weng, "Constructing SCORM Compliant Course Based on High Level Petri Nets, " the IADIS International Conference of

Cognition and Exploratory Learning in Digital Age (CELDA 2004), Lisbon, Portugal, 2004, pp. 204-215.

[58] P.C. Sue, J.F. Weng, J.M. Su, and Shian-Shyong Tseng, “A New Approach for Constructing the Concept Map”, Proc. of

the 4th IEEE International Conference on Advanced Learning Technologies (ICALT 2004), Joensuu, Finland,

Aug, 2004, pp. 76-80.

[59] W. Wang, J.F. Weng, J.M. Su, and S.S. Tseng, " Learning Portfolio Analysis and Mining in SCORM Compliant Environment”, the 34th Frontiers in Education Conference (FIE 2004), October, 2004.

[60] J.M. Su, S.S Tseng, C.H. Chen, Y.C. Sung, T.H. Su, and W.N. Tsai (2003), “A Study of Standardization of Traditional Teaching Materials,” Proc. of ICEE2003, International Conference on Engineering Education, Valencia, Spain, July 2003.

[61] C.T. Chen, J.M. Su, S.S. Tseng, H.Y. Lin, C.Z. Chen, and Y.L. Liu, "Adaptive Learning Environment for Pedagogical Needs," NCS 2003, Taichung, Taiwan, pp. 95-104, December, 2003. (佳作)

[62] J.M. Su, J.H Chen, Wei Wang, J,Y Chen, P.C. Sue, S. S. Tseng, W.N. Tsai, “A Study of the Intelligent Learning System with SCORM standard in E-Learning,” Proc. of

GCCCE2003, Nanjing, China, December, 2003. (Best Paper Award)

[63] J.M. Su, S.S. Tseng, T.H. Su, and W.N. Tsai , “A Study of Standardization of Teaching Materials in E-Learning, “ Proc.

of the 2003 Workshop on Web Instruction System & Content Standardization (WISCS), April 18, 2003, pp. 83-90.

[64] C.C. Yang, J.M. Su, S.S.Tseng, and W.N. Tsai, “A Study of Expert System of Chinese Poetry-Tsu－An Example of Modern Style Poetry, “ Proc. of ICCAI 2003 (國際電腦輔助教學研討會), Taipei, Taiwan, May, 2003.

[65] S.C. Siao, J.M. Su, S.S.Tseng, F.C Lo, and W.N. Tsai, “A Study of Expert System of Chinese Poetry and Knowledge Base, ” Proc. of ICCAI 2003 (國際電腦輔助教學研討會),,

Taipei, Taiwan, May, 2003.

[66] 王迺仁,曾憲雄,楊哲青,蘇俊銘, "絕句詩格律診斷專家系

統," accpeted by the 10th Conference of Artificial

Intelligence and Applications (第十屆人工智慧研討會),

高雄, December, 2005.

[67] C.C. Yang, J.M. Su, and S.S.Tseng, “詩作風格知識庫之研究－以蘇軾近體詩為例, “ Proc. of 文學與資訊科技國際會議 2003, 中壢, Taiwan, Dec., 2003.

[68] 總計畫:網路教學平台與內容標準化, 子計畫三:通用型教

材內容標準之規劃 , NSC91-2520-S-009-005 (91.5.1-92.04.30）