系統模組設計與建置

根據本研究發展的概念詮釋結構模式的計分法擴展之演算法則，建置 多元計分概念詮釋結構模式 (polytomous concept advanced interpretive structural modeling, 簡稱 PCAISM) 的網路服務系統分析模組，並作為本研 究實證資料分析之工具軟體，以下針對系統環境、模組建置架構及使用者 回饋調查進行說明。

壹、系統硬體及開發環境

本研究根據莊宗霖 (2008) 所開發的「認知診斷之測驗分析即時服務 系統」，並以該系統為主要平台，建置 PCAISM 分析模組，提供教師或相 關研究人員作為進行測驗資料分析之軟體工具。主要系統平台係以 Web Service 三層式 (3-tier) 分散架構進行系統建置規劃，就硬體環境而言，本 系統所使用之硬體設備為 IBM System X3200 Server 伺服器，而所安裝的 作業系統為 Microsoft Windows Server 2003 Standard Edition。

就軟體環境而言，所使用的網頁技術為 JSP (Java Server Pages)，主要 是由 Sun Microsystems 所建立的一種動態網頁技術標準。其以 Java 語言 作為指令碼語言，因此本系統安裝 Java SE (Java Platform Standard Edition ) 套件作為開發JSP程式之應用平台。基於此平台，應用程式開發套件所使 用的版本為 JDK (Java SE Development Kit ) 6.0；執行環境所使用的版本為 JRE (Java SE Runtime Environment) 6.0。

為了能夠呈現編譯後的 JSP 網頁於系統使用者所使用的網頁瀏覽器 上，本系統使用 Apache 軟體基金會 (Apache Software Foundation) 所開發 的 Tomcat 軟體，其主要功能為 Web 網頁伺服器並支援 JSP 網頁編譯，而 所使用的版本為 Apache Tomcat 5.5。

就開發工具而言，本研究以 Adobe Systems 所發展的 Dreamweaver CS3 作為 JSP 網頁應用程式的開發工具。此外，本研究進行系統滿意度線

上問卷之資料蒐集時，使用Microsoft Office Access 2003 資料庫程式。

貳、系統模組分析流程與測試 一、模組分析流程

欲使用PCAISM分析模組進行資料分析，必須先將測驗後所得到的受 試者作答反應資料與試題屬性矩陣資料建檔完成，以提供資料上傳時使 用。登入系統後，上傳兩份已建立完成的資料檔，由系統進行資料偵錯，

確定資料無誤後，即可進行PCAISM分析。經由系統分析運算後，首先呈 現每位受試者於各個測驗概念之精熟度列表，使用者可依其需求將精熟度 資料存檔。待使用者輸入 值並選擇受試者後，即可進行個人化概念階層 結構圖之繪製，圖形繪製結果呈現於網頁中。使用者確定分析結果完成 後，可依其需求將分析結果以可攜式文件格式 (Portable Document Format, PDF) 輸出，即可進行存檔或列印。PCAISM分析流程如圖3-3-1所示。

登入系統

資料是否 正確無誤 PCAISM 分析模組

分析檔案上傳 資料確認頁面

圖3-3-1 PCAISM 模組分析流程圖 登出系統

輸出PDF 檔案 概念精熟度矩陣

個人化概念階層結構圖 繪製結果

儲存為TXT 檔

繪製概念階層結構圖

設定值 選擇受試者

是否為最終 分析結果

儲存為CSV 檔

儲存個別圖檔 儲存所有圖檔

列印成紙本 儲存至本機 是

否

修改圖形尺寸 否

是

二、模組測試

本研究於分析模組建置完成後，進行系統測試工作階段，其主要目的 為檢視分析結果的正確性。本分析模組之背景理論為適用於多元計分資 料，因此，系統驗證方法為針對典型範例資料進行演算推導，並將其結果 與僅適用於二元計分資料，由 Lin et al. (2006) 所開發的 CAISM 單機版軟 體作比對，以檢測是否符合該軟體的分析結果，使得二元計分為本理論分 析方法的特例。

參、使用者回饋調查設計 一、系統使用對象

本研究所設計之PCAISM分析模組已建置完成，於建置初期，本系統 之使用者以現職教師、相關領域研究人員以及下列學術研習課程之參加人 員為主。而參與此學術研習課程的學員共有33位，其中包括27位國小現職 教師以及6位研究生，而本系統的背景理論簡介與相關操作說明皆收錄於 研習課程所提供的教材內容中，研究者並於現場實際進行系統分析流程說 明與操作演示。該學術研習活動相關資訊如下：

1. 活動名稱：國立臺中教育大學進修推廣部九十八年度專長增能學分班－

學習評量與認知診斷。

2. 主辦單位：臺中教育大學數學教育學系。

3. 時間：中華民國九十八年八月十七日至八月二十日。

4. 地點：國立臺中教育大學數學教育學系。

二、回饋調查設計

本系統分析模組開放提供給使用對象進行各項功能操作之後，研究者 同時針對系統連線品質、分析結果正確性與資訊服務穩定性等進行檢測。

約十二週後，開始進行使用者滿意度調查，以瞭解本系統是否符合使用者 需求以及影響使用者滿意度的各項因素。

為了在探討使用者於PCAISM分析模組的使用情況時，避免受到時

間、地點的限制，本研究以網頁呈現方式進行使用者滿意度線上問卷調 查。而問卷設計主要根據 DeLone and McLean (2003) 所提出之資訊系統成 功模式 (information systems success model)，參照該理論模式中的五項評估 指標進行問卷的編製，並結合李克特式 (Likert-type) 五點計分量表，以瞭 解使用者對於各項評估指標下每一個題目的滿意程度評定狀況，評估指標 包括：

1. 系統品質 (system quality)：主要是對於資訊系統本身之評估，例如系統 反應時間、操作或使用容易度、系統整合性、系統正確性、資料存取的 方便性等。

2. 資訊品質 (information quality)：主要是對於資訊系統輸出的評估，例如 輸出資料的正確性、完整性、適時性、可瞭解性、可靠性等。

3. 服務品質 (service quality)：主要是對於資訊人員服務品質之評估，例如 可靠性、反應性、保證性及態度等。

4. 使用系統效益 (net benefit)：主要是對於使用系統後，所產生的回饋及 績效的評估。

5. 系統使用與意願 (use)：主要是評估使用者對於資訊系統使用的情形，

例如使用持續時間、使用特性、使用程度、再度使用等。