電子化學習環境下智慧型線上測驗系統架構之研究

行政院國家科學委員會專題研究計畫 成果報告

電子化學習環境下智慧型線上測驗系統架構之研究

計畫類別： 個別型計畫 計畫編號： NSC93-2416-H-004-013- 執行期間： 93 年 08 月 01 日至 94 年 07 月 31 日 執行單位： 國立政治大學資訊管理學系 計畫主持人： 楊亨利 計畫參與人員： 應鳴雄 報告類型： 精簡報告 處理方式： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中 華 民 國 94 年 9 月 26 日

行政院國家科學委員會補助專題研究計畫成果進度報告

※※※※※※※※※※※※※※※※※※※※※※※※

※ ※

※

電子化學習環境下智慧型線上測驗系統架構之研究

※

※ ※

※ ※

※※※※※※※※※※※※※※※※※※※※※※※※

計畫類別：個別型計畫

計畫編號：NSC 93-2416-H-004-013

執行期間：

93 年 8 月 1 日至 94 年 7 月 31 日

計畫主持人：楊亨利 教授

計畫參與人員：應鳴雄

成果報告類型：精簡報告

處理方式：二年後可公開查詢

執行單位：國立政治大學 資訊管理學系

中 華 民 國

94 年 8 月 1 日

行政院國家科學委員會專題研究計畫計畫成果報告

電子化學習環境下智慧型線上測驗系統架構之研究

計畫編號：NSC 93-2416-H-004-013

執行期限：93 年 8 月 1 日至 94 年 7 月 31 日

主持人：楊亨利 教授 國立政治大學 資訊管理學系

計畫參與人員：應鳴雄

一、中文摘要 線上測驗已成為電子化教育學習的重 要議題，少數系統雖可支援填充題及其他 非選擇題型測驗，但卻以非對即錯的二元 樣形比對進行評分，而影響測驗系統的評 分效力。目前系統缺乏提供教師設定個人 化評分風格及相似語意詞庫，對於多位教 師共用測驗系統平台環境時所產生的評分 規則認知衝突，系統並未提供支援與解 決，本研究使用模糊理論、相似語意詞庫 及人工智慧概念等，發展具備模糊評分機 制的線上測驗系統。此外，本研究結合不 同回饋類型，使測驗系統不再只是評量答 案對錯及計算總分而已，還能更進一步告 知受測者答案的原因，並提供該題目相關 的教材內容幫助學習。本研究經由實驗程 序發現，本系統的模糊機制的確能提高一 般線上測驗系統的評量效力。 關鍵詞：線上測驗、電子化學習、填充題、 模糊評分機制、回饋訊息 Abstract

The computer-based or online testing has been one of important topics of information education. Currently, most of on-line testing systems only had selection-type items (single or multiple answers). Though some systems provide short-answer items (completion-type items), they can only recognize the answers either all right or all wrong by simple computer binary pattern matching. In addition, they cannot provide customized grading and thesaurus semantic environments for teachers. In order to solve these problems and have the same evaluation effects as the traditional paper-and-pencil testing, this research has adopted the concepts of fuzzy

theory, thesaurus, set concept, and artificial intelligence to develop the fuzzy scoring mechanism. The proposed on-line testing system has true-false, multiple-choice, and fill-in-blank items. The latter will be graded through fuzzy judgment that is naturally endowed by the human teachers. In addition, the prototype system would not only grade the test items, but also explain the answers and provide related materials to the testers. Through experiments, we also proved that the prototype could have the same evaluation effects as the paper-and-pencil testing.

Key Words: Computer On-Line Testing, Fill-in-Blank Type Items, Fuzzy Scoring Mechanism, Feedback Message, E-Learning. 二、計畫緣由與目的 測驗是利用試題來評量學生成就的一 種工具，也是評量學習成果的有效方法。 傳統紙筆測驗，無論是出題、考試、閱卷、 成績計算等作業，皆由人工進行處理，而 受測者通常也被指定在同一時間及同一地 點進行考試。如此一來，不但測驗效率不 高，且人工作業出錯的機會亦相對較大。 此外，若受測者眾多，且分佈於不同的地 理位置，則受測時間勢必難以配合，所需 付出的成本亦相對增加(何榮桂,民 79;周文 正,民 87)。 近年來電腦輔助測驗(Computer-Based Testing, CBT)越來越被廣泛採用，其原因 在於能提高測驗效率、減少測驗時間、降 低測量誤差、提供多元豐富的試題呈現方 式、獲得測驗相關的其他資訊(何榮桂,民

88)。因此目前美國 GRE 測驗及托福考試 皆已採用電腦輔助測驗方式進行，考選部 也正積極規劃國家考試採行電腦化測驗作 業，並期望能達成考試技術的重大突破(考 試院,民 92; 周倩、簡榮宏,民 86)。

Mark(1997)及 Bennett et al.(1999)也認 為利用人工智慧使電腦自動判斷如何去測 驗及進行評量將對電腦測驗及網路測驗的 未來有明顯的影響。因此，近年來已有一 些研究結合了人工智慧及模糊理論等技 術 ， 以 期 望 測 驗 系 統 能 更 具 效 能 ， (Sun,1999;Moundridou,2003;Hwang,2003)。 美國心理學會(American Psychologi- cal Associate, APA)在 1986 年，發表了以電 腦為基礎的測驗在發展、使用以及解釋上 的指導原則，以使電腦測驗能夠與傳統紙 筆測驗具有同樣的效力(Bugbee,1996)。國 內一些研究者也指出，現今實施線上電腦 輔助測驗在教學活動中的確有其必要，而 且使用電腦進行測驗時，其測驗效果應該 與傳統紙筆測驗結果相同(何榮桂,民 89;簡 茂發,民 88)。 目前大部分的網路測驗系統，在設計 上往往受到傳統紙筆測驗觀念的影響，因 此考試題目的類型普遍仍以單選題、複選 題及文字測驗為主。雖然目前亦有少數系 統提供填充題及其他類型的測驗，但卻都 只能做到答案的樣式(Pattern)比對，而卻未 對答案語意進行分析比對；因此在現有提 供填充題型測驗的系統中，若作答者填答 之答案與題目設定之標準答案不同，系統 便判定為「答錯」；然而，這樣的電腦測驗 結果將會產生嚴重的評量效度問題，Tsai, et al.(2001)與 Han, et al.(1997)便指出電腦 測驗之評量也應該與傳統測驗評量有著相 同的評量效度，因此本研究針對此部分進 行測驗系統的改進研究。林明達(民 87)也 認為使用電腦批閱申論題及填充題的測驗 題型並不容易，其中填充題的答案常有不 同的寫法或有許多相同意義的詞彙，使得 無法明確的指定標準答案。以計算機概論 課程的填充題測驗為例，在傳統的紙筆測 驗環境中，當受測者填寫答案「RAM」與 題目的標準答案「隨機存取記憶體」在語 意上相似或同義時，批閱者(教師)通常會 根據受測者答案及標準答案間的語意相似 程度斟酌給分，並非以電腦二元邏輯的樣 形(Pattern)比對方式進行「非對即錯」的批 閱給分。由於上述原因，也造成目前提供 填充提及申論題等開放式題型的電腦測驗 系統，其評分結果與老師實際的評分結果 並不相等，因此測驗及評分效力因而受到 質疑。為了能實踐Bugbee(1996)所提出「電 腦測驗需能夠達到與傳統紙筆測驗具有同 樣的效力」的觀念要求，本研究除了發展 具備一般是非題、單選題、複選題的測驗 系統外，另外還包括填充題考題。在填充 題題型上，本研究並採用模糊函數、相似 語詞庫、集合、樣式比對、規則推論等觀 念及技術來使測驗系統能模擬與教師相同 的專業批閱能力。 此外，測驗的目的在於評量學生的學 習成效，而教學的目的則在使學生能有效 的獲取及吸收知識，因此若能將測驗及教 學目的相互結合，將是教育工作者必須努 力的方向。過去研究指出測驗的功能不僅 是評量學生學習成果，如果能在教學或測 驗過程中加入適當的訊息回饋，將有助於 學生在電腦環境中學習(Devedzic,2003)。本 研究針對模糊機制的各種情境，結合知識 結果回饋(KR)、正確回應知識回饋(KCR) 及詳盡式回饋(Elaborated Feedback)等三 種不同回饋類型(Dempsey et al.,1993)，適 時給予適當的回饋訊息。藉由這種方式， 將使得測驗系統不再只是評量答案對錯及 計算總分而已，而更進一步能在測驗評量 的同時，告知受測者為什麼他的答案是錯 的，並提供該題目相關的正確知識給予受 測者參考。 綜合而言，本研究的具體目的如下： (一) 探討各種不同的測驗題型在線上測驗 系統上進行施測時，影響具備傳統紙 筆測驗相同效力的因素為何，並探討 其解決方法。 (二) 除了線上測驗系統常見的是非、單 選、複選等認識型(Recognition-Type) 測驗題型外，進一步發展屬於建構型 回 應(Constructed-Response)類型的填 充題，以增加教師出題的彈性與多元 性，並測驗學生在認知領域的背誦及

思考能力。 (三) 利用模糊函數、相似語意詞庫、集合、 樣式比對、規則推論等觀念及技術， 設計一個智慧型的線上測驗系統，以 使其系統評分能與教師評分有相同的 效力。 (四) 發展多位教師可共享相似語詞庫的測 驗系統共用平台環境，並藉由模糊理 論技術整合系統中的所有教師專家評 分認知及共識，提供高品質的相似語 意詞庫及評分環境參數建議，降低教 師建立語意詞彙及環境參數的負擔， 並使系統提供之相似語意詞庫內容能 與大多數教師的認知相近。 (五) 提供教師系統內建評分風格及相似語 詞庫，但也容許個人化，以解決不同 教師對於相似詞彙認知差異的衝突問 題。 (六) 透過評分申訴機制，讓學生能協助擴 充系統現有之相似語意詞庫，使系統 能透過詞彙的擴充與修正，而增加測 驗評分效力。 (七) 為使測驗系統能協助受測者在測驗中 獲得知識學習的機會，將回饋理論應 用於智慧型模糊評分之各種情境，以 提供多元的訊息回饋，促進學習者進 行知識學習。 三、研究架構與系統建置 (一) 設計具有測驗效力的線上測驗系統 重要概念探討 本研究針對國內知名的線上測驗系 統，從功能、測驗內容領域、測驗題型方 面進行比較，並做為本研究系統發展之參 考。由表1 可知，大多數的線上測驗系統 都會提供選擇題的測驗題型，而少部分系 統則提供是非題及填充題等題型。值得注 意的是，這些支援填充題型的測驗系統， 僅能設計一個填充格題目，不能支援一個 以上格子的題目，本研究之系統則能支援 最多20 個格子的題目。此外，在答案的分 析辨識上，現有系統大多採用二元評量的 字元樣式比對，只有輸入的答案與標準答 案完全相同才判定為「答對」，如果標準 答案是「雙十節」，受測者輸入「國慶日」、 「雙十國慶」則都算「答錯」。在表1 中 只有「國中生活科技線上測驗系統」提供 了相似詞的答案分析功能，該系統允許老 師預先將可以接受的答案一併輸入在同一 個答案欄位中(所有答案間用半形逗號分 開)，例如老師在標準答案的欄位中輸入 「國慶日,雙十國慶,雙十節」，則當學生輸 入「國慶日」、「雙十國慶」或「雙十節」 時，則可判定為「答對」。但這些詞彙由 於未採用相似語意詞庫來設計，無法被其 他題目或試題重複採用，而且無法解決相 同語意答案之擴充、相似語意之智慧模糊 辨識等問題。本研究之系統則透過相似語 意詞庫，將特定知識領域中具有相似語意 的詞彙知識，建立到相似語意詞庫中，以 支援教師們在同一個測驗系統環境中使 用，並能讓不同的試題重複利用。而在回 饋部分，大多數的現有系統只針對測驗結 果給予成績結果的查詢，並未保留當初測 驗之電子試卷及回饋內容，本研究將針對 這些問題進行加強。此外，本研究之測驗 系統，尚提供其他測驗系統未提供之功 能，諸如線上申訴、相似語意詞彙管理、 同音異字管理、語意排除管理、教師個人 化評分風格設定管理、11 種回饋時機方 式、系統自動產生具有高品質及共識的相 似語意詞彙內容，以及同音異字、漏字、 相似語意、全半形、英文大小寫、集合順 序等智慧評分機制。 為了瞭解一般線上測驗與紙筆測驗間 的評量等化差異來源，本研究參考 K-bar 考試網及陽明國中官老師課程教學網之測 驗系統功能，發展一個一般性線上評分雛 形系統，此系統包括是非、單選、複選及 填充題等題型，而填充題的題目最多可包 含20 個填充格。此雛形系統如同一般測驗 系統，亦可線上編輯題庫及線上評分，但 填充題之評分方式則採用一般測驗系統之 二元邏輯評分方式進行(需與標準答案完 全相符才評量為「正確」)。雛形系統完成 後，本研究針對中部某技術學院資訊管理 科系修習電子商務課程之87 位學生，利用 平時學習評量時間先進行紙筆測驗，測驗 題型包括是非題、單選題、複選題及填充 題各5 題，當所有學生皆完成測驗後，教 師請每位同學連至線上之雛形測驗系統， 開啟完全相同題目之電子測驗卷，並將紙

筆測驗卷上所寫的答案，抄寫複製到線上 電子測驗卷中。經過事後教師對紙筆測驗 卷的評分及測驗系統的評分比較，發現學 生回答相同的答案在不同的測驗工具上卻 出現明顯的分數差異，而且線上測驗系統 之分數明顯低於紙筆測驗的分數，顯示出 目前的許多測驗系統可能與老師實際的評 分效力不同。經過進一步的分析比對，在 紙筆測驗及線上測驗兩種測量工具在是非 題、單選題、複選題之學生得分並無顯著 差異，而填充題部分之得分在紙筆測驗及 線上測驗上則有顯著的分數差異，經過每 一份試卷的分析比對，本研究發現填充題 型在線上測驗無法擁有紙筆測驗同樣的評 分效力，其主要形成的原因歸納如下： 1. 電腦環境：由於在中文電腦環境中，文 字有全半形及大小寫之分，因此電腦環 境造成的評量效力差異便可能形成。例 如答案是半形大寫的「B2B」，但學生 卻輸入小寫「b2b」、全形的「Ｂ２Ｂ」 答案，在線上測驗中則經常被誤評為「答 錯」。 2. 可替換之相似詞彙：由於答案可能有其 他相似語意字彙可替代，因此不同的學 生可能寫出其他與標準答案相似的詞彙 答案，例如標準答案為「B2B」，但學 生可能寫出「B to B」、「Business to Business」、「企業對企業」等相似詞 彙，教師在紙筆測驗中一般會判定為「答 對」，而線上測驗卻因為無法辨識語意 詞彙，而判定為「答錯」。 3. 填充格的集合順序：例如某一題目為 「電子商務中常見三種的經營模式分別 是_______、_______、_______。」此題 標準答案若為「B2B、B2C、C2C」，但 受測者填寫成「B2C、C2C、B2B」，在 紙筆測驗中教師知道本題答案屬於同一 集合，因此順序可互換，故會給予「答 對」的評分，而一般線上測驗因為只能 逐一比對，因此發現三格的內容均不相 同，故三格填充都會給予「答錯」的評 分。 4. 學生中文程度低落：隨著網路通訊環境 的發展，人們手寫書信的機會相對減 少，因而學生中文程度普遍下降。在紙 筆測驗環境中某些學生因為某個字不會 寫而有錯別字、同音異字或用注音取代 的情形。而在線上測驗環境中，學生可 透過輸入法選出原本不會寫的中文字， 但若因為疏忽而誤選了同音異字的錯 字，則二元邏輯判斷的測驗系統都會判 定為「答錯」，而沒有真實教師「斟酌」 給分的模糊機制。 5. 隨機性漏字疏忽：某些學生在測驗中因 為不經意的疏忽而漏寫部分答案，例如 答案是「企業經營模式」，學生卻漏填 了「模」字，而寫成「企業經營式」， 在紙筆測驗中，教師會考量學生的漏字 情形而斟酌給予部分分數，但線上測驗 系統則因答案未完全相同，因而評為「答 錯」。 本研究針對這些可能發生在傳統紙張 測驗的填充題問題進行研究，並將老師的 閱卷決策機制建立於系統中，以期線上測 驗能有相同於紙筆測驗時的效力。因此本 研究將發展一個具備題庫編輯、測驗、評 分、成績查詢、出題的智慧型線上測驗系 統，其題型可包含是非題、單擇題、複選 題及支援一個以上空格的填充題測驗題 型，不過本研究的重心則著重於填充題的 智慧評分處理機制及相似語意詞庫的模糊 推論。 (二) 系統架構 為了模擬真實的網路測驗環境，本研 究架設一個三層式主從遠距測驗系統，後 端資料庫伺服器採用 Microsoft 公司之 SQL Server 2000，用以執行觸發程序及存放 本系統之題庫、成績、語意、申訴記錄等 資料。Web 伺服器則使用 Windows 2000 作業系統中的 Internet Information Server 5.0 伺 服 器 軟 體 ， 以 執 行 伺 服 器 端 的 ASP(Active Server Pages)程式，並藉由 ASP 程式與資料庫進行連結，測驗系統主 要使用 ASP 程式語言來發展各項模組功 能。 本研究所規劃之智慧型線上測驗系統 架構如圖1 所示，各元件簡述如下： 1. 題庫編修介面：此介面提供試卷及題 庫發展者(教師)能於線上新增、修改、 刪除及查詢試卷及題庫內容。 2. 測驗題庫及答案資料庫：用以儲存測

驗系統的考題編號、語幹、選項、答案、 題目配分、題目類型、學生資料、考試 時間資料、班級資料等。 3. 出題模組：產生線上測驗試題內容及 試題順序，每位受測學生所回答之試題 內容都是相同的，但試題題號順序及答 案選項順序則由電腦亂數產生。 4. 知識擷取介面：提供增修知識庫內容 之介面，以持續擴充系統智慧，進而提 升線上評分能力，以使系統具有老師的 評分判斷特徵與能力。 5. 使用者介面：提供線上測驗、題目解 釋、成績查詢及答案申訴之介面。 6. 評分參數資料庫：存放教師個人化評 分參數及系統內建評分參數資料。 7. 模糊推論及系統內建資料運算器：模 糊推論運算器內含詞彙語意模糊歸屬 函數轉換公式及模糊規則，用以進行模 糊推論過程中的計算，並動態調整系統 內建之相似詞彙語意關係值及系統評 分環境參數值，以提供聚合教師共識的 系統內建資料。 8. 相似語意/同音異字資料庫：存放評分 機制所需要參考比較的相關資料，諸如 語意詞彙資料、詞彙間關係值、同音詞 庫、全半形對應資料等。 9. 測驗結果資料庫：存放學生的電子試 卷結果資料，包括參與考試的時間、機 器位置、考試歷程、填寫之答案、測驗 成績、各題回饋資訊等。 10. 申訴處理模組與申訴處理記錄：處理 並記錄學生對系統評分及答案質疑的 申訴工作。通常教師無法將每個答案的 相似語意詞彙全部都事先建立至系統 中，因此有可能發生受測者認為自己填 答的答案語意是正確的，但系統卻無法 辨識的狀況，此模組協助受測者進行申 訴。而教師可利用知識擷取介面來處理 學生的申訴，若某些相似語意詞彙確實 無法被系統正確辨識，教師可立即進行 語意詞彙擴充，以促使系統之評分效力 可不斷提升。 11. 智慧型線上評分機制：此機制包含各 種分析及計算填充題測驗分數之相關 模組，其中包括字元比對、語意分析、 集合順序分析、英文大小寫分析、文數 字全半形分析、同音異字分析、漏字分 析、訊息回饋等模組等，本研究將藉由 這些模組以提升線上測驗系統的評量 效力。 (三) 系統建置 1. 智慧型線上評分機制模組 智慧型線上評分機制為本研究之核 心，此機制包含各種分析及計算填充題測 驗分數之相關模組。每一個填充格的分數 S(ti)是由填答者答案之正確率歸屬函數 P(ti)與該填充格之配分 SI(ti)決定，即 S(ti)= P(ti)*SI(ti)。以下針對各模組功能設計依照 運作順序簡單描述(下文中之變數 ti是指測 驗題目編號，AS(ti)表示受測者所填答之答 案，AT(ti)表示標準答案)： (1) 字元比對模組：此模組將 AS(ti)與 AT(ti) 進行字元比對，當所有字元均完全吻 合，則受測者所填答案的正確率歸屬函 數P(ti)=1。 (2) 語意分析模組：此模組最主要在比較 AS(ti)與 AT(ti)詞彙間是否存語意關 係，若存在關係則語意關係相似係數 RS(ti)來決定正確率歸屬函數 P(ti)。 (3) 集合順序模組：用以比較 AS(ti)與 AT(ti) 詞彙間是否存在集合順序關係。例如某 填充題的題幹為「電子商務最主要的三 種經營模式是_____、_____、_____」， 假設使用者輸入次序為 B2C、C2C、 B2B，而測驗的標準答案次序為 B2B、 B2C、C2C，則本模組開始呼叫「集合 比對副程式 SCM()」以進行集合順序 分析，若填答者的答案存在於標準答案 集合中，則該填充格之正確率歸屬函數 P(ti)=1。 (4) 英文大小寫模組：此模組最主要在比較 AS(ti)與 AT(ti)詞彙間是否為英文大小 寫的關係，若此關係成立，則正確率歸 屬函數P(ti)=1。 (5) 文數字全半形模組：此模組最主要在比 較 AS(ti)與 AT(ti)詞彙間是否為文數字 全半形關係，若此關係成立，則正確率 歸屬函數P(ti)=1。 1 , RS(ti)=1 P(ti)= RS(ti) , 0<RS(ti)<1

(6) 同音異字模組：當 AS(ti)≠AT(ti)，且不 存在語意、大小寫及全半形關係，兩個 詞彙間只有1 個字不同時，此模組便會 啟動。此模組檢查唯一不同的字，是否 是受測者使用注音輸入法時，因選字錯 誤而造成同音異字情形。若 AS(ti)與 AT(ti)存在此種關係，則正確率歸屬函 數P(ti)=1-PW。文中的 PW 是系統預設 或是教師自訂的同音異字錯誤扣分比 例參數，若PW=0.3，則表示同音異字 需扣該題 30%的分數，因此正確率歸 屬函數P(ti)=0.7。 (7) 漏字模組：此模組用於 AS(ti)≠AT(ti)， 且不存在相似語意、大小寫及全半形關 係，而因為受測者填答的答案中少輸入 一 個 字 而 造 成 答 案 輸 入 遺 漏 的 狀 況 時。若 AS(ti)與 AT(ti)確實存在此種關 係，則需檢查由系統預設或教師依照自 己的教學原則及習慣自訂漏字扣分比 率參數 PL，以確認在此部分的評分規 則。當漏字比例低於 25%時，正確率 歸屬函數 P(ti)=1-PL。若系統之 PL 參 數設為0.6，表示漏字比例低於某一門 檻（如25%）時需扣該題 60%的分數， 因此正確率歸屬函數P(ti)=0.4。至於漏 字比例的門檻是否為 25%，教師可於 參數設定管理畫面中自行修改。 (8) 訊息回饋模組：此模組提供受測者正確 答案之回饋，有別於目前線上系統大多 僅使用KR 回饋（知識結果回饋）的方 式，本系統同時採用 KCR（正確知識 回應回饋）及KR 之回饋方式。因此， 本系統受測者完成測驗後，系統會根據 受測所填寫之答案內容，給予適當且具 有知識傳遞的知識回饋。本模組之回饋 包括成績結果、答案正確性、語意關 係、英文大小寫關係、文數字全半形關 係、同音異字關係、漏字關係等。 2. 智慧型評分機制運作流程 本系統智慧型評分機制，藉由上述系統 架構各模組之解釋，其運作流程可使用圖 2 表示之。 四、系統功能展示與說明 本系統主要區分為學生功能、教師及 管理者功能三部分，系統會依據登入者登 入帳號密碼，自動判別使用者身份，而給 予不同之系統功能。學生身份可使用之功 能包括：公告瀏覽、會員註冊、學生資料 維護、電子試卷調閱與成績查詢、查看公 告答案、參加線上考試、課程資源、課程 論壇討論。教師及管理者身份則除了學生 具有的一般功能外，另外還包含學生資料 管理、試題管理、智慧評分機制管理、成 績申訴管理、新增公告等功能。教師與管 理者功能大致相同，唯獨教師在評分參數 及相似語意詞庫設定的是個人化的參數內 容，管理者則是進行整體系統的參數及環 境設定。系統畫面之主功能可參考圖 3， 但由於篇幅限制，本文將僅針對智慧評分 機制功能進行詳細介紹，其餘功能僅簡單 敘 述 說 明 ， 讀 者 可 連 至 http://140.126.155.30/olt 網址參考。以下將 藉由教師使用情境及學生使用情境來進行 功能展示。 (一) 教師與管理者情境 此情境之操作方式及步驟說明如下: 1. 操作介面環境：本系統是以網路為基礎 所發展的智慧型線上測驗系統，教師與 管理者可在任何時間及地點，透過網際 網路及瀏覽器進行測驗系統資料之維 護，諸如維護試題、學生、成績、相似 語意詞庫、考題申訴等。。 2. 資訊公告：教師若要公告測驗相關事 宜，可透過此系統公告區張貼訊息。 3. 課程學習論壇：此功能主要是讓學生與 教師進行課程討論，學生對於各種課程 及測驗問題，均可在課程討論區內進行 互動討論。 4. 課程教材資源區：主要提供教師存放線 上課程教材，並提供學生經由帳號密碼 登入後，進行相關講義下載及課程學習。 5. 學生資料建立及維護：提供教師針對修 課學生進行資料修改及管理。 6. 試卷管理：教師可藉由管理功能之試題 製作編輯管理功能進行題庫製作編輯管 理、修改試題、考試時間、成績回饋時 機、試卷評分方式設定。 (1) 題庫製作編輯管理：本系統提供教師在 畫面上新增測驗，並給予這個新測驗一 個測驗名稱，隨後在此電子試卷上依照

畫面功能指示逐題逐題建立題幹、選 項、答案、配分、及回饋等資料。當教 師逐題新增試題時，每一題的題目編號 是由系統自動進行流水號累加，教師不 需特別輸入。當教師進入題庫製作編輯 管理之畫面後，教師可從畫面中之題型 下拉選單中，選擇欲編輯的測驗題型， 當教師選擇的題型改變時，畫面會依照 各種題型的特性出現不同的選項或文 字框物件供教師編撰。當教師輸入題目 後，僅需要輸入正確解答及配分即可完 成題目的編輯，如有特定回饋訊息亦可 一併輸入。而單選題及複選題的輸入方 式相當類似，當題目輸入完成後，需再 輸入若干備選項目內容，接著再輸入配 分及相關回饋。較為特殊的是填充題型 的編輯，由於填充題的評分需藉由智慧 機制處理，因此在編輯時需要設定較多 的內容。在填充題類型中，教師最多可 以在題幹內設計20 個空格，而題幹中 如果要表示填充題的格子，則需以連續 三個底線”_”表示，系統屆時會自動 在畫面上轉換成文字框物件供學生填 答。當老師輸入完填充題之題目後，則 需輸入每個格子的標準答案，並決定這 些填充題答案間是否屬於集合概念，其 順序是否彼此可對調。由於畫面的寬度 與大小限制，因此若是填充格子數超過 4 個，教師可透過超連結建立第 5 至第 20 個填充答案，最後再決定本題答案 是否開啟語意評分機制，最後再決定此 題是否開啟漏字模糊評分機制。如果本 題決定開啟語意模糊機制，則會出現語 意確認畫面，教師可以選擇其中任一個 答案設定該答案相關之語意，接下來系 統會進入語意資料庫中搜尋目前系統 已建立與該答案相關的語意內容，教師 可決定是否本題之答案要完全接受現 有的語意詞彙，或移除本題不接受的詞 彙。因此本系統除了能保有及建立整個 系統共用的語意詞彙關係網路之外，也 能設定單一題目可接受的專用語意詞 彙組合。當教師將一個測驗題目建立完 成後，如果教師還需要繼續進行下一題 的測驗題目建立，則只要在畫面上選擇 「建立下一題」之功能即可，若要完成 整份測驗卷的設計，只要在畫面上選擇 「結束題目建立」。 (2) 修改試題、考試時間、回饋時機及評分 方式：在修改試題及考試時間的畫面， 教師可以設定試卷開放考試的期間、考 試對象、答案與成績回饋公告時機及評 分使用之方法。如果是讓學生自我評量 的練習測驗，則老師可以設定測驗後立 即公告成績及答案，但如果是學習成就 的正式測驗，由於每位學生上網測驗時 間可能不同，最好能讓每位學生皆考試 完畢後在公告成績及答案，以防止先考 完之學生將答案及成績洩漏給其他尚 未考試的同學。;4 在畫面中上方的下 拉選單提供了11 種成績及答案公告回 饋的時間供選擇，回饋的時機根據理論 從立即回饋、延遲回饋及不給予回饋等 概念，依照時間區分為11 種。評分方 法選擇部分，則可由教師決定此份試卷 要使用系統預設或教師個人化設定之 評分參數，以及決定語意模糊評分時， 要使用系統內建或教師個人化所建立 的相似語意詞庫。除此之外，畫面中亦 可維護已建立題庫之題目、答案、配分 及回饋訊息，若是填充題型還可進行智 慧評分機制的設定，填充題若超過第4 格之答案維護，則可至此畫面每一題之 最右邊進行維護。 7. 成績查詢及管理：當學生完成教師所指 定的測驗後，教師可從學生成績管理功 能中查看學生回答的答案及系統自動評 分後的成績，若教師需要變更任何學生 的成績資料，亦可透過此功能進行。 8. 智慧評分機制管理：此部分可針對語意 詞彙、同音異字及智慧評分機制參數進 行管理。當教師初次管理智慧評分機制 參數時，畫面中會顯示目前系統預設之 參數值供教師參考，當教師點選「建立 個人化評分風格參數」按鈕後，則進入 評分環境參數設定畫面。在畫面中系統 會先將預設參數提供給教師參考，教師 也可直接選擇個人化的漏字比例門檻、 同音異字的扣分比例、漏字扣分比例； 若是教師建立或修改個人評分參數，則 系統會依據所有教師的平均設定值，重 新計算系統預設參數值，以確保系統能

提供合理且不至過份嚴苛或寬鬆的預設 評分參數。在語意詞彙管理畫面中，教 師可藉進行相似語意詞彙的新增與查 詢。當教師進行相似語意詞彙新增與查 詢後，系統會將教師尚未建立的相似詞 彙資料顯示在畫面下方，教師若同意使 用，可以直接進行整批匯入，此外，畫 面上方則可針對教師設定的個人化詞彙 語意相似值進行刪除及修改。一旦教師 在畫面中建立新的個人化詞彙語意相似 資料，或在畫面中匯入、修改或刪除個 人化詞彙語意相似資料，系統都將啟動 模糊推論機制，重新計算相關詞彙在系 統中的內建詞彙語意相似值，因此本系 統能隨時提供結合系統內教師共識的系 統預設語意相關值。同音異字管理則可 進行同音異字之中文字管理，本系統目 前已收納教育部所公告之全部常用中文 字於此資料庫中。 9. 學生成績申訴管理：當學生在查閱成績 時，若對系統評分結果有所質疑，學生 可直接在該題回饋的右邊直接提出線上 申訴，然後在申訴畫面中選擇欲申訴之 題目及撰寫申訴原因，此時系統會將此 申訴記錄儲存於資料庫中，並透過本系 統之自動發信元件發出 Email，以通知 教師處理。當教師進入系統後，如果有 申訴案件未處理完成，系統會在畫面左 上方以紅色文字提醒教師。當教師透過 申訴管理功能進行處理時，若是因為系 統專業語意詞彙不足，導致系統評分不 正確，教師可將新的詞彙擴充到系統 中，未來再遇到學生輸入相同的答案， 系統便能正確辨識及評分。此外，教師 亦可針對每個申訴案件進行處理狀態設 定，其狀態選項包括尚未處理、處理中、 處理完成、其他等四個狀態。當教師處 理完成後，申訴回覆內容將被儲存至資 料庫中，系統也將自動寄發 Email 告知 申訴人有關申訴的回覆內容及結果。 (二) 學生情境 此情境之操作方式及步驟說明如下： 1. 學生資料註冊及登入：學生初次使用系 統時，需進行個人資料的登錄與註冊， 當學生註冊資料獲得管理者認證後，便 可參與線上測驗。 2. 參與線上測驗：學生可在畫面上查看其 所屬班級目前是否有相關的課程測驗及 每一項考試科目的測驗日期及時間。若 有同學所屬班級必須參加的課程測驗， 同學在登入學生學號、姓名及密碼，選 擇欲參加考試的測驗名稱後，隨即開始 進行線上測驗。此時，畫面會顯示此試 題的所有題目，學生可以自由選擇答題 次序；此外，每份電子試卷皆會記錄學 生資料、考試時間及答題內容，當學生 答完題目後，畫面最下方會有繳卷鈕， 當學生按下後系統會請學生再次卻認識 否真的要繳卷，以避免學生為完成答題 便不小心送出試卷。當系統接收到學生 繳卷的答案後，將立即進行線上評分， 並立即在畫面上公告該學生之成績及答 錯的題目。 3. 課程學習論壇：學生可於論壇繳交作 業，並能與同儕及教師在論壇中進行雙 向互動的非同步課程討論。 4. 課程教材資源區：學生經由帳號密碼登 入後，可針對修課課程進行相關講義下 載及課程學習。 5. 電子試卷調閱與成績查詢：學生可於考 試後隨時調閱曾經參加過的測驗試卷， 並可查閱每一個題目的標準答案、自己 填寫的答案、成績結果及系統回饋等資 訊。但若該測驗尚未達到老師設定的成 績公告時間，則無法查看標準答案及成 績，但仍可看到自己曾經回答的題目及 答案內容。在調閱成績、答案及回饋之 的畫面中，電子試卷不僅只給予對與錯 的的回饋，還會針對模糊機制處理情 形，給予適當的說明回饋，其中包括為 何會被酌扣分數之原因、是否答案符合 同音異字、漏字、全半形、語意相似等 情形及此題相關的知識等。 6. 測驗申訴：當學生對系統評分結果有所 質疑時，可在系統中直接進行申訴。學 生只需要點選欲申訴之題目及描述該題 申訴的原因。例如，當學生認為「B to B」 與「企業對企業」是相同可接受的答案， 但系統卻無法辨識，則學生可透過申訴 功能進行申訴。當教師收到申訴訊息並 處理完成後，系統會自動通知該學生更

正後的成績及申訴處理情形，學生也可 以自己查詢申訴處理的結果。 五、結論與建議 本研究結合了模糊理論、相似語詞 庫、集合、人工智慧概念、測驗效力概念 及回饋理論，提出一個具有智慧型評分機 制的線上測驗系統架構，並實作一個線上 測驗系統。綜合而言，本研究之貢獻及未 來發展方向說明如下： (一) 研究貢獻 為使線上測驗系統能有效應用在一般 考試及各類國家考試中，本研究將藉由網 際網路特性及電腦運算能力，使線上測驗 系統能發揮最大效用，並能對國家考試發 展及全球的線上測驗技術有所貢獻，本研 究之貢獻歸納如下： 1. 藉由發展智慧型線上測驗系統，能有效 的對非選擇題之題目進行評分處理，並 藉由智慧評分機制的運作及知識擴充， 使得線上測驗系統能夠具備與該領域教 師相同的專業評分能力，進而協助政府 及教育單位逐步採用線上測驗技術應用 於各種國家考試、入學考試的領域。 2. 結合模糊邏輯、資料庫、人工智慧等技 術，提供高品質的系統內建相似語意詞 庫相似值及評分參數，以發展出具備專 家教師相同批閱效力的線上測驗系統。 過去使用模糊機制之測驗評量研究，主 要在探究原始成績、題目難度、學習程 度轉換為不同等級歸屬函數，並藉以發 展相關之智慧系統。然而，本研究觀察 到過去一般測驗系統在進行填充題題型 評分時，僅能評定出「答對」或「答錯」 的二元歸屬結果，而本研究則藉由模糊 觀念將評分結果擴充至更彈性的範圍， 評分之結果可能因為語意相似程度、同 音異字、漏字等因素，而產生介於0 至 1 間的答案正確程度歸屬函數值。因此 藉由模糊觀念的設計，本系統的確能如 同教師人工評分時，視學生答題內容的 正確程度或相似程度，「斟酌」給予分 數。 3. 教師可設定多種測驗回饋時機，並能同 時發展學生自我練習及學習評量等不同 測驗目的之測驗試卷。 4. 本研究透過模糊理論技術，使系統能隨 時依據系統內所有教師設定的個人化評 分參數及相似語意詞庫相似值，自動啟 動模糊推論運算，重新計算出符合多數 教師共識的系統預設評分參數及內建語 意詞庫相似值，並能提供教師直接匯入 至個人化評分環境參數資料庫及相似語 意詞庫，減少教師輸入資料的負擔。因 此本研究不僅能藉由教師個人化的設計 機制來保留教師個人評分風格及特性， 使電腦評分結果能與教師評分結果一 致。另一方面，系統也會根據系統內所 有老師們所建立的個人化評分參數及個 人化詞彙語意關係詞庫，結合模糊理論 來自動產生多人共用環境的系統預設評 分參數及詞彙語意關係詞庫。因此大多 數的系統參數或詞彙關係資料，教師可 以選擇使用系統預設的共用資料參數， 也能設定個人化的資料參數。 5. 提供不同教師在共同的測驗平台環境 中共享資源，又能擁有個人化的評分風 格與相似語意詞庫。因此，既使不同教 師在個人評分風格或個人化的相似語意 詞庫上有不同的認知衝突，但是每個教 師所設定的個人化資料並不會互相干 擾，每個教師只能選擇選用自己設定的 個人化資料或是系統內建資料兩種，因 此並無法得知其他教師的個人化設定資 料，所以也不會產生施測上的實際衝突。 (二) 研究限制與建議 由於能力、時間及開發環境上的因 素，使得本研究之系統發展仍有一些限 制，相關限制及改進建議之說明茲列如下： 1. 由於本系統主要在探究填充題型造成 的測驗效力問題，因此並未將支援多媒 體影音圖片的測驗題目建置於系統之 內，此外，對於不同檔案格式的試題間 批次匯入與轉換功能，本研究因考量研 究目的，並未納入本研究中，未來系統 可針對這些部分進行功能之擴充與研 究。 2. 本研究因著重於電子化學習環境的學 習過程測驗，並藉由測驗回饋來輔助學 習，與近年試題反應理論及電腦適性測 驗著重單一時間點的能力鑑定不同，未

來可再納入電腦適性測驗方法至測驗系 統中進行研究。 3. 教師雖然可能專精於某個課程領域，但 由於語意詞彙變化多元，管理者及教師 無法在系統運作初期便建立完成專業領 域中的所有相似語意詞彙。未來，除了 透過本研究之申訴機制外，也可以採用 機器學習技術來擴充相似語意詞庫之內 容。 4. 本研究主要以認知領域為教學目標的 智慧型線上測驗系統進行設計，因此僅 探討在認知領域中的測驗題型，對於情 意領域、技能領域的測驗則未進行探 討，未來研究可朝此方向進行探討。 5. 由於目前國內輸入法廠牌眾多，本系統 針對輸入法進行的模糊評分機制僅使用 「注音輸入法」進行探究，其他輸入法 造成的評分效力差異並未加以處理。未 來系統可擴充加入不同輸入法，並將各 種輸入法之編碼資料建置於系統中，將 可持續提升線上測驗系統的評分效力。 6. 本研究目前採用模糊理論技術，產生系 統內建之相似語意詞庫相似值，推論過 程結合系統內所有教師所設定的個人化 相似語意詞庫相似值，因此能聚合出高 共識且高品質的系統內建相似語意詞庫 相似值。而評分環境參數由於較不易產 生語意上及認知上的模糊，因此本研究 系統內建的評分環境參數，僅透過系統 內所有教師的個人化評分參數進行加總 平均而產生，未來在系統內建評分環境 參數值時，可嘗試採用模糊理論技術來 產生。 7. 本研究目前僅驗證智慧型評分機制的 評分效力，尚未針對測驗系統對於學習 成效的影響進行實證研究，未來可將此 項工作列入後續研究項目中。 六、計畫成果自評 （一）與以前研究比較之自評 本系統經過建置完成後，本研究將此 系統之諸多功能特性與先前測驗系統進行 比較，以期能凸顯本研究之成果。其比較 分析內容如下： 1. 支援建構型題型之多格填充測驗：目 前的測驗系統大多數都僅支援選擇反 應型的測驗類型題目，諸如是非題、 選擇題及複選題。縱使有少數系統提 供填充題測驗，但也僅能提供1 個格 子的測驗，且不具有智慧型的語意分 析機制，本系統每一題填充題最多可 建立20 個填充格。 2. 語意分析功能：本系統提供之填充題 測驗，具有語意評分之功能。每個填 充題的測驗題目，可共用系統已建立 的語意詞彙或使用個人化的相似語意 詞庫，此外，教師亦可針對特定試卷 中特定題目，自訂該題專用的語意字 彙；如果該題答案較為嚴謹，不接受 任何相關語意的答案，亦可透過功能 關閉該題的語意評分功能。因此本系 統的語意評分機制，提供整體系統共 用相似語意詞庫、教師個人化詞庫及 單一題目專用詞彙組合等三種不同的 語意分析層次。 3. 集合順序功能：由於現有測驗系統並 未特別針對多格填充答案間的集合順 序評分功能進行設計，本系統提供此 功能，使得測驗者可如同紙筆測驗 般，針對集合順序可互換的填充題目 進行填答，而不需擔心順序填錯系統 評分錯誤的問題。 4. 成績申訴管道及申訴處理即時通知： 當學生對系統評分結果提出質疑或認 為評分不合理時，本系統提供學生線 上立即申訴的功能，當系統收到申訴 案件時會立即透過本系統之電子郵件 自動發送元件立即將申訴案件透過 Email 告知出題教師處理，當教師完 成申訴處理案件後，系統也會立即將 申訴結果透過 Email 告知申訴人。此 外，申訴人在申訴期間也可於線上查 看申訴案件的處理狀態與進度。 5. 藉由申訴功能達成語意詞彙擴充：由 於系統很難將世界上所有詞彙的相似 語意全部建立至語意庫中，因此學生 若在申訴案件中認為系統評分時無法 辨識的語意而造成評分錯誤，教師則 可藉由此功能來改善評分效力，並不 斷擴充語意詞彙內容。 6. 電子試卷的保存：現有諸多測驗系統 通常僅將學生的測驗成績結果記錄下

來，並未將學生測驗的答題內容及測 驗歷程資訊保存下來，若遭遇到學生 對測驗結果的爭議，將產生查無當時 試卷答題內容的窘況，本系統透過電 子試卷的保存功能，允許教師及學生 調閱歷史測驗試卷資料。 7. 消弭透過電腦媒介輸入時的誤差：由 於某些測驗者在測驗過程中，不小心 按到全形功能或按到字母大寫功能， 造成評分錯誤，本系統則透過評分機 制的改進，消弭類似的評分誤差。 8. 中文輸入環境的誤差改善：大部分的 測驗在測驗學生的知識認知，但卻可 能因學生中文能力逐漸降低，而學生 卻透過輸入法選出原本不會寫的中文 字或因為中文程度而誤選了同音異字 的錯字，本系統可由老師自己設定「斟 酌」給分的模糊機制，使學生在使用 「注音輸入法」選到同音異字的錯 字，且不影響整個答案表現時，不致 於被評分為全錯。 9. 可接受之漏字評分功能：如同生活中 人們也會不經意的漏寫字一般，如果 漏寫的字本身不影響答案表現，則通 常老師亦會斟酌給分，因此本系統亦 將教師的此項特性加入於本系統中。 10. 成績公告時機：由於測驗有不同的實 施動機，有些測驗系統只提供學生自 我評量，學生測驗後便可獲得成績及 答案回饋。但有些系統則是採用延遲 回饋，測驗者必需於開放測驗時間截 止後，才可查詢成績。本系統提供11 種測驗成績及答案回饋的時機供教師 設定，回饋的時機根據理論從立即回 饋、延遲回饋至不給予回饋。此機制 也可避免先考完的學生知道分數及題 庫的答案後，洩漏給其他同學，而產 生測驗公平性的問題。 11. 教師個人評分特質參數設定：為使測 驗系統能具有與出題教師相同的評分 特質，因此本系統提供評分機制參數 供教師設定，教師可依照自己平時對 於漏字、同音異字及每個語意詞彙間 的關係認知，自行設定相關參數，以 期測驗系統能與教師的評分方式一 致，以增加線上測驗的測驗評量效力。 12. 重視線上測驗的測驗效力：國內外大 多數線上測驗系統被視為是一種網路 上的測量工具，但並未考慮提供的線 上測驗系統其測驗效力是否與紙筆測 驗等化。本研究則從測驗的基本目的 出發，並採用測驗效力觀點發展線上 測驗系統，使測驗系統能回歸到測驗 效力的本質。 13. 結合系統內所有教師共識，提供高品 質的系統評分參數及相似語意詞庫： 目前的測驗系統大多數未提供教師設 定教師個人化的評分風格參數，而且 也未使用模糊理論技術來分析與結合 系統內所有教師的共識，產生高品質 的系統內建評分參數及相似語意詞庫 相似值， 隨著系統內教師使用人數的 增加，系統的評分參數值及相似語意 詞庫相似值將更趨於穩定與合理。 （二）研究發表 本研究成果已改寫成三篇論文，分別 已被資訊管理學報、International Journal of Innovation and Learning 接受，並即將刊 出。另師大學報（科學教育類）則是修改 後接受

七、參考文獻（因篇幅限制，僅列出部分文獻）

【1】 Alderson, J.C., “Technology in Testing: The Present and Future,” Elsevier Science Document

System (28), 2000, pp: 593-603.

【2】 Bennett, M.G., Hessinger, J. Kahn, H., Ligget, J. Marshall, G., and Zack, J., “Using Multimedia in Large-Scale Computer-Based Testing Programs,” Computers in Human

Behavior (15), 1999, pp: 283-294.

【3】 Bugbee, A.C., “The Equivalence of Paper-and-Pencil and Computer-Based Testing,” Journal of Research on Computing in

Education (28:3), 1996, pp:282-299.

【4】 Dempsey, J.V., Driscoll, M.P., and Swindell, L.K., Text-Based Feedback. Interactive

Instruction and Feedback, New Jersey:

Educational Technology Publications Englewwood Cliffs, 1993.

【5】 Devedzic, V.B., “Key Issues in Next-Generation Web-Based Education,” IEEE Transactions On

Systemsm, Man, And Cybernetics-PART C: Applications And Reviews (33:3), 2003, pp:

339-349.

【6】 Han, T., Kolen, M., and Poglmann, J., “A Comparison Among IRT True-and Observed-Score Equatings and Traditional Equipercentile Equating,” Applied

105-121.

【7】 Hwang, G-J, “A Conceptual Map Model for Developing Intelligent Tutoring Systems,”

Computers & Education (40), 2003, pp:

217-235.

【8】 Jang, J. S. R., Sun, C, T., & Mizutani, E., Neuro-Fuzzy and

Soft Computing – A Computational Approach to Learning and Machine Intelligence, Upper Saddle River, New

Jersey: Prentice-Hall, 1997.

【9】 Mark, D.R., “The Next Generation of Computerized Tests: Implications for Testing of Advances in Multimedia, Intelligent Tutoring Systems, and Language Processing,”

AEDS Journal (19:2), 1997, pp: 81-108.

【10】 Moundridou, M. and Virvou, M., “Analysis and Design of a Web-Based Authoring Tool Generating Intelligent Tutoring Systems,”

Computer & Education, 40, 2003, pp:

157-181.

【11】 Sun, K. T., “An Effective Item Selection Method by Using AI Approaches,” The

Meeting of the Advanced in Intelligent Computing and Multimedia System,

Baden-Baden, Germany, 1999.

【12】 Tsai, T. H., Hanson, B.A., Kolen, M.J., and Forsyth, R.A., “A Comparison of Bootstrap Standard Errors of IRT Equating MeTHODS FOR THE Common-Item Nonequivalent Groups Design,” Applied Measurement in

Education (14:1), 2001, pp: 17-30.

【13】 Van der Linden, W. J., and Glas, C.A.W.,

Computerized Adaptive Testing: Theory and Practice, Dordrecht; Boston: Kluwer

Academic, 2000.

【14】 Van Gorp, M.J., and Boysen, P., ”ClassNet: Managing the virtual classroom,”

International Journal of Educational Telecommunications (3:2), 1997, pp:

279-292.

【15】 Wainer, H. and Dorans, N.J., Computerized

Adaptive Testing: A Primer, Mahwah, N.

J.:Lawrence Erlbaum Association, 2nd _ed.,

2000. 【16】 何榮桂，民 79，『電腦教學系統中的測驗設 計』，中等教育，第41 卷．第 2 期：29~34 頁。 【17】 何榮桂，民 88，『量身訂製的測驗－適性 測驗』，測驗與輔導，第157 期：3288~3293 頁。 【18】 何榮桂，民 89，『遠距測驗及相關問題之 探討』，2000 網路學習理論與實務研討會 論文集，國立交通大學主辦。 【19】 考試院，民 92 年 9 月 3 日，『考試院新聞 稿－國家考試將規劃實施電腦化測驗』， http://w3.moex.gov.tw/examnews/exnews_2 .asp?pgn=1。 【20】 林明達，民 87，全球資訊網線上測驗系統 之設計與製作，國立交通大學資訊科學研 究所未出版碩士論文。 【21】 周文正，民 87，『WWW 上電腦輔助測驗系 統之研製』，中華民國第七屆電腦輔助教學 研討會。 【22】 周倩、簡榮宏，民 86，『網路評量系統之發 展與研究』，遠距教育，第4 期：12~15 頁。 【23】 簡茂發，民 88，『多元化評量之理念與方 法-教學評量命題專業之能研習會』，飛揚 專刊，第2 期。 【24】 黃國禛，曾秋蓉，朱蕙君，蕭經武，民91，『智慧型 線上測驗系統題型之分析與改進』，科學教育學刊， 第10卷．第4期：423~439頁。 【25】 游寶達，民87，『ICL心智模式取向之智慧型電腦輔 助診斷學習系統之研究』，民國87 年度國科會『電 腦輔助學習』專題研究計畫。

表1 國內知名線上測驗系統功能比較表 網站名稱 功能 測驗內容領域 測驗類型 其他說明 e-School 電子校園 http://eschool.com.tw 線上測驗、考題製作、線 上評分、答案詳解、成績 排名、時間計時 兒童部、國中部、高中部、大 學、社會大學等各級教育多元 內容。 單選題、 複選題、 填充題 1.填充題無語意辨識能力 2.填充題僅可設計一個空 格的題目 長春藤線上測驗中心 http://www.ivytest.com.t w 線上測驗、線上考卷製 作、線上評分 大學、四技二專、高中、五專、 托福、高普考、證券業務、駕 照考試等試題測驗 單選題、複 選題 K-bar 考試網 http://www.k-bar.com.tw 線上測驗、線上考卷製 作、線上評分、時間計時 升學模擬測驗(大學及高中)、 語文能力測驗(中文、日文、 托福、GEPT 全民英檢)、高普 考、證照等 單選題、 複選題、 填充題 1.填充題無語意辨識能力 2.填充題僅可設計一個空 格的題目 狀元考試資訊網站 http://elec.taivs.tp.edu.tw/ kitty 線上測驗、線上考卷製 作、線上評分、記錄及評 估題目答題難易度、隨機 出題 四技二專、二技、技能檢定、 預官、高普考測驗 選擇題 線上測驗服務中心 http://www.onlinetest.org 線上測驗、線上評分、成 績查詢、時間計時、題目 支援圖形內容 學科能力測驗(國文、英文、 數學、社會、自然、歷史) 單選題、 複選題 國中生活科技線上測驗 系統 http://home.kghs.kh.edu.t w/olt 線上測驗、線上考卷製 作、線上評分、成績查 詢、時間計時、題目支援 圖形內容、試題轉換 國中生活科技領域 單選題、 是非題、 填充題 1.填充題僅可設計一個空 格的題目 2.填充題提供相似詞答案 處 理( 需 教 師 自 行 建 立，系統未支援語意詞 庫) 本研究之測驗系統 http://140.126.155.30/OLT 線上測驗、線上考卷製 作、線上模糊評分、電子 試卷作答內容保存、成績 查詢、線上申訴、相似語 意詞彙管理、同音異字管 理、語意排除管理、教師 個人化評分風格設定管 理、11 種回饋時機方式、 答案回饋…等 學 科 能 力 測 驗( 電 子 商 務 概 論、管理資訊系統、商用程式 語言、資料庫管理系統) 單選題、 複選題、 是非題、 填充題 . 填充題可設計 20 個空 格的題目 . 系統提供相似語意詞庫 辨識填充題答案語意 . 填充題提供同音異字、 漏字、相似語意、全半 形、英文大小寫、集合順 序等智慧評分分析 使 用者介面 ( 測 驗、 評 分解答、 答 案 申 訴 ) 知 識擷取介面 線上測驗受測者 ( 學生 ) 試卷及題庫發展者 ( 教師與管理者 ) 題庫 編修介面 測驗題庫及答_案資料庫 出題模組 相似語意/同音 異字資料庫 申訴 處理記錄 申訴 處理模組 測驗結果 資料庫 智慧型評分機制 z 字元比對模組 z 語意分析模組 z 集合順序模組 z 英文大小寫模組 z 全半形模組 z 同音異字模組 z 漏字模組 z 訊息回饋模組 評分參數 資料庫 模糊推論及系 統內建資料運 算器 圖1 具知識庫概念之線上測驗系統架構圖

圖3 主功能選單及試題編輯管理-是非題畫面 圖2 智慧型評分機制運作流程圖 智慧評分ISM(ti) 字元比對完 全相同? Yes No 字元相符 P(ti) =1 無關 語意相關？ 100%相關 部分相關 語意相符 P(ti) =1 語意相關 P(ti)= RS(ti) Yes No 大小寫相關 P(ti) =1 屬於大小寫 關係？ No Yes 屬於文數字 全半型關係? 全半型相關 P(ti) =1 No Yes 詞彙間字元 差異數? 標準答案與受測 者答案之詞彙不 等同 P(ti) = 0 屬於同音異 字關係? 差 1 個字 多於1 個 Yes No 同音異字相關 P(ti) = 1-PW 漏字比例 比例≦0.25 比例>0.25 屬於集合 題型? 讀取學生答案 AS(ti)及標 準答案 AT(ti) 集合比對副 程式 SCM() 漏字相關 P(ti) = 1-PL ★提供 4 種題型選單,當選擇之題型改 變,下方內容會依題型特性動態改變 ★ 提供教師設定該題專 屬之 KCR 回饋訊息