輔助線上測驗系統自動產製測驗題庫：
以本體論及
Bloom 分類理論為基礎
1楊亨利
教授，國立政治大學資訊管理學系
聯絡地址：台北市指南路二段
64 號
電話：2928-7651
Email: [email protected]
Heng-Li Yang
Professor, National Cheng-Chi University
應鳴雄
博士班研究生，國立政治大學資訊管理學系
Email: [email protected]
Ming-Hsiung Ying
PhD Student, National Cheng-Chi University
輔助線上測驗系統自動產製測驗題庫：
以本體論及
Bloom 分類理論為基礎
中文摘要
隨著網際網路及電子化學習的快速發展，線上學習及線上測驗的議題已成為 資訊教育的重要議題。在強調「自我學習」的線上學習環境中，學習者是否達到 線上學習系統所設定的教育目標，可藉由線上測驗來評量學習者的學習成效。然 而線上測驗並不只是在測驗後給予受測者一個分數而已，而應該讓學習者了解自 己在知識向度及認知向度的學習結果，因此測驗系統的試題應該包含該試題所欲 評量的知識向度及認知向度資訊，以使測驗活動能給予學習者更大的幫助。 本研究期望以本體論、詞彙網路、Bloom 分類理論、中文語意庫、人工智慧 為基礎，提出一個能輔助教師自動產製試題的線上測驗系統架構，並藉以減輕教 師編製測驗題庫的負擔，也能使測驗題庫與線上課程知識內容相互連結。本研究 也期望電腦所產製的試題，能涵蓋新版Bloom 認知領域教育目標分類中的知識向 度及認知向度概念。 本研究的成果不僅能減少教師人工出題的負擔，系統自動產製的試題也能用 以評量事實、概念及程序等三種知識向度及記憶、了解、應用、分析及評鑑等五 種認知向度。受限於線上測驗系統能夠自動評分的支援題型，所以本研究尚無法 產製屬於創造認知層次的試題，但已能涵蓋基本的學科知識類型、提供具有測驗意 義的測驗題庫來評量學習成效。 關鍵詞：線上測驗、Bloom 教育目標分類、本體論、詞彙網路、測驗題庫A Study on Computer Aided Generation of Item Banks:
Based on Ontology and Bloom's Taxonomy
Abstract
Since the rapid E-learning development, the online learning and testing have been important topics of information education. Currently teachers still need to spend much time on creating and maintaining on-line testing item banks. Some researches have applied the new Bloom's taxonomy to design meaningful learning assessments.
This research has applied ontology, Chinese semantic database, artificial intelligence, Bloom's taxonomy, to design an on-line testing system to assist teachers in creating test items.
The result of study are: (1) we could design the test items that would need a particular cognitive process to a particular type of knowledge, though we still could not have items to test “creative” level of cognitive process; (2) the test items could be used to assess the learning level meaningfully; (3) the computer would assist teachers to create a large number items, and save time of making item.
壹、 緒論
隨著電子化學習(E-Learning)環境技術的快速發展，線上學習及線上測驗已成 為資訊教育的重要議題。測驗是利用試題評量學習成果的有效方法，若能在測驗 中加入適當的回饋，將有助於學生在電腦環境中學習(Devedzic,2003)。由於電腦輔 助測驗(Computer-Based Testing, CBT)具有提高測驗效率、減少測驗時間、降低測 量誤差等優勢，近年來已被廣泛應用(何榮桂,民 79;周文正, 民 87)。 近年來 Bloom 等人(1956)的教育目標分類廣被國內外教育界採用，新版的 Bloom 認知領域教育目標被分成知識向度和認知歷程向度兩類。知識向度是專指 知識的分類，並將知識分成事實(Factual)、概念(Conceptual)、程序(Procedural)及後 設認知(Metacognitive)；而認知歷程向度則區分為記憶、瞭解、應用、分析、評鑑 與創造(葉連祺與林淑萍，民 92)。在強調「自我學習」的線上學習環境中，學習 者在知識向度及認知向度的學習成效，可藉由線上測驗來進行評量，若要達此目 的，則線上測驗系統必須先了解每個試題所能評量的知識層次及認知層次。 一些研究指出，建立與維護測驗題庫是一項耗費人力的工作(蔡松齡，民 81a; 蔡松齡，民 81b; 林盈達、林義能，民 88)，當測驗系統題庫不足時，也容易造成 題目出現頻率過高及學生直接記憶答案的情形。因此，如何提供豐富完整的題庫 及有效率的出題方式，已成為遠距教學中的重要課題(何榮桂等人，民 85)。有研 究指出，若是採用多位學者共同合作產製試題的策略來提升題庫產製效率，將容 易產生題目重複或偏重某概念的情形(黃國禎等人，民 91)，測驗題目若皆由老師 的觀點來設計，則會無法兼顧學生的觀點與需求(林盈達、林義能，民 88)。 黃居仁(民 92)認為知識本體論是針對任何一個網頁、資源知識內容及資訊架構 的描述與定義，而知識本體（Ontology）類似於字典或術語表，但是能使電腦處理 更多的內容細節和結構。為了使系統能自動產生測驗題庫，有必要讓線上學習系 統中的教材內容，以特定結構或依照知識內文的語意進行儲存，而不再只是一堆 讓電腦無法瞭解的文字符號集合。本研究假設線上教材知識若能先依照本體結構 及知識語意關係存放，且電腦能夠辨識出教材內容中知識主題間的語意關係，則 將能使電腦具備自動產製測驗題庫的能力。 為了讓線上測驗系統能依據線上教材知識，輔助教師自動產製龐大多元且具有 Bloom 分類概念的測驗題庫。本研究整合楊亨利與應鳴雄(民 95 年)的研究，進一步 以本體論、詞義關係、語意分析等概念為基礎，期望能在具備是非題、單選題、 複選題及填充題等題型的線上測驗系統中，發展輔助自動產製測驗題庫的功能。 綜合而言，本研究的具體目的如下： 一、以本體論、Bloom 分類理論、詞義關係為基礎，使電腦能輔助教師進行測驗 題目自動產製的工作，以降低教師製作測驗題目的負擔。 二、依據線上教材知識庫內的教材知識結構與語意特徵，自動產生包含是非題、 單選題、複選題、單格填充題及多格填充題等測驗題目。 三、結合教材知識本體及試題產製類型，讓自動產製完成的試題能包含Bloom 教 育目標分類的概念資訊，並能用以評量學習者在知識及認知向度的成效。 四、針對相同的知識概念，系統能自動產製大量且多元變化的試題，並能以試題 概念編號技巧，避免同一試卷內重複出現評量相同知識概念的試題。 五、以線上教材為基礎自動產製測驗試題，可讓試題與線上教材知識相互結合。 因此，受測者能透過試題的回饋資訊及連結，回到相對應的線上教材內容， 並針對不熟稔的知識進行更有效的學習。貳、 文獻探討
一、網路測驗與Bloom 認知分類理論 Rosenberg(2001)指出網路教學是透過網際網路傳遞大量經過整理的解決方 案，並藉以促進知識的獲得與提升學習者的績效表現。就教學而言，測驗目的在 於增進學習的效果，所以在學習的各個階段以及擬定教學計畫時，必須將測驗納 入成為整個教學過程中的一部份(陳英豪與吳裕益, 民 71)。 Bloom 等人(1956)的認知領域教育目標分類系統廣被國內外教育界採用，早期 的教育目標被分為知識、理解、應用、分析、綜合、評鑑等六個層次。而Anderson 與 Krathwohl(2001)針對此分類提出了新的版本，如表 1。新版的教育目標被分成 知識向度和認知歷程向度，其中的知識向度專指知識分類，並將知識分成事實、 概念、程序及後設認知，各類別還包含若干次類別；而認知歷程向度則區分為記 憶、瞭解、應用、分析、評鑑與創造，各分類另外也包含若干次分類(葉連祺與林 淑萍，民92)。知識向度著重從「學習」的角度來區分學習者學習的知識類型；認 知向度則著重從「思考」的角度來區分學習者思考的認知層次。 表1:新版 Bloom 認知領域教育目標分類表 認知歷程向度(思考) 知識向度(學習) 1.記憶 2.了解 3.應用 4.分析 5.評鑑 6.創造 A.事實知識 B.概念知識 C.程序知識 D.後設認知知識 Gronlund(1998)依據測驗題型的表現方式，將所有的題型歸納成選擇反應 (Selected Response)、供應反應(Supply Response)、限制性實作(Restricted Perform- ance)及延伸性實作(Extended Performance)等四大類。本研究主要以認知領域為教 學目標的測驗題庫為主，因此僅探討在認知領域中的選擇反應及供應反應測驗題 型。選擇反應型的題目主要包括是非題、選擇題及配合題等；供應反應型的題目 主要包括了名詞解釋、填充題、問答題等。林明達(民 87)認為填充題的答案常有 許多相同意義的詞彙可替換，因此電腦不易進行填充題的評分工作，所以目前網 路測驗系統的題型普遍以單選題、複選題及文字測驗為主。 葉連祺(民 89)認為各種測驗題型彼此間可相互轉換，例如是非題去掉關鍵 詞，可變成填充題或申論題；增加多個答案項，可變為選擇題。而各種題型試題 適合評量的認知目標層次也並不相同，是非和選擇等題型適合評量知識、理解、 應用和分析等層次，申論題適合評量綜合、評鑑和創造能力(Bloom, et. al, 1956)。電腦輔助測驗具有提高測驗效率、減少測驗時間、降低測量誤差、即時回饋、 保存記錄、獲得測驗相關的其他資訊等優點(何榮桂,民 79; McCormack & Jones, 1997)。此外，周文正(民 87)認為網路測驗能夠協助教師和學生得知學生對於課程 的瞭解程度，如有不瞭解之處能即時給予適當的回饋，並能協助學生獲得必要的 資訊或是補救教材。許多研究也指出，回饋可以增加學習者的學習效果，它不是 簡單的對或錯，它還包含各種回應資訊(Alderson,2000; Devedzic, 2003)。 黃國禛等人(民 91)針對測驗題目進行智慧型的線上測驗題型分析與改進研 究，其採用題目語意分析來解決相似題目重複出現的問題。Devedzic(2003)則指出 內容導向智慧(Content-Oriented Intelligence)，是下一代網站教育系統發展的重要議 題。楊亨利與應鳴雄(民 95)針對填充題型導致線上測驗評分效力降低的問題，利用 模糊函數、相似語詞庫、規則推論等技術，提出一個具備智慧型模糊評分機制之線 上測驗系統架構，此機制的實證結果顯示，在包含填充題型的線上測驗系統中，智慧
型模糊評分機制的評分結果具有與紙筆測驗相同的評分效力(楊亨利與應鳴雄，民 94)。因此，若能適當結合人工智慧技術於測驗系統中，將能解決線上教學、測驗、 回饋等複雜問題，並協助學生在電子化學習環境中的學習。
二、知識工程與本體論
Holsapple 與 Whisten(1983)將知識分為經驗知識(Empirical Knowledge)、公式 知識(Formula Knowledge)、程序知識(Procedure Knowledge)、推論知識(Derived Knowledge)、類推知識(Assimilation Knowledge)、表現知識(Presentation Knowledge) 等六種。Nonaka 與 Takeuchi(1995)則將知識分成外顯(Explicit)知識與內隱(Tacit)知 識兩部分。 Russell 與 Norvig(2003)認為知識工程是建構知識庫的程序，在發展知識庫時可使 用五個步驟方法來協助知識工程師，這些步驟依序為(一)決定要討論的物件與論據， (二)決定述詞、函數及常數要用到的字彙，(三)此領域之一般性知識編碼，(四)編碼問 題特殊案例描述，(五)對推論程序提出查詢並得到解答。 Bunge(1977)指出本體論是關於真實世界的基本特性哲學理論，用以探討真實 世界中存在的實體，並進行有系統的說明。近年來，本體論在人工智慧領域中被 廣 泛 的 使 用 ， 包 括 在 自 然 語 言 處 理(Natual Language Processing) 、 知 識 分 享 (Knowledge Sharing)及知識工程(Knowledge Engineering)中，去描述知識構成要素 之間的關係(曾憲雄等，民 91)。此外，在人工智慧的領域中，本體論的發展主要 是用來使知識分享和再用更為容易(Fensel, et al., 2001)。 Uschold 與 Gruninger(1996)認為本體論是一種被認同的概念性分享，所謂的概念 性分享指的是模組化特定領域知識的概念架構、代理人內部操作的溝通協定規格及有 關特定領域的理論表示法。而 Guarino(1998)認為本體論是一個邏輯理論(Logic Theory)，用來說明一系列字彙的特定意涵(Intended Meaning)。 Guarino(1998)將本體論分為上層本體論(Top-Level Ontology)、領域本體論 (Domain Ontology)、作業本體論(Task Ontology)及應用本體論(Application Ontology) 等四類。其中的領域本體論及作業本體論描述特定相關領域、作業或活動相關的 字彙，應用本體論描述與特定領域或作業相關的概念，這些概念通常相當於領域 實體(Domain Entity)在執行活動時所扮演的角色。 四、中文斷詞與中文結構 英文文句結構與中文文句結構組成方式不同，英文詞彙與詞彙間通常會以空 格來區隔，而中文詞彙通常是由一個以上中文字組成，詞彙間緊緊相鄰，並無任 何標記區隔，僅有文句間會採用不同標點符號來區隔。
國內對於中文斷詞的研究以中研院詞庫小組(Chinese Knowledge Information Processing Group，CKIP)建構的中文斷詞系統較具代表。CKIP 發展的中文斷詞系 統具有中文斷詞及中文詞類自動標記功能(中央研究院資訊科學研究所，民 95)。 在 CKIP 的中文結構樹的基本原則中，同時包含了語法及語意(Semantic)訊息。依 據中心語的主導原則，任何句子或片語結構都會有一個中心語，並由中心語決定 各詞組所扮演的角色，不僅可標示出句子中詞與詞之間的語意限制關係，也可使 中文語意被樹狀結構化(Chen et al.,2006;Huang et al., 2000)。
五、詞彙網路
詞彙網路(WordNet)是一個英語詞彙資料庫系統，此系統透過將同義詞集合聚 集到稱為同義詞集(SynSet)的群組中來描述和分類單字和概念(Fellbaum, 1998)。
WordNet 它包含一個表示成千上萬名詞的同義詞集詞彙表。同義詞集內具有大量 概念及子類別，此外，WordNet 還包括相似但不同義的概念之間的對應。 黃居仁(民 92)認為知識本體的呈現，可採用詞彙網路(WordNet)來進行。詞彙 網路的構成元素包括某個語言內所有的詞彙（任一個詞形Lemma 與詞義 Sense 的 獨特配對定義為一個詞彙）及該語言表達的所有概念（即所有詞義Sense）。 而在語意學理論中有九種最典型的詞義關係，包括反義關係 (Antonymy)、上 位關係(Hypernymy)、下位關係(Hyponymy)、整體-部份關係(Holonymy)、部份-整 體關係(Meronymy)、轉指關係(Metonymy)、近義關係(Near Synonymy) 、同義關係 (Synonymy)及方式關係(Troponymy)。此外，黃居仁(民 92)還列出許多種類型的涉 入(Involved)關係，例如因果關係、角色關係、工具關係等。
參、 研究架構
一、 雛形系統設計與發展流程 本研究之雛形系統設計與發展流程可分為四個階段，分別敘述如下： (一) 教材知識本體與試題結構知識本體的概念設計：為了能讓系統進行自動產製 試題的工作，並使試題能包含Bloom 分類理論的概念，因此本研究在進行初 期必須先確立出教材知識本體及試題結構知識本體內容。為使研究能以特定 知識領域加以研究，本研究中將以「管理資訊系統」課程做為自動產製測驗 題庫的應用領域。 (二) 建立線上教材知識庫中的教材知識：本研究著重於利用教材知識本體結構所 儲存的內容，輔助教師自動產製測驗題庫，因此本文將不針對教材知識經由 斷詞、語意剖析、儲存至線上教材知識庫的技術方法進行討論，而是假設當 線上教材知識均已依照教材知識本體結構儲存於線上教材知識庫中，如何利 用本研究的本體結構及語意分析方法自動產製測驗題庫。 (三) 發展試題自動產製雛形系統：為了能發展出輔助教師自動產製試題之線上測 驗雛形系統，本階段包含二項工作： 1. 建立公式基模資料庫、詞彙語意庫、測驗樣式模型及測驗規則：本階段所建 立的測驗樣式模式，主要是根據二技、四技二專、高考、普考及勞委會技能 檢定電腦相關科目之測驗試題為基礎，進行題目內容之結構及規則分析，並 從中萃取出本系統所需使用的測驗樣式模型及測驗規則。 2. 測驗題目知識轉化：此階段在發展系統內之試題自動產製模組，此模組將擷 取線上教材知識庫中的內容，再根據知識本體、知識關係、測驗模型、教材 知識庫及測驗規則等，自動產製測驗題庫。此測驗題目的題型則包括是非 題、單選題、複選題及填充題類型，填充題則容許系統在一個題目上設計最 多20 個空格答案，以增加題目的彈性。 (四) 成果評估：依據本研究所產製的試題，評估所能涵蓋的知識類型與認知層次， 以及本研究的系統功能效益。 二、 教材與試題結構知識本體概念設計 (一) 教材知識本體 在Bloom 認知分類知識向度中，包括事實、概念、程序及後設認知等四種知 識。由於後設認知知識通常是指個人擁有與認知事務有關的知識，可分為個人、 工作及策略變項等三種知識(Flavell,1987; Anderson 與 Krathwohl,2001)，此類知識 通常未包含在正規的領域教材中。此外，後設認知知識的評量通常採取非正式的評量，諸如：晤談法、問卷調查、信心評量法等(林清山與張景媛，民 82)，因此 後設認知知識的儲存與評量不列入本研究試題產製的設計範圍。 為了能順利儲存特定領域教材所包含的知識內容以及涵蓋Bloom 知識向度中 的事實、概念、程序等知識，本研究分析跨領域課程書籍之編排方法、課程知識 內容結構及線上教材內容，並採用本體論及詞彙關係概念建立一個線上教材知識 本體(如圖 1 所示)，藉以描述知識內容的結構關係，並可發展供網頁文件使用。圖 1 的線上教材知識本體，主要參考 Dublin Core、Desai(1997)的 Semantic Header、 Bloom 認知分類、詞義關係及語意網路等觀念而成，其中線上教材知識本體共包 括領域主題、章節、知識主題、作者、出版者、知識內容、相關者、日期、格式、 關鍵字、語言等標題元素。 圖1：線上教材知識本體 章節 領域主題 知識主題 作者 出版者 相關者 日期 格式 關鍵字 語言 章 節 詞義關係 比較關係 其他 次序關係 時期 等級 多媒體附件 圖表 影音 特性 解意 實例 缺點 效益 一般 特性 定義 解釋 下位主題 整體主題 部分主題 相似主題 同義主題 反義主題 上位主題 流程 因果 關係 優點 困難 挑戰 共同 特徵 公式 時機 條件 理論 模式 個別 差異 知識內容 教材知識本體 以下茲將圖1 中之各標題項目概念進行描述： 1. 領域主題：描述教材知識所屬的課程領域。 2. 章節：描述此教材文件在課程中所屬的章節，在此標題中又可細分「章」與「節」 的標題到下一層。 3. 知識主題：記錄此教材文件的知識主題，例如：在課程教材文件中描述專家系 統相關的知識，此主題的內容則儲存為「專家系統」。 4. 作者：此教材知識的擁有者，本研究預設為課程管理之教師。 5. 出版者：此教材知識的出版者。 6. 知識內容：指教材知識的本文內容。本研究歸納資訊管理領域書籍之內容結構， 並期望能涵蓋 Bloom 分類的事實、概念及程序知識，因此將教材知識的概念內 容細分為十二種不同的次類別知識，其中大部分的類型都能處理「What」概念 的知識，少部分類型則能處理具有「Why」、「When」及「How」等概念的知 識。此外，這十二個類別的終端節點，皆會另外增設「來源資料」屬性來儲存 知識來源的相關資訊記錄，包括來源出處、作者、文章名、頁次、出刊發表日 期及來源類型等。 (1) 解意知識：用來描述知識概念主題相關術語符號及基本內涵的解釋與定義， 並能記錄不同學者或資料來源對相同知識概念主題的解釋與定義。 (2) 特性知識：用來描述知識概念主題的特性、特質內容，為了能充分描述不同 類型的特性知識，本研究在特性知識類別下又再細分出概念主題的一般特 性、優點、缺點、效益及困難挑戰等特性知識的子類別描述。
(3) 理論模式知識：用來描述知識概念主題牽涉到以系統性觀點對複雜的現象、 問題與事物提出相關理論、架構及模式的內容。 (4) 因果關係知識：用來描述知識概念主題牽涉到有關「原因」及「影響結果」 的知識內容，這一類型的知識主要用以表達「Why」的概念。例如：「網路 泡沫」導因於「網路公司未真正獲利」。 (5) 次序關係知識：用來描述知識概念主題牽涉到次序、等級、階段、步驟及流 程等觀念的知識內容，這一類的知識可藉由次序關係進行描述。本研究在次 序關係知識類別下又再細分出三種次序關係子類別的知識描述。 A. 等級次序：是指教材知識內容包含等級次序的知識描述，例如在 MIS 重要 議題排名的知識描述中，各議題間並無時間順序概念也無流程概念，而僅 包括重要性排名的等級高低概念。 B. 時期次序：是指教材知識內容包含等級次序的知識描述，例如在電腦發展 演進的知識描述中，每一代電腦間存在時期的前後關係。 C. 流程次序：是指教材知識內容包含程序、步驟順序的知識描述，此類知識 經常用以表達「How」的概念，例如，在發展知識庫之步驟的知識描述中， 各步驟間存在流程的次序關係。 (6) 詞義關係知識：詞義關係是指特定的知識主題在教材知識內容中與其他詞彙 間具有詞義上的角色關係，透過這些角色關係將這些知識內容進行的分類與 連結。由於每個知識主題均能與其他知識主題建立詞義關係連結，因此可將 這些詞義關係應用在線上教材文件中，而讓教材文件中所有具有詞義關係的 知識主題內容間，均能透過超連結方式將所有相關的教材文件連結起來，而 學習者便可藉由這些詞義關係連結進行非線性的知識學習。本研究依照知識 主題在教材中的角色，可分成七種不同的詞義關係子類別。 A. 相似主題：記錄與該知識主題在語詞意涵上相近但完全不相同的其他知識 主題，例如：「資訊管理」與「管理資訊系統」。 B. 同義主題：記錄與該知識主題在語詞意涵上完全相同的其他知識主題，例 如：「算術邏輯單元」及「ALU」。 C. 反義主題：記錄與該知識主題在語詞意涵上完全相反的其他知識主題，例 如：「垂直整合」與「水平整合」。 D. 上位主題：記錄該知識主題在泛稱上的另一個上層抽象知識主題概念，例 如：「系統軟體」的上位主題為「軟體」。此類主題基本上對應資料庫中 一般化(Generalization)及 IS-A、IS-A-KIND-OF 的關係觀念。 E. 下位主題：下位主題與上位主題知識的觀念相反，它記錄該知識主題在特 定型態或情境實例上的另一些下層具體知識主題概念，例如：「軟體」的 下位主題包括「系統軟體」、「應用軟體」。此類主題基本上對應資料庫 中特殊化(Specialization)的觀念。 F. 整體主題：若知識主題為其他知識主題概念的一部份時，則記錄與此主題 相關的整體主題，這個觀念可以對應到資料庫中的聚集化(Aggregation)及 IS-PART-OF 關係的抽象觀念。例如：「控制單元」的整體主題為「中央 處理單元」，「中央處理單元」的整體主題是「電腦」。 G. 部分主題：描述該知識主題可拆解成出多個組成元素的其他知識主題，例 如：「電腦」的部分主題包括「記憶單元」、「控制單元」、「算術邏輯 單元」、「輸出單元」及「輸入單元」等。這基本上對應到資料庫中組成 (COMPONENT-OF)的觀念。
(7) 比較關係知識：用來描述知識概念主題間相互比較的知識內容，例如在管理 資訊系統課程中經常進行概念知識比較的主題包括「資訊vs.知識」、「資訊 管理vs.管理資訊系統」等。為了描述不同類型的比較關係知識，本研究在比 較關係知識類別之下又細分出以下二種比較關係的子類別。 A. 共同特徵：知識主題相互比較時所包含的共同特徵知識。例：資訊管理與 管理資訊系統的相同點是同時重視資訊系統與科技對組織的貢獻。 B. 個別差異：知識主題間相互比較時所包含的個別差異特徵知識。例：知識 與資訊的區別為，知識以解決問題為導向，資訊以提供決策為導向。 (8) 時機條件知識：用來描述知識概念主題適用的時機與需符合的條件準則內 容，主要用以描述包含「When」概念的知識。 (9) 公式知識：用來描述知識概念主題的公式內容，例如漢明檢查碼的公式。 (10) 實例知識：用來解釋知識概念主題的相關範例及個案內容，此類知識依其 型式又分成個案情境實例及簡要舉例二類。 (11) 多媒體附件：以影音圖片來輔助知識概念主題說明的多媒體附件資料，所記 錄的內容包含多媒體相關資源之路徑位置、格式及大小等資料。 (12) 其他：凡無法歸納於上述各類者，暫時皆先儲存於此類，再依照歸納出的新 規則概念建立新的類別。 7. 相關者：描述其他與本教材知識文件相關的人員資訊。 8. 日期：描述教材知識文件出版的日期。 9. 格式：描述教材知識文件的檔案格式。 10. 關鍵字：描述教材知識文件主要內容的關鍵字詞。 11. 語言：描述教材知識文件所使用的語言格式。 (二) 教材知識本體與 Bloom 知識向度對應 本研究針對知識本體結構與Bloom 三種知識向度的對應關係，根據葉連祺與 林淑萍(民 92)及 Anderson 與 Krathwohl (2001)的知識向度定義解釋來說明： 1. 事實知識(A)：是指學習科目後和解決問題時應知的基本元素，此類別的知識另 外包含二種次類別知識。 (1) 術語的知識(Aa)：指特定語文與非語文的標題與符號；例如：資料流程圖中 的圖形符號、顧客關係管理(CRM)。此類型知識在圖 1 知識本體結構中，依 其知識本質主要藉由解意定義、多媒體附件結構來儲存此類型知識。 (2) 特定整體和元素的知識(Ab)：指事件、位置、人物、資料、資訊等，可包括 精確、特定的資訊或約略的資訊；例如：千禧危機、決策支援系統特徵、實 體關係模式組成元素。此類型知識在本研究的知識本體結構中，依其知識本 質可藉由解意、特性、詞義整體主題、詞義部分主題、詞義相似主題、詞義 同義主題、詞義反義主題、實例等結構來儲存此類型知識。 2. 概念知識(B)：是指基本要素與較大的結構共同發揮功能的互動關係，此類別的 知識另外包含三種次類別知識。 (1) 分類和類別的知識(Ba)：意指對不同事物的類別、等級、區分和排列的知識； 例如：電子商務經營模式的類型，組織活動的層級。此類型知識在本研究的 知識本體結構中，依其知識本質可藉由次序時期關係、次序等級關係、詞義 上位關係、詞義下位關係等結構來儲存此類型知識。 (2) 原理和通則的知識(Bb)：指透過觀察現象所摘述的摘要，且可用於描述、預 測、解釋或決定行動與採取的方向；例如：全球電子商務發展五大原則。此
類型知識在本研究的知識本體結構中，依其知識本質主要藉由詞義上位關 係、詞義下位關係、比較關係、多媒體附件等結構來儲存此類型知識。 (3) 理論／模式／結構的知識(Bc)：意指對複雜的現象、問題和事物提出清楚、 完全與系統性的觀點，以理論和模式呈現，亦可用來描述、了解、解釋和預 測現象，是事實與概念中最抽象的層次；例如：實體關係模式、三層式系統 架構、科技接受模式。此類型知識在本研究的知識本體結構中，依其知識本 質可藉由理論模式結構、因果關係、多媒體附件來儲存此類型知識。 3. 程序知識(C)：指知道如何做某事的知識，通常是一系列或有步驟的流程，以及 決定何時運用不同程序的準則(Criteria)，此類別另外包含三種次類別知識。 (1) 特定學科的技能和演算知識(Ca)：指有固定最終結果，或具有固定順序或步 驟的知識；例如：漢明碼計算、中序轉後序的資料結構。此類型知識在本研 究的知識本體結構中，是藉由公式結構來加以儲存。 (2) 特定學科的技術和方法知識(Cb)：對結果具共識或學科規範的知識，且能反 應專家思考和解決問題方式；例如：正規化方法、發展知識庫的步驟。此類 型知識在本研究的知識本體結構中，是以次序流程結構來加以儲存。 (3) 決定何時使用適當程序的準則知識(Cc)：知道何時使用程序和過去使用該程 序的知識；例如：選用資訊委外或自製方法的時機與程序。此類型知識在本 研究的知識本體結構中，是以時機條件結構來加以儲存。 原型測驗題 認知 向度 知識 向度 同音異字 評分參數 語意評 分參數 漏字評 分參數 單格填充 多格填充 回饋訊息 集合評 分參數 複選 單選 選項 題幹 答案 選擇題 是非題 題充題 所屬章節 配分 試題編號 題型 試題概 念編號 運算變數變化題 詞義結構變化題 彈性變化測驗題 節 章 測驗題目結構知識本體 圖2: 線上測驗題目結構的知識本體 (三) 試題結構知識本體及所涵蓋的認知歷程向度 以目前線上測驗系統能夠自動評分的題型主要包括是非題、單選題、複選題、 配合題等具有標準答案的選擇反應型試題，或詞義結構較單純的填充題等供應反 應型試題。而在Bloom 認知歷程向度中，則包括記憶、了解、應用、分析、評鑑 及創造等六種知識認知，藉由測驗則可評量學習者在不同知識認知層次上的學習 情形。雖然過去的研究認為即使利用基本的試題題型，只要透過精密的試題設計 仍可評量不同層次的知識認知，但是這些基本題型卻仍用以評量較低層次的知識
認知，對於較高層次的知識認知則較不易透過這些題型來發展。由於較高層次的 認知評量比較適合採用論述題或開放性的試題來評量，但受限於電腦無法自動評 分，因此一般的線上測驗系統通常未包含此類題型。所以本研究自動產製的試題 會以發展用以評量記憶、了解及應用的知識認知為主，而用以評量分析、評鑑與 創造認知層次的試題，則因為題型的束縛，因此會受到一定程度的限制。 為了讓系統能從線上教材知識庫中進行內容分析、涵蓋不同認知領域的評 量，並自動產製線上測驗系統所需的測驗題庫，本研究分析二技、四技二專及高 普考資訊相關測驗題目的結構類型，並採用本體知識及詞彙網路概念，建立線上 測驗題目結構的知識本體(如圖 2 所示)。圖 2 的線上測驗題目知識本體，結合了楊 亨利與應鳴雄(民 95)的智慧評分機制的研究，並涵蓋了處理填充題答案的語意相 關、集合、漏字、同音異字等評分參數之概念。 在測驗題目結構的知識本體中，包含了各種測驗題目的組成結構，也涵蓋本 研究所提供之各種測驗類型概念，圖 2 的線條是表示上層概念所包含的下層概念 的種類或內容。在最上層的測驗題目結構知識本體中包括原型測驗題及彈性變化 測驗題兩種測驗題目類型： 1. 原型測驗題：此類試題的題幹內容或結構是依循線上教材知識庫中的原始知識 而成，題幹未經特殊變化，此類型題目主要用以評量記憶層次的知識認知。 2. 彈性變化測驗題：此類型題目的題幹內容或結構未依循線上教材知識庫中的原 始知識結構而成，凡是題幹內容語意或結構與原先知識庫中的內容不同，便屬 此類。此類題目主要試圖能用以評量了解、應用、分析與評鑑等層次的知識認 知。而彈性變化試題又分為詞義結構及運算變數變化題二類。 (1) 詞義結構變化題：此類題目是運用講義教材結構知識本體中的結構變化或改 變詞義而成。本研究依據測驗題目中所欲評量的教材知識概念進行知識結構 與詞義分析，分析過程會利用解意、特性、因果關係、比較關係、次序關係、 時機條件、理論模式等知識的結構特徵，以及相似詞、同義詞、反義詞、上 位詞、下位詞、整體詞、及部分詞等七種詞義關係來發展各種具有變化性的 測驗題目。因此系統可根據特定的知識主題所包含的各項知識內容子類別來 發展各種變化的是非題、選擇題及填充題。 (2) 運算變數變化題：此類題目是透過運算及公式推論模組而產生，例如要測驗 二進位及十六進位間的數碼轉換，則系統僅需建立出題模型，實際題目變數 及答案，皆可由亂數及運算推亂模組自動產生，如此相同知識概念的題目便 可產生許多不同題幹與題型的試題。 然而，無論是原型測驗題或是彈性變化測驗題，每一個題目中都會包括測驗 題目所屬的試題概念編號、測驗題型、題目編號、Bloom 知識向度、Bloom 認知 向度、配分、題目所屬之章節範圍及回饋訊息等內容。在題庫中不同的試題若用 以評量相同的知識概念，則試題中的題幹概念會相同，而且這些試題的試題概念 編號也都會相同，因此可用以控制每一份試卷內不會出現評量相同知識概念的題 目。另外，由於本系統所支援產生的測驗題目題型包括單擇題、是非題、複選題 及填充題，因此上述題型也包含在測驗題目結構知識本體中。此外，每個試題均 包含題幹及答案，若是選擇題型則會有備選答案的選項內容。若是填充題型，則 區分為多格及單格之填充題目類型，這兩種填充題的題目類型均包含漏字評分參 數、語意評分參數、同音異字評分參數等以配合模糊評分機制的運作，而多格填 充則另外包含一個集合評分的參數。
圖3：線上華文知識學習系統建議架構 相關語意 詞彙資料庫 評分參數 資料庫 學習歷程 資料庫 學習輔助工具管理子系統 知識討論及 公告資料庫 學習歷程 資料庫 申訴 記錄 同音異字 資料庫 文章與斷詞處理子系統 作業 資料庫 學習資源 資料庫 測驗結果 資料庫 線上測驗與智慧評分子系統 測驗題庫及 答案資料庫 測驗樣式 資料庫 輔助測驗題庫自動產製子系統 測驗本體 資料庫 輔助線上教材自動產製與動態展現子系統 學 習 者 課 程 學 習 操 作 介 面 線上教材 知識庫 知識樣式 資料庫 公式基模 資料庫 教材本體 資料庫 專用斷詞 準知識庫 教 師 系 統 操 作 及 管 理 介 面 原始知識 文章資料庫 通用斷詞準知識庫 主題資料庫領域詞彙 學 習 者 教 師 與 管 理 者 三、 線上華文知識學習系統建議架構 為了使電子化學習系統能透過現有線上教材內容，發展輔助教師自動產製測 驗題庫的機制，並使此機制能在線上知識學習系統環境中正常運作，因此本研究 先定義一個適合此機制運作的線上知識學習系統建議架構，如圖 3 所示。此架構 包含二種使用者的操作介面、五個子系統及十八個相關的資料庫。但由於本研究 僅探討輔助測驗題庫自動產製的部分，因此僅針對「輔助測驗題庫自動產製子系 統」進行詳細的模組元件及運作方式說明，其餘各子系統的內部模組元件及詳細 運作方式，受限於篇幅及研究目的，僅能簡要敘述。 (一) 教師系統操作及管理介面：提供教師對於五個子系統進行各種資料的管理。 (二) 學習者課程學習操作介面：提供學習者從事線上學習、線上測驗、線上申訴、 成績查詢、作業繳交、課程討論等功能的介面。 (三) 文章與斷詞處理子系統：將原始知識文章進行符合特殊專有領域的斷詞結果， 並將結果儲存在「專用斷詞準知識庫」，以作為「輔助線上教材產製與動態展 現子系統」萃取知識的來源。
(四) 輔助線上教材產製與動態展現子系統：根據知識本體及萃取斷詞後的文章內 容，產生線上教材及動態整合線上教材內容，完成的知識萃取結果則儲存至「線 上教材知識庫」中。 (五) 輔助測驗題庫自動產製子系統：剖析「線上教材知識庫」的內容，並透過測驗 題目結構知識本體及試題產製規則，來產生各種變化的試題，並將結果儲存至 「測驗題庫及答案資料庫」中。 (六) 線上測驗與智慧評分子系統：提供學習者在線上測驗時的測驗題目及智慧評分 工作，詳細的系統架構及元件請參考楊亨利與應鳴雄(民 95 年)之研究。 (七) 學習輔助工具管理子系統：提供教師進行線上學習資源、作業繳交、虛擬教室、 學習歷程等管理功能，並提供這些輔助學習的工具讓學習者使用。 圖4: 輔助測驗題庫自動產製子系統之系統架構圖 輔助線上教材產製與動態展現子系統 教 師 系 統 操 作 及 管 理 介 面 測驗本體 資料庫 公式基模 資料庫 知識樣式資料庫 線上教材 知識庫 測驗本體 管理模組 試題自動產製模組 測驗樣式 資料庫 測驗樣式 管理模組 詞彙資料庫相關語意 教 師 與 管 理 者 測驗題庫及 答案資料庫 四、 輔助測驗題庫自動產製子系統之系統架構 對輔助測驗題庫自動產製子系統之系統架構進一步剖析，如圖4，各元件之內 容說明如下： (一) 公式基模資料庫：儲存領域知識內所包含的數學公式、邏輯運算，或其他可 利用方程式推導之知識規則。 (二) 知識樣式資料庫：儲存一般書籍知識中所常見的語法結構規則、詞義關係規 則及所對應的中文語句詞彙及語法符號。 (三) 線上教材知識庫：用以存放線上教材知識內容，這些知識是依照教材知識本 體結構儲存，相關的知識則可透過資料關連的方式來建立連結，而學習者所 使用的講義教材知識及測驗系統自動產製試題的知識來源，便是使用這個知 識庫中的內容。 (四) 測驗樣式管理模組：提供試題產製規則、詞義關係規則、題型特性規則等內 容之建立與管理。 (五) 測驗樣式資料庫：儲存測驗樣式管理模組所建立的試題產製規則、詞義關係 規則、題型特性規則。 (六) 測驗本體管理模組：提供測驗結構知識本體的管理功能。 (七) 測驗本體資料庫：用以儲存本研究所提出之測驗講義結構知識本體。 (八) 試題自動產製模組：此模組提供教師於線上教材知識庫接收到新知識概念 後，進行試題自動產製工作。此模組的運作原理是取出線上教材知識庫中的 新進知識內容，並從現有教材知識庫中尋找與此知識內容相關的其他知識概 念，再與模組中的試題產製規則進行比對，若是符合特定測驗題型產製規則
所訂定的結構及特徵，則將由系統自動完成測驗題目的產製。但為了確保系 統自動產生的試題品質及合適性，因此教師可對系統自動產生的題目進行審 核。若是教師接受系統自動產生的測驗題目，則此題目之測驗題幹、配分、 題型、答案及與答案相關之知識回饋內容將自動存入「測驗題庫及答案資料 (九) 語幹、 (十) 諸如語意詞彙 資料、詞彙相關類型(同義/反義/相似/對比)、詞彙間關係值。
驗題庫自動產製子系統設計
一、 內容皆會 經過 語意結構，而將此段 文章知識分類儲 二、 透 (一) 知識的主題概念，中括號[]表示此處的 (二) 庫」中。 測驗題庫及答案資料庫：用以儲存「試題自動產製模組」所產製的試題 選項、答案、題目配分、題目類型、知識向度、認知向度等內容。 語意相關詞彙資料庫：存放詞彙與詞彙間語意相關性的資料，肆、 輔助測
教材知識內容之斷詞標記 圖 4 的線上教材知識庫存放了經過斷詞後的教材知識，其內容除了原始教材 知識外，還針對每個詞彙在語句中所扮演的詞性及角色，另外儲存相對應的詞類 標記。本研究依據自訂的詞類及中央研究院線上斷詞系統(CKIP)所開放的 API 斷 詞結果，茲將本研究所使用的詞類標記符號分成十一種，每一種符號分別代表一 種詞性意涵，例如: N 是指名詞或代名詞、T 代表感嘆詞、M 代表數量詞。但由於 CKIP 的斷詞結果無法對特定領域專有名詞進行正確斷詞，因此所有教材 專業領域詞彙斷詞修正的程序，以使教材知識能在特定領域使用。 舉例而言，如果將內容為「專家系統就是一種電腦化系統，具有邏輯推理能 力，以蒐集歸納某特定領域之專家知識與經驗，並結合專家知識智慧系統，以解 決現實問題。」的文章知識儲存至系統中，則經過斷詞修補程序後，實際儲存於 線上教材知識庫中的內容則如表 2 所示，系統並根據文章的 存至線上教材知識庫內的解意知識類別中。 專家系統(N)就是(C)一(DET)種(M)電腦化(Vt)系統(N)，(CMCG)具有(Vt)邏輯(N)推理(Vi)能力(N)，(CMCG) 以(P)蒐集(Vt)歸納(Vt)某(DET)特定(A)領域(N)之(T)專家(N)知識(N)與(C)經驗(N)， 表 2：儲存於線上教材知識庫中的斷詞結果 (CMCG)並(C)結合(Vt) 家(N)知識(N)智慧(N)系統(N)，(CMCG)以(P)解決(Vt)現實(N)問題(N)。(PECG) 專 知識類型結構規則 在本研究中能被用來產製題庫的知識類型包含解意、特性、理論模式、因果、 次序、詞義、比較、時機條件、公式與範例等十類，除了公式知識是由教師依照 公式基模的樣式建立之外，其餘各種知識類型都有其所屬的知識結構規則，且用 以評量特定的知識概念。由於符合任何一種知識類型的規則甚多，因此本文將 過範例來說明知識結構的樣式。本研究各知識類型所屬的結構規則簡介如下： 解意知識結構規則：此類規則用以辨識知識定義與解釋的教材內容。例如在 「專用斷詞準知識庫」中有一個教材內容為「所謂(VK)資訊委外(N)是(Vt)指 (Vt)企業(N)將(P)資訊系統(N)開發(Vt)…」因為內容結構符合其中的「所謂(VK) τ(N)[是(Vt)|就是(C)|是(Vt)指(Vt)]…」規則，所以此知識內容將被儲存在解 意知識類別中(註：規則中的τ表示此 詞彙組合只需符合其中一項即可)。 特性知識結構規則：此類規則用以辨識知識特性或特質的教材內容。例如某 個教材內容為「資訊具備的特殊性質包括時效性、重要性、機密性、價值性」， 因為其內容結構符合「τ(N)[有(Vt)|具有(Vt)|包含(Vt)|包括(Vt)|具備(Vt)|概括(Vt)]…[特性(N)|特色(N)|功能(N)|特徵(N)|特質(N)|性質(N)]…」規則，所以此 (三) 如「…[導因(VK)於(P)|起因於(Vi)|肇因於(Vt)]…」 (四) (Vt)|細分為(Vt)|劃分(Vt)|劃分為(Vt)|分別(ADV)]…」 (五) 等;υ是指可變動單 (六) |不同(Vi)]…」 (七) …[考慮(Vt)|成熟(Vt)|滿足(Vt)|符合(Vt)|達成(Vt)|…]…」即為其中一 (八) (九) 模式、模 型、結構及架構等詞彙，即為辨識此類型知識的其中一個規則。 三、 製流 (一) ，凡是具有相 同試題概念編號的題目，其測驗回饋的基本訊息都會相同。 知識內容將被儲存在此特性知識類別中。 因果知識結構規則：此類規則用以辨識知識概念主題牽涉到「原因」及「影 響結果」的教材內容。例 即為其中的一個規則。 次序知識結構規則：此類規則用以辨識知識概念主題牽涉到次序、等級、階 段、步驟及流程等觀念的教材內容。例如「τ(N)…[層次(N)|階層(N)|階段(N)| 等級(N)|順序(N)|步驟(N)|程度(N)|位階(N)|名次(N)]…[分成(Vt)|分為(Vt)|區分 為(Vt)|歸納為(Vt)|細分成 即為其中的一個規則。 詞義知識結構規則：此類規則用以辨識教材內容中牽涉到知識本體內七種不 同類型的詞義關係知識，例如「τ(N)…[共有(Vt)|分成(Vt)|分為(Vt)|區分成 (Vt)|區分為(Vt)|歸納為(Vt)|細分成(Vt)|細分為(Vt)|劃分(Vt)|劃分為(Vt) ]η (DET)υ(M)…ρ1(N)…ρn(N)…」即為其中「上位下位詞義關係」類型的一 種規則。規則中η是指可變動數字定詞，如「三」、「五」 位量詞，如「種」、「顆」等;ρ是指可變動的下位主題。 比較知識結構規則：此類規則用以辨識教材內容中牽涉到知識主題間差異比 較的知識。例如「τ1(N)與(C)τ2(N)…[差別(N)|區別(Vt)|差異(N) 即為其中一個規則，規則中τ1與τ2表示相比較的知識主題。 時機條件知識結構規則：此類規則用以辨識教材內容中牽涉到包含適用時機 條件的知識。例如「…在(P)…[目標(N)|條件(N)|時機(N)|環境(N)|前提(N)| 時 (POST)…] 個規則。 範例：此類規則被用以辨識教材內容中牽涉到個案範例的知識。例如「…[例 (ADV)|例如(P)|例子(N)|應用(N)|實例(N)]：(COCG) …」即為其中一個規則。 理論模式知識結構規則：此類規則用以辨識教材內容中牽涉到理論、模式、 模型、結構及架構的知識。例如知識主題的末尾詞彙中包含理論、 自動產製試題類型 由於本研究是採用語意分析技術進行試題產製的工作，對於多媒體圖表及影 音附件資料則無法獲取其資訊，因此本研究對於試題產製的工作將排除多媒體附 件的教材內容，而僅分析線上教材知識本體中其餘十類知識。此外，過去研究指 出，部分選擇題可藉由多組是非題來組成，題型之間亦可彼此轉換，所以此概念 亦被包含於試題產製規則中。本研究的試題自動產製流程，是藉由各種類型試題 的產製規則來完成，其運作流程可參考圖 5 的步驟說明。以下僅針對試題產 程中所包含的各種試題類型特徵及主要的產製方法進行簡要的觀念介紹。 原型是非題：依據教材知識庫內的原始知識內容，產生與原始教材知識結構 一模一樣的是非題，所以此類試題的答案都是「O」(對的)，且用以評量記憶 層次的知識確認能力，此類試題的產製為圖 5 之步驟 E。此外，此類型的試 題題幹，被當作其他具有相同試題概念試題的回饋訊息。因此
B.有新進教材知識 未經試題產製程序？ No Yes A.讀取測驗題目結構、試題產製 規則及線上教材知識 C.讀取新進知識教材內容、所屬知 識類型、知識主題及詞性標記 D.給予此新進知識教材內容一個 獨立的試題概念編號ITCNO E.依據原型是非題產製規則，以原始 知識教材內容結構為題幹產製是非題 F.依據反義是非題產製規則，產生與 原始知識教材詞義相反的是非題 H.依據語法型是非題產製規則，產生 調整教材內容結構及詞義後的是非題 Yes J.以原始知識結構為題幹，依照原型填 充題產製規則產生單格或多格填充題 Yes No No K.屬次序關係知識 或教材資料庫中存在此知識主題 相同的其他知識? L.讀取所有與知識主題相關的知識 教材內容、所屬知識類型、知識 主題及詞性標記 Yes No M.依據相關整併試題產製規則，以原 始知識教材內容結構為題幹，產生多 組是非題、單選題及複選題 N.依據相關整併反義是非題產製規則， 將相關整併試題產製規則所產生的是非 題試題產生反義是非題 I.教材知識結構符合 原型填充題產製規則？ O.教材內容中出現 任何語意相關詞彙資料庫中容 易混淆的詞彙？ Yes P.依據對照詞彙型試題產製規則，以 原始知識教材內容結構為題幹，產生 多組是非題、單選題及複選題。 S.前面各階段是否 有產生任何試題？ No Q 公式基模中有新進 的公式知識內容？ Yes R.依據公式型試題產製規則，以公式 基模內容為基礎，產生多組是非題、 單選題及複選題。 No Yes X.刪除題幹及選項完全相同 的重複試題 No T.前面各階段產生的 是非題試題中含有4 組以上相同 知識概念試題？ Yes V.前面各階段產生 的是非題與現有資料庫中的是非 題，具有相同知識概念的試題 超過4 組？ Yes W.將相同知識概念的是非題題目，依 據相同概念整合型試題產製規則，產 生相同概念的單選題及複選題 Y.將產製完成的試題儲存 至試題資料庫 U.將具有相同知識概念的是非題題目 ，依據相同概念整合型試題產製規則 ，產生相同概念的單選題及複選題 No 試題產製結束 No G.教材知識結構符合 語法型是非題產製規則? 試題產製 圖5：試題產製流程圖
(二) 反義是非題：是指與原始教材知識內容詞義相反的試題，此類試題主要用以 評量記憶層次的知識確認能力。欲產製此類型試題時，系統會檢查目前教材 知識內容中是否有部分詞彙存在於「相關語意詞彙資料庫」的反義詞彙集合 中，若存在則進行反義詞彙的替換，例：「靜態」可由反義詞「動態」來替換， 此類試題的產製為圖 5 之步驟 F。由於此類試題語幹，與原始知識內容具有 反義概念，所以此類型試題的答案都是「X」(錯的)。例:原始內容知識「組 織是一個穩定、正式的社會結構」，產生後的試題包括「組織是一個變動、非 正式的社會結構」。 (三) 語法型是非題：是指依據教材內容的語法結構及詞義概念，而將教材內容語 法結構及詞義進行改變的是非題，以下的試題產製程序即為圖5 之步驟 H。 而此類試題又可細分為濃縮型及倒裝型等二種常見的子類型。 1. 濃縮語法型是非題：是將原始知識包含分類或子題說明概念的內容，根據語法 結構規則進行語句濃縮，而產生的是非題試題，這些試題可用以評量記憶層 次的知識確認能力。此類試題會將內容中的分類或子標題萃取出來，而將其 他子題說明內容省略。例如：原始內容知識「管理的功能包括四項：1.規劃: 界定組織…;4.控制:監看活動結果…」，能產生的此類型試題包括「管理的功 能包括規劃、組織、領導及控制等四項」。此類型試題的語幹與原始知識內容 概念相同，因此答案都是「O」。 2. 倒裝語法型是非題：是將原始知識包含正反觀念的知識語法結構進行互換倒 置，而產生的是非題試題，此類試題主要用以評量了解層次的知識認知能力。 例如：原始內容知識「管理資訊系統的本質以管理為導向，並非以技術為導 向」，能產生的此類型試題包括「管理資訊系統的本質並非以管理為導向，而 是以技術為導向」。由於此類型試題的語幹與原始知識內容概念不同，因此答 案都是「X」。 (四) 原型填充題：是指依據教材知識庫的原始知識內容，而產生與原始教材知識 結構相同的單格或多格填充試題，此類試題主要用以評量記憶層次的知識回 憶能力。此外，原型是非題及濃縮語法型是非題的試題內容，亦可直接藉由 此類試題的產製規則產出原型填充題。當要產製此類試題時，其原始知識內 容需符合一些特殊的結構規則，例如屬於詞義關係-整體部分結構的原始知識 內容，必須有「、」等詞彙連接符號結構，或是屬於解意知識類型的原始知 識內容包含「…稱之為(某知識主題)」等主題指稱的文句結構。這些被連接 的詞彙或是被指稱的知識主題，經常被選為試題內的填充格。若同一知識概 念中可被選為填充格的數量有m 個，則系統會根據產製規則，使用排列組合 方式選出填充格的位置，因此系統產生具有評量相同知識概念的填充試題會 有ΣC(m,r)種，其中 1≦r≦m，r 是指每個產製完成的填充題所包含的填充格 數量，此即為圖 5 之步驟 J。此外，若原始教材知識屬於次序知識，則所產 生的試題其填充格位置及答案順序皆不得互換；若原始教材知識不屬於次序 知識，且填充格答案間無順序觀念，則具有相同答案集合的試題將合併成一 種試題。例如：詞義部分關係類型的原始內容知識「依據范紐曼架構，電腦 組成的五大單元分別為輸入單元、輸出單元、記憶單元、控制單元、算術邏 輯單元」，能產生的此類試題包括「依據范紐曼架構，電腦組成的五大單元分 別為輸入單元、輸出單元、____、____、____」。此試題中包含的填充格數量 r=3，所以此試題也只是系統產出 31 種試題組合的其中一種(ΣC(5,r)= 31, 1 ≦r≦5)，又因為原始知識內容不屬於次序關係類型的知識，因此這三個填充
格答案間的順序可互換。 (五) 相關整併型試題：此類試題是藉由教材知識本體結構關係而產製的試題，並 能產出多組的是非題、單選題及複選題等題型試題。若是處理中的教材知識 原屬於時機條件類型知識，則此類試題可用以評量評鑑層次的知識檢查認知 能力。以下的試題產製程序說明即為圖5 之步驟 M，此類試題又可細分為次 序相關整併型及連結相關整併型等二種常見的子類型。 1. 次序相關整併型：在次序關係教材知識中，藉由整併及改變相關詞彙的原始次 序而產生的試題，此類型試題主要用以評量了解層次的知識認知能力。 (1) 次序相關整併型是非題：假設ρ1 ~ρn是在知識主題中，具有某概念順序關 係的n 個詞彙，若是改變ρ1 ~ρn中的任一個詞彙順序，則就可以形成不正 確的知識觀念。但為了使產生的試題與原始知識概念差異不至於太大，以 免產生沒有評量效果的試題，因此此類型試題的產製規則會先從ρ1~ρn中 取出其中一組詞彙，並將取出的詞彙插入在剩下的 n-1 個詞彙間或前後位 置，因此新產生的次序組合其實只調整了其中一個詞彙的位置，這樣更適 合評量學生對此次序知識是否真的瞭解。所以每一個具有次序關係的知識 概念，都可以依照上述方式，產生 n*(n-1)種與原始知識順序不同的組合試 題，而這些試題間也都會以相同概念知識編號來標示出是用以評量相同知 識概念的試題。由於此類型試題中包含的詞彙次序與原始知識內容不同， 因此這些試題的答案都是「X」。例如：屬於次序關係類型的原始內容知識 「ISO-OSI 的網路七層協定，依照順序分別為:實體層、資料連結層、網路 層、傳輸層、會談層、展現層及應用層」，能產生的此類型是非題會包括 「ISO-OSI 的網路七層協定，依照順序分別為:實體層、資料連結層、傳輸 層、會談層、網路層、展現層及應用層」。因為此試題中包含的次序相關詞 彙數量n=7，所以此試題只是系統產出 42 種試題組合中的一種。 (2) 次序相關整併型單選題：此類試題的產製是先將正確的知識順序當成其中 一個備選答案，再從上述次序相關整併型是非題所產生 m 組相同概念知識 的試題中，選出其中 3 個試題組合以當作另 3 個備選答案，組合後便產生 一組次序相關整併單選題試題。因此本規則一共能產生 C(m,3)組的試題， 每一組試題中只有一個備選答案是正確的。此外，試題語幹中會被加入問 號的符號與描述，例如「關於 ISO-OSI 的網路七層協定，依照順序以下何 者正確？」 (3) 次序相關整併複選題：複選試題通常僅需要在單選題的語幹內容中加入否 定詞即可達成。例如「關於 ISO-OSI 的網路七層協定，依照順序何者不正 確？」，此試題的答案會與次序相關整併型單選題的答案剛好相反。 2. 連結相關整併型：依據處理中的教材知識，與其他具有相同知識主題的相關知 識內容進行整併後所產製的新試題。此類型試題主要用以評量了解層次的知 識認知能力。此類型還可再細分出很多種子類型，限於篇幅僅介紹其中的二 種主要的子類型。 (1) 同型知識相關整併：根據線上教材結構知識本體的知識類型，各類型知識 間的相同知識主題內容可以聚集成更完整的知識主題概念。此類型除了可 評量了解層次的認知外，其中一類的單選題型還可藉由試題產製規則的設 計產生評量分析認知能力的試題。 A. 是非題：本類型試題是依據目前教材內容的知識類型，取出其他相同知 識類型且知識主題相同的教材內容進行整併而成。整併後的試題語幹描
述會依照其知識特性而調整，例如同屬於「資訊管理」知識主題中有兩 個同屬於特性知識類型的一般特性描述，內容分別為「資訊管理以策略 眼光為導向」及「資訊管理以資訊基礎架構為體」，若將這兩個知識概念 整併，則產生的試題語幹會變為「資訊管理的特徵包含以策略眼光為導 向，且以資訊基礎架構為體。」，此類是非題所產的的試題答案為「O」。 若此知識主題具有其他比較關係的知識內容，則可進一步產生答案為 「X」的試題，此方法可以將原本的知識主題「資訊管理」，改成另一個 具有比較關係的主題「管理資訊系統」，而產生的試題即可改為「管理資 訊系統的特徵包含以策略眼光為導向，以資訊基礎架構為體」。另一方法 是分別從兩個具有比較相關的知識主題中，各自擷取屬於自己獨有的特 徵知識進行整併，然後以其中一個知識主題為語幹對象，而產生答案為 「X」的試題。 B. 單選題：可從知識主題本身及具有比較關係的另一個知識主題的教材內 容中，各自選取 1~3 個(合計需為 4 個)對照的教材內容，例如：從專家 系統的特性中選取 2 個特性知識，再從具有比較關係的決策支援系統主 題中選取 2 個特性知識，而經由「同型知識分析認知產製規則」產生具 有辨別認知層次的第一型單選試題包括「請挑選出屬於專家系統的特 性？甲.具有推理能力 乙.具有解釋能力 丙.使用模式庫 丁.利用嘗試錯 誤找答案：(1)甲乙 (2)乙丙 (3)甲丁 (4)丙丁」的試題。若經由「同型 知識了解認知產製規則」產生的第二型單選試題則包括「以下何者不是 專家系統的特性？(1)專家系統特性 1 (2)決策支援系統特性 1 (3)專家 系統特性2 (4)專家系統特性 3」的試題。 C. 複選題：此類型試題可根據此類單選題第二型(評量了解層次)的題幹內 容，直接從題幹中進行反義敘述即可。 (2) 非同型知識相關整併：此規則是根據線上講義教材結構知識本體的知識類 型，將相同主題的各類型知識整併而成的試題。 A. 是非題：是非題的產製與同型知識相關整併試題的產製方式相同，但合 併的知識屬於不同知識類型的內容。 B. 複選題：複選題的產製需先從相同知識主題的各類型知識中，取出 3 個 知識內容，然後再根據詞義關係的反義主題、上下位主題、整體部分主 題或比較關係的比較主題找出要成為錯誤答案的對照詞彙，並以這個對 照詞彙取出其儲存於解意或特性知識類型中的1 個知識內容，再進行試 題整併工作。例如產製完成的試題包括「以下對於作業系統的描述何者 正確？(1)作業系統是一種…(取自作業系統主題的解意知識) (2)Linux… 都是常見的作業系統 (取自作業系統主題的詞義下位知識) (3)作業系統 具有….(取自作業系統主題的特性知識) (4) 作業系統是針對特定領域而 設計，可解決特定使用需求的軟體 (取自應用軟體主題的詞義上位下位 知識)」，則選項 1、2、3 為此題答案。 C. 單選題：如先前作法，在此類型複選題試題的語幹上加上反義的敘述即 可，例如將上例改成「以下對於作業系統的描述何者不正確？」。 (六) 相關整併反義型是非題：是將已產製完成且答案為「O」的「相關整併型是 非題」試題語幹，進行詞義相反或加入否定型語幹的試題，此類試題可用以 評量了解層次的知識認知能力。此類試題的產生會利用相關語意詞彙資料庫 中所有具有反義詞的詞彙，來進行試題語幹內容中的反義詞取代，此為圖 5
之步驟 N。基本上本規則所產生的語幹，與原始「相關整併反義是非題」的 詞義相反，因此此類型試題的答案都是「X」。例如：原始相關整併型是非題 的語幹內容為「組織是一個穩定、正式的社會結構，構成要素有結構、人、 技術、任務及組織文化」(答案為「O」)，將「正式」改為反義詞的「非正式」 後，所產生的此類型試題為「組織是一個穩定、非正式的社會結構，構成要 素有結構、人、技術、任務及組織文化。」。 (七) 對照詞彙型試題：是指將原始教材知識內容中容易造成概念對照或混淆的詞 彙進行語幹詞彙替換的試題，此類試題能用以評量了解層次的知識認知能 力。例如：「理性」的對照詞包含了「感性」，「資訊」的對照詞包括「資料」、 「知識」等。在特定領域的測驗中，試題內可相互替換的對照詞或混淆詞可 從語意相關詞彙資料庫中取得。或依照原始知識內容的複數概念元素進行詞 彙字尾的一致性分析，再從相關語意詞彙資料庫查詢符合這些詞彙字尾的詞 彙，例如原始知識「ISO-OSI 的網路七層協定，依照順序分別為:實體層、資 料連結層、傳輸層、會談層、網路層、應用層及展現層」，這些複數概念元素 的字尾字元都是「層」，而剛好從語意詞彙資料庫中可找到字尾有「層」且也 是 3 個字的詞彙-「概念層」，因此也可作為以下各類型的替換詞彙，此程序 即為圖5 之步驟 P。 1. 對照詞彙型是非題：直接將原始教材知識中的具有對照或混淆詞彙的部分進 行替換即可產生，由於此類型試題的重要詞彙已被對照詞彙或混淆詞彙取 代，所以此類型試題的答案都是「X 」。例如原始正確的知識內容為「管理 資訊系統通常是以提供資訊為目的」，此類型所產製的試題可包括「管理資訊 系統通常是以提供知識為目的」。 2. 對照詞彙型單選題：依上述說明，可產生的試題為「以下何者不包含在 ISO-OSI 的網路七層協定中？(1)資料連結層(2)概念層(3)傳輸層(4)會談層」。 3. 對照詞彙型複選題：此類試題的產製可依照前述單選轉換成複選的方法，直 接從對照詞彙型單選題的語幹中進行反義敘述即可。 (八) 公式型試題：指利用知識庫中所儲存的公式為基礎而產製具有運算邏輯或公 式推導運算的試題，此為圖 5 之步驟 R。此類型試題主要用以評量應用層次 的知識認知能力。例如：漢明碼、CRC 碼、各種進制數碼的運算與轉換運算 等。此類試題能產生是非題、填充題、單選題與複選題，後三者題型的試題 如同上述，均以是非題為基礎，透過試題轉換即可產製完成。 (九) 相同概念整合型試題：是指將前幾類新產生的試題及現有題庫中的試題進行 整合後，再產生的新試題，此類型試題主要用以評量了解層次的知識認知能 力。此類型試題僅針對所有知識概念的是非題進行單選題及複選題型的試題 轉換產製工作，在此程序中系統會將具有相同知識概念的試題進行分類歸 納，並將不同試題概念編號的試題進行整合，以產生以知識主題為試題語幹 的新試題，此程序即為圖5 之步驟 U 及步驟 W，此類型試題的產製方式如下 描述。例如系統以「管理資訊系統」為知識主題進行前幾類型試題產製時， 新產生了30 個是非題，這些試題來自 11 個不同的試題概念，某些具有相同 試題概念的題目則有相同的試題概念編號。此時，系統會從現有題庫中，查 詢出概念主題包含「管理資訊系統」的所有是非題，並進行新的組合試題。 以表3 所列出的部分試題內容來進行說明，在表 3 中有*號的試題其概念編號 都是35，表示這三個試題產製於相同的教材知識內容，因此在同一個單選題 的試題中，只能有一組題幹能被當作備選答案，若系統選擇了題號為35-2 的
題幹當作錯誤的備選答案，則系統會將試題概念編號為35 的剩餘試題扣除， 再從其他剩餘的試題中找出不同試題概念編號且答案為「O」的試題，最後 系統從中選出題號10-0、40-0、48-0 等三個題幹來當作此單選題的另三個正 確備選答案，所產生的題幹會以概念主題的內容來描述，例如：「以下對於管 理資訊系統的描述何者不正確?」。經由此項程序，便能產製出綜合不同知識 類型的「相同概念整合型單選題」。此類型複選題產製方式，與先前根據單選 題內容產製成複選題的方法相同，直接從單選題的語幹中進行反義敘述即可。 表3:部分產製完成之是非題試題範例歸納簡表 概念 編號 題號 概念 主題 知識 類型 知識 層次 認知層次 試題類型 題目 答 案 19 19-0 管理資訊 系統 解意 事實 記憶 原型是非題 管理資訊系統的本質以管理為導向，並 非以技術為導向。 O *35 35-0 管理資訊 系統 解意 事實 記憶 原型是非題 管理資訊系統通常是以提供資訊為目的 O *35 35-1 管理資訊 系統 解意 事實 記憶 對照詞彙型 是非題 管理資訊系統通常是以提供知識為目的 X *35 35-2 管理資訊 系統 解意 事實 記憶 對照詞彙型 是非題 管理資訊系統通常是以提供資料為目的 X 23 23-1 管理資訊 系統 解意 事實 記憶 對照詞彙型 是非題 管理資訊系統的問題大多為結構性，因此解決問題的過程中需要較多的知識 X 40 40-0 管理資訊 系統，資 訊管理 比較- 差異 概念 了解 同型知識相 關整併型是 非題 資訊管理以策略眼光為導向，管理資訊 系統則以組織內部的資訊系統為主。 O 48 48-0 管理資訊 系統，資 訊管理 比較- 共同 概念 記憶 原型是非題 資訊管理和管理資訊系統的共通點包含：重視資訊系統與科技對組織的貢獻。 O 本研究藉由知識本體及試題產製類型的設計，電腦自動產製的試題不僅只是 產生試題的語幹、備選答案、標準答案、題型，還包含此試題所屬的原始知識概 念(概念編號)、知識類型、知識層次、認知層次等重要資訊，如圖 4。而每個試題 所對應的Bloom 知識層次，是根據產製此試題的原始教材知識所屬的知識類型來 決定，而每個試題所對應的Bloom 認知層次，則是由試題類型及知識類型來共同 決定。因此，這些試題所包含的重要訊息，可提供學習者進行知識回饋的教材連 結補救學習，也能評量出學習者在不同層次知識向度及認知向度的學習結果，並 給予學習者更深入的評量結果說明及學習建議。 表4:部分產製完成之是非題試題範例歸納簡表 概念主題 試題類型 題目 答案 知識 類型 知識 層次 認知層次 電腦 原型填充 題(順序 可互換) 依據范紐曼架構，電腦組成的五大單元分別為輸入單 元、輸出單元、____、____、算術邏輯單元。 記憶單 元,控制 單元 詞義 整體 部分 概念 (Ba) 記憶 回憶 (1) 管理資訊 系統，資 訊管理 同型知識 相關整併 型是非題 資訊管理以策略眼光為導向，管理資訊系統則以組織 內部的資訊系統為主。 O 比較 差異 概念(Bb) 了解(2) 數碼轉換 公式型填 充題 請完成以下的進制轉換： 76(10)= _________ (2) = _________ (8) = _________ (16)。 X 公式 程序 (Ca) 應用(3) 專家系統 同型知識 相關整併 單選題 請挑選出屬於專家系統的特性？甲.具有推理能力 乙. 具有解釋能力 丙.使用模式庫 丁.利用嘗試錯誤找答 案 (1)甲乙 (2)乙丙 (3)甲丁 (4)丙丁」 1 特性 事實 (Ab) 分析(4) 資訊委外 同型知識 相關整併 複選題 以下何者是企業採用資訊委外(outsourcing)方式取得 系統資源時所考慮的因素？(1)提升使用者對系統的 學習與成長 (2)保有策略性應用資訊系統的機會 (3) 取得特殊技術能力的需求 (4)系統與人力成本分攤。 3,4 時機 條件 程序 (Cc) 評鑑(5)
