以本體論及語意分析發展具備自動產生教材及測驗題目之線上華文知識學習系統(II)

行政院國家科學委員會專題研究計畫 成果報告

以本體論及語意分析發展具備自動產生教材及測驗題目之

線上華文知識學習系統(2/2)

研究成果報告(完整版)

計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 95-2416-H-004-005- 執 行 期 間 ： 95 年 08 月 01 日至 96 年 07 月 31 日 執 行 單 位 ： 國立政治大學資訊管理學系 計 畫 主 持 人 ： 楊亨利 計畫參與人員： 博士班研究生-兼任助理：應鳴雄、劉季綸、王貞淑、楊筱 芳、鄭秀華、吳俊德、李震華、賴正育、蕭淑玲 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中 華 民 國 96 年 09 月 22 日

行政院國家科學委員會補助專題研究計畫成果進度報告

※※※※※※※※※※※※※※※※※※※※※※※※※

※ ※

※ 以本體論及語意分析發展具備自動產生教材及 ※

※ 測 驗 題 目 之 線 上 華 文 知 識 學 習 系 統

( 2 / 2 ) ※

※ ※

※※※※※※※※※※※※※※※※※※※※※※※※

計畫類別：個別型計畫

計畫編號：NSC 95-2416-H-004-005

執行期間：

95 年 8 月 1 日至 96 年 7 月 31 日

計畫主持人：楊亨利 教授

計畫參與人員：應鳴雄

成果報告類型：精簡報告

處理方式：二年後可公開查詢

執行單位：國立政治大學 資訊管理學系

中 華 民 國

96 年 8 月 1 日

行政院國家科學委員會專題研究計畫計畫成果報告

以本體論及語意分析發展具備自動產生教材及測驗題目之線上華

文知識學習系統(2/2)

計畫編號：NSC 95-2416-H-004-005

執行期限：95 年 8 月 1 日至 96 年 7 月 31 日

主持人：楊亨利 教授 國立政治大學 資訊管理學系

計畫參與人員：應鳴雄

一、中文摘要 線上學習及線上測驗已成為資訊教育 的重要議題，線上測驗不只是在測驗後給 予受測者一個分數而已，而應該讓學習者 了解自己在知識向度及認知向度的學習結 果資訊，以使測驗活動能給予學習者更大 的幫助。本研究以本體論、詞彙網路、 Bloom 分類理論、中文語意庫為基礎，提 出一個能輔助教師自動產製試題的線上測 驗系統架構，並藉以減輕教師編製測驗題 庫的負擔，且能涵蓋新版Bloom 認知領域 教育目標分類中的知識向度及認知向度概 念。本研究的成果能減少教師人工出題的 負擔，電腦輔助出題的平均試題品質也優 於教師人工出題的試題品質，顯示透過本 體論及語意分析技術，能在知識學習系統 的教材及試題發展上有所助益。 關鍵詞：線上測驗、Bloom 教育目標分類、 本體論、詞彙網路、試題分析 Abstract

Since the rapid E-learning development, the online learning and testing have been important topics of information education. Currently teachers still need to spend much time on creating and maintaining test item banks. Some researches have applied the new Bloom's taxonomy to design meaningful learning assessments. This research has applied ontology, Chinese semantic database, artificial intelligence, Bloom's taxonomy, to propose an on-line testing system framework to assist teachers in creating test items. The results of study are as follows. (1) The computer would assist teachers to produce a large number of test items quickly. (2) After analyzing the question types, knowledge types,

dimensions of cognitive skills, average difficulty index, and average discrimination index of these test items, we concluded that the quality of items that produced by computer is better than those produced by teachers. (3) The experiment indicated that all teachers were willing to use these items.

Key Words: Online Test, Semantic Web, Ontology, Bloom’s Taxonomy, Item Analysis. 二、計畫緣由與目的 由於電子化學習環境技術的快速發 展，線上學習與測驗已成為資訊教育的重 要議題。而電腦輔助測驗(Computer-Based Testing, CBT)具有提高測驗效率、減少測 驗時間、降低測量誤差等優勢，因此近年 已被廣泛應用(何榮桂,民 79;周文正, 民 87)。 測驗及評量並非只是用來產生一個試 圖代表學習者學習成效的分數而已，而應 重視試題與教育目標的配合，並讓測驗成 為輔助學習的一部份。近年來Bloom 等人 (1956)的教育目標分類廣被國內外教育界 採用，新版的Bloom 認知領域教育目標則 已分成知識向度和認知歷程向度兩類。知 識向度是專指知識的分類，並將知識分成 事 實(Factual) 、 概 念 (Conceptual) 、 程 序 (Procedural)及後設認知(Metacognitive)；而 認知歷程向度則區分為記憶、瞭解、應用、 分析、評鑑與創造(葉連祺與林淑萍，民 92)。然而在強調「自我學習」的線上學習 環境中，學習者在知識向度及認知向度的 學習成效，可藉由線上測驗來評量，若要 達此目的，線上測驗系統中的試題便需包 含每個試題所能評量的知識層次及認知層 次資訊。

過去研究指出，建立與維護測驗題庫 是一項耗費人力的工作，當測驗系統題庫 不足時，也容易造成題目出現頻率過高及 學生直接記憶答案的情形(蔡松齡，民 81; 林盈達、林義能，民 88)。因此，如何提 供豐富完整的題庫及有效率的出題方式， 已成為遠距教學中的重要課題(何榮桂等 人，民 85)。有研究指出，若是採用多位 學者共同合作產製試題的策略來提升題庫 產製效率，將容易產生題目重複或偏重某 概念的情形(黃國禎等人，民 91)。 黃居仁(民 92)認為知識本體論能使電 腦處理更多的內容細節和結構。因此，本 研究使用知識本體概念來協助線上學習系 統中的教材內容，可依據知識內文的特定 結構或語意進行儲存，再進一步透過知識 本體結構來達到系統可自動產生測驗題庫 的目的。本研究假設線上教材知識若能先 依照本體結構及知識語意關係存放，且電 腦能夠辨識出教材內容中知識主題間的語 意關係，則將能使電腦具備自動產製測驗 題庫的能力。 為了讓線上測驗系統能依據線上教材 知識，輔助教師自動產製龐大多元且具有 Bloom 分類概念的測驗題庫。本研究整合 楊亨利與應鳴雄(民 95 年)的研究，進一步 以本體論、語意分析及Bloom 分類理論為 基礎，期望能在具備是非題、單選題、複 選題及填充題等題型的線上測驗系統中， 發展輔助自動產製測驗題庫的功能。 一個系統就算宣稱能夠輔助教師自動 產製試題，然而這些試題的品質及可用性 也仍需透過實際施測的過程來確認系統的 效益。Ebel 與 Frisbie(1991)就認為試題可 以透過難度、鑑別度與誘答力的統計特徵 來檢視每個試題的品質與可用性。而本研 究將針對透過電腦輔助而自動產製試題， 經由學生實際施測來進行試題的難度及鑑 別度檢驗，再從教師的認知角度來評量試 題的可用性及品質。 本研究計畫共分兩年，目前呈現的成 果為第二年計畫，第一年的研究內容是以 電腦輔助產製試題方法為主，第二年計畫 則針對教材內容自動剖析及儲存、試卷編 製及選題策略、電腦產製的試題品質實證 進行研究。 本計畫第二年之具體研究目的如下： (一) 針對教材內容的剖析辨識及儲存方法 進行探討及系統實作。 (二) 從題型及 Bloom 教育目標分類，探討 電腦輔助產製試題的品質及可用性。 (三) 從教師的認知角度，探討電腦輔助產 製試題的試題可用性及效益。 (四) 以 Bloom 教育目標分類概念為基礎， 提供能符合教師所設定之教育目標分 類概念的試題，以使試卷題目所評量的 知識能力目標能配合教師的教學目標。 三、研究架構與系統建置 (一) 線上華文知識學習系統建議架構 為了使電子化學習系統能透過現有線 上教材內容，輔助教師自動產製測驗題 庫，並使此機制能在線上知識學習系統環 境中正常運作，本研究在第一年的計劃中 提出了一個適合此機制運作的線上知識學 習系統建議架構，如圖1 所示。由於第二 年的計劃主要在延續第一年計劃，並將來 自教師及其它來源文章的內容進行教材內 容的剖析辨識及儲存的功能完成，以期望 能與第一年計畫中的電腦輔助題庫產製子 系統進行自動化的銜接。因此以下僅針對 「文章與斷詞處理子系統」及「輔助線上 教材自動產製與動態展現子系統」進行詳 細的模組元件及運作方式說明。 (二) 文章與斷詞處理子系統之系統架構 文章與斷詞處理子系統之系統架構，如 圖 2 所示，各元件之內容說明如下： 1. 原始文章管理模組：此模組中主要包括 檔案匯入、線上知識直接編輯及原始文 章知識內容管理三項功能，此模組的功 能在於將各種原始文章及知識內容進行 初步的儲存與管理。 (1) 檔案匯入功能：將教師在知識領域中 所收集的知識文章匯入至原始知識 文章資料庫中，再執行知識領域的定 義及內容格式統一的工作。 (2) 線上知識直接編輯：教師可將知識內 容由鍵盤輸入，或直接從其他視窗中 將所需處理之知識內文直接貼入至 線上知識編輯畫面中，並進行儲存。 (3) 原始知識文章管理：提供教師針對原

始知識文章資料庫的內容，進行修 改、查詢及刪除等管理功能。 2. 原始知識文章資料庫：集中儲存原始知 識文章內容，以便提供後續文句斷詞及 知識萃取的處理。 3. CKIP 斷詞分析：本研究在斷詞分析部 分，採用中央研究院資訊科學研究所詞 庫小組的CKIP 中文自動斷詞系統，以 進行原始知識文章資料庫中所有內容的 斷詞工作，斷詞後的結果及語詞文法結 構符號則存入通用斷詞準知識庫中。 4. 通用斷詞準知識庫：存放經過 CKIP 系 統斷詞分析後的輸出結果。 5. 領域斷詞修補模組：由於 CKIP 斷詞系 統對於特定專業領域的許多專業名詞無 法精準的處理，因此本模組則結合領域 詞彙主題資料庫與 CKIP 斷詞結果，進 行斷詞結果修補作業，以提升斷詞結果 在特定專業領域的正確性及可用性。 6. 領域詞彙主題資料庫：存放特定專業領 域中的專業詞彙。 7. 專用斷詞準知識庫：存放經過領域斷詞 修補模組程序處理後的斷詞結果，此資 料內容已針對專業領域之專業詞彙進行 處理，因此可提供知識萃取引擎進行知 識內文之文句結構及詞義關係分析。 8. 領域詞彙管理模組：提供教師或管理者 建立、刪除、修改及查詢特定專業領域 詞彙之功能，此外，此模組亦可用以建 立詞彙與詞彙間的關係。 圖 1：線上華文知識學習系統建議架構 教師與管 理 者 學習者 通用斷詞 準知識庫 領域詞彙主題資料 原始知識 文章資料 教師管理 操 作介面 專用斷詞 準知識庫 教材本體 資料庫 公式基模資料庫 知識樣式 資料庫 線上教材 知識庫 學習者課 程 學習操作 介 面 輔助線上教材產製與動態展現子系統 測驗本體 資料庫 電腦輔助題庫產製子系統 測驗樣式 資料庫 測驗題庫及答案資料庫 線上測驗與智慧評分子系統 測驗結果 資料庫 學習資源 資料庫 資料庫作業 文章與斷詞處理子系統 同音異字 資料庫 申訴 記錄 學習歷程 資料庫 知識討論及 公告資料庫 學習輔助工具管理子系統 學習歷程 資料庫 評分參數 資料庫 相關語意 詞彙資料庫

通用斷詞 準知識庫 領域詞彙 主題資料庫 原始知識 文章資料庫 Internet 教師系統操作及管理介面



專用斷詞 準知識庫 CKIP 斷詞分析 領域斷詞修補模組 領域詞彙管理模組 原始文章管理模組 教師與管 理者 圖 2:文章與斷詞處理子系統之系統架構圖 (三) 輔助線上教材產製與動態展現子系 統之系統架構 輔助線上教材產製與動態展現子系統 之系統架構，如圖3 所示，圖中除了已於 「文章與斷詞處理子系統」中說明之元件 以外，其餘元件之內容說明如下： 1. 教材本體資料庫：儲存本研究所提出之 教材講義結構知識本體。 2. 教材本體管理模組：提供教材講義知識 本體結構的新增、刪除、修改及查詢等 管理功能。 3. 公式基模樣式管理模組：此模組主要進 行公式基模及知識樣式模型的新增、刪 除、修改及查詢等工作。 (1) 公式基模管理：可針對領域知識內所 有具有數學公式、邏輯運算，或其他 可利用方程式推導之知識，進行運算 規則及知識的儲存。此模組可讓線上 講義教材中包含公式推導概念的計 算範例或線上測驗中的運算題目，均 可由此基模及亂數來自動產生內容 變化，藉以活化講義教材的內容及提 升彈性。 (2) 知識樣式管理：針對管理資訊系統及 資訊管理導論相關書籍內文中，常被 用 來 描 述 知 識 概 念 的 語 法 結 構 規 則、詞義關係規則進行管理與儲存， 以提供知識萃取引擎使用。 4. 公式基模資料庫：儲存與數學公式、邏 輯運算等具有推導概念的知識規則。 5. 知識樣式資料庫：儲存書籍內文中常用 來描述知識概念的語法結構規則、詞義 關係規則及所對應的中文語句詞彙及語 法符號。 6. 知識萃取引擎：提供三個模組以處理知 識萃取及知識獲得的工作。 (1) 內文主題分析模組：可將專用斷詞準 知識庫內之文章內容、詞義符號，及 領域詞彙主題資料庫內的所有詞彙 進行載入並剖析文章內文，以瞭解文 章內所談論的知識主題為何，並將內 文中彼此相關的知識主題建立連結 點，最後再將這些資料內容傳送給詞 義關係分析模組處理。 (2) 詞義關係分析模組：此模組用來剖析 知識內文中每一段敘述所符合知識 樣式結構，以將知識的內文、語句結 構拆解成符合教材本體規範的內容 型態，並找出內文中符合詞義關係規 則的內容。完成內文規則及樣式剖析 工作後，知識萃取引擎會將這些初步 被自動分解出的知識主題、內容及知 識主題間關係，再傳送至知識獲得輔 助模組進行處理。 (3) 知識獲得輔助模組：本研究在系統初 期，難以將所有知識樣式規則包括進 來，因此將提供教師人工輔助確認的 功能，以確保所萃取知識的正確性及

可用性。當教師或管理者發現該發現 的知識概念並未被萃取出來，那麼教 師可以直接在此功能上新增知識，甚 至去瞭解內文未被有效萃取的原 因，並分析哪些知識文句結構尚未被 包含在知識樣式資料庫中，再藉由這 樣的回饋功能來使知識樣式規則更 加完整。如果系統所萃取的知識是不 重要的，那麼教師也可以直接在此功 能上直接刪除知識，或進行知識樣式 規則的調整。如果教師並不希望介入 知識萃取的過程，則可透過知識萃取 引擎的自動化參數進行設定，此參數 分為「系統自動萃取，且自動儲存」、 「系統自動萃取，但由教師審核後存 入」及「由教師人工建立知識及儲存」 三種情境選項，這三種情境也代表著 知識獲取自動化程度為「全自動」、 「半自動」或「全人工」。 圖3: 輔助線上教材產製與動態展現子系統之系統架構圖 7. 線上教材知識庫：用以存放被萃取後的 知識內容，而這些知識與知識的關係則 透過關聯式資料庫的資料表來進行連 結，而學習者未來所使用的講義教材知 識來源，便是使用這個知識庫中的內容。 8. 知識關係連結模組：可將新增的知識與 已存在於線上教材知識庫中的知識進行 內容關係的連結。由於每一組新的知識 從知識萃取引擎被萃取出來時，可能與 過去已儲存的知識內容也會產生許多不 同整類的知識關係；因此除了剛新增的 知識要被儲存在線上教材知識庫中，每 一個新的知識則需要透過此模組與已存 在的知識進行知識主題詞義關係的分析 與連結，之後再將這些重新建立關係的 知識儲存至線上教材知識庫中。 9. 動態產生及展現線上教材講義模組：此 模組的功能是當學習者在本研究的知學 習網站上進行學習時，系統會依據教材 知識本體結構、線上教材知識庫、學習 者目前點選之課程主題、公式基模資料 庫、知識樣式資料庫等內容，搭配動態 伺服器網頁程式(ASP)來自動產生內含 語意表頭(Semantic Heading)之線上教 材內容。此模組所產生之教材文件都是 動態產生出來的，所以如果同時間教師 剛好針對學習者所欲學習的知識主題新 建立了一個知識概念，那麼學習者在點 選該主題知識後，畫面上便立即會顯示 出包含該項知識內容的線上教材講義。 在線上教材講義中，本系統將會針對所 有被包含在領域詞彙主題資料庫中的知 文章與斷詞處理子系統 教師系統操作及管理介面 教材本體 資料庫 公式基模 資料庫 知識樣式 資料庫 線上教材 知識庫 學習歷程 資料庫 知識萃取引擎 詞義關係 分析模組 內文主題 分析模組 教材本體 管理模組 知識獲得 輔助模組 公式基模樣式 管理模組 動態產生及 展現線上教材 講義模組 知識關係 連結模組 學習者課程學習操作介面 專用斷詞 準知識庫 主題資料庫領域詞彙 學習者 教師與管 理者

識主題，在網頁中提供超連結的功能， 學習者便可透過這些超連結進行跨網頁 間的非線性學習活動，也能有助於學習 者依照自己的學習需求來學習知識。 10. 學習歷程資料庫：用以儲存學習者在 教學系統中的所有學習歷程記錄。 (四) 教材知識內容斷詞標記與結構規則 本研究將經過「文章與斷詞處理子系 統」斷詞過程，並完成「輔助線上教材產 製與動態展現子系統」剖析知識的文章， 依據第一年計畫所提出的教材知識本體結 構，及剖析到的文章語意，而將知識內容 自動儲存至線上教材知識庫中。因此，線 上教材知識庫中實際儲存的知識內容均為 經過斷詞後的知識，並將知識類型區分為 解意、特性、理論模式、因果、次序、詞 義、比較、時機條件、公式與範例等十類， 除了公式知識是由教師依照公式基模的樣 式建立之外，其餘各種知識類型都有其所 屬的知識結構規則，且用以評量特定的知 識概念。而任何一種知識類型所包含的規 則甚多，因此在本精簡報告中無法一一說 明。舉例而言，「…[導因(VK)於(P)|起因於 (Vi)|肇因於(Vt)]…」即為因果知識中的一 個規則，凡屬該類知識皆儲存於教材知識 本體中的因果類型知識內。 四、系統成效評估 (一) 雛形系統功能說明 以下僅針對主要功能進行說明: 1. 線上教材知識內容管理：教師可透過教 材管理區的「教材講義知識管理」功能， 選擇輸入知識主題關鍵字，或是依照講 義章節內容進行知識關係及內容的管 理。圖4 為「決策支援系統」知識的一 個詞義關係內容結構的維護畫面。儲存 於系統內的教材知識內容，除了原始文 字內容外，也包含每個詞彙斷詞後的詞 性標記。 2. 電腦輔助產製試題：當線上教材知識庫 已儲存許多教材知識後，教師可透過線 上測驗區的「題庫自動產製」功能，讓 系統從「線上教材知識庫」中搜尋新進 的教材內容，並依據教材內容結構來產 生試題內容。教師可從題庫輔助產製的 選擇畫面，選擇單一知識主題或全部知 識主題的試題產製。 3. 電腦輔助編製試卷的選題管理：教師可 透過線上測驗區的「試卷產生」功能， 讓系統從已經產製完成的試題中協助教 師選擇題目並編製成試卷。本系統提供 教師二種電腦輔助挑選試題的編製試卷 方法，第一種是從「題型」、「知識類型」 或「知識認知能力」中，從中選擇一種 概念出題；第二種是同時整合「題型」、 「知識類型」及「知識認知能力」三類 出題概念，進行電腦輔助選題的程序。 圖5 為教師以第二種方式進行電腦輔助 選題的畫面，圖中教師完成了10 個題目 的試題類型需求設定，其需求涵蓋了不 同題型、知識類型及認知層次，系統會 依照教師的需求產生試卷內容。若教師 對這組試題不滿意，教師可進行試題組 合的修改，或從畫面中的功能按鈕，重 新再由電腦亂數產生另一組試卷組合。 而被選出的每個試題，螢幕中都會顯示 出該題的題幹、備選答案、標準答案、 知識概念編號，以及該試題所能評量的 知識層次及認知能力層次類型。 4. 學生教材知識學習：本系統提供主題式 及章節式等二種模式讓學生在系統上進 行知識學習。主題式的知識學習類似專 業領域的百科全書查詢，學習者只需輸 入所欲學習的領域知識關鍵詞彙，系統 將會直接從線上教材知識庫中將相關的 知識呈現在畫面中，若知識內文中尚包 含其他相關的知識主題，學習者可直接 透過相關知識主題上的超連結進行深入 學習，系統也會將學習者的學習路徑記 錄下來，以避免學習者在知識學習中迷 失路徑(如圖 6)。章節式的知識學習，則 是經由教師透過章節管理功能，事先將 已儲存在現上教材知識庫中的知識，依 照教師的教學目標進行章節教材的內容 及結構設定，學習者便可類似一般教科 書的方式，依照章節順序學習。無論是 上述何種學習方式，本系統在線上教材 講義中將會針對所有被包含在領域詞彙 主題資料庫中的知識主題，在網頁中提 供超連結的功能，學習者便可透過這些 超連結進行跨網頁間的非線性學習活 動，每個知識主題亦可透過畫面的註解

按鈕查詢知識內容的出處。 圖4：維護儲存於知識結構中的知識內容畫面 圖5:電腦輔助編製試卷的選題設定畫面 (二) 電腦輔助出題與教師人工出題的基本 能力比較 本研究在第二年計畫中持續改善「電 腦輔助題庫產製子系統」的出題規則，以 提升電腦輔助產製試題的品質，並與教師 人工出題之試題品質進行比較。 1.教師人工出題實驗 本研究委託國內11 所大專院校 15 位 曾授過管理資訊系統課程之教師針對本研 究指定的管理資訊系統課程章節出題，題 型限制為是非題、單選題、複選題及填充 題等四類。實驗後15 位教師共產製了 440

個試題，扣除54 題完全相同的題目後，實 際產製了386 題不同題目內容的試題，平 均每位教師所花費的試題產製時間為 3.9 個小時，這些試題的題型分佈如表 1 所 示。刪除重複試題後的題型分佈以是非題 143 題 最 多 ( 佔 37%) ， 複 選 題 最 少 ( 佔 17.6%)。而這些試題的 Bloom 向度分佈如 表2 所示，試題涵蓋了事實、概念及程序 知識等三種知識層次，以及涵蓋了記憶、 了解、分析及評鑑等四個認知層次。由於 實驗的指定章節教材中，並未包含適合產 製應用層次試題的內容，因此教師們並未 產製應用層次的題目。事後與教師訪談， 教師們普遍認為若有應用或演算類型知 識，其應用層次試題並不難產生。除此之 外，大多數教師則認為，屬於後設認知知 識、評鑑或創造認知層次的試題，並不容 易透過是非、單選、複選及填充題來發展。 表1:教師人工產製試題之題型分佈結果 知識向度 是非題 單選題 複選題 填充題 小計 刪除重複 試題後 (143) 37% 27.5%(106) 17.6% (68) 17.9%(69) 100%(386) 表2:教師人工產製試題之 Bloom 向度分佈 認知歷程向度 知識 向度 記憶 了解 應用 分析 評鑑 小計 事實 知識 49.7% (192) 6.5% (25) 0% (0) 14.5% (56) 0.78%(3) 71.5%(276) 概念 知識 15.3% (59) 7.0% (27) 0% (0) 3.1% (12) 0% (0) 25.4%(98) 程序 知識 2.3% (9) 0% (0) 0% (0) 0.8% (3) 0% (0) 3.1%(12) 小計 67.3% (260) 13.5% (52) 0% (0) 18.4% (73) 0.8%(3) 100%(386) 2.電腦輔助出題結果 本研究的「輔助題庫產製子系統」也 針對相同的指定章節教材，進行知識內容 的剖析與試題產製，電腦產製完成的試題 若以不同題幹及選項為試題計算基礎，則 合計產生18621 題(如表 3)，其中以複選題 最多。但由於這些試題中有某些試題的答 案選項或部分題幹內容是經由系統內建的 相關語意詞彙進行排列組合的變化而產生 另一試題，事實上這些試題因為具有相同 的評量意義，所以應該歸類為「相同試 題」，經過計算後系統實際產生「具有不同 評量意義的試題」共有1624 題。而這 1624 個試題則源自於 279 個原始教材知識概 念，而每一個試題則會透過語意關係、組 合排列等方式，來產生題目實質意涵相 同，但是選項內容不同的大量試題。因此， 每一個被本系統視為「相同試題」的題目， 平均會有11.466 個不同的題幹或選項題目 可隨機替換，因此可部份抒解題庫不足與 測驗題目重複導致學生直接記憶答案的問 題。因此，在各題型的試題產製數量上， 電腦產製出題能力較教師人工出題佳。 表 3: 電腦輔助產製試題之題型分佈結果 試題題型 是非題 單選題 複選題 填充題 小計 不同題幹及選 項的試題 6.19% (1153) 35.51% (6612) 57.24% (10659) 1.06% (197) 100% (18621) 具有不同評量 意義的試題 30.91% (502) 19.77% (321) 36.64% (595) 12.68% (206) 100% (1624) 若從Bloom 認知目標向度來分析，電 腦輔助教師產製「具有不同評量意義的試 題」之Bloom 分類向度分佈結果如表 4。 電腦輔助產製的試題可評量之知識類型包 括事實、概念及程序等三類知識；而電腦 輔助產製的試題可評量之認知類型包括記 憶、了解、分析及評鑑等四個層次，其中 以分析類型試題較多。電腦輔助產製試題 所涵蓋的Bloom 分類範圍，與先前教師人 工出題的範圍相同，而在四種題型的產製 限制下，認知歷程中的評鑑層次試題較難 發展。而就認知歷程而言，無論是電腦產 製或是教師產製的試題，「記憶」層次通常 以「事實知識」為主，「了解」層次通常以 「概念知識」為主，此結果與陳筱菁(2004) 的研究結論相同。此研究結果也揭露出本 系統在「了解」向度的產製試題數量上比 教師產製的數量低許多，分析導致此結果 的原因，主要是因為試題產製規則對於屬 於了解層次及事實知識類型的試題產製規 則能力尚不夠健全，因此仍須透過後續研 究建立產製此類試題的規則。此外，本研 究因為試題產製規則中包括能進行對照詞 彙型試題及相關整併型試題的產製規則， 因此能產生大量的單選題及複選題，也能 產生認知歷程中的分析層次辨別能力試 題。本研究為了確認「應用」層次的產製 能力，因此在實驗程序結束後，額外在線 上學習系統中增加了數碼轉換的知識概念 教材內容，而讓系統嘗試發展「應用」層 次試題，最後電腦在應用試題出題演算法 中控制了出題上限，而另外產生了50 題屬 於應用層次的試題，這些試題均屬於「程 序知識」的試題。此結果顯示本系統亦具 備一定程度的應用層次試題發展能力。

圖6: 學習者使用主題式進行知識學習的畫面 表4: 電腦輔助產製試題之 Bloom 分類向度分佈結果 圖7:學生測驗後的認知目標學習成效能力指標圖 當系統完成試題產製工作後，線上測 驗系統便會將產製完成的試題儲存在測驗 題庫中，教師可以透過圖5 的輔助選題編 製試卷功能，來設定教師所欲產生的試卷 組合。圖7 為某位學生在進行一份包含 15 題的試卷測驗後的學習成效能力指標分析 圖。學習者可藉由測驗後的學習成效能力 指標圖，來瞭解自己在不同知識層次或認 知層次能力上的學習成效，並針對表現不 好的類型試題，進行學習方法的修正。 3.教師對電腦輔助產製試題之採用意願 為了瞭解電腦產製完成的試題可用 性、正確性、合理性、評量性，以及教師 對於這些試題的採用意願，本研究在進行 「教師對於電腦試題品質的認同及接受程 度」評估前，先讓參與實驗的教師親自於 線上審視經由電腦產製完成的18621 題試 題。因此每位教師均可實際感受到電腦產 製完成的試題品質。為了讓教師能更深入 的評估試題品質，本研究則從18621 題試 題中，隨機產生50 題知識概念不重複的試 題(是非 10 題、單選 20 題、複選 10 題、 填充 10 題)，並由所有參與實驗教師針對 每一個試題的可用性、合理性、評量性及 願意採用該試題的認同度，填寫 Likert 5 點區間尺度的試題品質量表，分數高低表

示教師對於該試題品質的認同及接受程 度。本量表之Cronbach α 值為 0.975，量 表中的每個題目皆透過教材知識及試題產 製規則產生，並經過二位領域教師檢視， 因此具有高度的信度與內容效度。 經過資料分析後，參與實驗教師對於 由電腦隨機選出的 10 題是非題之採用意 願分數平均為4.06 分，20 題單選題之採用 意願分數平均為4.12 分，10 題複選題之採 用意願分數平均為4.14 分，10 題填充題之 採用意願分數平均為4.14 分。顯示大多數 教師對於電腦輔助產製是非、單選、複選 及填充題的試題內容，普遍認同這些試題 的可用性、正確性、合理性及評量性，而 且也有高度意願採用這些試題。但有3 位 教師對特定題型試題給予較差的評分，經 過與個別教師訪談後發現，這3 位教師因 為個人教學經驗及對於測驗題型的認知與 喜好差異，對特定題型試題沒有使用意 願，而非認為試題內容不恰當。綜合實驗 結果發現：不同的教師對於特定題型及題 目難易度會有特殊的認知偏好，因此會造 成某些教師對於特定題型給予試題較差的 認同分數；但整體而言，參與實驗教師對 於電腦輔助產製的試題合適性與認同度方 面，均給予正面的評價，顯示教師對本研 究試題有高的接受度。 4.教師對系統成效評估 當參與實驗教師實際操作系統後，則 開始填寫「電腦輔助產製試題子系統的系 統成效問卷量表」，此量表有30 個問項， 每個問項參考測驗系統及編製試題原則等 相關文獻之指標，並經二位領域專家針對 問卷內容及詞句給予意見，另外本量表的 Cronbach α 值為 0.973，因此量表具備相當 高的內容效度及信度。 參與教師普遍認為利用電腦能夠輔助 產製出用以評量「事實」、「概念」及「程 序」等知識類型的試題，但對於電腦輔助 產製用以評量「概念知識」的成效上不如 「事實知識」的效果好，此部分有待後續 研究針對「概念知識」類型的試題產製， 進行產製規則的研究。而利用電腦也能夠 輔助產製出用以評量「記憶」、「了解」、 「應用」、「分析」及「評鑑」等認知歷 程的試題，其中電腦輔助產製用以評量較 低層次認知的試題表現較佳，對於高層次 的「分析」及「評鑑」試題，則表現的較 不理想。此結果顯示，評量越高層次的認 知類型試題，較不容易透過基本的結構來 讓電腦輔助產製，因此高層次試題仍須由 教師人工出題為宜。 在產製試題的題型能力方面，教師普 遍認為無論在是非、單選、複選及填充題， 電腦均能進行有效的試題產製，特別在是 非題的試題產製表現最佳，複選題的試題 產製為此四種類型中表現較差者，但整體 而言均能得到參與實驗教師的認同。此 外，研究結果也顯示透過電腦輔助產製的 試題，其效益包括試題具備Bloom 概念資 訊、試題變化較人工出題佳、試題涵蓋教 材中所有重要知識概念、試題與教師人工 產製的重點類似、試卷選題功能使試卷內 不會有評量相同知識概念的重複試題、試 題符合試題編製理論的原則、每個試題都 具有特定的意義及代表性。而在建立龐大 題庫能力方面，電腦僅花 5 分鐘便從 279 種原始教材知識概念中，完成1624 種具有 不同評量意義的試題(若將不同答案選項 及題幹視為一題，則實際有18621 題)。因 此大多數老師均認為此系統比人工出題更 有效率，而且試題數量也較人工出題佳， 所以電腦輔助產製的題庫試題足以提供線 上學習系統使用。 (三) 電腦輔助出題與教師人工出題的試題 品質比較 為了考量教學評量的目的與價值，郭 生玉(民 77)認為試題品質可透過試題分 析(item analysis)的質化分析與量化分 析過程來判斷，其中的量化分析主要包括 了試題難度與鑑別力的評鑑。因此本研究 將針對電腦輔助出題及教師人工出題的試 題品質進行量化分析的難度（difficulty）、 鑑別度（discrimination）檢驗，以探討本 研究的系統出題品質。在探討難度與鑑別 度時，從受測者的測驗分數取最高及最低 各 27%的數據進行分析其可靠性最大,因 此本研究將 27%的數據來區隔高分組與低 分組學生。 試題難度是指受測者答對試題的百分 比，難度指數介於 0 與 1 間，愈接近 1 代

表答對人數愈多，試題愈簡單，愈接近 0 代表答對人數愈少，試題愈困難。因此本 研究先分別計算高低分組在每個試題答對 人數的百分比，計算公式如下： 在難度的認定上，本實驗採用 Ebel 與 Frisbie（1991）、余民寧（民 86）、郭 生玉（民 74）等人提出之試題評鑑原則， 個別試題的難度指數應介於 0.4 至 0.8 間，整體試題的難度指數應在 0.5 左右。 試題鑑別度是指試題可用以區別不同 程度受測者的能力，鑑別度高的試題通常 會讓高分組的受測者答對試題的比率較 高，低分組的受測者答對試題的比率較 低。鑑別度指數介於-1 到+1 之間，指數愈 大，鑑別度愈高；指數愈小，則鑑別度愈 低。當鑑別度為 0 時，便有可能是題目太 難或太容易。因此，鑑別度的計算則是高 分組答對試題的百分比減去低分組答對試 題的百分比，其計算公式如下： 在鑑別度的認定上，本實驗採用 Ebel 與 Frisbie（1991）、余民寧（民 86）、郭 生玉（民 74）等人提出之試題評鑑原則， 鑑別度指數 0.4 以上是屬於非常優良試 題；0.3 至 0.39 屬於優良試題；0.2 至 0.29 屬於尚可試題；0.2 以下則屬於劣質 試題。 在試題品質比較實驗中，是由北部某 大學資管系44 位修習「管理資訊系統」課 程的學生參與。試題品質實驗的流程如圖 8，實驗初期是由計畫中所指定的管理資訊 系統教材章節(共 2 章)，分別由之前描述 的15 位教師人工出題，以及本研究的電腦 系統輔助出題，所產製的試題則分別存放 在題庫X 及題庫 Y。之後本研究再從電腦 產製完成的題庫X 及教師人工出題的題庫 Y 中，分別採用分層隨機抽樣方式，各自 從題庫中取出是非題10 題、單選題 10 題、 複選題5 題及填充題 5 題，合計 30 題的題 目。從電腦出題的題庫X 中所選出的題 目，將被編製成試卷X，而從教師人工出 題的題庫Y 中所選出的題目，則被編製成 試卷Y。每位受測學生則同時要撰寫試卷 X 及試卷 Y 的試題，當學生完成這兩份試 題的撰寫後，則進行試題品質分析。 圖 8：試題品質實驗程序圖 表 5 不同組別受測者在試卷 X 及試卷 Y 的測驗成績平均數差異檢定及變異數同質檢定分析表 平均數差異檢定 Levene變異數 同質檢定 自 變 數 依變數 組別 樣本數 平均數 標準差 自由度 t值 P值 F值 P值 A組 22 42.59 14.55 試卷X 測驗成績 B組 22 48.82 13.18 42 -1.488 0.144 0.005 0.946 A組 22 53.36 9.01 受 測 組 別 試卷Y 測驗成績 B組 22 52.64 10.93 42 0.241 0.811 0.771 0.385 為了避免受測學生同時測驗試卷 X 及 試卷 Y 時，其中一份試卷的答案可能可以 從另一份試卷的題目中獲得，而影響到試 卷的試題品質分析結果，因此本研究在進 行實驗時，X 卷與 Y 卷將分開進行施測， 以確保每位受測學生不會在相同的時間， 同時擁有試卷 X 及試卷 Y。為了達到此目 的，本研究依照受測學生的期中考成績排 名，將排名為奇數與偶數名次的學生分別 區分成 A、B 二組，並於不同教室施測。A 組受測學生在進行測驗時，先考由電腦輔 助產製出題的試卷 X，當 X 卷完成繳卷後， 再拿取由教師人工出題的試卷 Y。B 組受測 學生在進行測驗時，則先考由教師人工出 書籍資料 內容 電腦輔助 產製試題 集體教師 人工出題 題庫 X 題庫 Y 試卷 X 試卷 Y 學生進行 測驗 試題品質分析 ● 高分組答對率 PH = RH/NH ………… (公式 1) ● 低分組答對率 PL = RL/NL ………… (公式 2) ● 難度 P= (PH/PL)/2 ………(公式 3) (註：R:答對人數;N:總人數;H:高分組;L:低分組) ●鑑別度 D = PH - PL ……… (公式 4)

題的試卷 Y，當 Y 卷完成繳卷後，再拿取 由電腦輔助產製出題的試卷 Y。 為了確認 A、B 二組受測學生在接受試 卷 X 及試卷 Y 的測驗順序差異，是否會影 響各試卷測驗的成績結果，本研究針對不 同組別的受測學生在試卷 X 及試卷 Y 的測 驗結果進行平均數差異的檢定，檢定結果 如表 5 所示，不同組別的學生在試卷 X 及 試卷 Y 的測驗成績結果上並無顯著差異， 因此試卷 X 及試卷 Y 的測驗順序，對於測 驗成績的結果並無顯著影響。 1. 電腦輔助與教師人工產製試題之試題 品質分析(以題型為基礎) 試卷 X 的試題，是從電腦自動產製試 題的題庫 X 中，經過分層抽樣程序而隨機 選出的題目；其中包含 10 題是非、10 題 單選題、5 題複選題、5 題填充題(共包含 10 個空格)。試卷 Y 中的試題，則是從包 含 386 題教師人工產製試題的題庫 Y 中， 利用分層隨機抽樣程序而產生；其中共包 含 10 題是非、10 題單選題、5 題複選題、 5 題填充題(共包含 10 個空格)。試卷 X 與 試卷 Y 的施測時間均為 50 分鐘，亦由相同 的 44 位受測者參與。 電腦輔助與教師人工產製試題之試卷 難度及鑑別度計算結果，彙整於表 6。從 表 6 中發現在四種不同題型中，無論是電 腦輔助出題或是教師人工出題的試題平均 難度均介於「適中」的 0.24~0.73 間，符 合試題難度應介於 0.2~0.8 的「適中」試 題準則範圍，而各題型所產生試題難度為 「適中」的比例相似。但在試題鑑別力方 面，電腦輔助出題在四種不同題型的試題 平均鑑別度均在表示為「優良」的 0.3 以 上，而教師人工出題在四種不同題型的試 題平均鑑別度則均落在表示為「尚可」的 0.2~0.3 之間，結果顯示電腦輔助出題的 在各題型的試題平均鑑別度品質均優於教 師人工出題。若從整體試題鑑別度為「優」 或「極優」的試題比例分析，電腦輔助出 題的試卷中佔有 46.7%的比例，人工出題 的試卷中則佔有 36.7%的比例，因此電腦 輔助出題方式的整體鑑別度也優於教師人 工出題方式。 表 6: 電腦輔助與教師人工產製試題之試題品質數量分佈(以題型為基礎) 試題品質-難度 試題品質-鑑別力 題型 試題產製 方式 易 適中 難 平均 難度 劣 尚可 優 極優 平均 鑑別力 電腦輔助 5 (50.0%) 5 (50.0%) 0 (0.0%) 0.7 (適中) 4 (40.0%) 1 (10.0%) 1 (10.0%) 4 (40.0%) 0.33 (優) 是非題 (10 題) 人工出題 5 (50.0%) 4 (40.0%) 1 (10.0%) 0.73 (適中) 7 (70.0%) 1 (10.0%) 0 (0.0%) 2 (20.0%) 0.17 (劣) 電腦輔助 1 (10.0%) 7 (70.0%) 2 (20.0%) 0.47 (適中) 1 (10.0%) 5 (50.0%) 1 (10.0%) 3 (30.0%) 0.31 (優) 單選題 (10 題) 人工出題 2 (20.0%) 8 (80.0%) 0 (0.0%) 0.70 (適中) 2 (20.0%) 3 (30.0%) 2 (20.0%) 3 (30.0%) 0.26 (尚可) 電腦輔助 0 (0.0%) 3 (60.0%) 2 (40.0%) 0.33 (適中) 2 (40.0%) 0 (0.0%) 0 (0.0%) 3 (60.0%) 0.45 (極優) 複選題 (5 題) 人工出題 0 (0.0%) 4 (80.0%) 1 (20.0%) 0.36 (適中) 2 (40.0%) 1 (20.0%) 0 (0.0%) 2 (40.0%) 0.24 (尚可) 電腦輔助 0 (0.0%) 4 (80.0%) 1 (20.0%) 0.29 (適中) 1 (10.0%) 2 (20.0%) 0 (0.0%) 2 (20.0%) 0.41 (極優) 填充題 (5 題) 人工出題 0 (0.0%) 2 (40.0%) 3 (60.0%) 0.24 (適中) 2 (20.0%) 1 (10.0%) 2 (20.0%) 0 (0.0%) 0.21 (尚可) 電腦輔助 6 (20.0%) 19 (63.3%) 5 (16.7%) 0.50 (適中) 8 (26.7%) 8 (26.7%) 2 (6.7%) 12 (40.0%) 0.35 (優) 合計 (30 題) 人工出題 7 (23.3%) 18 (60.0%) 5 (16.7%) 0.59 (適中) 13 (43.3%) 6 (20.0%) 4 (13.3%) 7 (23.3%) 0.24 (尚可) 2. 電腦輔助與教師人工產製試題之試題 品質分析(以知識類型為基礎) 電腦輔助及教師人工出題方式所產生 的試題在認知領域教育目標的知識向度試 題品質表現結果彙整於表 7。從表 7 中發 現，三種知識向度的試題，除了教師人工

出題的試卷未抽樣出屬於程序知識的試題 外，電腦輔助出題或是教師人工出題的各 類 試 題 平 均 難 度 均 介 於 「 適 中 」 的 0.36~0.59 間 ， 符 合 試 題 難 度 應 介 於 0.2~0.8 的「適中」試題準則範圍；然而， 若從屬於事實知識及概念知識試題的平均 難度來分析，電腦輔助出題的試卷試題其 平 均 難 度 則 比 人 工 出 題 的 試 卷 更 接 近 0.5，因此電腦輔助出題的試卷試題的難度 品質較佳也較為適中。 在試題鑑別力方面，電腦輔助出題在 事實知識、概念知識等二種知識向度的試 題平均鑑別度均在表示為「優良」的 0.3 門檻以上，程序之事項度的試題平均鑑別 度則為 0.28 屬於「尚可」；而教師人工出 題在三種知識向度的試題平均鑑別度均落 在表示為「尚可」的 0.2~0.3 間，結果顯 示電腦輔助出題的在知識向度的試題平均 鑑別度品質也優於教師人工出題。 表 7: 電腦輔助與教師人工產製試題之試題品質數量分佈(以知識向度為基礎) 試題品質-難度 試題品質-鑑別力 知識 向度 試題產製 方式 易 適中 難 平均 難度 劣 尚可 優 極優 平均 鑑別力 電腦輔助 4 (26.7%) 9 (60.0%) 2 (13.3%) 0.54 (適中) 4 (26.7%) 4 (26.7%) 1 (6.7%) 6 (40.0%) 0.38 (優) 事實 知識 人工出題 6 (28.6%) 11 (52.4%) 4 (19.0%) 0.59 (適中) 9 (42.9%) 5 (23.8%) 2 (9.5%) 5 (23.8%) 0.25 (尚可) 電腦輔助 1 (11.1%) 7 (77.8%) 1 (11.1%) 0.49 (適中) 1 (11.1%) 3 (33.3%) 1 (11.1%) 4 (44.4%) 0.35 (優) 概念 知識 人工出題 1 (11.1%) 7 (77.8%) 1 (11.1%) 0.56 (適中) 4 (44.4%) 1 (11.1%) 2 (22.2%) 2 (22.2%) 0.22 (尚可) 電腦輔助 1 (16.7%) 3 (50.0%) 2 (33.3) 0.36 (適中) 3 (50.0%) 1 (16.7%) 0 (0.0%) 2 (33.3%) 0.28 (尚可) 程序 知識 人工出題 0 (0.0%) 0 (0.0%) 0 (0.0%) NA 0 (0.0%) 0 (0.0%) 0 (0.0%) 0 (0.0%) NA 表 8: 電腦輔助與教師人工產製試題之試題品質數量分佈(以認知領域為基礎) 試題品質-難度 試題品質-鑑別力 認知 領域 試題產製 方式 易 適中 難 平均 難度 劣 尚可 優 極優 平均 鑑別力 電腦輔助 4 (23.5%) 11 (64.7%) 2 (11.8%) 0.51 (適中) 4 (23.5%) 5 (29.4%) 1 (5.9%) 7 (41.2%) 0.38 (優) 記憶 人工出題 5 (27.8%) 10 (55.6%) 3 (16.7%) 0.61 (適中) 8 (44.4%) 3 (16.7%) 4 (22.2%) 3 (16.7%) 0.23 (尚可) 電腦輔助 0 (0.0%) 3 (100%) 0 (0.0%) 0.58 (適中) 0 (0.0%) 0 (0.0%) 1 (33.3%) 2 (66.7%) 0.50 (極優) 了解 人工出題 1 (25.0%) 3 (75.0%) 0 (0.0%) 0.66 (適中) 1 (25.0%) 1 (25.0%) 0 (0.0%) 2 (50.0%) 0.32 (優) 電腦輔助 1 (14.3%) 3 (42.9%) 3 (42.9%) 0.38 (適中) 3 (42.9%) 3 (42.9%) 0 (0.0%) 1 (14.3%) 0.23 (尚可) 分析 人工出題 1 (12.5%) 5 (62.5%) 2 (25.0%) 0.47 (適中) 4 (50.0%) 2 (25.0%) 0 (0.0%) 2 (25.0%) 0.21 (尚可) 電腦輔助 1 (33.3%) 2 (66.7%) 0 (0.0%) 0.56 (適中) 1 (33.3%) 0 (0.0%) 0 (0.0%) 2 (66.7%) 0.39 (優) 評鑑 人工出題 0 (0.0%) 0 (0.0%) 0 (0.0%) NA 0 (0.0%) 0 (0.0%) 0 (0.0%) 0 (0.0%) NA 電腦輔助及教師人工出題方式所產生 的試題在認知領域教育目標的認知向度試 題品質表現結果彙整於表 8。從表 8 中發 現，電腦輔助出題或是教師人工出題的試 題中，無論是記憶、了解、分析或評鑑向 度的試題，除了教師人工出題的試卷未抽 樣出屬於評鑑向度的試題外，其餘各類試 題的平均難度均介於「適中」的 0.38~0.58 間，符合試題難度應介於 0.2~0.8 的「適

中」試題準則範圍；然而，若從屬於「記 憶」及「了解」向度試題的平均難度來分 析，電腦輔助出題的試卷試題其平均難度 則比人工出題的試卷更接近 0.5，顯示出 以「記憶」及「了解」向度的試題難度而 言，電腦輔助出題的試題平均品質優於教 師人工出題；但在「分析」向度的難度上， 教師人工出題的平均試題難度則較電腦輔 助出題的接近 0.5，因此電腦輔助出題在 「分析」向度的試題難度表現上並未達到 教師人工出題的水準，因此未來電腦輔助 產製試題的子系統，有必要針對能產製「分 析」向度試題的出題規則進行修正，以使 平均難度能更接近 0.5。 在試題鑑別力方面，電腦輔助出題在 「記憶」、「了解」、「評鑑」等三種認知向 度的試題平均鑑別度分別是 0.38、0.50、 0.39 均落在表示為「優良」與「極優良」 的 0.3 及 0.4 門檻以上；屬於「分析」向 度的試題平均鑑別度則是 0.23，落在表示 為「尚可」的 0.2~0.3 間。而教師人工出 題在「記憶」與「分析」二種認知向度的 試題平均鑑別度均落在表示為「尚可」的 0.2~0.3 間，只有「了解」向度的試題平 均鑑別度是 0.32，落在表示為「尚可」的 範圍。因此，從認知向度的試題鑑別力而 言，電腦輔助出題的試卷品質則優於教師 人工出題的試卷。 若以試題品質的刪題準則來分析，凡 是試題太難(難度<0.2)、試題太簡單(難度 >0.8)、試題鑑別度太差(鑑別度<0.2)都刪 除後，電腦輔助出題的試卷將被刪除 12 題，剩餘可用的試題為 18 題，符合試題品 質的可用試題比率為 60%；而教師人工出 題的試卷將被刪除 15 題，剩餘可用的試題 為 15 題，符合試題品質的可用試題比率為 50%。因此電腦輔助產製的試題，也具有較 高的試題品質及試題可用率。 五、結論與建議 本研究在第二年計畫中，針對教材內 容的自動剖析辨識及儲存方法，以及編製 試卷擇選方法研究，並與第一年計畫的系 統功能，進行了更完整的自動化整合，此 外本研究也針對電腦產製的試題品質與教 師人工出題的試題品質，以實驗方法來進 行檢驗。 本研究在電腦輔助產製試題的試題品 質與可行性的研究上，透過電腦輔助產製 試題與教師人工出題兩種方式編制的試 卷，透過受測學生實際測驗後的結果，進 行試題品質的評估。研究成果顯示，15 位 教師平均每人花費 4.3 小時，共產製 386 個不同的試題，而本研究根據相同的教材 內容，由電腦花費約 5 分鐘產製了 18621 題試題，扣除答案選項及題幹變化的相似 題目後，實際具有不同評量意義的試題共 有 1624 題。這些試題所能評量的知識類型 包含了事實知識 809 題，概念知識 273 題， 程序知識 542 題，另外所能評量的認知層 次包括記憶層次 718 題，了解層次 28 題， 分析層次 810 題，評鑑層次 18 題，創造層 次試題則無法透過是非、單選、複選及填 充題題型來發展，應用層次試題則在系統 具備相關教材知識後，亦能藉由本系統進 行產製。 而在試題品質方面，電腦輔助產製試 題之採用意願分析結果顯示，不同的教師 對於特定題型及題目難易度會有特殊的認 知偏好及效用認知差異，因此會造成某些 教師對於特定題型給予試題較差的主觀評 價，若排除教師對於特定題型的排斥因素 後，參與實驗的教師對於電腦輔助產製的 試題合適性與認同度方面，均給予正面的 評價，顯示本研究的試題能被一般教師所 接受及使用。但是，如果要對於試題品質 進行客觀的評估，則需要另外針對大量的 試題進行額外的實證研究，以取得每個試 題的難易度與鑑別度結果。 此外，電腦輔助產製試題子系統的系 統成效評估分析結果顯示，利用電腦能夠 輔助產製出用以評量「事實知識」、「概 念知識」及「程序知識」等各種知識類型 的試題，以及輔助產製出用以評量認知歷 程的「記憶」、「了解」、「應用」、「分 析」及「評鑑」等類型的試題，此結果與 教師人工出題範圍一致，顯示本研究確實 能輔助教師進行具備 Bloom 分類概念資訊 的試題發展。而透過電腦輔助產製用以評 量較低層次認知的試題表現較佳，若要產 製評量更高層次的認知類型試題，電腦則 較不容易透過固定的結構規則來達成。

實證結果也顯示，透過電腦輔助產製 的試題能達到試題產製的時間及試題變化 效益，所產製的試題也能具有試題均能符 合試題編製原則要求、避免同一試卷中出 現評量相同知識概念的重複試題、提供包 含 Bloom 分類資訊試題、透過知識本體的 知識連結可產生新概念試題等效益。此 外，老師們也認為電腦輔助產製試題能協 助教師發展一般常見的基本層次測驗試 題，因此老師們有相當高的意願利用此系 統來協助其產製大量題庫及選取試卷題 目，而教師所節省的時間，則可進行更高 層次的試題發展。 而在試題難易度方面，無論是以題 型、知識向度或認知向度來進行分析，電 腦輔助出題與教師人工出題的平均試題難 度，均無明顯的差異，並符合試題為「適 中」的要求，顯示電腦輔助出題的試題難 易度，能達到教師人工出題的能力。 而在試題鑑別力方面，若以題型來進 行分析，電腦輔助出題的平均試題鑑別力 達到「優良」的水準，而教師人工出題的 平均試題鑑別力僅達到「尚可」的水準， 顯示電腦輔助出題方式的試題鑑別力優於 教師人工出題方式；若以試題用以評量的 知識向度來分析，電腦輔助出題在用以評 量事實知識及概念知識向度的平均試題鑑 別力均達到「優良」的水準，而教師人工 出題在這二個向度的平均試題鑑別力僅達 到「尚可」的水準，顯示電腦輔助出題方 式在用以評量適時知識及概念知識的試題 鑑別力上優於教師人工出題方式；若以試 題用以評量的認知向度來分析，電腦輔助 出題在用以評量記憶、了解、分析等認知 向度的平均試題鑑別力均優於教師人工出 題方式。 綜合而言，本研究之貢獻及未來發展 方向說明如下： (一) 研究貢獻 為使電腦能輔助教師自動產製試題， 本研究將藉由網際網路特性及電腦運算能 力，使線上測驗系統能發揮最大效用，並 能對電子化學習系統及教育領域有所貢 獻，本研究之貢獻歸納如下： 1. 本 研 究 的 雛 形 系 統 在 初 期 研 究 成 果 中，已可獲得許多輔助人工出題的效 益，除了降低教師人工出題的負擔外， 也能輔助產製涵蓋評量事實、概念及程 序等三種知識向度及記憶、了解、應用、 分析及評鑑等五種認知向度的試題。從 教育領域而言，本研究的貢獻主要在於 結合了 Bloom 教育目標分類概念及試題 出題原則，使電腦能提供具有實質教育 意涵的測驗試題。 2. 本研究的研究結果顯示，透過電腦科技 可以更有效率的產製出大量且變化的基 本試題，實際減輕教師產製試題的負 擔，而教師可將節省下來產製試題時 間，用來設計及發展更高層次的試題。 3. 本研究的研究結果顯示，透過本研究的 系統架構所產製的電腦輔助產製試題， 其試題難易度能具備教師人工出題時的 試題難易度水準；而在試題鑑別力方 面，電腦輔助出題的試題平均而言優於 教師人工產製的試題。 4. 本研究提出的「電腦輔助題庫產製系 統」架構，結合 Bloom 分類及本體論概 念，足以讓線上測驗系統的「電腦輔助 選題編製試卷」功能，能快速依據教師 所需要的試題知識向度、認知向度或測 驗題型，分別編製成不同測驗目的之試 卷，以增加教師進行各種評量的彈性。 5. 經由教材知識本體的設計，原本非連續 的教材知識間可以依據其所屬之知識類 型關係結構來相互連結，使得教材知識 不再只能以原有的知識概念呈現，透過 知識結構的連結，便有可能挖掘出新的 知識概念。而透過試題產製規則的設 計，系統也能依據教材知識本體結構及 知識內容，產生新知識概念的試題。 6. 本研究的雛形系統架構設計，使得測驗 試題能直接從線上教材中萃取，並與知 識教材緊密結合，因此系統輔助產製的 試題，便能與原始系統內的原始教材知 識內容進行連結，當受測者在答錯測驗 題目時，系統便能輕易的透過這樣的測 驗回饋連結，直接讓受測學生連結至該 題目相關的原始教材內容中進行知識補 強的學習，如此將能帶給學習者更大的 學習輔助。

(二) 研究限制與未來研究建議 由於時間及開發環境上的因素，本研 究之系統仍有一些限制，茲條列如下，並 討論其改進的方向。 1. 由於實例知識中的情境個案知識牽涉 過多的情境及隱含，而多媒體附件知識 不適用於語意分析技術，因此這些類型 知識未列在輔助產製試題的教材來源 中，在試題產製規則中也未分析這一類 的知識教材內容。 2. 電腦輔助產製的試題，雖可涵蓋 Bloom 認知目標第一層分類概念，但尚無法完 全產製出涵蓋 Bloom 知識向度及認知向 度第二層子類別的試題。未來研究可針 對 Bloom 分類第二層的內容，透過知識 本體結構的修改，以及試題產製規則的 設計來努力。 3. 由於中文語法結構變化多元，目前系統 所設計的試題產製規則仍無法包含所有 中文環境中的規則結構，因此本研究仍 須不斷的進行試題產製規則的補強。 4. 本研究對於教材知識本體及試題產製 規則的設計，是以華文課程知識學習環 境為基礎，因此僅能以中文的語法結構 進行知識內容的分析及試題產製的工 作，尚無法對於英文文章內容進行內容 分析及英文試題產製。未來研究可考慮 結合英文文法規則及結構，來達成英文 文章的分析及試題產製工作。 5. 受限於實驗執行的考量因素，本研究是 以「管理資訊系統」的部分內容做為研 究課程範例，因此可能在應用層次或更 高層次的試題發展上會受到限制。後續 研究將可從國小、國中、高中、大學等 教育層級中，選擇更適合發展各種層次 的課程領域進行研究。 6. 由於本研究著重系統架構之研究及初 期成效評估，因此實證皆以課程領域教 師為主。未來研究則可邀請教育專家檢 視在有輔助系統的協助及沒有輔助系統 的協助下，針對課程教師出題的正確性 進行評估。 六、計畫成果自評 （一）電腦自動產製試題相較於人工出題 的效益自評 經過電腦輔助自動產製試題方法的設 計及雛形實驗系統的建置後，相較於教師 的人工出題，本研究的電腦自動產製試題 的效益說明如下： 1. 本 研 究 中 電 腦 自 動 產 製 的 試 題 涵 蓋 Bloom 分類的向度資訊，促使試題評量 具有教育意義。而教師人工出題通常未 考 慮 試 題 可 評 量 的 向 度 ， 若 要 包 含 Bloom 分類向度資訊，則需額外請教育 專家協助分類。 2. 本研究中電腦自動產製的試題可評量 的知識層次及包含事實、概念與程序知 識，可評量的認知層次則包含記憶、了 解、應用、分析、評鑑，這與教師人工 出題的能夠達到的範圍相同，顯示電腦 自動產製試題可以協助教師的工作，並 能達到甚至優於教師人工出題的水準。 3. 針對先導實驗中的教材內容，15 位教 師們平均花費 3.9 小時，僅發展 386 個 試題，本研究的系統能在 3 分鐘內便自 動產製 7963 題的試題內容，因此能減少 教師建立測驗題庫所需付出之人力時 間。 4. 本研究能達成電子化學習環境需求大 量豐富試題題庫的目標。 5. 本研究能產生許多用以評量相同知識 概念的不同試題，以降低學習者直接記 憶試題答案的動機。 6. 本研究在加入新的知識教材後，系統可 藉由知識本體結構，重新分析新知識與 過去知識的關係，因此可將分屬在不同 章節的知識進行連結，並進而產生跨章 節概念的新試題 。 7. 本研究的試題已在試題產製規則中，加 入試題發展的原則及理論，因此試題能 符合各類題型發展的原則。 （二）研究發表 本研究成果目前正陸續改寫成論文， 目前已有一篇論文被電子商務學報接受， 並預計於 2007 年 12 月刊登。 七、參考文獻（因篇幅限制，僅列出部分文獻）

【1】 Alderson, J.C., “Technology in Testing: The Present and Future,” Elsevier Science Document System (28), 2000, pp: 593-603. 【2】 Anderson, W., & Krathwohl, D. R., A

Taxonomy for Learning, Teaching, and Assessing: A Revision of Blooms' Educational

Objectives, NY: Longman, 2001.

【3】 Bloom, B. S., Englehart, M. D., Furst, E. J., Hill, W. H., and Krathwohl, D. R., A Taxonomy of Educational Objectives: Handbook 1, The Cognitive Domain, N.Y.: David Mckay Co, 1956.

【4】 Bunge, M., Treatise on Basic Philosophy: Vol.3: Ontology I: The Furniyure of the World, Boston, MA: Reidel, 1977.

【5】 Desai, B. C., “Supporting Discovery in Virtual Libraries,” Journal of the American Society for Information Science, 48(3), March 1997, pp: 190-204.

【6】 Devedzic, V.B., “Key Issues in Next-Generation Web-Based Education,” IEEE Transactions On Systemsm, Man, And Cybernetics-PART C: Applications And Reviews (33:3), 2003, pp: 339-349.

【7】 Ebel, R. L. & Frisbie, D. A.. Essentials of educational measurement, 5th ed., Englewood Cliffs, NJ: Prentice-Hall, 1991.

【8】 Fensel, D., Harmelen, F., Horrocks, I., McGuinnesm D.L. and Patel-Schneider, P.F., “OIL: An Ontology Infranstructure For The Semantic Web,” IEEE Intelligent Systems, 16(2), 2001, pp: 38-45.

【9】 McCormack, D. and Jones, D., Building a Web-Based Education System, N.Y.: Wiley, 1997.

【10】 Rosenberg, M. J., E-Learning: Strategies for Delivering Knowledge in the Digital Age, AcGraw-Hill, 2001.

【11】 Russell, S.J. and Norvig, P., Artifical Intelligence: A Modern Approach, Prentice Hall, Upper Saddle River, New Jersey, 2nd

edition, 2003.

【12】 Uschold, M. and Gruninger, M., “Ontologies: Principles, Methods and Applications,” The Knowledge Engineering Review, 11(2), 1996, pp: 93-136. 【13】 何榮桂，民 79，『電腦教學系統中的測驗設 計』，中等教育，第 41 卷．第 2 期：29~34 頁。 【14】 何榮桂、蘇建誠、郭再興，民 85，『遠距適性 測驗系統架構』，資訊與教育雜誌，第 42 期： 29~35 頁。 【15】 林盈達、林義能，民 88，『DIYExamer：題庫 收集、測驗與鑑別系統及其效能』，TANET'99 論文集。 【16】 周文正，民 87，『WWW 上電腦輔助測驗系統之 研製』，中華民國第七屆電腦輔助教學研討 會。 【17】 郭生玉，民 77，『心理與教育測驗』，台北: 精華書局。 【18】 黃國禎，曾秋蓉，朱蕙君，蕭經武，民 91，『智 慧型線上測驗系統題型之分析與改進』，科學 教育學刊，第 10 卷．第 4 期：423~439 頁。 【19】 葉連祺、林淑萍，民 92 年 1 月，『布魯姆認 知領域教育部標分類修訂版之探討』，教育研 究月刊，第 105 期：94~106。 【20】 楊亨利、應鳴雄，民 95 年 1 月，『具備智慧 型模糊評分機制之線上測驗系統架構』，資訊 管理學報，第 13 卷，第 1 期： 41~74 頁。 【21】 蔡松齡，民 81，『電腦在題庫命題作業之運用 (下)』，師友月刊，第 298 期：54~58 頁。

行政院國家科學委員會補助國內專家學者出席國際學術會議報告

95 年 8 月 16 日 報告人姓名 楊亨利 服務機構 及職稱 政治大學資管系教授 時間 會議 地點 2006/8/6-2006/8/11 大陸桂林 本會核定 補助文號 NSC 95-2416-H-004 -005 - 會議 名稱

PRICAI 2006 (Ninth Pacific Rim International Conference on Artificial Intelligence)包含 PRICAI Workshops (PRIMA 2006, PKAW 2006)

發表論文 題目

(中文)

(英文) An Intelligent System for Supporting Personal Creativity based

on Genetic Algorithm

報告內容包括下列各項： 一、參加會議經過

由於兩岸沒有直航，需要轉機。8/6 搭長榮飛機 BR0801 至澳門，通澳門海關，再進 入珠海海關，轉南方航空 CZ3765 抵達桂林。8/7-8/8 至會場先參加 PRICAI 的前二天預 備會 Workshop：PRIMA 2006, PKWA 的研討會，8/9-8/10 繼續參加其技術 Sessions，包 含 8/9 發表本人 paper，8/10 參加完該日白天議程，搭晚上飛機南方航空 CZ3766 先抵 達珠海住宿一夜，第二天出珠海關，再出澳門關，搭轉搭長榮飛機 BR0802 回國。

二、與會心得

此研討會為二年一次，今年是大陸廣西大學、廣西師範大學與澳洲 General Management System Organization 合辦。相較我之前參加的 KES 研討會，此 PRICAI 的 規模並沒有那麼大。不過，其主要三天(8/9-8/11)的 Session 也有 596 篇文章投稿，接 受 81 篇（錄取率 13.6%）為口頭發表，也是競爭激烈。本人的文章也在此 81 篇之列。 但另取了 87 篇的文章，不需口頭發表，稱為 Poster，只要張貼文章，而大會也安排一 個時段讓他們備詢，所收之報名費一樣，算是為了增加經費收入的手段。其論文集是收 錄 LNAI 之 SCI 系列，也包含 Poster 的文章，只是稍短一些正常文章 10 頁內，而 Poster 文章 6 頁內，可是，由 LNAI 中只是將其歸為 Short Paper ，並未明顯區分其品質。並 不十分公平。而或許是因 LNAI 的關係，其報名費收 US$450，算是很高，而且對作者不 分學生與否，收費標準一致。另方面，其為了節省成本，竟然連光碟都不壓製，十分特 別。另外，其在 8/7-8/8 的頭兩天，另辦了兩個 Workshop: PKAW(Pacific Rim Knowledge Acquisition Workshop) 、 PRIMA (Pacific Rim International Workshops on

Multi-Agents)，前者是針對「知識擷取」（收了約 24 篇正式文章）、後者是針對「多個

代理人」（收了約 40 篇正式文章及 50-60 篇 Poster），但這些並非 LNAI。而幾乎同一時 間(8/5-8/8)甚至還有另一個研討會 KSEM2006(First International Conference on Knowledge Science, Engineering and Management)在舉行，也是 LNAI 系列，大會對 同時參加此二研討會（PRICAI2006、KSEM2006）的作者，也祭出報名費打折來吸引，算 是以一個以辦多年的亞太地區國際研討會 PRICAI2006 來拉台其自己舉辦 KSEM2006 的聲 勢。

其主要三天的 technical sessions 主題包含 Intelligent Agents, Automated Reasoning, Machine Learning and Data Mining, Natural Language Processing and Speech Recognition, Computer Vision, Perception and Animation, Evolutionary Computing, Industrial Applications 等，而 Posters 也類似。議題豐富。

三、考察參觀活動(無是項活動者省略) 無 四、建議 (1)國內乃至政大應可承辦此類與 LNCI、LNAI 掛勾之研討會。以提昇 SCI 之發表。 (2)由於兩岸沒有直航，轉機花費時間相當多，政府政策似可再檢討。 五、攜回資料名稱及內容 研討會論文集，此也為 LNAI 之系列。 六、其他 發表的論文如附。

主旨: [PRICAI2006] Your Paper #76 寄件者: [email protected]

日期: Fri, 5 May 2006 09:41:27 +0200 (CEST)

收件者: [email protected],[email protected], [email protected]

Dear Heng-Li Yang, Cheng-Hwa Lee,

On behalf of the PRICAI 2006 Program Committee, we are delighted to inform you that the following paper has been accepted for as a regular paper ORAL

PRESENTATION at the 9th Biennial Pacific Rim International Conference on Artificial Intelligence (PRICAI 2006):

#76:

Title: An Intelligent System for Supporting Personal Creativity based on Genetic Algorithm

The selection process was extremely competitive - 596 papers were submitted, of which we have been able to accept 84 (14.1%) as regular papers for ORAL Presentation and 100 (16.8%) as short papers for Poster Presentation.

As in the past, proceedings of the conference will be published as Lecture Notes in Artificial Intelligence (LNAI) by Springer. Manuscripts MUST conform to the requirements specified by Springer. The length of papers, excluding the title page, must be not more than 10 single-spaced, single-column pages including all figures, tables and bibliography. Fonts should not be smaller than 10pt. Further instructions regarding this can be found at http://www.springer.de/comp/lncs/authors.html.

Papers not conforming to the specified requirements will be rejected.

The reviews and comments are attached below. The Program Committee has worked hard to thoroughly review all papers submitted. Please repay their efforts by following the suggestions made when preparing the final version of your paper. The program committee reserves the right to reject your paper if you do not address the reviewer's comments satisfactorily.

To upload your final manuscript and source files please visit

http://pricai06.confmaster.net/pages/login.php?Conf=PRICAI06 and enter your login and password, and upload your compressed file in winzip format.

The final camera-ready version of your paper MUST be submitted by the 22nd May 2006 at the latest (and earlier is better).

The signed copyright form must also be RECEIVED by the 22nd May. The copyright form can be downloaded in PDF form from the Springer site on the “Information for LNCS Authors” page under “Downloads”. Alternatively, it is available via the PRICAI site at

http://www.csse.monash.edu.au/pricai06/PRICAI06/Springer%20Consent%20to%20P ublish.pdf

Once completed and signed the form may be faxed [Attention: Dr. Qiang Yang (00852) 2358-1477]. Scanned copies may be sent via email ([email protected]). *We

strongly recommend you email us the scanned form with your signature*.

Please note that it is a CONDITION OF PUBLICATION in the final proceedings that at least one author of the paper is registered, and has paid the registration fee for PRICAI 2006 by the 22nd May 2006. Note that one registration must be paid for each paper. That is, in cases where one author has more than one paper accepted by

PRICAI-06, one registration must be received for each paper. One author from each paper must attend the conference to deliver the presentation.

To register, visit http://www.csse.monash.edu.au/pricai06/PRICAI06/registration.htm and follow the links to the online registration site.

Congratulations again on your work. We look forward to meeting you in Guilin. In the meantime, if you have any questions please feel free to contact us at

[email protected]

Best regards,

Prof. Qiang Yang and Prof. Geoff Webb,

Joint Program Committee Chairs, PRICAI 2006 --- Review from Reviewer 1 ---

Originality : 7 Technical Correctness : 8 Impact : 7 Reference : 8 Presentation : 7 Relevance : 8

Overall Recommendation : 7

Confidence in Overall Recommendation : 8

-- Comments to the author(s): Some suggestions are: 1. Some abbreviations are used without being introduced, for example, MIS, EC and MBTI. 2. The introduction of chance discovery is not enough. How do social networks and small worlds relate to chance discovery? How many associations are possibly useful? These are considered essential for chance discovery and for stimulating creativity. 3. The evaluation criteria of PIEA is not clear. How is the distance function defined? What are the physical meaning and the properties of such a function and its possible values? How to define a threshold, which can stop the further execution of the genetic algorithm? 4. What is the human role in the whole process? -- Summary: The paper proposes an intelligent system for supporting personal creativity. The approach is systematic and novel. The expression is clear and logical. Remarks are pertinent. --- End of Review from Reviewer 1 --- Review from Reviewer 2 --- Originality : 8 Technical Correctness : 9 Impact : 8 Reference : 8 Presentation : 7 Relevance : 10 Overall Recommendation : 8

-- Comments to the author(s):

The acrynom IT and IGA should be spelled out first before it being refered to in acrynom (in the abstract).

Elaboration on the following "in which ways does creativity play a significant role in organizational success".

Section 2 on Related Works is disjointed among its sub-sections.

The diagram on ontology in Figure 2 need a lot more elaboration. -- Summary:

The authors are addressing a very difficult and yet upmost important research topic in Artificial Intelligence - CREATIVTY. The proposed IGA (using gene with specific meaning, and special rules) gives users stimulus during brainstorming which may inspire some different creative thinking.

--- End of Review from Reviewer 2 ---

//////////////////////////////////////////////////// Powered by ConfMaster.net

/////////////////////////////////////////////////// .

An Intelligent System for Supporting Personal Creativity

Based on Genetic Algorithm

Heng-Li Yang and Cheng-Hwa Lee

64, Sec. 2, Chihnan Rd., Mucha Dist, Taipei 116, Taiwan {yanh, 92356512}@nccu.edu.tw

Abstract. Creativity has long been recognized as vital to organizational

success. IT (Information Technology) may play a supporting role to help organizations and groups in support of creativity. However idea generation inside the personal creative process is still a black box. This motivates us to propose an intelligent system for supporting personal creativity. This study proposes a human-machine interactive mechanism based on IGA (interactive genetic algorithm) for evolution process to help individuals’ creativity. Chance discovery has been applied as the strategy in evolution process. It provides more efficient evolution. The intelligent system could bring individuals stimulus to improve personal creativity.

1 Introduction

Creativity is the implementation of a new or significantly improved idea, good, service, process or practice that is intended to be useful. Creativity has long been recognized as vital to organizational success [1,9,18]. The successful implementation of creativity is innovation. Product innovation is important to maintain a sufficient market share, similarly process innovation to produce low-cost product, and social innovation to maintain a flexible and durable organization. Amabile [1,2] provided a popular stage model of personal creative process based on previous works [21]. It includes four stages: problem identification, preparation, idea generation, and validation. At the third stage, idea generation, an individual would generate idea possibilities with a particular cognitive pathway. At this stage the creativity-relevant processes plays an important role [1,2]. IT (information technology) may play multiple supporting roles in the stage of the creative process. Proctor [17] suggested the use of a computer program in the production of creative thought. Machrone [11] indicated computer programs can provide “mind maps” or graphical representations for idea generation. Boden [3] explained computer software would facilitate the creativity of individuals by forcing the search for new ideas. Partridge and Rowe [16] indicated that computers could be enlisted to limit constraints on the work of creators to force the development of new ideas. Edwards [6] examined the impact of IT on creativity. The question arises as to how organizations can institutionalize its usage in support of creativity [5,12,19].

Expert systems and decision support systems have been applied commercially. Since we know the creativity is a most important factor for organization development,