建議

未來在探討試題相似度的研究中，研究者給予以下幾點建議:

一、本研究並未給予試題相似度明確定義，僅由專家主觀判斷，不過研究過程 中，研究者經由到專家評鑑時的反應，觀察到會受試題題意或試題長度等因 素影響，因此未來在研究中可詳細探討專家給予評鑑試題相似度的標準。

二、本文僅使用代表性的潛在語意分析來做試題相似度判斷，未來研究中可使用 Hidden Markov Model 、Probabilistic Latent Semantic Analysis、Topical Mixture Model、Dependence Language Model 等模型，期待可以有更佳的 表現。

參考文獻

中央研究院資訊科學所詞庫小組,中文斷詞系

統,http://ckipsvr.iis.sinica.edu.tw (2005/12/29 擷取)。

台灣省國教研習會編(1993), 新法考試的命題技術, 國民小學學習成就 評量, 第七頁。

何榮桂(1991), 電腦化題庫概述, 現代教育, 18 期, 頁 121-129。

何榮桂、陳麗如(1998), 電腦化適性測驗題庫品質管理策略之研究, 第七 屆國際電腦輔助教學研討會, 409-410。

陳柏琳(2005), Chinese Spoken Document Recognition, Organization and

Retrieval, 網路資訊檢索技術與趨勢研討會。

郭榮芳(2005), 應用潛在語意分析於測驗題庫相似性之比對, 國立臺灣 師範大學資訊教育研究所碩士論文。

鄭淑玲、葉瑞峰、鄭雙慧(2003), 結合隱含式語意分析與基因演算法之適 性化遠距教學測驗評量系統, TANET, C5 網路教學系統, ID 9835。

K.J. Chen & S.H. Liu(1992). Word Identification for Mandarin Chinese Sentences. Proceedings of COLING 1992, pages 101-107.

K.J. Chen & Ming-Hong Bai(1998). Unknown Word Detection for Chinese by a Corpus-based Learning Method. International Journal of

Computational linguistics and Chinese Language Processing, Vol.3, #1, 27-44.

K.J. Chen & Wei-Yun Ma (2002). Unknown Word Extraction for Chinese Documents. Proceedings of COLING, 169-175.

Dice, L. R. (1945). Measure of the Amount of Ecologic Association between Species. Journal of Ecolog, 26, 297-302.

Dumais, S.T(1991). Improving the retrieval of information from external sources. Behavior Research Methods, Instruments and

Computers,23,229-236.

Frakes, W. B. and Baeza-Yates, R. (1992) . Information Retrieval, Data Structure and Algorithms. Prentice Hall.

Foltz PW, Kintsch W., and Landauer TK. (1993). An analysis of textual coherence using Latent Semantic Indexing .Society for Text and Discourse, Jackson, WY

Gavin.W. O’Brien (1994). Information Management Tools for Updating an SVD-Encoded Indexing Scheme. TR UT-CS-94-259, U. Tenn.

Harman ,D.(1992). Relevance feedback and other query modification techniques. Information Retrieval: Data structures and algorithms.

Englewood Cliffs NJ: Prentice Hall, 363-392.

Hull, D.(1994). Improving Text Retrieval for the Routing Problem using Latent Semantic Indexing. ACM SIGER Conference, 282-291.

J.-T. Chien, M.-S. Wu and H.-J. Peng(2004). On latent semantic language modeling and smoothing. Proceedings of International Conference on Spoken Language Processing vol. 2, 1373-1376.

Jianfeng Gao, Jian-Yun Nie, Guangyuan Wu, and Guihong Cao(2004).

Dependence language model for information retrieval. In SIGIR, 2004.

Landauer,T.& S.Dumais. (1997).A solution to Plato's problem:

The Latent Semantic Analysis theory of the acquisition,induction,a nd representation of knowledge .Psychological Review 104, 211-240.

Landauer,T.K.,D.Laham & P.W.Foltz.(1998).Computer-based grading of the conceptual content of essays. Unpublished manuscript.

Landauer,T.,P.W.Foltz & D.Lanham(1998). An introduction to latent se mantic analysis . Discourse Processes 25,259-284.

MacDonald, I. L., & Zucchini, W. (1997). Hidden Markov and Other Models for Discrete-valued Time Series (1st ed.). London: Chapman&Hall.

Ma Wei-Yun & K.J. Chen(2003). A bottom-up Merging Algorithm for Chinese Unknown Word Extraction. Proceedings of ACL workshop on Chinese Language Processing , 31-38.

Salton, G. & McGill, M.J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.

Salton, G.& Buckley,C.(1988).Term-weighting approaches in automatic text retrieval. Information Processing and Management,24(5),513-523.

Singhal, A. and Salton, G.(1998). AutomaticText Browsing Using Vector Space Model. Proceeding of the Dual-Use Technologies and

Applications, 318-324.

Sullivan, D.(2001). Document Warehousing and Text Mining. Wiley Computer Publishing, 326.

Trivedi, A., Medonca, A. E., Johnson, B. S.(2004). Using Machine Learning for Classifying Documents and Extracting Features. 11th World Congress of Medical Informatics.

Xiangzhu, G. and Murugesan, S.(2003). A Dynamic Information Retrieval System for the Web. Proceedings of the Annual International

Computer Software and Applications Conference, 670-675.

Y. Akita and T. Kawahara(2004). Language modeling adaptation based on PLSA of topics and speakers. Proceedings of International Conference on Spoken Language Processing.

附錄一 、中研院平衡語料庫詞類標記集

VC VC2, VC31,32,33 動作及物動詞

VCL VC1 動作接地方賓語動詞

VD VD1, VD2 雙賓動詞

VE VE11, VE12, VE2 動作句賓動詞

VF VF1, VF2 動作謂賓動詞

VG VG1, VG2 分類動詞

VH VH11,12,13,14,15,17,VH21 狀態不及物動詞

VHC VH16, VH22 狀態使動動詞/

VI VI1,2,3 狀態類及物動詞

VJ VJ1,2,3 狀態及物動詞

VK VK1,2 狀態句賓動詞

VL VL1,2,3,4 狀態謂賓動詞

V_2 V_2 有

DE /*的, 之, 得, 地*/

SHI /*是*/

FW /*外文標記*/

附錄二 、高中歷史題庫概況表

表示方式：高中名稱年度學期第幾次考試(題數)。

例如：小港高中 900202(39 題)為 90 年下學期第二次月考，共 39 題。小港高

中 900202(39 題)

小港高中 910103(40 題) 北一女中 920101(39 題) 板橋高中 920101(40 題) 小港高中 910201(40 題) 北一女中 930101(24 題) 板橋高中 920102(33 題) 小港高中 910203(48 題) 台中二中 930203(45 題) 板橋高中 920103(50 題) 小港高中 910203(40 題) 再興高中 930203(58 題) 板橋高中 920201(40 題) 小港高中 920101(38 題) 板僑高中 890102(39 題) 板橋高中 930102(36 題) 小港高中 920102(40 題) 板僑高中 890201(40 題) 板橋高中 930103(50 題) 小港高中 920103(35 題) 板橋高中 880201(50 題) 板橋高中 940102(35 題) 小港高中 920201(40 題) 板橋高中 880202(50 題) 板橋高中 940103(49 題) 小港高中 920202(39 題) 板橋高中 880203(50 題) 板橋高中 940201(38 題) 小港高中 920203(48 題) 板橋高中 890101(50 題) 師大附中 880203(50 題) 小港高中 930101(44 題) 板橋高中 890102(35 題) 師大附中 900101(50 題) 小港高中 930102(40 題) 板橋高中 890203(40 題) 師大附中 900203(50 題) 小港高中 930103(40 題) 板橋高中 900101(41 題) 師大附中 910101(49 題) 小港高中 930201(39 題) 板橋高中 900102(40 題) 基隆女中 930101(37 題) 小港高中 930202(40 題) 板橋高中 900103(50 題) 基隆女中 930102(37 題) 小港高中 930203(50 題) 板橋高中 900201(40 題) 基隆女中 930103(50 題) 小港高中 930203(50 題) 板橋高中 900202(38 題) 基隆女中 930201(45 題) 小港高中 940101(38 題) 板橋高中 900203(47 題) 基隆女中 930203(40 題) 小港高中 940102(40 題) 板橋高中 910101(40 題) 華岡藝校 910203(41 題) 小港高中 940103(40 題) 板橋高中 910102(40 題) 華岡藝校 930203(30 題) 小港高中 940103(50 題) 板橋高中 910203(35 題) 臺中二中 920101(47 題) 小港高中 940201(40 題) 板橋高中 910203(49 題) 臺中二中 930101(40 題)

附錄三 、潛在語意分析系統介面

附錄四 、評鑑所使用的試題範例

一、新試題

英國學者柴爾德稱「新石器革命」為「第一次革命」，這是因為人類 文化上出現怎樣突破性的發展?(北一女 94 高一第一次月考)

(A)人類從自然界的寄生者成為生產者，使食物來源穩定 (B)人類群居生活日久，基於需要出現國家組織

(C)出現夯土城牆，說明社會階層分化、戰爭頻繁 (D)開始出現大型公共建築如宮殿、神廟，加速文化發展

二、欲比對的舊試題

1.「新石器革命」在人類文明的演進上有什麼突破性的發展？

(A)對自然界依賴減少，產食經濟使食源穩定 (B)群居生活日久，國家組織出現

(C)謀生的活動更為忙碌，生活餘暇明顯減少

(D)大型公共建築如宮殿、神廟開始出現，加速文化發展。

2.「新石器革命」在人類文明的演進上具有重要的意義，其所以稱為革 命，原因在於下列那些史實?

(A)技術的突破對生活發生重大的影響

(B)對自然界依賴減少，以生產代替採集來取得食物 (C)居住型態改變，群居生活形成，長期性聚落出現 (D)謀生的活動更為忙碌，生活餘暇明顯減少

(E)開始農業與畜牧兩種新型態的的經濟生活，加速文化發展的步伐 3.「新石器革命」在人類文明的演進上有那些突破性的發展？

(A)生產技術的改進使社會走向分工

(B)對自然界依賴減少，產食經濟使食源穩定 (C)群居生活形成，長期性聚落出現

(D)謀生的活動更為忙碌，生活餘暇明顯減少

(E)大型公共建築如宮殿、神廟開始出現，加速文化發展的步伐

4.人類歷史演進的過程是經過漫長的歲月，由舊石器時代進入新石器時

10.新石器時代人類的生活不同於舊石器時代，因而有「新石器革命」之 說，主要在於新石器時代已有

(A)懂得縫製衣服

(B)已有宗教觀念，相信人死後有靈魂存在 (C)發明農業，減少對自然食物的依賴 (D)飼養家畜，穩定肉食來源

(E)製作陶器。

附錄五 、相似度評鑑系統介面

附錄六 、評鑑系統說明手冊

1. 請登入網址: http://140.122.107.253/yamol3/lsa_login.php 2. 操作畫面如下

(1). 評鑑說明區：

請判別「舊試題」與「新試題」是否有所相似，相似程度由０分～５分，５ 分表示非常相似，０分表示完全不相似。

(2). 試題區：

左邊試題為新試題；右邊試題為舊試題，1~10 題為新試題一的相似題，11~20 為新試題二的相似題….以此類推。

b.試題區 ^c.選題區 a.評鑑說明區

d.評鑑區

(3). 選題區：

直接點選題號就可以跳題作答，題號旁邊數字為您所做評鑑的分數。

(4). 評鑑區：

相似程度給分為 0~5 分，請根據試題區的相似度給予適當的分數。

3. 注意事項：

由於本系統僅採用 IP 認證，因此專家學者如果使用浮動ＩＰ登入(如 ADSL、

DHCP)，請勿分兩次以上評鑑，因為ＩＰ變動將無法顯示之前已經評鑑過的資料。

附錄七 、專家評鑑資料