在這一章我們將概略地描述英文作文評分系統(簡稱 AES)的發展，尤其著重於 e-rater 及 IEA 作文評分系統的介紹。最後將說明目前中文自動作文評分的困難之處。
AES 的發展可追溯到 60 年代[7]，其特徵的設計及擷取僅限於表面(surface)特徵，
如平均字長、文章字數、標點符號數量、介系詞數量、罕用字數量等。Ellis Page 開發 的 PEG(project essay grader)利用表面特徵及線性回歸的統計方法來預測老師的作文 評分。這個方式並不被教育界所接受，原因在於學生容易掌握得高分的竅門，並且無法 給予教學上的反饋[7]。80 年代早期的 WWB 系統開始著重教育性的反饋目標，包括拼字、
措詞、以及可讀性等。雖然只是一些顯而易見的概念，卻是寫作品質分析自動化正確的 一步[7]。90 年代隨著自然語言處理(NLP)及資訊擷取(IR)的發展，研究人員得以使用更 新的工具及技巧，實行更有效的自動寫作品質分析，如評估句法變化(syntactic variety)、主題相關性(topic content)、概念結構(organization of ideas)等[7]。
90 年代晚期的 e-rater、IEA 便是利用 NLP 及 IR 等新技術發展出的著名系統。
2.1 e-rater
1999 年 2 月，GMAT Analytical Writing Assessment 開始使用 e-rater[3]來協助 文章的評分工作。原本人工評分的工作需要兩名閱卷者對同一篇文章評分，分數為六級 分，如果兩位閱卷者認定的分數相差超過一分，則需要第三位閱卷者仲裁。而現在則以 e-rater 取代兩名閱卷者的其中一名，其中部份原因在於，e-rater 計算出的分數僅有 3
％與實際閱卷者批改的分數相差超過一分，而這個數字與兩名受過訓練的閱卷者之間的 誤差是相近的。
e-rater 包含了三個模組：句法(syntactic)、語段(discourse)、主題關聯分析
(topical analysis)。句法模組先將各個字標記詞性後，搜尋有意義的詞組並存入以動 詞做次分類的結構樹中，藉此定義不定詞、完整、以及從屬子句。這些資訊提供文章中 的各種句法給 e-rater。語段模組標記句子的主要概念，並且分割不同概念的句子集合。
主題關聯分析模組則評估了字彙的發揮及與文章主題的相關性。藉著各模組提供的資 訊，e-rater 決定文章的分數以及提供少許的反饋訊息。
2.2 IEA
Intelligent Essay Assessor(IEA)[4]是一個以Latent Semantic Analysis(LSA)[5]
為 基 礎 的 軟 體 工 具 集 合 。 LSA 為 一 機 器 學 習 的 方 法 ， 藉 由 SVD(singular value decomposition)方法在大量的文本中取得字與句在數學表達上的意義關係[6]。SVD方法 不同於早期資訊擷取所使用的逐字比對(literally matching terms)方式，逐字比對的 缺點在於，一個概念可能有許多種表達方式(synonymy)，會造成一篇文章中的關鍵字在 相關文章內因使用不同的術語而無法被程式察覺。另外大多數的字有複數的意義 (polysemy)，這會使得系統納入與關鍵字實際意義不同的資訊。而以SVD為基礎的演算 法可以使用概念索引而非各別字的擷取。如此可以避免一些synonymy及polysemy所產生 的問題。以LSA做為內容(content)模組，加上風格(style)、技巧(mechanics)兩個模組 所組成的IEA系統可以達到與e-rater相同的精確率[7]。此外IEA亦可提供一些簡單的反 饋訊息。
2.3 中文處理
任何一個語言處理的系統都必須先能分辨文本中的各個詞才能進行語言分析、自動 翻譯、資訊擷取等進一步的處理。中文與英文最顯而易見的差異，在於中文的詞與詞之 間並無空白加以區隔，因此中文自動分詞成為必要的工作。
由於新的辭彙會不斷增加，辭典無法列出所有的中文詞，參考辭彙不足造成中文自 動分詞的處理相當困難。其中最重要的一項課題是需要擷取未知詞如專有名詞、外來 語。另外一個重點在於，不同的系統往往只測試自行選定的測試文集，各個系統彼此間 欠缺一個比較的基礎。為了彌補這樣的缺陷，[8]提供了一個分詞技術互相比較的環境。
由於中文分詞不可能達到百分之百正確，因此在擷取文本中的資訊以進行各項處理時必 然會受到負面的影響。
另外，AES 系統如 e-rater 等，使用文法分析工具來分析句型及修辭結構，但是中 文與英文的文法有極大的差異，英文的文法分析工具無法在處理中文作文時使用，而且 中文的文法分析工具亦相當缺乏，因此我們將研究目標集中在評估用字遣詞及使用修辭 技法的能力。