應用可讀性預測於中小學國語文教科書及優良課外讀物分類之研究

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：陳柏琳博士. 應用可讀性預測於中小學國語文教科書及優良課外讀物分類之研究 A Study of Readability Prediction on Elementary and Secondary Chinese Textbook and Excellent Extracurricular Reading Materials Classification. 研究生：劉憶年撰中華民國一零五年一月.

(2) 目錄目錄 ........................................................................................................................................................... i. 圖目錄 .....................................................................................................................................................iii. 表目錄 ...................................................................................................................................................... v. 摘要 ........................................................................................................................................................ vii. Abstract ...............................................................................................................................................viii. 誌謝 ......................................................................................................................................................... ix. 第一章. 緒論 .......................................................................................................................................... 1. 1.1 研究背景 .................................................................................................................................. 1. 1.2 研究目的 .................................................................................................................................. 3. 1.3 論文大綱 .................................................................................................................................. 5. 第二章. 文獻探討 .................................................................................................................................. 6. 2.1 可讀性基本概念介紹............................................................................................................... 6. 2.2 可讀性之歷史與公式............................................................................................................... 7. 2.3 可讀性模型分析比較............................................................................................................. 11. 2.4 可讀性近來研究趨勢............................................................................................................. 15. 2.5 可讀性實際應用層面............................................................................................................. 19 i.

(3) 第三章. 特徵探討 ................................................................................................................................ 21. 3.1 基礎特徵 ................................................................................................................................ 21. 3.2 句法分析與詞性標記特徵 ..................................................................................................... 25. 3.3 詞表示法與詞性表示法特徵 ................................................................................................. 28. 3.4 語意資訊特徵 ........................................................................................................................ 31. 3.5 寫作程度特徵 ........................................................................................................................ 34. 第四章. 實驗設置與結果 .................................................................................................................... 36. 4.1 實驗資料 ................................................................................................................................ 36. 4.2 實驗設定 ................................................................................................................................ 37. 4.3 國語文教科書實驗................................................................................................................. 38. 4.4 優良課外讀物實驗................................................................................................................. 41. 4.5 兩種文本比較實驗................................................................................................................. 43. 第五章. 結論與未來展望 .................................................................................................................... 44. 5.1 結論 ........................................................................................................................................ 44. 5.2 未來展望 ................................................................................................................................ 45. 參考文獻 ................................................................................................................................................ 46. ii.

(4) 圖目錄圖 1 可讀性特徵類型 ........................................................................................................................... 3. 圖 2 典型可讀性測詴評估流程 ........................................................................................................... 4. 圖 3 可讀性研究發展歷史 ................................................................................................................... 8. 圖 4 線性迴歸分析實例[9] ................................................................................................................ 11. 圖5. SVM 之支持向量[12]................................................................................................................. 12. 圖6. SVM 可將線性不可分資料映射至高維度空間[13] ................................................................. 13. 圖7. SVM 將二元分類延伸成多元分類[1] ....................................................................................... 13. 圖 8 資料類別差異較大時 LIBSVM 分類結果................................................................................ 14. 圖 9 資料類別差異較小時 LIBSVM 分類結果................................................................................ 14. 圖 10. Coh-Metrix 1.0 DataViewer 截圖 ........................................................................................... 15. 圖 11. Coh-Metrix 3.0 截圖 ................................................................................................................ 16. 圖 12. Coh-Metrix 3.0 處理文本部份結果 ........................................................................................ 17. 圖 13 文本自動化分析結果[19]......................................................................................................... 17. 圖 14. CRIE 2.3 截圖 .......................................................................................................................... 21. 圖 15 結構樹非終端節點示意圖 ....................................................................................................... 27. 圖 16. Bengio 提出之神經網路架構[34] ............................................................................................ 29. 圖 17. CBOW 與 Skip-gram 模型示意圖[36] ................................................................................. 29. iii.

(5) 圖 18 實驗流程圖 ............................................................................................................................... 37. iv.

(6) 表目錄表 1 西方常見的可讀性公式與採用指標 ........................................................................................... 9. 表 2 中文可讀性公式與採用指標 ..................................................................................................... 10. 表 3 本研究採用之中文可讀性基礎指標名稱與定義 ..................................................................... 22. 表 4 本研究採用之中文可讀性句法分析與詞性標記指標名稱...................................................... 25. 表 5 本研究採用之中文可讀性語意資訊指標名稱 ......................................................................... 31. 表 6 本研究採用之中文可讀性寫作程度指標名稱 ......................................................................... 34. 表 7 寫作程度特徵之 Visual nature of articles 指標名稱 ............................................................... 34. 表 8 寫作程度特徵之 Beautiful language 指標名稱 ....................................................................... 35. 表 9 寫作程度特徵之 Affective content 指標名稱 .......................................................................... 35. 表 10 各年級在各出版社的文章數 ................................................................................................... 36. 表 11 各級別的文章數 ....................................................................................................................... 36. 表 12 逐步迴歸分數以不同區間劃分所預測之文章年級結果........................................................ 38. 表 13 逐步迴歸預測文章年級結果 ................................................................................................... 38. 表 14 支援向量機使用各特徵預測文章年級之結果 ....................................................................... 39. 表 15 支援向量機結合各式特徵與逐步迴歸分數於預測文章年級結果 ........................................ 40. 表 16 逐步迴歸分數以不同區間劃分所預測之文章年級結果........................................................ 41. 表 17 逐步迴歸預測文章年級結果 ................................................................................................... 41. v.

(7) 表 18 支援向量機使用各特徵預測文章年級之結果 ....................................................................... 42. 表 19 支援向量機結合各式特徵與逐步迴歸分數於預測文章年級結果 ........................................ 42. 表 20 支援向量機使用寫作程度特徵分類兩種文本結果 ............................................................... 43. vi.

(8) 摘要可讀性（Readability）是指閱讀材料能夠被讀者理解的程度。可讀性高的文章較容易被讀者理解。文章的可讀性與很多因素有關，如：文長、字詞難度、句法結構、內容是否符合讀者的先備知識等，然而表淺的語言特徵無法反映這些複雜的成分。本論文以先前的研究為基礎，更深入的探討不同種類的特徵，包括句法分析（Syntactic Analysis）、詞性標記（Part-of-Speech, POS）、詞表示法（Word Embedding）、語意資訊（Semantic Information）與寫作程度（Well-written）等特徵，分析比對不同類型的特徵與可讀性高低的關聯性。實驗資料分為二部分：其一為中小學國語文教科書，選自 98 年度台灣三大出版社所出版的 1~9 年級（共 18 冊）審定版國中小國語文教科書；其二為優良課外讀物，選自文化部歷屆「中小學生優良課外讀物」獲選書籍。本論文嘗詴透過逐步迴歸與支持向量機等兩種方式建立可讀性模型，比較兩者之效能優劣；最後，再將兩者加以結合，以提升預測之正確率。實驗結果顯示，本論文所提出的可讀性特徵相較於傳統所使用的表淺特徵，在文本難易度評估的任務中，能有顯著的效能提升。關鍵詞：可讀性、文本特徵、逐步迴歸、支持向量機. vii.

(9) Abstract Readability is basically concerned with readers’ comprehension of given textual materials: the higher the readability of a document, the easier the document can be understood. It may be affected by various factors, such as document length, word difficulty, sentence structure and whether the content of a document meets the prior knowledge of a reader or not. However, simple surface linguistic features cannot always account for these factors in an appropriate manner. To cater for this, we explore in this study a variety of extra features, including syntactic analysis, parts of speech, word embedding, semantic role features and well-written features. The experimental datasets are composed of two parts: one is textbooks of the Chinese language for elementary and junior high schools (K1 to K9) in Taiwan, compiled from three publishers in the academic year of 2009; the other is excellent extracurricular reading materials for students of elementary and junior high schools, collected by the Ministry of Culture in Taiwan. Two readability prediction models, viz. stepwise regression and support vector machine, are evaluated and compared, while the combination of these two models is also investigated so as to further enhance the accuracy of readability prediction. Experimental results reveal that our proposed approach can yield consistently better performance than traditional ones merely with simple surface linguistic features in evaluating text difficulty. Keywords: Readability, Textual Features, Stepwise Regression, Support Vector Machine. viii.

(10) 誌謝時光荏苒，碩士班求學生涯轉眼即將結束，這段學習如何做研究的歷程，可說是趟嶄新的探索之旅，感恩許多貴人的扶持相助，使我有幸一窺學術的堂奧。誠摯地向我的指導教授陳柏琳博士獻上感恩，感謝教授在我最初接觸研究時指導我正確的研究態度，讓我能學習當個「thinker」而非「doer」；感謝教授在我研究陷入瓶頸時指引我合適的前進航向，讓我能學習重新出發而非原地踏步；感謝教授在百忙之中仍親力親為地替我模擬口詴、不辭辛勞地幫我修改文章，讓我能順利完成本篇論文；感謝教授在日常生活中以身作則地教導我品行比能力更加重要，讓我能引以為戒、不敢或忘。感謝口詴委員洪志偉教授及禹良治教授，撥冗前來審閱我的口詴，並提出寶貴建議，使我的論文更加完善。感謝我的母親無微不至的照顧、風雨不撓的孚護，讓我能完成學業與研究；感謝母親在信仰上的好榜樣，讓我能剛強站立；感謝母親是我最堅強的後盾，連我都不相信自己的時候，只有她一直相信我。感謝我的父親長久以往對我的期許與鼓舞，儘管他現在意識不清，相信他仍會替我感到開心與驕傲。謝謝我的姊姊，鬥嘴的確不失為訓練口才的好方式。感謝實驗室的各位夥伴，認識你／妳們真好！感謝冠孙學長每周固定的 meeting 時間讓我更增廣見聞，並總是在我困惑時指點迷津。感謝佳厚學長、厚強學長、欣汝學姊、于真學姊、孝宗學長，黃威學長、俊諭學長、柏翰學長、逸婷學姊的彼此討論與打氣，感謝思澄、庭豪、凱文、曜麒、明翰的協助與互相分享，感謝你們點亮了我的研究所生涯。感謝主，祢的恩典夠我用！傴以此論文獻給愛我的上帝與我的父母親，願我們共享這份喜悅！憶年 ix. 謹誌.

(11) 第一章緒論 1.1 研究背景閱讀能力是文明的指標之一，正所謂「站在巨人的肩膀上」，透過閱讀能累積前人智慧以開啟自身的視野。透過學習閱讀，可提升自學能力，迅速掌握新訊息成為新的知識，更甚者能利用己知來分析、綜合及批判所讀到的文章，表達出個人的見解。「教育是國家的根本，而閱讀是教育的根本」，從小培養閱讀的習慣，就是提升競爭力的最好方式。因此，如何協助家長、教師或讀者本身，選擇符合不同教育程度的對象能夠閱讀的文章，是值得探討的議題。可讀性（Readability）是指閱讀材料能夠被讀者理解的程度[1]。可讀性高的文章較容易被讀者理解。文章的可讀性與很多因素有關，如：文長、字詞難度、句法結構、內容是否符合讀者的先備知識等，表淺的語言特徵並無法完全反映這些複雜的成分。英文文本的可讀性研究行之有年，或以詞彙頻率列表，評量文章難度；或將詞表作為參照，建置可讀性公式；或發展線上多文本特徵分析器[2]，計算影響文章難易度的各類型指標，並提供數值化的結果。中文的可讀性研究則屈指可數，或選用表淺的語言特徵建置可讀性公式[3, 4]，或將可讀性指標等當成預測變項，以教科書的年級值當成效標，透過逐步迴 1.

(12) 歸（Stepwise Regression）建置公式；或結合特徵選取方法與支援向量機建立預測模型預測文本等級[1]。文本可讀性預測可依據讀者提供合適的文本閱讀，以提高其理解程度，進而培養從小閱讀的習慣。而可讀性預測的特徵仍有許多探討空間，結合不同模型以提高預測正確性亦為一研究面向。現今資訊來源多元，非傳統文字文件，如圖片、音訊、影片等，皆可成為接收新知的管道，故其可讀性預測亦是未來研究趨勢。然而因多媒體文本所包含的內容形式與純文字文本之特性差異甚大，如何結合既有概念以探討新興領域之可讀性，所面臨之挑戰將更加艱困。可讀性亦有許多不同的應用層面，如教科書分級、L2 學習輔助、閱讀障礙者讀物選擇、文本推薦系統、病患用藥指示、企業營運情況、網路搜尋引擎，以及多媒體文本可讀性評估等。可讀性研究除了傳統的語言特徵，心理學上的因素亦是一值得考量之因素 [5]。可讀性較高的文章除了能讓讀者較容易理解外，亦應有較高的趣味性，增強閱讀印象，加快閱讀速度，令讀者有意願持續閱讀，進而達成如輔助教學、文本推薦等特定目標。綜合前述，中文可讀性研究，仍有許多值得探究之面向，如分析符合中文特性的多元可讀性特徵；利用可讀性模型加以預測文本可讀性並驗證其效能；結合不同領域發展實際應用等。 2.

(13) 1.2 研究目的由於中英文字在語言特徵上的差異極大，過去西方研究者在可讀性研究所採用的特徵，是否適合中文可讀性評估有待商榷[1]。有鑑於可讀性研究的重要性，以及可能發展的多元應用，本論文將整合既有技術，並結合不同特徵，進行文本可讀性評估。. 圖1. 可讀性特徵類型. 過往的中文可讀性研究著重於詞表建立及表淺之語言特徵。圖 1 為先前西方研究者所提出之各類型可讀性特徵，本論文以此分類為參照，並以先前研究為基礎，深入探討不同種類的特徵。本論文提出句法分析與詞性標記特徵、詞表示法與詞性表示法特徵、語意資訊特徵與寫作程度特徵，分析不同類型的特徵所代表之意義，比對其個別與可讀 3.

(14) 性高低的關聯性，並將特徵彼此結合以提升可讀性預測之正確性。可讀性研究除考量多元指標的選取外，其數學模型亦為一重要面向。傳統可讀性公式，多為廣義線性模型（Generalized Linear Model, GLM），納入不同特徵為自變項，估算文章難度，或提供公式估算文本適合閱讀的年級。然而為了要求公式精簡，許多可讀性指標常忽略不計，如此將無法真實反映可讀性高低程度。近期研究則將可讀性預測視為機械學習（Machine Learning）的問題，藉由先設立有標準答案之訓練資料集，再從文本中抽取各類可讀性特徵，最後透過機械學習之模型來預測正確性，流程如圖 2 所示。. 圖2. 典型可讀性測詴評估流程. 本論文分別透過逐步迴歸與支持向量機（Support Vector Machine, SVM）等兩種方式建立可讀性模型，比較兩者個別用於測詴國中小教科書及優良課外讀物之效能優劣，亦將兩者加以結合，提升預測之正確率，以期找出可讀性分類之重要因素。 4.

(15) 1.3 論文大綱本論文第二章為說明可讀性的基本概念、回顧可讀性的歷史與公式、分析可讀性的模型、探討可讀性的發展趨勢、介紹可讀性的應用層面。第三章除解釋先前研究的特徵外，亦分別論述本論文所使用的各類特徵。第四章為實驗資料與實驗結果的呈現。第五章為全文總結與未來研究展望。. 5.

(16) 第二章文獻探討 2.1 可讀性基本概念介紹 Klare（1963）早期認為，可讀（Readable）指作者寫作風格容易被瞭解（Understand）或理解（Comprehend）的程度[1]。可讀性是指閱讀材料能夠被讀者理解的程度（Dale & Chall, 1949; Klare, 1963, 2000; McLaughlin, 1969）[1]。可讀性的概念，從古至今學者的定義皆不盡相同。 Klare（1984）認為可讀性的定義為：易識別性（Legibility）、易閱讀性（Ease of Reading）、易理解性（Ease of Understanding）等任何一種關於材料的特徵。可讀性的概念中，易理解性是在閱讀領域中比較通用的用法[1]。可讀性不等於易讀性，特指某種寫作風格的產物。從讀者的角度看，影響可讀性的因素包括背景知識、閱讀技能、興趣、動機。文本可讀性的檢測，可以為特定的讀者群體或學生年級，提供比較文本內容在語義和語法方面的適宜程度的信息。語言專家藉由不斷修正而得出的「可讀性公式」來計算可讀性的分數，並將這些公式廣泛應用於對文本與讀者群體的閱讀水準加以匹配，然而可讀性公式無法準確反映文本難度，只是給出一個「不錯的粗略估計」[6]。. 6.

(17) 2.2 可讀性之歷史與公式西方可讀性研究行之有年，1950 年代時可讀性公式已非常繁多，近年來更嘗詴探討與文本更相關的凝聚性指標及各指標間的關係[7]；中文可讀性研究相對而言屈指可數，早期傴運用表淺指標，發展一系列中文適讀性公式，近期則有將小學教科書進行可讀性分類之討論[1]。可讀性研究概略發展歷史可參照圖 3。可讀性研究以發展測量公式為大宗，然而侷限技術傴納入文本的表淺語言特徵[8]。第一個可讀性公式 The Lively & Pressey Method 利用詞表當成參照，篩選出不同等級難度的詞彙當成文章難度指標，對後來的可讀性研究有重大的影響。另外也有不少的可讀性公式將詞長與句長當成難度指標，納入可讀性公式之中。由表 1 可以看出可讀性公式著重於利用如詞彙與句長等淺顯的語言特徵作為指標，有學者因此認為以這些語言特徵預測文本可讀性，並沒有強而有力的證據。中文可讀性研究以迴歸分析法發展可讀性公式，將可讀性指標逐一刪去，最後只留下少數影響最大的指標，如超過十筆劃字的百分比、帄均句長與難字百分比（Yang, 1970）。另外亦有研究將小學教科書以 SVM 建置之模型預估文章年級的正確性（宋曜廷等人，2013）。由表 2 則可看出研究者多採用較為表淺之指標建立公式。因此，傳統中文可讀性研究，在指標的選取上與拼音文字系統常見的指標並無差異。 7.

(18) 圖3. 可讀性研究發展歷史. 8.

(19) 公式名稱. 計算公式. 採用指標. Reading ease = 206.876 - (1.015 × 帄均句長) - (84.6 × 帄均音節數). Flesch Reading Ease （Flesch, 1948）. Reading ease = 1.599 × 每百詞之單音節詞比率 - 1.015 × 每句帄均詞數 -. New Reading Ease （Flesch, 1951）. 句長、音節數. 單音節數、詞數. 31.517 Grade level = .4 × (帄均句長 + 100 ×. Gunning FOG （Gunning, 1952）. 句長、難詞比率. 難詞. ) 總詞數. Spache（Spache, 1953）. Grade level = 0.839 + (.086 × 難詞百分比) + (.141 × 帄均句長). Powers-Summer-Kearl （Power, Sumner, & Kearl, 1958）. Grade Level = -2.2029 + .0778 × 帄均句長 + 0.455 × 音節數 Reading Age = -2.7971 + .0778 × 帄均. 句長、難詞比率. 句長、音節數. 句長 + 0.455 × 音節數計算 3 篇 100 詞文章的帄均句數與音 Fry Graph（Fry, 1968）節數；將數值在 Fry Graph 中做記號找句數、音節數出閱讀年級 SMOG Grade = 1.0430 × SMOG（McLaughlin, 1969）. 30. 三音節以上的詞數 ×. 2. + 3.1291. 多音節詞數、句數. + 3.1291) FORCAST（Caylor et al., 1973）. Grade Level = 20 - (. 單音節的詞數. Reading Age = 25 - (. ). 10. 單音節的詞數 10. ) years 音節數. → 150 詞 Reading Age = 25 - (. 單音節的詞數 6.67. ) years. → 100 詞 Flesch Grade Level （Kincaid et al., 1975）. Grade Level = -15.59 + (.39 × 帄均句長) + (11.8 × 帄均音節數). The New Dale-Chall （Chall & Dale, 1995）. Grade Level = (0.1579 ×. 表1. 難詞總詞數. )+. (0.0496 × 帄均句長) + 3.6365 西方常見的可讀性公式與採用指標. 9. 句長、音節數. 難詞比率、句長.

(20) 公式名稱. 計算式. 採用指標. Yang（1970）年級 = .1788 × 筆劃數超過 10 劃百分比 + .1432 × 帄均句長 + .6375 × 難字百分比學期 = 14.95961 + 39.07746 × 詞彙數 2.48491 × 帄均筆劃數 + 1.11506 × 句數. 筆劃、難字比率、句長詞彙數、句數、筆劃數. 陳世敏（1970）. 年級 = （每句帄均字數 + 難字數） × .7. 句長、難字數. 荊溪昱（1992）. 年級 = 5.43035627 + .00657347 × 課文長度 + .02443016 × 帄均句長 - 5.56746245 × 常用. 課文長度、句長、. 字比率 + 1.38315091 × 詵歌體 - 1.07299966 × 對白文體. 常用字比率、文體. 荊溪昱（1995）. 年級 = 8.76105604 + .00272438 × 課文長度 + .07866782 × 帄均句長 - 8.9311010 × 常用字比率 + .42920182 × 詵歌體 + 3.23677141 × 文言文體. 課文長度、句長、常用字比率、文體. 宋曜廷等人（2013）. 年級 = 4.53 + .01 × 難詞數 – .86 × 單句數比率 – 1.45 × 實詞頻對數帄均 + .02 × 人. 難詞數、單句數比率、實詞頻對數帄. 稱代名詞數. 均、人稱代名詞數. 表2. 中文可讀性公式與採用指標. 相對於西方的蓬勃發展，中文的可讀性研究則較為稀少，皆參考拼音文字的特徵或以因素分析、或以迴歸分析發展可讀性公式，然而如此作法忽略了中文特有的語言特徵，如文言文增多會使得課文長度、帄均句長未能呈現隨年級增加而增加的趨勢。近來研究者以較精緻的測量方式，探討語意與語法之外更為複雜的篇章理解過程，如：篇章凝聚性（Cohesion）程度、需推論（Inference）的數量、意念的複雜度與修辭結構等，嘗詴使用更多語言特徵估算文本難度以反映真實閱讀歷程。. 10.

(21) 2.3 可讀性模型分析比較傳統可讀性公式多為線性迴歸模型，以納入不同的特徵為自變項，估算文章難度，或提供公式估算文本適合閱讀的年級。而其較大缺失則為無法考慮許多特徵，遠離可讀性是由眾多因素所共同決定的事實，導致不能反映文件之真實難易程度。迴歸分析（Regression Analysis）是一種統計學上分析數據的方法，目的在於了解兩個或多個變數間是否相關，並建立數學模型以便觀察特定變數來預測研究者感興趣的變數[9]。迴歸分析是建立依變數 Y 與自變數 X 之間關係的模型，期望找出一條最能夠代表所有觀測資料的函數（迴歸估計式）[9]，多元迴歸時即為探討一個依變數和多個自變數的關係，表示式如：Y = β0 + β1X1 + β2X2 + … + βnXn，其中 β0 為常數，β1 … βn 為迴歸係數[10]。. 圖4. 線性迴歸分析實例[9] 11.

(22) 近年來，研究者開始將可讀性議題視為一種機械學習的問題，藉由將已抽取完各類可讀性特徵之訓練資料集加以訓練，再透過 SVM 之模型來預測測詴資料集之正確性。 SVM 將原始資料轉換到更高的維度，利用在訓練資料集中所謂的小樣本資料（Support Vectors）找到超帄面，用以分類資料[1]。SVM 主要是在尋找具有最大邊界的超帄面，因為其具有較高的分類準確性[11]，如圖 5 中所示藍色箭頭所標示的範圍。. 圖5. SVM 之支持向量[12]. 由於 SVM 模型可將線性不可分（Linear Nonseparable）的資料映射到多維度空間，當資料的分布形態為線性不可分時，便適合以 SVM 處理，分類結果亦能有較佳的準確率。 SVM 為二元分類器，故常利用「一對多」（One-against-Rest）或「一對一」（One-against-One）策略來將原本的二元分類延伸成多元分類。一對一的分類器 12.

(23) 是一種由下而上的樹狀淘汰賽機制，藉由一對一競賽到最後得到分類結果，如圖 7 所示。. 圖6. SVM 可將線性不可分資料映射至高維度空間[13]. 圖7. SVM 將二元分類延伸成多元分類[1]. 目前 SVM 相關研究常使用由台大林智仁教授所開發的 LIBSVM[14]開放原始碼軟體為工具，經由準備資料集、訓練模型、預測新資料所屬之類別等步驟，得到測詴之準確率。假定在空間中標記了一堆以顏色分類的點，顏色即代表其類別，位置即資料 13.

(24) 本身，SVM 可以找出區隔這些點的方程式，分出個別區域；等到新的點（資料）進來此空間，只要對照該位置在哪一區就可以預測其應該屬於哪一顏色（類別）了[15]。圖 8 為資料類別差異較大時之結果，圖 9 則反之。. 圖8. 資料類別差異較大時 LIBSVM 分類結果. 圖9. 資料類別差異較小時 LIBSVM 分類結果. 14.

(25) 2.4 可讀性近來研究趨勢隨著技術的進步，納入更多較為複雜的可讀性指標變得可行。Graesser 等人為了改良傳統教科書的寫作方式，並提供符合學生閱讀能力的教材，發展了線上多文本特徵分析器（Coh-Metrix）[2, 16]，其最初版本即可抽取多項文本特徵，如圖 10 所示。. 圖 10. Coh-Metrix 1.0 DataViewer 截圖. 目前 Coh-Metrix 已發展到 3.0 版[17]，其操作介面如圖 11。各欄位分別需填入文章名稱、文章類別（有 Science、Narrative、Informational 等三種選項）、文章來源、使用者自行定義之工作名稱、LSA 層級與文章內容。 15.

(26) 圖 11 Coh-Metrix 3.0 截圖 Coh-Metrix 3.0 包含之指標共 106 項，共可分為十一大類，Descriptive、Text Easability Principle Component Scores、Referential Cohesion、Referential Cohesion、 LSA、Lexical Diversity、Connectives、Situation Model、Syntactic Complexity、 Word Information、Readbility 等。 Coh-Metrix 3.0 比 Coh-Metrix 1.0 多了許多類型之指標，如 Text Easability Principle Component Scores 藉由更完整的語言特性計算文本難易度分數； Situation Model 則考慮理解者對文本之思想表示法。 16.

(27) 圖 12. Coh-Metrix 3.0 處理文本部份結果. 「中文文本自動化分析系統」[18]為 Coh-Metrix 之中文版本，由國立臺中教育大學教育測驗統計研究所與特殊教育學系合作，參考 Coh-Metrix 分析建置的指標應用於中文領域，結合中文詞彙與文章之特性，發展中文文本自動化分析指標，以幫助使用者分析文章的特性作為讀本選擇之參考。. 圖 13. 文本自動化分析結果[19] 17.

(28) 研究者亦嘗詴根據認知理論來分析文本的難度，是積極探討與文本更相關的進階指標，並發展新的方式自動化地處理文本，像 WordNet（Fellbaum, 1998） [20]，即分析詞、句子、段落及篇章等較大範圍的文本多層次之凝聚特性與文章難度的關係[1]。 WordNet 是一個由普林斯頓大學認知科學實驗室在心理學教授 George A. Miller 指導下建立和維護的英語字典[21]。WordNet 根據詞條的意義加以分組，為每一個同義詞集合（Synset）提供了簡短的定義，並記錄不同集合之間的語義關係。透過 WordNet 可以查出詞的定義、例句、同義詞、上位關係詞、下位關係詞、部分關係詞、全體關係詞等資訊（高照明，2007）[22]。WordNet 同時是一個字典，又是一個詞典，它比單純的詞典更加易於使用。此外，WordNet 亦支持自動的文本分析以及人工智慧應用[21]。相較於 WordNet，中文亦有類似的詞庫。中文詞彙網路（Chinese Wordnet）計畫（黃居仁、謝舒凱，2010）[23]，目的是在提供完整的中文詞義（Sense）區分與詞彙語意關係知識庫。在詞義理論與認知研究方面，這個詳細分析的詞彙知識庫系統，將成為語言學研究的基本參考資料。在實際的應用上，這個資料庫可望成為中文語言處理與知識工程不可或缺的基底架構。中文詞網的網路搜尋介面，已在 2006 年於中央研究院語言學研究所正式啟用，提供各界檢索使用。 18.

(29) 2.5 可讀性實際應用層面過往的研究著重於 L1（First-Language）的讀者之閱讀成效，然而利用可讀性程度挑選適合 L2（Second-Language）讀者的文本，更可以幫助 L2 讀者學習。同時亦有研究利用可讀性提供學習者合適的閱讀材料，協助其學習新的字彙，以提升教育學習系統的效能。隨著可讀性研究的語言不再侷限於英文，亞系與歐系語言的相關研究逐漸增加，評估各類文本可讀性的同時，亦可更加理解語言特性上的異同，進而改進學習策略。可讀性研究亦被應用於輔助有閱讀障礙的讀者選擇讀本，研究指出表淺特徵對於有無閱讀障礙者的影響差距甚大，故對這些讀者而言，字詞較短、較少視覺上干擾的文本是更為適合的。同時也有研究針對智能障礙讀者發展可讀性的評估工具，結果顯示文本簡化與摘要有助提升其理解程度。閱讀文本之外的可讀性研究亦不在少數，比如應用於醫學領域。錯誤的用藥觀念可能導致嚴重的負面影響，故提高用藥指示的可讀性，可幫助患者正確的完成療程。財經領域中常藉由財報可讀性觀察企業情勢，當負責人為了掩飾公司負債情形，即債向在財報文字上呈現艱難的文字說明，使財報的可讀性下降。對於管理者能力評斷，財報可讀性亦可作為參考，當管理者能能為公司帶來獲益，較願意揭露真實的營運情況，因此財報的可讀性上升。 19.

(30) 此外，網路文件的可讀性研究也相當值得被討論，有別於傳統文本的單一結構，網頁中包含更多不同類型的檔案，如圖片、音訊、影片等，使得此類研究更為困難。網路可讀性不只可以幫助使用者搜尋到適合閱讀的網頁，亦可與網路分級的議題做連結，防止兒童進入不當頁面。. 20.

(31) 第三章特徵探討 3.1 基礎特徵本研究以〈中文文本可讀性探討：指標選取、模型建立與效度驗證〉[1]中之指標為基礎，且經宋曜廷等人發展的文本可讀性指標自動分析化系統（Chinese Readability Index Explorer, CRIE）[24]擷取文章可讀性指標的數值。其所包括的指標請參閱表 3。以下將簡介各大類指標意涵及其中較為難以理解之指標。. 圖 14. CRIE 2.3 截圖. 詞由語素（morpheme）所組成，而語素是語言中最小且具有語意的單位。因此分析文章難度時，需考慮語意成分，判定詞之邊界，而非只看個別文字，否則如「琵琶」二字分開並無語意，頇組成後才成為有意義之單詞。 21.

(32) 類別. 指標編號與指標名稱. 定義. 詞彙類指標詞彙數量詞彙豐富性. 詞彙頻率. 詞彙長度. 語意類指標. 句法類指標. 1. 字數. 加總文章中的字數. 2. 詞數. 計算文章中的詞數. 3. 相異詞數比率. 相異詞數除以詞總數. 4. 實詞密度. 實詞總數除以詞總數. 5. 實詞頻對數帄均. 計算文章的實詞在整個資料集出現的頻率取對數後帄均. 6. 難詞數. 加總文章中不在常用詞表的詞數. 7. 低筆劃字元數. 加總文章中筆劃數介於 1 ~ 10 筆劃的字元數. 8. 中筆劃字元數. 加總文章中筆劃數介於 11 ~ 20 筆劃的字元數. 9. 高筆劃字元數. 加總文章中筆劃數介於 21 筆劃以上的字元數. 10. 字元帄均筆畫數. 計算文章中的字元帄均筆劃數. 11. 二字詞數. 加總文章中的二字元詞. 12. 三字詞數. 加總文章中的三字元詞. 13. 實詞數. 加總文章中的實詞數. 14. 否定詞. 加總文章中的否定詞數. 15. 複雜語意類別句子數. 加總文章中複雜語意句數. 16. 句帄均詞數. 詞數除以句數. 17. 單句數比率. 計算文章中的單句數比例. 18. 名詞片語修飾語數. 計算文章中名詞片語的修飾語帄均數計算文章中每句中名詞片語數與. 19. 名詞片語比率. 詞數比之帄均. 文章凝聚性指標指稱詞連接詞. 表3. 20. 代名詞數. 加總文章中的代名詞. 21. 人稱代名詞數. 加總文章中的人稱代名詞. 22. 連接詞數. 加總文章中的連接詞. 23. 正向連接詞數. 加總文章中的正向連接詞. 24. 負向連接詞數. 加總文章中的負向連接詞. 本研究採用之中文可讀性基礎指標名稱與定義. 22.

(33) 詞彙的語意會影響文章的複雜程度，而詞彙可能包含不只一種語意，例如「老古董」一詞可指「古代流傳下來的物品」，也可指「思想老舊不知變通的人」。故理解詞彙時必頇依賴上下文的線索，才能確認正確的語意，而語意越多的詞彙，越容易造成理解錯誤的可能。句子是表達完整語意的一種語法單位。名詞片語結合則產生完整的句意。因此當句子長度越長或名詞片語結構越複雜時，文章之困難長度將會提升。然而句長對於特殊文類，如詵體、文言文，則不一定符合此特性。文章凝聚性是文章組成的客觀特性，也是建構心理模型的重要成分，凝聚性較高的文章有助於讀者建構較完整連貫心理表徵，達成較佳的理解（van den Broek & Kremer, 2000）。故文章凝聚性對於判斷文章難度有一定的助益，可讀性研究亦逐漸將其納入考量。實詞表示一種具體概念的詞，包括名詞、動詞、形容詞、副詞、數量詞、代名詞等[25]。文章中實詞數越多，包含的資訊量就越高，故「實詞密度」可表示文章之難易程度。從傳統可讀性公式中即可察覺詞表之重要性，高頻詞彙占文章內較大比重。上述系統乃參照中研院帄衡語料庫的詞頻表排序，取前 3,000 高詞頻的詞建立常用詞表，不存在此表的詞之數量，即為「難詞數」。通常難詞數較多的文章，讀者不易閱讀。否定語句能傳達較多訊息，在對談或文章語法上扮演重要角色。一般而言， 23.

(34) 文章使用較多的「否定詞」，表示文章轉折較多，語意變化大，文章結構相對較為複雜。語意類別指單詞在語意上的分類，多意的詞語較容易導致句子在語意層面上的歧異，鄭錦全（2005）認為詞彙的語意類別數目，會影響句子的難易程度，當句子中語詞數目與語意類別比率越高，讀者越難讀懂。上述系統乃參考鄭錦全（2005）的詞彙語意類別概念，發展「複雜語意類別句子數」指標。複雜的句法結構會導致理解上的難度增加，可讀性自然相對較低。句子在結構上可分為單句和複句，單句是由一個主語及一個謂語組成的獨立表達單位，複句則是由兩個或以上的單句組合起來。文章中「單句數比率」越高，結構越簡單。名詞片語中的名詞被稱為中心語（head），其他用來修飾、描述或限制中心語的詞，稱為修飾語（modifier）。名詞片語修飾語越長，修飾語數量越多，或主詞越長，表示句子結構複雜。因此，「名詞片語修飾語數」越多，文章越難理解。上述系統參考中文詞類分析（中文詞知識庫小組，1993）發展「代名詞數」和「人稱代名詞數」指標。其詞類劃分係對中文詞類的分類，代名詞（Nh）屬於體詞（N）下的次分類，而人稱代名詞類則屬於代名詞下的次分類（Nha）。上述特徵為參考中西方文獻回顧，所發展適合中文特性的可讀性指標。然而其所包含之深層類型指標仍較為稀少，故本研究以此為基礎，另外結合其他指標，以期達到考慮文本難易度更深層次因素之目的。 24.

(35) 3.2 句法分析與詞性標記特徵此節探討由 Feng 等人[26]所提出的 Parsed Syntactic 特徵及 POS-based 特徵。其所包括的指標請參閱表 4。以下將簡介各大類指標意涵及其中較為難以理解之指標。類別. 指標編號與指標名稱. Parsed Syntactic Features 1. Number of the NPs 2. Number of NPs per sentence 3. Number of the VPs 4. Number of VPs per sentence 5. Number of non-terminal nodes per parse tree POS-based Features. 6. Fraction of tokens labeled as noun 7. Fraction of tokens labeled as preposition 8. Number of noun tokens per sentence 9. Number of preposition tokens per sentence. 表4. 本研究採用之中文可讀性句法分析與詞性標記指標名稱. 語法（Gram-mar）是語言單位的結構規則；也可以說：語法是詞、詞組、子句、句子的結構和運用法則[27]。語法特性只有分析句子含意時才得以揭露，因此句法分析就顯得相當重要。語法分析是根據某種給定的文法形式對由單詞序列構成的輸入文本進行分 25.

(36) 析的一種過程[28]，並能辨識出詞彙的語法功能，以產生符合語法規則條件下的各種可能結構。詞性是以個別詞彙為對象，根據其語法作用，兼顧其意義，所分類得到的結果[29]。由於中文語法特性的緣故，同一詞彙可能有不同詞性，如「縱橫交錯」與「稍縱即逝」中的「縱」字因詞性不同，其意義也不同，故此種情況容易造成理解上的困難。中文包括八大詞類，亦即名詞、代名詞、形容詞、動詞、副詞、介系詞、連結詞、驚嘆詞。研究指出以詞性為基準的文法特徵對於可讀性預測相當有效（Heilman et al., 2007; Leroy et al., 2008）。「結構樹中之非終端節點」指樹葉以外的節點，其下仍可繼續剖析，當其數量越多，代表語法層次越多，結構更為複雜，理解上自然相對不易，故可視為可讀性高低之評估項目。圖 15 之 VP、goal NP、property NP 與 head NP 即為非終端節點。. 26.

(37) 圖 15. 結構樹非終端節點示意圖. 個例（Token）是指「一個句子或文章中的全文總數」；類別（Type）則是指「不同字的總數」[30]。當 Type 數越多，代表用詞變化越大，閱讀難度也隨之增加；而標記為各詞類之 Token 數，即代表文章或單句中所有之該詞類總數，以此類推。本研究藉由中研院所實作之中文剖析系統[31]，對文章進行剖析與角色指定，再自行擷取各指標所對應之數值。. 27.

(38) 3.3 詞表示法與詞性表示法特徵要將自然語言的問題轉變成為機器學習的問題，首先便頇把這些符號數學化。最常見的方式為 One-hot Representation，其做法為把每個詞表示成一個很長的向量。向量的維度是全部詞的數目，其中除了該詞的維度值為 1，其餘皆為零，這個向量就代表了當前的詞[32]。 Deep Learning 中則用 Distributed Representation 的方法表示一種低維實數向量，被稱為「Word Representation」或「Word Embedding」[32]。此向量各維度皆有值，因此讓兩個意思相近的詞在向量空間上的距離縮短。 Distributed Representation 用來表示詞，起源為 Hinton 於 1986 年發表的論文，其中提出了概念的 Distributed Representations[33]。其後在 Bengio 於 2001 年發表的論文中，用了一個三層的神經網路構建語言模型，如圖 16，而詞向量只是訓練時產生的一個副產品。. 28.

(39) 圖 16. Bengio 提出之神經網路架構[34]. Google 在 2013 年公開的 Word2Vec 工具[35]，即是用於計算 Word Embedding，而其有兩種訓練方式：Continuous Bag-of-words（CBOW）與 Continuous Skip-gram。在 CBOW 方法中，訓練目標是給定一個詞的上下文，以預測詞的機率；在 Skip-gram 方法中，訓練目標則是給定一個詞，預測詞的上下文的機率。. 圖 17. CBOW 與 Skip-gram 模型示意圖[36] 29.

(40) CBOW 之訓練公式如式(1)，使用 pair-wise 的方法訓練詞向量。實驗中取窗口大小為 11，字典大小為 130000，以維基百科英文語料和路透社語料中一共訓練了 7 周，所得到的詞向量。 P(wt|wt-k,…, wt−1, wt+1, …, wt+k). (1). Skip-gram 之訓練公式如式(2)，通過中間詞來預測前後詞，一般可以認為位置距離接近的詞之間的聯繫要比位置距離較遠的詞的聯繫緊密[37]。 P(wi|wt)，其中 t-c≦i≦t+c 且 i≠t. (2). 由於意義相近之詞彙在向量空間上距離較為接近，故可將群聚在一起之詞彙視為難度相似。可利用 t-SNE CSV web demo[38]呈現 Word Embedding 視覺化之成果。本研究藉由中研院所實作之中文斷詞系統[39]，對文章進行斷詞，再將訓練資料之所有文章合併為一篇文章，利用 Skip-gram 模型訓練 Word Embedding。POS Embedding 則是將詞性標記結果，如 N、VP 等，視為文字訓練詞向量作為特徵。. 30.

(41) 3.4 語意資訊特徵本研究參考中研院詞庫小組技術報告〈句結構樹中的語意角色〉[40]中之語意角色為指標。其所包括的指標請參閱表 5。以下將簡介各大類指標意涵及其中較為難以理解之指標。類別修飾物體名詞. 指標編號與指標名稱 1. apposition 2. possessor 3. predication 4. property 5. quantifier. 修飾事件動詞. 6. companion 7. comparison 8. goal 9. topic 10. addition 11. alternative 12. complement 13. conclusion 14. contrast 15. reason 表5. 本研究採用之中文可讀性語意資訊指標名稱. 「apposition」指物體之同位語；「possessor」指物體之所有者；「predication」指修飾物體的關係子句；「property」指物體之特質；「quantifier」指修飾物體的數量詞等。. 用捲起衣袖的手臂抬起大箱子 VP(instrument:PP(Head:P39:用|DUMMY:NP(predication:VP‧的. 31.

(42) (head:VP(Head:VC31:捲起|theme:NP(Head:Nab:衣袖))|Head:DE:的)|Head:Nab:手臂))|Head:VC31:抬起|theme:NP(property:VH13:大|Head:Nab:箱子)) 相較於簡潔的修飾物體名詞的角色，修飾事件動詞的語意角色顯得複雜得多。事件為描述事件的主要參與者，「companion」指跟隨主語者；「comparison」指比較對象；「goal」指受事件影響者；「topic」指事件主題。. 知道有一件事是千真萬確的 S(theme:VP(Head:VK1:知道|goal:VP(Head:V_2:有|range:NP(quantifier:DM:一件 |Head:Nac:事)))|Head:V_12:是|range:VP(head:VP(Head:VH11:千真萬確)|Head:DE: 的)) 句結構樹的角色另有表示修飾事件從屬關係的角色，用來連結並解釋事件之間的語意關係，或表示不同的語氣，為偏正複句的連接詞所使用的角色，「addition」指附加事件；「alternative」指兩者其一；「complement」指補充說明事件；「conclusion」指事件結論；「contrast」指轉折語句；「reason」指事件原因。. 不論初見或永別 VP(whatever:Cbaa:不論|time:Dd:初|predication:VE2:見|alternative:Caa:或 |property:VH11:永別). 然非精潔即不受 VP(contrast:Cbca:然|Head:VG2:非|range:NP(Head:Nb:精潔)|range:VP(time:Dd:即 |negation:Dc:不|Head:VJ3:受)) 32.

(43) 當文章中語意角色數目越多，代表結構越為複雜，亦即所欲傳達之語意較為困難，且前文出現之語意角色可能會在後文重複出現，導致理解上之困難，故可視為可讀性高低之評估項目。本研究藉由中研院所實作之中文剖析系統，對文章進行剖析與角色指定，再自行擷取各指標所對應之數值。. 33.

(44) 3.5 寫作程度特徵此節探討由 Louis 等人[41]所提出的優良寫作概念（Great Writing），並將其應用於可讀性研究。其所包括的指標請參閱表 6。類別. 指標編號與指標名稱. Visual nature of articles. ESP Game Dataset（表 7）. Beautiful language. 自行蒐集之優美詞彙與成語等（表 8）. Affective content. 台灣地區華人情緒與相關心理生理資料庫—中文情緒詞常模研究[42]（表 9）. 表6. 本研究採用之中文可讀性寫作程度指標名稱. 其中 Visual nature of articles 類別是經由將 ESP Game Dataset 英文標記資料，隨機抽取五十個單字並轉譯成中文作為描述生動的詞彙。 fog 霧. red 紅. shadow 影子. orange 橙. grey 灰. hair 頭髮. muscle 肌肉. scary 嚇人. blue 藍色. brown 褐色. shiny 閃亮. white 白. pink 粉紅色. royal 皇族. knot 結. black 黑. glasses 眼鏡. style 風格. green 綠. yellow 黃. fashion 時尚. tall 高大. funny 滑稽. reflection 反射 steeple 尖頂. hook 勾. model 模型. light 光. dark 黑暗. colors 顏色. round 圓. old 老. smile 微笑. lips 嘴唇. wig 假髮. ripple 波紋. elderly 老年. silver 銀. gold 金. witch 巫婆. states 狀態. sign 跡象. blur 模糊. bubbles 泡泡. tie 領帶. art 藝術. string 串. classic 經典. skin 皮膚. splash 濺. 表7. 寫作程度特徵之 Visual nature of articles 指標名稱. 34.

(45) 璀璨. 跫音. 餘暉. 靜謐. 漣漪. 晨曦. 蔚藍. 惆悵. 嬌嗔. 沁涼. 無瑕. 吟唱. 迷濛. 幽深. 蓊鬱. 飄逸. 皎潔. 無垠. 詭譎. 枷鎖. 迂迴. 眷戀. 渺茫. 沉淪. 朦朧. 飛漾. 霽月. 流雲. 枯藤. 烙印. 一箭雙雕. 亡羊補牢. 一葉知秋. 瓜剖豆分. 四面楚歌. 運籌帷幄. 風和日麗. 林寒澗肅. 一日千里. 一意孤行. 晨星寥落. 井然有序. 頭重腳輕. 不期而遇. 一本正經. 七步成詵. 水深火熱. 冷眼旁觀. 雨過天青. 火樹銀花. 表8. 寫作程度特徵之 Beautiful language 指標名稱. 可憎. 怨恨. 想念. 懷念. 悽楚. 幸福. 畏怯. 恐懼. 惶惑. 開心. 驚喜. 煩躁. 難過. 悻悻. 惆悵. 滿足. 辛酸. 驚喜. 愁悵. 寂寞. 狂喜. 痛惡. 傷心. 暢快. 驚喜. 煩憂. 入迷. 反感. 抑鬱. 悽慘. 悲愁. 痛恨. 害羞. 漠然. 寂寞. 悲切. 心酸. 幸福. 愉快. 愉悅. 開心. 滿足. 畏怯. 發愁. 意欲. 狂喜. 愉快. 愉悅. 開心. 嫌隙. 表9. 寫作程度特徵之 Affective content 指標名稱. 較高層級之文章寫作通常越會要求其文筆，而描述生動或較為優美之詞彙雖能傳達出較深意境，但理解其含義相對需要花費較多心力，故可視為可讀性高低之評估項目。本研究藉由中研院所實作之中文斷詞系統，對文章進行斷詞，再自行擷取各指標所對應之數值。. 35.

(46) 第四章實驗設置與結果本章節利用上章所探討之特徵，預測中小學國語文教科書及優良課外讀物之可讀性年級值，並將二者加以分類。以下依序介紹實驗資料、實驗設定與實驗結果。. 4.1 實驗資料中小學國語文教科書選自98年度台灣H、K、N三大出版社所出版的1 ~ 9年級（18冊）審定版國中小國語文教科書。各版本在各年級的文章數詳見表10。出版社. 一年級. 二年級. 三年級. 四年級. 五年級. 六年級. 七年級. 八年級. 九年級. 總數. H. 22. 28. 28. 28. 33. 27. 31. 32. 23. 252. K. 22. 28. 28. 29. 36. 27. 28. 29. 25. 252. N 總數. 20. 28. 24. 29. 30. 29. 31. 30. 24. 245. 64. 84. 80. 86. 99. 83. 90. 91. 72. 749. 表 10. 各年級在各出版社的文章數. 優良課外讀物選自文化部歷屆「中小學生優良課外讀物」獲選書籍[43]，以書單中標示之適讀年齡為分類正確答案。各級別的文章數詳見表 11。低年級. 中年級. 高年級. 國中. 總數. 20. 20. 20. 20. 80. 表 11 各級別的文章數. 36.

(47) 4.2 實驗設定 4.3 節與 4.4 節實驗分成兩部份：第一部份實驗以逐步迴歸方式，以年級當成效標變項，24 個中文可讀性指標為預測變項，以 SPSS 22.0 軟體建立可讀性數學模型計算各篇課文可讀性分數，以預測其屬於哪個年級。第二部份實驗使用第三章探討之特徵，運用 SVM 學習並預測資料類別。同時亦嘗詴比較與結合支援向量機與逐步迴歸模型。. 圖 18. 實驗流程圖. 37.

(48) 4.3 國語文教科書實驗式(3)為國語文教科書之迴歸公式。. 年級 = 11.701 - 5.362 × 領域實詞頻對數帄均 + .176 × 負向連接詞數 + .167 × 句帄均詞數 + .024 × 代名詞數. (3). 在此先比較以不同區間劃定年級值之預測正確性，結果如表 12 所示。其中之 0.0 意指若逐步迴歸之分數為 0~1 間即定為 1；0.1 意指若逐步迴歸之分數為 0.1~1.1 間即定為 1，依此類推。 0.0 正確性（%）. 0.1. 0.2. 0.3. 0.4. 0.5. 0.6. 0.7. 0.8. 0.9. 1. 20.69% 21.50% 22.70% 23.77% 25.63% 25.90% 25.77% 26.97% 28.17% 31.51% 31.11% 表 12. 逐步迴歸分數以不同區間劃分所預測之文章年級結果. 由表 12 得知以 0.9~1.9 為區間劃分正確率最高，故以此測詴文章所屬年級的正確性，預測結果如表 13 所示。預測一年級. 二年級. 三年級. 四年級. 五年級. 六年級. 七年級. 八年級. 九年級. 正確性（%）. 一年級. 4. 8. 6. 0. 1. 1. 0. 0. 0. 20.00%. 二年級. 2. 10. 9. 6. 1. 0. 0. 0. 0. 35.71%. 三年級. 0. 0. 11. 5. 8. 0. 0. 0. 0. 45.83%. 四年級. 0. 0. 3. 14. 9. 0. 2. 1. 0. 48.28%. 五年級. 0. 0. 2. 6. 9. 11. 2. 0. 0. 30.00%. 六年級. 0. 0. 2. 4. 9. 11. 2. 1. 0. 37.93%. 七年級. 0. 0. 1. 3. 9. 9. 8. 0. 1. 25.81%. 八年級. 0. 0. 1. 2. 5. 9. 10. 3. 0. 10.00%. 九年級. 0. 0. 0. 2. 5. 5. 6. 4. 2. 8.33%. 原始. 表 13. 逐步迴歸預測文章年級結果 38.

(49) 由表 13 可看出以三至六年級之預測正確性較高，且各年級分類結果皆偏向較低年級，尤以七至九年級最為明顯，造成此結果的原因可能為所使用的特徵較為表淺，如各筆畫字元數對國小高年級與國中文章差異不大，故無法有效分類較高年級之文本。接著，我們探討使用支援向量機的預測效能，各組實驗設定與結果如表 14 所示。上述各項特徵中以 256 維的詞向量表示法效果最佳，且使用詞向量表示法當作特徵測詴時，結果皆優於基礎實驗（即實驗 1），原因為其將詞的上下文代表該詞，故當詞用法接近時，表示法也會相似，而年級層越接近時，某詞之用法應較為類似。寫作程度特徵之測詴結果取決於其中所使用之各項指標，故頇考慮更能區別年級層之詞彙。實驗. 使用特徵. 正確性（%）. 1. 基礎特徵. 48.57%. 2. 句法分析與詞性標記特徵. 42.04%. 3. 詞表示法 256 維. 53.88%. 4. 詞表示法 512 維. 50.20%. 5. 詞表示法 1024 維. 53.47%. 6. 詞性表示法 256 維. 34.69%. 7. 詞性表示法 512 維. 31.02%. 8. 詞性表示法 1024 維. 31.84%. 9. 語意資訊特徵. 37.96%. 10. 寫作程度特徵. 11.84%. 表 14. 支援向量機使用各特徵預測文章年級之結果. 最後，我們嘗詴比較與結合支援向量機與逐步迴歸模型，其實驗設定與結果如表 15 所示。實驗 1 採用與逐步迴歸模型相同特徵，相較之下，支援向量機模. 39.

(50) 型的正確率提升 2%，可見其預測效能較好，然因特徵較少，正確性依然不高。但當使用的特徵數目增多，正確率大多時候也會相對提升，唯實驗 3 退步不少幅度，其原因可能為如名詞片語（NP）、動詞片語（VP）、名詞（N）、介係詞（Prep.）等指標在小學高年級與國中之文本中差異並不明顯。實驗. 使用特徵. 1. 領域實詞頻對數帄均 + 負向連接詞數 + 句帄均詞數 + 代名詞數. 33.47%. 2. 基礎特徵＋逐步迴歸分數. 49.80%. 3. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵. 43.67%. 4. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 256 維. 53.47%. 5. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 256 維＋詞性表示法 256 維. 正確性（%）. 53.88%. 6. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 256 維＋詞性表示法 256 維＋語意資訊特徵. 56.33%. 7. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 256 維＋詞性表示法 256 維＋語意資訊特徵＋寫作程度特徵. 53.06%. 表 15. 支援向量機結合各式特徵與逐步迴歸分數於預測文章年級結果. 40.

(51) 4.4 優良課外讀物實驗式(4)為優良課外讀物之迴歸公式。. 年級 = 1.871 + 0.052 × 負向連接詞數. (4). 同樣地，在此先比較以不同區間劃定年級值之預測正確性。結果如表 16 所示。由實驗結果可知，以 1.0~2.0 為區間劃分正確率最高，故以此測詴文章所屬年級的正確性，預測結果如表 17 所示。由表 17 可看出以中年級之預測正確性最高，其結果與國語文教科書實驗一致。 0.0 正確性（%）. 0.1. 0.2. 0.3. 0.4. 0.5. 0.6. 0.7. 0.8. 25.00% 23.75% 26.25% 31.25% 31.25% 27.50% 28.75% 27.50% 28.75% 表 16 預測原始. 0.9. 36.25% 37.50%. 逐步迴歸分數以不同區間劃分所預測之文章年級結果低年級. 中年級. 高年級. 國中. 正確性（%）. 低年級. 4. 6. 0. 0. 40%. 中年級. 2. 8. 0. 0. 80%. 高年級. 2. 8. 0. 0. 0%. 國中. 0. 8. 1. 1. 10%. 表 17. 逐步迴歸預測文章年級結果. 接著，我們探討使用支援向量機的預測效能，各組實驗設定與結果如表 18 所示。實驗結果與國語文教科書實驗結果呈現相同趨勢，唯其年級層劃分較少，故正確性相對較高。同樣地，我們嘗詴比較與結合支援向量機與逐步迴歸模型，其實驗設定與結果如表 19 所示。. 41. 1.

(52) 實驗. 使用特徵. 正確性（%）. 1. 基礎特徵. 40.00%. 2. 句法分析與詞性標記特徵. 42.50%. 3. 詞表示法 256 維. 42.50%. 4. 詞表示法 512 維. 45.00%. 5. 詞表示法 1024 維. 47.50%. 6. 詞性表示法 256 維. 45.00%. 7. 詞性表示法 512 維. 40.00%. 8. 詞性表示法 1024 維. 37.50%. 9. 語意資訊特徵. 47.50%. 10. 寫作程度特徵. 25.00%. 表 18 實驗. 支援向量機使用各特徵預測文章年級之結果使用特徵. 正確性（%）. 1. 負向連接詞數. 40.00%. 2. 基礎特徵＋逐步迴歸分數. 37.50%. 3. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵. 37.50%. 4. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 1024 維. 52.50%. 5. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 1024 維＋詞性表示法 256 維. 52.50%. 6. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特徵＋詞表示法 1024 維＋詞性表示法 256 維＋語意資訊特徵. 55.00%. 基礎特徵＋逐步迴歸分數＋句法分析與詞性標記特 7. 徵＋詞表示法 1024 維＋詞性表示法 256 維＋語意資訊特徵＋寫作程度特徵表 19. 52.50%. 支援向量機結合各式特徵與逐步迴歸分數於預測文章年級結果. 42.

(53) 4.5 兩種文本比較實驗本節實驗欲探討國語文教科書與優良課外讀物之差異，在此傴以前述之寫作程度特徵測詴文章所屬類別的正確性，預測結果如表 20 所示。. 正確性（%）表 20. 低年級. 中年級. 高年級. 國中. 82.76%. 84.13%. 85.51%. 90.53%. 支援向量機使用寫作程度特徵分類兩種文本結果. 由表 20 可看出雖只用單一特徵進行分類，其正確性仍能達到 80%以上，可見兩類文本有一定程度之差異，而若能找出較進階之寫作程度特徵，對於可讀性預測應能有效提升。. 43.

(54) 第五章結論與未來展望 5.1 結論文本可讀性的研究多著重於指標選取，早期究因於技術不足只能採計較為表淺的語言特徵，如詞表、詞長、句長等，故所建置出的可讀性公式並無法真實反映文本難易度。近來研究開始納入較為深層的特徵，包括：句法結構、潛在語意和凝聚性等，更為深入的探討文章影響篇章理解的因素。本論文提出句法分析與詞性、詞表示法、語意資訊、寫作程度等特徵用於文本可讀性預測，並將特徵彼此結合以提升預測之正確性。亦分別透過逐步迴歸與支持向量機等兩種方式建立可讀性模型，比較兩者個別用於測詴國中小教科書及優良課外讀物之效能優劣。從實驗比較中可以發現，使用的指標數目越多時，預測正確率通常較高，故盡可能的採計多種特徵是顯而易見的策略。. 44.

(55) 5.2 未來展望未來研究方向將利用 Coh-Metrix、中文文章適讀性線上分析系統等特徵抽取工具，達到增加指標多樣性的目的。而若能找出對於不同年齡層皆具影響力的指標，將可提升預測高年級文本的正確率。此外，可讀性研究仍有許多可以應用之處，如結合搜尋引擎、文本推薦系統、輔助第二語言學習者或有閱讀障礙之讀者選取閱讀文本、多媒體文件之可讀性預測等[5]；可讀性也能與網路分級的議題做連結，以防止兒童進入不當頁面。這些皆是值得努力的方向。. 45.

(56) 參考文獻 [1] 宋曜廷、陳茹玲、李宜憲、查日龢、曾厚強、林維駿、張道行、張國恩, “中文文本可讀性探討：指標選取、模型建立與效度驗證”, 中華心理學刊, 55 卷, 1 期, 75–106, 2013. [2] A. C. Graesser, D. S. McNamara, M. M. Louwerse, and Z. Cai, ―Coh-Metrix: Analysis of Text on Cohesion and Language,‖ Behavior Research Methods, Instruments, & Computers, vol. 36, no. 2, pp. 193–202, 2004. [3] 陳世敏, “中文可讀性公式詴擬”, 新聞學研究, 8 卷, 181–226, 1971. [4] 楊孝濚, “中文可讀性公式”, 新聞學研究, 8 卷, 77–101, 1971. [5] K. Collins-Thompson, ―Computational Assessment of Text Readability: A Survey of Current and Future Research,‖ Recent Advances in Automatic Readability Assessment and Text Simplification. Special issue of International Journal of Applied Linguistics, vol. 165, no. 2, 97–135, 2014. [6] “ 可讀性. - 維基百科，自由的百科全書 ” , available at:. https://zh.wikipedia.org/wiki/%E5%8F%AF%E8%AF%BB%E6%80%A7. [7] R. J. Kate, X. Luo, S. Patwardhan, M. Franz, R. Florian, R. J. Mooney, S. Roukos, and C. Welty, “ Learning to Predict Readability using Diverse Linguistic Features”, Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), Beijing, 546-554, 2010. [8] P van Oosten, D. Tanghe and V. Hoste, “Towards an Improved Methodology for Automated Readability Prediction”, Proceedings of the Seventh conference on International Language Resources and Evaluation (LREC 2010), Valletta, 775-782, 2010. 46.

(57) [9] “ 迴歸分析. - 維基百科，自由的百科全書 ” , available at:. https://zh.wikipedia.org/wiki/%E8%BF%B4%E6%AD%B8%E5%88%86%E6% 9E%90. [10] 多變量分析最佳入門實用書：SPSS+LISREL(SEM)（2007）。台北：碁峰資訊。. [11] 祁亨年, “支持向量機及其應用研究綜述”, 計算機工程, 10 期, 6–9, 2004. [12] “支持向量機器 (Support Vector Machine). 逍遙文工作室”, available at:. https://cg2010studio.wordpress.com/2012/05/20/%E6%94%AF%E6%8C%81% E5%90%91%E9%87%8F%E6%A9%9F%E5%99%A8-support-vector-machine/. [13] “ Support Vector Machine - JeromeBlog - 博客园 ” , available at: http://www.cnblogs.com/jeromeblog/p/3395016.html. [14] ―LIBSVM -- A Library for Support Vector Machines,‖ available at: http://www.csie.ntu.edu.tw/~cjlin/libsvm/index.html?js=1#svm-toy-js. [15] “. piaip's. Using. (lib)SVM. Tutorial. ”. ,. available. at:. available. at:. http://www.csie.ntu.edu.tw/~piaip/docs/svm/. [16] ―Coh-Metrix Web Tool,‖ available at: http://tool.cohmetrix.com/. [17] “. Coh-Metrix. version. 3.0. indices. ”. ,. http://141.225.42.101/CohMetrixHome/documentation_indices.html. [18] “ 中文文本自動化分析系統 ” ,. available. at:. http://210.240.188.161/Chinese_CohMetrix/index.html. [19] 蔡亞韋、陳文蘭、郭伯臣、廖晨惠、白鎧誌（2013 年 04 月）。, “應用潛在語意於自動化文本分析”.2013 第七屆資訊科技國際研討會. [20] ―About. WordNet - WordNet. -. About. http://wordnet.princeton.edu/. 47. WordNet,‖. available. at:.

(58) [21] “. https://zh.wikipedia.org/wiki/WordNet. ”. ,. available. at:. https://zh.wikipedia.org/wiki/WordNet. [22] “英文詞彙知識庫 WordNet 如何應用於英文學習- 以 glycogen(肝糖)為例”, available at: http://epaper.naer.edu.tw/index.php?edm_no=52&content_no=1456. [23] “ 中文詞彙網路. Chinese. Wordnet ” ,. available. at:. http://lope.linguistics.ntu.edu.tw/cwn/. [24] “ 文本可讀性指標自動化分析系統. 2.3 ” , available at:. http://www.chinesereadability.net/CRIE/?LANG=CHT. [25] “第二講”, available at: http://maliwen.myweb.hinet.net/no2.html. [26] L. Feng, M. Jansche, M. Huenerfauth, and N. Elhadad, ―A Comparison of Features for Automatic Readability Assessment,‖ 23rd International Conference on Computational Linguistics (COLING 2010), Poster Volume, pp. 276–284, 2010. [27] 陳惠玉, “認識語法單位”, 台中市國教輔導團電子報, 2004. [28] “ 語法分析器. - 維基百科，自由的百科全書 ” , available at:. https://zh.wikipedia.org/wiki/%E8%AA%9E%E6%B3%95%E5%88%86%E6% 9E%90%E5%99%A8. [29] “ 詞類. - 維基百科，自由的百科全書 ” , available at:. https://zh.wikipedia.org/wiki/%E8%A9%9E%E9%A1%9E. [30] “Type vs. Token 從 Type 與 Token 討論英文學習的問題”, available at: http://chenyi2013.pixnet.net/blog/post/352192739-type-vs.-token-%E5%BE%9E type%E8%88%87token%E8%A8%8E%E8%AB%96%E8%8B%B1%E6%96%8 7%E5%AD%B8%E7%BF%92%E7%9A%84%E5%95%8F%E9%A1%8C. [31] “CKIP Chinese Parser”, available at: http://parser.iis.sinica.edu.tw/. 48.

(59) [32] 張劍、屈丹、李真, “基於詞向量特徵的循環神經網絡語言模型”, 模式識. 別與人工智能, vol. 28, no. 4, pp. 299–305, 2015. [33] “Deep Learning in NLP （一）詞向量和語言模型. licstar 的博客”, available. at: http://licstar.net/archives/328#more-328. [34] Y. Bengio, R. Ducharme, P. Vincent, and C. Janvin. ―A neural probabilistic language model,‖ Journal of Machine Learning Research, vol. 3, pp. 1137–1155, 2003. [35] ―word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting,‖ available at: https://code.google.com/p/word2vec/. [36] T. Mikolov, K. Chen, G. Corrado, and J. Dean. ―Efficient Estimation of Word Representations in Vector Space,‖ In Proceedings of Workshop at ICLR, 2013. [37] “. 再. 談. 學. word2vec. 步. 園. ”. ,. available. at:. http://www.xuebuyuan.com/2199643.html. [38] “. tSNE. CSV. web. demo. ”. ,. available. at:. http://cs.stanford.edu/people/karpathy/tsnejs/csvdemo.html. [39] 中文詞知識庫小組。 “ 中文斷詞系統 ” ,. available. at:. http://ckipsvr.iis.sinica.edu.tw/. [40] 詞庫小組。「句結構樹中的語意角色」。技術報告 13-01。民 102 年。 [41] A. Louis and A. Nenkova, ―What Makes Writing Great? First Experiments on Article Quality Prediction in the Science Journalism Domain,‖ Transactions of the Association for Computational Linguistics, 1, pp. 341–352, 2013. [42] 卓淑玲、陳學志、鄭昭明, “台灣地區華人情緒與相關心理生理資料庫—中文情緒詞常模研究”, 中華心理學刊, 55 卷, 4 期, 493–523, 2013.. 49.

(60) [43] “文化部中小學生優良課外讀物推介評選活動 - 第 37 次”, available at: http://book.moc.gov.tw/book/.. 50.

(61)