文意理解敘述題是請學生使用最多三個句子將文章進行重點摘要。本章將介 紹如何對文意理解敘述題，自動評估學生答案和文章語意的符合程度等級。
5-1 教師評分的標準
本研究使用機器學習的方法，由學生答案和文章語意的比對特徵值，建立用 來預測老師評分等級的分類模型，對學生的答案進行語意符合程度自動評分。
本研究參考學測英文非選擇題評分標準，訂定下列評分標準做為評分等級依 據。
表 6 語意摘要評分標準
分數類型 等級 評分標準
語意分數：
單純只看意思內 容，文法、句法結 構等之使用不在 考量範圍
A 主題清楚，並有具體、完整相關細節。
B 主題不夠清楚，部份相關敘述發展不全。
C 主題不明，文不對題或沒寫。
5-2 文意理解敘述題答案評分方法
5-2-1 文章與答案之語意表示模型
透過 4-1 節所介紹建立語意關係的方法，對於文章 A，我們先建立文章的語 意關係圖 GA，假設 GA中的語意節點所成的集合為 node(GA)， GA中的語意關係
所成的集合為 edge(GA)。此外，採用 4-2 節所介紹之重要性分數計算方法後，可 以得到GA中各語意節點 vi 對應的重要性分數值以 scoreA(vi)表示。
對於一個學生的文章理解敘述題答案，可視為一篇文章，因此也可建構出其
語意關係圖。令 GS表示以學生答案建立的語意關係圖，其中 GS中的語意節點所
成的集合以 node(GS)表示，GS中的語意關係所成的集合以 edge(GS)表示。根據 4-3 節所介紹，令 GA中的主角詞彙集合以 inode(GA)表示，GS 中的主角詞彙集合為 inode(GS)表示。
以圖 3 的範例一為例，我們以雙向的語意關係圖做說明，所形成的語意關係 圖 GA如圖 12(a)，圖 12(b)是由圖 11 的學生答案所構成的語意關係圖。表 6(a)是 圖 12(a)所計算出節點的重要性分數值，表 6(b)是圖 12(b)所計算出節點的重要性 分數值。
圖 14 學生答案
Gary’s father is a fifty-four-year old man, Gary’s father successfully runs a Japanese restaurant. Gary’s father is not only the boss but also a cook of that restaurant. It is a popular and nice eating place.
圖 15(a) 文章語意關係圖 GA
圖 15(b) 學生答案語意關係圖 GS
表 7(a) GA節點重要性分數值
表 7(b) GS節點重要性分數值
對應節點 1 2 7 8 9 5
節點 gary 's
father restaurant tall thin handsome cook 重要性分數 1.96 1.25 0.94 0.94 0.94 0.72
對應節點 4 12 3 11 6 10
節點 families and
friends dinner people six days a week
fifty-four
years old glasses 重要性分數 0.52 0.52 0.48 0.48 0.47 0.47
對應節點 1 3 4 5 2
節點 gary 's father restaurant boss cook man 重要性分數 1.57 1.33 0.65 0.65 0.44
5-2-2 比對特徵擷取
F16：score𝐴(rank3(𝐺𝐴))/ ∑𝑣∈𝑛𝑜𝑑𝑒(𝐺𝐴)𝑠𝑐𝑜𝑟𝑒𝐴(𝑣)
的文章，當文章中字詞數量不同可能影響特徵值，因此以 node(GA)的數 量作為分母算出相對比例值。
3. F3 特徵：取 node(GA) 和 inode(GS)兩個集合中相同字詞的數量，但同一 篇文章的答案，當答案中主角詞彙數量不同可能影響特徵值，因此以 inode(GS)的數量作為分母算出相對比例值。
4. F4 特徵：取 inode(GA) 和 node(GS)兩個集合中相同字詞的數量，但不同 的文章，當文章中主角詞彙數量不同可能影響特徵值，因此以 inode(GA) 的數量作為分母算出相對比例值。
5. F5 特徵：取 inode(GA) 和 inode(GS)兩個集合中相同字詞的數量，但同一 篇文章的答案，當答案中主角詞彙數量不同可能影響特徵值，因此以 inode(GS)的數量作為分母算出相對比例值。
6. F6 特徵：取 inode(GA) 和 inode(GS)兩個集合中相同字詞的數量，但不同 的文章，當文章中主角詞彙數量不同可能影響特徵值，因此以 inode(GA) 的數量作為分母算出相對比例值。
(二) 相同節點重要性
節點重要性分數越高，表示節點在語意關係圖中越是重要，因此分別計算文 章語意關係圖 GA和學生答案語意關係圖 GS中相同的節點在 GS和 GA的重要性 分數值，可以得知節點在兩個關係圖中各別的重要性。
1. F7 特徵：取 node(GA) 和 node(GS)兩個集合中相同字詞對應的重要性分 數值的和。但同一篇文章的答案，當答案中字詞數量不同可能影響特徵 值，因此以 node(GS)的數量作為分母算出相對比例值。
2. F8 特徵：取 node(GA) 和 node(GS)兩個集合中相同字詞對應的重要性分 數值的和。但不同的文章，當文章中字詞數量不同可能影響特徵值，因 此以 node(GA)的數量作為分母算出相對比例值。
3. F9 特徵：取 inode(GA) 和 inode(GS)兩個集合中相同字詞對應的重要性分 數值的和。但同一篇文章的答案，當答案中主角詞彙數量不同可能影響 特徵值，因此以 inode(GS)的數量作為分母算出相對比例值。
4. F10 特徵：取 inode(GA) 和 inode(GS)兩個集合中相同字詞對應的重要性 分數值的和。但不同的文章，當文章中主角詞彙數量不同可能影響特徵 值，因此以 inode(GA)的數量作為分母算出相對比例值。
5. F11、F12、F13 特徵：取 node(GS)集合中，對應的重要性分數值最高的 前三名的分數值做為特徵。
6. F14、F15、F16 特徵：取 node(GA)集合中，對應的重要性分數值最高的 前三名的分數值做為特徵。
(三) 相同字詞重要性
透過節點重要性分數可知道關係圖中節點的重要性順序，兩個語意關係圖中 的節點重要性順序越相近，表示關係圖的組成越相似，因此藉由 Mean Reciprocal Rank 統計測量的方法，比對關係圖之間節點的重要性順序。
1. F17 特徵：對於 node(GS)和 node(GA)中共同出現的字詞，根據其在 node(GA)中的重要性排序位置，取倒數後相加得到的特徵值。
2. F18 特徵：對於 node(GS)和 node(GA)中共同出現的字詞，根據其在 node(GS)
中的重要性排序位置，取倒數後相加得到的特徵值。
3. F19 特徵：對於 inode(GS)和 inode(GA)中共同出現的字詞，根據其在 inode(GA)中的重要性排序位置，取倒數後相加得到的特徵值。
4. F20 特徵：對於 inode(GS)和 inode(GA)中共同出現的字詞，根據其在 inode(GS)中的重要性排序位置，取倒數後相加得到的特徵值。
(四) 相同關係字詞
語意關係圖中除了語意節點之外，還有連結語意節點的語意關係，因此兩個 語意關係圖相同的連結關係越多，關係圖越相似。
1. F21 特徵：計算 edge(GA)和 edge(GS)相同的個數。在計算兩個 edge(GA) 和 edge(GS)的交集時，兩個 e 和 e’必須連結相同語意節點，且連結上標 示的動詞相同的才算相同的關係字詞。當答案中連結關係數量不同可能 影響特徵值，因此以 edge(GS)的數量作為分母算出相對比例值。
2. F22 特徵：計算 edge(GA)和 edge(GS)相同的個數。當文章中連結關係數 量不同可能影響特徵值，因此以 edge(GA)的數量作為分母算出相對比例 值。
【範例 5-1】
比對圖 15(a)及圖 15(b)中，相同的語意節點有 Gary’s father、restaurant 和 cook 三個節點，因此相同的語意節點數量為 3。由表 7(a)可看出圖 15(a)的主角詞彙是
Gary’s father 和 restaurant，表 7(b)則表示圖 15(b)的主角詞彙為 Gary’s father 和 restaurant，因此相同的主角詞彙數量為 2。圖 15(a)中的節點與圖 15(b)中的主角詞 彙相同的是 Gary’s father 和 restaurant，因此數量為 2。圖 15(a)中的主角詞彙與圖 15(b)中的節點相同的是 Gary’s father 和 restaurant，因此數量為 2。從表 7 的重要 性分數可觀察到重要性排序，如圖 15(b)的節點在圖 15(a)的排序，Gary’s father 在 表 7(a)中排名為 1，restaurant 排名為 2，cook 排名為 6。因此計算圖 15(a)的節點 在圖 15(a)中的 Mean reciprocal rank 值為(1/1+1/2+1/6)/5，所以 MRR 為 1/3。圖 15(b)中的主角詞彙 Gary’s father 在圖 15(a)中排名為 1，restaurant 排名為 2。因此 計算Mean reciprocal rank 值為(1/1+1/2)/2，所以 MRR 為 3/4。
圖 15(a)及圖 15(b)中，相同的語意節點有 Gary’s father、restaurant 和 cook 三 個節點，在圖 15(a)中對應的語意節點重要性分數為 1.96、0.72 和 1.25，將重要性 分數相加後結果為 3.93。圖 15(a)及圖 15(b)中相同的主角詞彙是 Gary’s father 和 restaurant，在圖 15(a)中對應的語意節點重要性分數為 1.96 和 1.25，主角詞彙的 重要性分數相加後結果為 3.21。
圖 15(a)及圖 15(b)中，相同的語意節點有 Gary’s father、restaurant 和 cook 三 個節點，這些語意節點中的語意關係相同的數量為 2。相同的主角詞彙是 Gary’s father 和 restaurant，語意節點中的語意關係相同的數量為 1。所有的特徵值如表 9 所示。
表 9 範例 5-1 特徵值
特徵 F1 F2 F3 F4 F5 F6 F7 F8
特徵值 0.6 0.25 0.4 0.17 1 1 0.77 0.40
特徵 F9 F10 F11 F12 F13 F14 F15 F16
特徵值 0.59 0.33 1 0.07 1 0.20 1 0.13
特徵 F17 F18 F19 F20 F21 F22
特徵值 0.34 0.14 0.75 0.75 0.2 0.5
5-3 評分模型建立及預測
本研究使用 LIBSVM[3]系統的 classification 方法，評估學生摘要的語意符合 程度，因此會先蒐集一定數量的學生答案與教師的評分做為訓練資料，根據 5-2 小節所提出的特徵，擷取每個答案的特徵後，使用 support vector machine 建立預 測教師評分等級的分類模型，用來對學生答案進行語意符合程度自動評分。