• 沒有找到結果。

第三章 自動化評估方法

第二節 建立概念集

概念集是儲存動名詞對與分數間關係的資料集合,只要將反應的概念和概 念集中的概念比對,就可得到概念的可能分數。其建立方法是將學生針對問題 所回答且已由專家評分的反應,抽取反應中的動名詞對,再將動名詞對與評分 結果,組成一個動名詞對與分數的組合。例如表 3-2 為概念集中部分內容的範 例,表 3-2 顯示了 9 個動名詞對-分數組,其中「了解(VK) 學生(Na)」這個動名 詞對分別對應到了 5 分、5 分、6 分、6 分、6 分、7 分、7 分共 7 個分數,而「鼓 勵(VF) 比賽(Na)」分別對應到了 5 分、6 分 2 個分數,而每個動名詞對-分數組 都可以對應到一個原始反應。圖 3-3 則為概念集建立流程。將所有學生反應形 成的動名詞對和分數組合集合貣來,就形成了概念集。

表 3-2 概念集部分內容的範例

動名詞對 分數

了解(VK) 學生(Na) 5

了解(VK) 學生(Na) 5

了解(VK) 學生(Na) 6

了解(VK) 學生(Na) 6

了解(VK) 學生(Na) 6

了解(VK) 學生(Na) 7

了解(VK) 學生(Na) 7

鼓勵(VF) 比賽(Na) 5

鼓勵(VF) 比賽(Na) 6

圖 3-3 建立概念集流程圖

擷取動名詞對及對應分數 概念集 學生

反應

39

雖然將原始反應轉換成動名詞對的過程,可以產生代表其概念的動名詞對,

但是同時也會產生一些無意義的動名詞對。以表 3-3 的反應樣本為例,組合結 果中的「傳達(VD) 要求(Na)」和「告知(VE) 做法(Na)」可以表達反應「傳達 我個人之要求,條列式的告知做法和可得之利益。」的概念,但也產生了無意 義的動名詞對組合,例如「傳達(VD) 個人(N)」、「告知(VE) 條列式(N)」、「告 知(VE) 利益(Na) 」、「得(VJ) 條列式(N)」、「得(VJ) 做法(Na)」、「得(VJ) 利益

(Na)」。由於無意義的動名詞對會增加後續概念比對階段時的錯誤率,因此盡可 能刪減無意義動名詞對的數量是非常重要的工作。

表 3-3 原始反應及其動名詞對對照表範例

原始反應樣本 動名詞對

傳達我個人之要求,條列式的告知 做法和可得之利益。

傳達(VD) 個人(N)、傳達(VD) 要求(Na)、

告知(VE) 條列式(N) 、告知(VE) 做法(Na)、

告知(VE) 利益(Na) 、得(VJ) 條列式(N)、

得(VJ) 做法(Na) 、得(VJ) 利益(Na)

我們以三個步驟減少無意義動名詞對數量。首先,以概念擷取模組處理訓 練語料中每一個反應,可以得到訓練語料中所有可能的動名詞對。第二是計算 每個動名詞對在訓練語料中的重複出現的次數。最後,再重新檢視每一個反應,

若某一個反應產生超過一個以上的動名詞對,其所含動名詞對在概念集中次數

40

低於預先設定的門檻值時,由於這些低於門檻值的動名詞對,可能只是隨機組 合產生的,因此將這些動名詞對排除在概念集之外。利用這個過程,可以減少 概念集中無意義動名對的數量。

前述門檻值之訓練頇視訓練語料庫的資料量而定,資料量越大,則門檻值 應該較高,以有效排除隨機組合產生的無意義動名詞對。由於本研究中的訓練 語料較少,故將重複出現的門檻值設定為 1。以表 3-4「傳達我個人之要求,條 列式的告知做法和可得之利益。」反應為例,動名詞對在訓練語料次數結果如 表 3-4 所示,藉由上述方法可以將只出現一次的動名詞對排除,就只剩下「傳 達(VD) 要求(Na)」和「告知(VE) 做法(Na)」這兩個動名詞對,而此二動名詞 對也可以分別代表該反應中兩個句子的概念。

表 3-4 動名詞對及出現次數對照表

動名詞對 總共出現

次數

狀態 也擁有此動名詞對的反應

傳達(VD) 個人(N) 1 排除 -

傳達(VD) 要求(Na) 2 保留 請班長傳達老師的規定,並要求全班遵守。

告知(VE) 條列式(N) 1 排除 -

告知(VE) 做法(Na) 2 保留 開班會,告知做法。

告知(VE) 利益(Na) 1 排除 -

得(VJ) 條列式(N) 1 排除 -

得(VJ) 做法(Na) 1 排除 -

得(VJ) 利益(Na) 1 排除 -

41