計分模組

概念比對的理想狀況是一對一的概念比對，即反應在概念擷取階段中擷取 出的一個概念，比對到概念集中的一個概念－分數組，並藉此給予該反應一個 分數。但是本文所提概念比對方法，常常在概念擷取階段會對一個反應擷取出 多個概念。除此之外，在概念比對階段時一個概念亦有可能會比對到多個概念

－分數組。計分模組必頇處理非一對一的概念比對，並且藉此給予非一對一的 概念比對一個分數。概念比對的情況，可以分成下列三種情形：

1、 待評分反應產生的動名詞對在概念集中沒有找到任何動名詞對。

2、 待評分反應產生的動名詞對在概念集中找到一組相同的動名詞對，且在概 念集中此動名詞對包含兩個以上分數。

3、 待評分反應產生的動名詞對在概念集中找到兩組以上相同的動名詞對。

以第一種沒有找到任何動名詞對的情況來說，即代表沒有比對到任何的概 念，因此系統無法給分。而針對第二種及第三種情形，本研究建立了平均計分 法和規則計分法兩個評分方法做為計分模組，如圖 3-5 所示，以下針對此兩種 計分方法做詳細討論。

圖 3-5 計分處理流程圖

概念比對結果 計分模組 系統給分

44

一、平均計分法

一個反應經概念比對程序後可能在概念集中比對到很多的動名詞對－分數 組，本計分方法先將對每一個比對到的動名詞對的所有分數組取其平均分數，

得到一個動名詞對－分數組的平均分數，再將所有的動名詞對－分數組的平均 分數取平均，得到的平均分數可作為待評分反應的分數。

二、規則計分法

本研究設計了 6 條規則篩選概念比對階段產生的動名詞對，藉此在多個動 名詞對保留和待評分反應具有相同概念的動名詞對，6 條規則分別敘述如下。

1、 高鑑別度詞優先規則

在比對概念時，一個待評分反應產生的動名詞對有可能會比對到很多個分 數不同的動名詞對－分數組。這表示這個動名詞對可能包含了常用詞，因為常 用詞本身不代表反應的概念，因此教師在給予反應分數時，不會因為常用詞的 出現而影響給分，使得含有常用詞的動名詞對的分數會因其他概念的影響而有 較大的變動。相對的，有些詞具有重要的概念意義，因此這些詞對反應的分數 有決定性的影響，使得其對應的多個動名詞對－分數組的分數變動較小，這類 詞我們稱為高鑑別度詞。因此高鑑別詞度優先規則，是當比對到的動名詞對中 含有高鑑別度詞時，會將此動名詞對保留，而其他不含高鑑別度詞的動名詞對 將會排除。

45

高鑑別度詞和常用詞的區別方法為，若包含某詞的反應在訓練語料中被教 師評最高分和最低分的差距在某個門檻值之內，則這個詞稱為高鑑別度詞。在 本研究中教師評分的範圍為 1 到 10 分，因此本研究將門檻值設為 3 分。不同的 給分範圍應該要有不同的門檻值。

舉例來說，有一個待評分反應為「委婉告訴他，把機會讓給別人」，經動名 詞對擷取後跟概念集進行比對，比對得到的動名詞對有「告訴(VE) 告訴(VE)」

及「讓給(VD) 機會(Na)」，此時以高鑑別度詞優先規則檢查發現詞「告訴(VE)」

在概念集裡所有包含詞「告訴」的動名詞對－分數組中，最高分與最低分相差 5 分。而在第二個動名詞對中，詞「讓給(VD)」在概念集裡所有包含詞「讓給」

的動名詞對－分數組中的高低分差為 2 分，詞「機會(Na)」在概念集裡所有包 含詞「機會」的動名詞對－分數組中的高低分差為 3 分。由於動名詞對「讓給 (VD) 機會(Na)」的兩個詞都是低於門檻值的高鑑別詞，因此將動名詞對「讓給 (VD) 機會(Na)」在反應集中的對應分數指定給待評分反應。

2、 原文重疊率規則

原文重疊率代表待評分反應與訓練語料中有相同動名詞對的原始反應，兩 個反應使用相同字詞的比例。當兩者相同部分的比例越高，代表反應之間的概 念越相近。因此本規則的目的是在篩選出和待評分反應概念較相近的原始反應，

當兩個反應重疊率高過一個門檻值，本研究則認為兩個反應要表達的概念接近，

46

47

3、 最多相同詞重複規則

當概念比對後所找到的動名詞對其對應的原始反應數量很多時，若是某個 候選反應中除了比對到的動名詞對之外，還和待評分反應用到了很多的相同的 動詞或名詞，表示這兩個反應之間的概念越相近。和原文重疊率相比，這個規 則存在偏好文長較長反應的風險，因此在使用時，是在使用原文重疊率規則仍 無法篩選出相近概念時使用。

以表 3-7 為例，若原文重疊率門檻值訂於 0.7，則無法以原文重疊率規則決 定分數，此時套用最多相同詞重複規則，則有三個重複字詞的反應「要求同學 禁止借功課給彼此抄」，其分數將做為待評分反應的分數。

4、 非同義動名詞對優先規則

在概念比對設計時，為了提升可被系統批改的反應數量，因此使用同義詞 詞林建立同義動名詞對。但是當待評分反應包含多個動名詞對，其中的同義動 名詞對所代表的意義有時候會與原動名詞對意義出現落差，因此在待評分反應 包含多個動名詞對時，則將同義動名詞對排除，我們稱為非同義動名詞對優先 規則。

例如某反應為「利用課餘時間進行一些活動，或小遊戲。Ex：每人說出一 個人的優點」，經概念擷取及概念比對後，找到了一個同義動名詞對「使(VL) 時 間(Na)」及兩個完全動名詞對「利用(VC) 活動(Na)」和「遊戲(Na) 遊戲(Na)」。

48

而此同義動名詞對產生的原因，是因為在同義詞詞林中「使」和「利用」屬於 同義詞。而概念集中的動名詞對「使(VL) 時間(Na)」所對應的原始反應為「先 穩住班上的坐息，並使他們知道什麼時間做什麼事，我會全程參與陪伴。」，其 所產生的動名詞對「使(VL) 時間(Na)」所表達的概念，跟原始反應中的「利用

(VC) 時間(Na) 」完全不同。故在比對到大量的動名詞對時排除同義動名詞對，

可以提升概念比對的準確度。

5、 非半動名詞對優先規則

除了同義動名詞對有時會造成原意失真外，半動名詞對有時也會有這種狀 況發生。例如某生的反應為「只好乖乖做，抱著可學習的心態，但是可以慢慢 做，或等做不完，請其他老師幫忙囉」，經動名詞對擷取後與概念集進行比對，

找到「學習(VC) 心態(Na)」及「協助(VC) 老師(Na)」兩個完全動名詞對及「做

(VC) 做(VC)」一個半動名詞對。這個半動名詞對其無法明確的表達一個概念。

因此在比對到的動名詞對很多的條件之下，排除半動名詞對亦能提升批改的準 確度。

6、 反應相似優先規則

若在訓練語料中的某個反應，其產生的動名詞對有兩個以上和待評分反應 所產生的動名詞對相同，即代表這兩個反應很可能表達了類似的概念，因此以 該反應的分數做為待評分反應的分數。

49

例如某反應為「私下針對問題學生，個別約談」，經概念擷取與概念比對後 產生的三個動名詞對及對應原始反應如表 3-8 所示。由表 3-8 可以發現反應「個 別約談，個個擊破，針對問題，診治學生」與待評分反應都包含了「問題(N) 問 題(N)」、「約談(Nv) 約談(Nv)」兩個動名詞對，代表了這兩個反應用了同樣的詞 彙表達了類似的概念。

表 3-8 反應相似優先規則示意表

動名詞對 原始反應

問題(N) 問題(N) 個別約談，個個擊破，針對問題，診治學生。

學生(N) 學生(N)

等師生初步了解後,再來和學生討論班級的規範,並藉由一些正式的活 動來凝聚共識。

針對學生的想法興趣，去融入他們，和他們建立亦師亦友的關係，要 讓他們覺得妳值得信任。

班級風氣建立之後,多數學生或比較有定性,此時適合針對不同的學生 進行個別了解及鼓勵大家(各方陎正陎的都可以)。

約談(Nv) 約談(Nv) 個別約談，個個擊破，針對問題，診治學生。

此計分模型是由以上 6 條規則組成。隨著概念擷取之結果與概念比對結果 的不同，採用規則的項目及流程也有所不同，總流程圖及其他三個子規則流程 圖分別如圖 3-6 及 3-7 到 3-9 所示，流程圖中的圖例如表 3-9 所示。

50

表 3-9 流程圖圖例說明表

圖例 說明

繼續進行下一個規則的篩選

回傳分數

檢查通過規則的動名詞對個數

保留所有的動名詞對

保留通過規則的的動名詞對 (2)

Check

(1)

51

52

圖 3-7 規則計分法子規則 1 執行流程圖 大於 1 個

原文重疊率規則 子規則

1 開始

沒有任一反應通過規則 沒有任一反應通過規則

等於 1 個

大於 1 個 等於 1 個

回傳包含此動名詞 對的反應分數

系統 給分

取得通過本規則的動名詞 對對應之反應分數平均

(2)

最多相同詞重複 規則 Check

(1)

取得保留動名詞對對 應之反應分數平均 Check

53

54

55