評分系統

在預測模型的發展歷史中，使用貝氏機率(Bayesian Probability)作為預測的 方法是一個相當常見的方法，在自然語言處理的其他技術中，貝氏機器學習也 是很重要的學習方法。在以中文為母語的作文評分系統的研究中，以貝氏機器 學習法時做出的系統，能達到95% 的正確率 (Adjacent Rate，意旨系統評分與人 工閱卷評分相差在一分的誤差之內)，為相當高的一種方法( 林信宏，2009 )。

這兩種分數的算法，雖然名稱尚無定論，但是在其他作文評分系統裡也常看到 這種計算方法，例如ACES系統(Chang & Lee, 2007)。

貝氏機率是根據條件機率下所推導出的定理，它告訴我們，該如何利用一 些新的證據，也就是新的事件發生的機率，去改變原先我們已認定的事，換句 話說，是在新事件發生之下，舊事件的機率。當Ａ代表上文所說的舊事件，B 代表上文所說的新事件，兩個事件皆為隨機事件。我們可以用以下的公式說明 貝氏定裡:

Ｐ(Ａ|Ｂ) Ｐ(Ｂ|Ａ)Ｐ(Ａ) Ｐ(Ｂ)

Ｐ(Ａ|Ｂ)：代表在Ｂ發生的情況下，A發生的機率，在此公式代表當我 們已知B事件發生之後A事件之機率。

Ｐ(Ｂ|Ａ)：代表A事件發生之下B事件的機率。

Ｐ(Ａ) 及Ｐ(Ｂ) ：代表隨機事件A與B發生的機率。

在機器學習裡，將此貝氏機率定理使用在所要運用的機率模型中，我 們利用以下公式推導。

貝氏機率的模型公式如下：

Ｐ( | ) Ｐ( | )Ｐ( )

Ｐ( ) ( )

Ｐ( | )：代表在已知某 特徵後，文章 被評為 分之機率值。

Ｐ( | )：得知特徵 後，預測文章 為 分之機率值。

Ｐ( ) ：在所有文章中，特徵 之事前機率。

Ｐ( ) ：文件 被評為 分之事前機率。

即是說，假設目前要算的特徵為詞數，在訓練階段的文章當中，詞數此特 徵之值為152時，代表文章斷詞後有152個詞，若是出現的機率為0.2，亦即有 152個詞的文章，佔全部文章的1/5，例如若總共文章篇數為400篇，代表有80篇 文章的詞數有152，我們用Ｐ( ) 表示之。而同時已知訓練文章中，文章 被 評 為 3 分 之 機 率 為 0.4 ， 即 是 3 分 的 文 章 比 例 占 全 部 文 章 的 2/5 時 ， 因 此 Ｐ( ) 。並且在文章特徵中，詞數為152詞時，被評為3分之機率為0.3，

表示80篇152個詞的文章中，有24篇被評為三分，亦即Ｐ( | ) 。 我們可以根據以上貝氏機率之模型公式推導出以下的機率值，

Ｐ( | ) Ｐ( | )Ｐ( ) Ｐ( )

即代表，當我們已知一篇文章有152詞時，我們以該特徵「文章詞數」去 推論此篇文章為3分之機率為0.6。

當我們使用了多個指標來評判綜合的機率時，貝氏機率的機器學習法使用 以下公式得到文件 的預測分數：

( ) ∏ Ｐ( | )

( )

( )：為我們所求，代表欲求之文章 被預測的分數。

： t 特徵，在此公式中代表有 個特徵值。

Ｐ( | )：即為 ( )公式。

例如，系統欲使用三個特徵字數、詞數及複雜結構句數作為預測文章 之 為 分之機率。與( )公式之下，我們可得文章 的字數、詞數及複雜結構句數 這三個特徵值在 i 分之下的機率，假設：

字數之機率：Ｐ( | _字數) 、Ｐ ( | _字數)

Ｐ( | _字數) 、Ｐ ( | _字數) 、Ｐ ( | _字數)

詞數之機率：Ｐ( | _詞數) 、Ｐ ( | _詞數) 、

Ｐ( | _詞數) 、Ｐ ( | _詞數) 、Ｐ ( | _詞數)

複雜結構句數之機率：Ｐ( | _{複雜結構句數}) 、

Ｐ( | _{複雜結構句數}) 、Ｐ ( | _{複雜結構句數}) 、

Ｐ( | _{複雜結構句數}) 、Ｐ ( | _{複雜結構句數})

將以上三個值代入( )，可得到以下算式：

( ) ∏ Ｐ( | )

圖 3- 5 特徵值機率分布圖

以上圖 3- 5特徵值機率分布圖舉例說明，假設在3分時，詞數其特徵門檻最 大及最小值為158及130，亦即DSmax =158 及 DSmin = 130，而根據實際文本分布，

3分出現的最大值 Max = 190 ，最小值Min = 56，當欲預測之文本其特徵值分布 在門檻區間內，也就是130至158內時，將其機率換置為3分所出現的機率乘上 最大機率值，在56至130間及158至190間之特徵值給乘上遞減之機率，在56以 下、190以上之特徵值則乘上一極小機率，表示此特徵值的事前機率應為0，代 表樣本內，未曾出現這樣的值。但由於公式計算上若出現 0值，在系統執行的 公式迭代中難以進行，因此我們在系統設定上給予一極小值。

以上例代入原始貝氏機率公式

Ｐ( | ) Ｐ( | )Ｐ( ) Ｐ( )

Ｐ( | )：代表在已知特徵值後，文章被評為3分之機率值。

Ｐ( | )：得知特徵d後，預測文章為3分之機率值。

Ｐ( ) ：在所有文章中，特徵d之事前機率。

Ｐ( ) ：文件被評為3分之事前機率。

DS_max DS_min

Min Max 特徵值

機 率

若其特徵「詞數」為152詞，且詞數之各分數門檻區間一分為56至180、兩 分為81至129、三分為130至158、四分為159至172、五分為173至190。如下表3- 1各分數門檻值。

表 3- 1 各分數門檻值 分數 特徵值 1 分 56~80 2 分 81~129 3 分 130~158 4 分 159~172 5 分 173~190

當特徵值為152時，在各分數之機率算法如下：

Ｐ( | ) (| | | |) Ｐ( | ) (| | | |) Ｐ( | ) (| | | |) Ｐ( | ) (| | | |) Ｐ( | ) (| | | |)

其中當特徵值落在其所屬範圍內時，設定機率為1，也就是Ｐ( | ) ， 而 值會依據其門檻值及最大最小值的不同改變其值，機率遞減至0為止。