4. 第四章 研究方法
4.3 機器學習之推論模型
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
25
近，此時若實體名詞發生錯位，則較容易影響兩個句子語意的相似程度，如圖 4.13，因 此增加一個函式判斷索引值的迥異，藉以調整推論關係的評分，如公式(12)。公式中 i 代表實體名詞於句子中的位置，m 和 n 為 NE_Order 的索引值，δ為範圍 1 到 2 的懲罰 分數，λ為使用該函式的推論分數門檻值。透過上述的各種語言資訊的使用，最後合併 成一項推論關係的計算公式(13)，將推論關係的程度以 0 至 1 的分數顯示高低，我們預 期該方法能有效地判定語句間的推論關係。
t1：台灣出口至印度成長 28.6%
t2：印度從台灣出口成長率可達 28.6%
𝑁𝐸_𝑂𝑟𝑑𝑒𝑟𝑡2 = [台灣：0, 印度：1]
𝑁𝐸_𝑂𝑟𝑑𝑒𝑟𝑁𝐸𝑡2 𝑖𝑛 𝑡1 = [台灣：1, 印度：0]
圖 4.13 實體名詞位置比對範例
𝑓𝑁𝐸𝑜𝑟𝑑𝑒𝑟(𝑡1, 𝑡2) = ∏ 𝑓𝑁𝐸𝑂rder𝑃𝑒𝑛𝑎𝑙𝑡𝑦(𝑖m, 𝑖𝑛)
𝑖𝑚,𝑖𝑛∈𝑁𝐸𝑂𝑟𝑑𝑒𝑟𝑁𝐸𝑡2 𝑖𝑛 𝑡1 𝑎𝑛𝑑 𝑚 <𝑛
, (12)
𝑓𝑁𝐸𝑂rder𝑃𝑒𝑛𝑎𝑙𝑡𝑦(𝑖𝑚, 𝑖𝑛) = {𝛿, 𝑖𝑛 − 𝑖𝑚 < 0 and 𝑆𝑐𝑜𝑟𝑒𝑒𝑛𝑡𝑎𝑖𝑙𝑚𝑒𝑛𝑡 > 𝜆
1, 𝑒𝑙𝑠𝑒 ,
𝑆𝑐𝑜𝑟𝑒𝑒𝑛𝑡𝑎𝑖𝑙𝑚𝑒𝑛𝑡 =𝑓′𝑤𝑜𝑟𝑑𝑜𝑣𝑒𝑟𝑙𝑎𝑝(𝑇1, 𝑇2)− 𝑓𝑁𝐸𝑒𝐷𝑖𝑓𝑓(𝑡1, 𝑡2)− 𝑓𝑛𝑒𝑔𝑎𝑡𝑖𝑜𝑛(𝑡1, 𝑡2)
𝑓𝑎𝑛𝑡𝑜𝑛𝑦𝑚(𝑇1, 𝑇2) × 𝑓𝑁𝐸𝑜𝑟𝑑𝑒𝑟(𝑡1, 𝑡2) , (13)
4.3 機器學習之推論模型
圖 4.14 為使用機器學習演算法建構的推論模型系統架構，同樣使用 4.1 節的元件進行前 處理，接著擷取我們認為可以增加推論效果的語文資訊，做為訓練模型的特徵集合；最 後我們採用三種不同的分類演算法訓練分類模型，分別是支持向量機(Support Vector Machine, SVM)[8][17]、Weka J48 決策樹(J48 Decision Tree)與 Weka 線性回歸(Linear Regression)[20]，透過不同類型的分類器獲得推論關係的結果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
26
圖 4.14 機器學習推論系統架構
前一小節說明了經驗法則式推論模型所使用的函式，我們針對這些函式進行數值化 的轉換，做為訓練推論模型的特徵；這些特徵包含詞彙覆蓋比例、實體名詞數量、實體 名詞相似度、實體名詞錯位數量、句子長度、否定詞數量、近義詞數量、反義詞數量等 項目。除此之外，我們希望加深推論模型對語法結構的認識，因此加入剖析樹(Parsing Tree)分析、POS(Part-of-speech)動詞標記與詞彙依賴關係(Word Dependency)等元素，計 算其相似度做為特徵，希望提高推論模型的能力。
我們透過史丹佛剖析器(Stanford Parser)取得句子的剖析樹，並且我們認為使用整個 剖析樹分析句法結構相似度容易增加計算的難度，因為句子之間可能僅有部分的結構具 有共通性即可具備推論的關係，因此以每一個節點做為根節點(ROOT)擷取其下層節點 形成的子樹，使用這些子樹來計算兩個句子結構的相似程度。同樣地，POS 標記由史丹 佛剖析器獲得，我們認為動詞在句子中扮演較重要的角色，因其指出整個句子的事件與
‧
個有向圖(Directed Graph)，並化做矩陣形式如圖 4.15。我們發現一個矩陣內可以顯示的 資訊並不充沛，如此稀疏的矩陣中，我們難以找到句子之間包含相同關係的詞彙組合，因此以相鄰矩陣(Adjacency Matrix)的概念做進一步的運算；例如一個矩陣 M，可以經由 矩陣相乘獲得節點到節點之間移動所需要的步數，因此計算 M3便能瞭解任一個節點經
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
28
便是圖 4.15 的矩陣計算移動五步後的結果，我們透過這樣的矩陣，分析句子之間詞彙依 賴關係相似的程度，並以該數值做為一項特徵。
而英文的語料中，我們認為既有的工具可以提供更好的實體名詞標記與剖析樹解析，
因此對於英文實體名詞的特徵擷取分為更細緻的類別，分別計算人名、地名與組織名的 相似度。除此之外，我們針對剖析樹提出新的特徵，利用詞彙依賴關係，企圖找出兩個 句子的主詞-動詞-受詞結構(Subject-Verb-Object Structure, SVO Structure)；我們抓取依賴 關係中的 subj 與 dobj 關係，取得句子中的主詞、動詞與受詞，並將其進行排列組合獲 得可能的 SVO 結構集合，根據集合內容，轉換為兩個特徵值，第一個以布林形式表達 兩個句子間是否有相同的 SVO 結構，第二個則為兩個句子擁有相同 SVO 結構的比例。
最後表 4.1 與表 4.2 個別列出用以訓練模型的中英文特徵集合與其定義，再透過不 同種類的分類演算法訓練模型進行推論關係的判斷，我們預期這些特徵也能達到與經驗 法則式推論模型的相仿效果。
‧
𝑓Negation𝑡2
|𝑁𝑒𝑔𝑎𝑡𝑖𝑜𝑛𝑡1|, |𝑁𝑒𝑔𝑎𝑡𝑖𝑜𝑛𝑡2|
‧
𝑓Negation𝑡2
|𝑁𝑒𝑔𝑎𝑡𝑖𝑜𝑛𝑡1|, |𝑁𝑒𝑔𝑎𝑡𝑖𝑜𝑛𝑡2|
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
31