關係擷取(Relation Extraction)

以往研究提出的文本關係擷取方法，主要分成對文本中的句子判斷具有何種 詞(N-gram)，或是以文本句子中的實體詞為基礎的命名實體詞類型(Named Entity Type)，以及以自然語言分析結果為基礎的詞性(Part Of Speech, POS)、句法剖析 (Parsing)等。取得特徵後，再使用監督式概念的分類器如支援向量機(Support Vector

8

Machine, SVM)或邏輯回歸(Logistic Regression, LR)訓練出一個關係分類模型，判 斷輸入的句子描述中是否具有某特定關係。然而，此類方法僅使用文本內容的文 中學習到的隱藏層(Hidden Layer)權重值作為此單詞的嵌入向量表示。

最近許多研究採用上述的詞嵌入向量作為模型特徵，並結合卷積類神經網路 (CNN)的技術進行文本分類。論文[6][7]皆採用 CNN 架構的文本分類模型，以句 子為單位，將句子中的單詞以詞嵌入向量作為模型輸入，根據不同範圍的資料集，

9

預測一個句子描述實體概念的分類，例如電影評論的評價分類（非常好、好、中 等、差、非常差）或是問句的主題分類（縮寫、實體、敘述、人物、地點、數值）。 而論文[17]以基本 CNN 架構為基礎，將 CNN 模型使用於關係分類。不同於基本 CNN 架構的是，[17]所提出的 PCNN(Piecewise CNN)方法除了考慮單詞的詞嵌入

向量以外，也將實體詞在句子中與關係詞的距離當作特徵，並以實體詞的位置為 基準，將句子分成三個部分做最大池化計算(Piecewise Max Pooling)，以利於抓取 實體詞之間的語意資訊。論文[10]則以論文[17]提出的 PCNN 模型為基礎，針對同 文本之意圖類型；第二種是Ensemble CNN Model，採用每種特徵資料獨立預測提 問文本之意圖類型程度值，再以Ensemble 參數學習每種特徵模型的組合比重，最 後將每個特徵資料所建立模型之預測結果進行比重加總，取出機率值最高的類型 作為預測結果。

10

圖2. 1 基於 CNN 的文本分類架構[4]

CNN 模型在擷取語意特徵時只考慮鄰近的字詞，利於找出語意資訊距離較近

的情況，但不適合用於取出位置間距離較長的語意資訊；反之，若增加 CNN 模 型的視窗大小(Window Sizes)，則失去 CNN 模型尋找短距離語意資訊的能力；因 此後續的研究提出以循環類神經網路(RNN)模型用來處理文本分類[19]和關係擷 取問題[20]。[19]提出一個 RNN 模型來進行文本分類，改善擷取長距離語意特徵 的效果。[9]則基於[19]提出的 RNN 模型來進行關係分類，以 RNN 中的雙向長短 期記憶(Bidirectional Long Short-Term Memory, Bi-LSTM)加上注意力(Attention)機 制進行句子關係分類預測，[9]並提出採用多維度的注意力機制，可達到更好的句 子關係分類效果，模型架構如圖2. 2 所示。

11

圖2. 2 多維注意力機制的 RNN 模型架構[9]

2.1.3 實體詞配對擷取方法

論文[13]提出的關係擷取方法，除了可以進行句子的關係分類，也會計算該

句子裡的實體詞配對具有此特定關係的信心分數，再從此特定關係排名找出信心 分數前𝑘名的實體詞配對。論文[14]提出擷取實體詞配對的方法，是使用一些已知

具有特定關係的事實實體詞配對，利用兩個模組產生更多有此關係的候選實體詞 配對，其中兩個模組分別是語法結構特徵模組和語意表示特徵模組，兩個模組進 行相互訓練(Co-training)，得到新的實體詞配對。

根據上述論文可發現，以語意嵌入向量作為特徵已被廣泛運用於訓練關係分 類模型，結合類神經網路技術更可改善模型預測效果。因此本論文以論文[9]提出 之方法為基礎，使用一個句子中各個詞語及詞性的嵌入向量表示作為模型輸入的 特徵，並採用類神經網路的模型對文本內容的句子進行關係分類。

12