第五章 實驗結果與討論
第二節 藥物—藥物關係辨識之結果與討論
49
本實驗目標為進行是否產生交互作用的辨識，建立機器學習模型的分類雖然 使用表 2.2.1 SemEval Task 9.2 各類別的說明和例句中藥物間交互作用作的細部 分類做為模型的分類。但實驗結果的評估中，Advice (ADV) 、Effect (EFF) 、 Mechanism (MEC)、Int (INT) 等分類皆列為有交互作用的分類，例如：分類為 Advice 的測試資料在實驗結果中若被分類成 Effect，本實驗會判定該資料為正確 正例。
由於本實驗的實驗步驟直接採用藥物—疾病關係辨識實驗中所設計的實驗 步驟進行，後續說明會以增加不同特徵組別、實驗結果回饋方法差異的實驗結果 進行分析，並且會與DDI Extraction 2013 Task 9.2 其他參賽隊伍進行比較。
藥物—藥物關係辨識實驗與藥物—疾病關係辨識實驗採用類似的模型建立 流程。針對設計好的實驗特徵組合，先將訓練資料對每一種選定的核函數進行訓 練，取得對應模型。透過該模型取得訓練資料資料與測試資料的分類結果作為第 一階段訓練資料與測試資料的測試結果，再將所有核函數的第一階段測試結果回 饋到訓練資料與測試資料內，並將新的訓練資料對每一種選定的核函數進行訓練，
取得對應的第二階段模型。該模型的測試結果則為實驗組別的結果。
藥物—藥物關係辨識實驗選擇的核函數包含線性、多項式、放射和S 型作為 訓練模型的核函數。第二階段測試時，每一個核函數模型皆會將所有第一階段的 四個核函數模型作為新的回饋特徵。針對不同之特徵組合與核函數選用方式，設 計之實驗如下所述：
(一) 藥物—藥物關係辨識特徵組別 1
表5.2.2 為藥物—藥物關係辨識實驗特徵組別 1 測試結果，實驗特徵皆為特 徵組別 1，實驗編號 1～4 分別為以線性、多項式、放射和 S 型作為核函數的訓 練模型在第一階段測試之結果；實驗編號5～8 分別為以線性、多項式、放射和 S 型作為核函數的訓練模型在第二階段回饋測試之結果。
表5.2.2 藥物—藥物關係辨識特徵組別 1 結果
編號 實驗方式 Accuracy Precision Recall
F1-measure
1 線性 70.9% 33.7% 72.5% 46.1%2 多項式 75.9% 39.9% 80.5%
53.4%
3 放射 77.0% 40.9% 76.5% 53.3%
4 S 型 54.5% 25.4% 85.5% 39.2%
5 線性＋回饋 71.4% 34.5% 74.6% 47.1%
6 多項式＋回饋
77.2%
41.0% 75.0% 53.0%7 放射＋回饋
77.2%
41.1% 75.8% 53.3%8 S 型＋回饋 50.6% 23.9%
86.3%
37.4%依據特徵組別1 實驗結果，只透過藥物—疾病關係辨識設計的基本特徵，在 藥物—藥物實驗中的表現並不突出，所以本研究在後續實驗加入針對藥物—藥物 組合設計之特徵。
51
(二) 藥物—藥物關係辨識特徵組別 1＋2表5.2.3 為藥物—藥物關係辨識實驗特徵組別 1 加上實驗特徵組別 2 測試結 果，實驗特徵皆為特徵組別1 加實驗特徵組別 2，實驗編號 1～4 分別為以線性、
多項式、放射和S 型作為核函數的訓練模型在第一階段測試之結果；實驗編號 5
～8 分別為以線性、多項式、放射和 S 型作為核函數的訓練模型在第二階段回饋 測試之結果。
表5.2.3 藥物—藥物關係辨識特徵組別 1＋2 結果
編號 實驗方式 Accuracy Precision Recall
F1-measure
1 線性 72.4% 36.5%82.7%
50.6%2 多項式 78.8% 43.4% 78.7% 55.9%
3 放射 81.2% 46.9% 72.2% 56.8%
4 S 型 51.9% 23.8% 81.8% 36.8%
5 線性＋回饋 75.5% 39.0% 76.6% 51.7%
6 多項式＋回饋
81.8% 47.8%
72.4%57.6%
7 放射＋回饋 81.5% 47.3% 70.6% 56.6%
8 S 型＋回饋 61.7% 26.7% 71.7% 39.1%
由實驗結果與特徵組別1 的實驗相比，第一階段測試與回饋後的第二階段效 能有提高一些，其中多項式的核函數在使用回饋方法後的第二階段 Accuracy 提 高了3%，F1-measure 提升了最高的 1.7%。
(三) 藥物—藥物關係辨識特徵組別 1＋2＋3
表5.2.4 為藥物—藥物關係辨識實驗特徵組別 1 加上實驗特徵組別 2 和實驗 特徵組別3 測試結果，實驗特徵皆為特徵組別 1 加實驗特徵組別 2 加實驗特徵組 別 3，實驗編號 1～4 分別為以線性、多項式、放射和 S 型作為核函數的訓練模 型在第一階段測試之結果；實驗編號5～8 分別為以線性、多項式、放射和 S 型 作為核函數的訓練模型在第二階段回饋測試之結果。
表5.2.4 藥物—藥物關係辨識特徵組別 1＋2＋3 結果
編號 實驗方式 Accuracy Precision Recall
F1-measure
1 線性 72.2% 37.6%94.2%
53.7%2 多項式 75.4% 40.0% 86.3% 54.7%
3 放射 77.3% 41.9% 83.7% 55.8%
4 S 型 55.1% 25.4% 83.5% 38.9%
5 線性＋回饋 75.9% 40.3% 84.6% 54.6%
6 多項式＋回饋
78.1% 42.8%
83.5%56.6%
7 放射＋回饋 77.5% 42.1% 83.5% 55.9%
8 S 型＋回饋 58.1% 25.4% 74.6% 37.9%
在實驗特徵組別1 加上 2 和 3 的實驗中，第一階段實驗結果仍然沒有明顯的 效能提升，但是回饋後的效能更提升了一些，以表現最好的實驗6 為例回饋後的 F1-measure 比第一階段使用相同核函數的實驗 2 提升 1.9%。比藥物—藥物關係 辨識實驗特徵組別1 加上實驗特徵組別 2 稍微提升了一些。
53
(四) 藥物—藥物關係辨識實驗結果討論本研究在藥物—藥物關係辨識實驗表現最好的實驗為藥物—藥物關係辨識 特徵組別1＋2 的實驗 6，F1-measure 為 57.6%。該實驗的核函數皆為多項式核函 數的回饋後第二階段實驗模型。表5.2.5 為各參賽隊伍、他人研究與本研究之
F1-measure
效能，該值為每一隊伍最高之辨識效能，平均效能為67.5%。若以特徵組別1＋2 的實驗 6 作為代表，表現為九組實驗中的第八名。
表5.2.5 參賽隊伍與本研究藥物—藥物關係辨識效能 研究組別 Precision Recall
F1-measure
FBK-irst N/A N/A 80.0%
這表示本研究的方法仍然有分類的效果。若再透過以混合方法自生醫文獻擷取藥 物－藥物交互作用之研究中規則為基的方法輔助，可以再提升效能，但也會讓本 研究方法無法跨領域使用。