第五章 實驗結果與討論
第一節 辨識後之結果與討論
每一類的特徵表達和選取的方式都不同，如表5.1.1 所示，本研究選取六個或 七個特徵的組合，其中每一類的特徵最多選擇一個特徵編號，組合結果如式(6)～
式(13)所示，將式(6)～式(13)相加後共有 10,816 種組合。以式(6)為例，1 × 2 × 1 × 10 × 8 × 4 × 4中的 1 為輔助特徵和否定詞特徵呈現方式的個數，2 為距離特徵呈 現方式的個數，4 為關鍵字特徵和相鄰詞性特徵呈現方式的個數，8 為詞性組合特 徵呈現方式的個數，10 為動詞特徵呈現方式的個數，將其相乘後得到 7 個特徵的 所有組合。
35 interact 之特徵值為 1，其餘未出現於藥物對之中的動詞 特徵值為0。
6
以動詞頻率排名前100 高的詞當作動詞特徵，以二元值 呈現。若“interact”為排名前 100 高之動詞且藥物對中 也出現此動詞，則動詞特徵interact 之特徵值為 1，其餘 未出現於藥物對之中排名前100 高的動詞特徵值為 0。
36
動詞 特徵
7
以多個特徵表示去除Positive 和 Negative 常出現的動詞 當作特徵，以二元值呈現。若“interact”為 Positive 和 Negative 常出現的動詞，在動詞特徵中則無此 interact 動 詞特徵。
8
以多個特徵表示動詞頻率前 100 高的詞及去除 Positive 和Negative 常出現的動詞當作特徵，以二元值呈現。若
“interact”為排名前 100 高之動詞且為 Positive 和 Negative 常出現的動詞，在動詞特徵中則無此 interact 動 詞特徵。
以多個特徵表示去除Positive 和 Negative 常出現的詞性 組合當作特徵，以二元值呈現。若 NN 為 Positive 和 Negative 常出現的詞性組合，在詞性組合特徵中則無此 NN 詞性組合特徵。
37
詞性組合 特徵
H
以多個特徵表示去除Positive 和 Negative 常出現的詞性 組合當作特徵，並計算藥物對之間的詞性組合數量，以
以3 個特徵表示(Unigram/Bigram/Trigram)詞性組合特徵 的個數，以整數值呈現。若藥物對之間的詞性組合有 NN、CC 和 VB，則 Unigram 特徵之特徵值為 3，Bigram 特徵之特徵值為2，Trigram 特徵之特徵值為 1。
“decrease”，則 decrease 關鍵字特徵之特徵值為 1，
increase 關鍵字特徵之特徵值為 0。
N
以多個特徵表示去除Positive 和 Negative 常出現之關鍵 字，以二元值呈現。若“increase”為 Positive 和 Negative 常出現之關鍵字，在關鍵字特徵中則無此 increase 關鍵
38
39
6 127KMT 42.6% 69.5% 52.8%
7 127KNR 42.3% 69.5% 52.6%
8 128KPQ 40.7% 73.7% 52.4%
9 130JMT 39.9% 76.8% 52.5%
10 134JMT 41.3% 74.7% 53.2%
將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，由於實
驗編號1 未有特徵編號 M，因此再次選擇特徵數量最多，F1-measure 效能第二高 (實驗編號 3)當作另一對照組，若未加上特徵編號 1、2、4、K 和 M，實驗結果如 表5.1.3 所示，效能都比原先還差，由此可知，特徵 1、2、4、K 和 M 對於 MedLine 來說為較重要之辨識特徵。
表5.1.3 MedLine 未於辨識階段加入重要特徵之實驗結果 未加入之
特徵編號 特徵編號 Precision Recall F1-measure 1 246KNS 37.0% 71.6% 48.7%
2 146KNS 39.3% 71.6% 50.7%
4 126KNS 41.4% 70.5% 52.1%
K 1246NS 35.9% 69.5% 47.3%
M 1247LS 37.6% 67.4% 48.3%
為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為
基方式修正機器學習預測後的結果，規則涵蓋率如表5.1.4 所示，在辨識階段共有 6 個規則，其中，規則五「句子中出現“observed”、“shown”、“found”」涵 蓋率最。
40
表5.1.4 MedLine 規則為基涵蓋率
規則 個數 涵蓋率
規則一 - -
規則二 1 0.002 規則三 3 0.006 規則四 11 0.024 規則五 14 0.031 規則六 2 0.004
加入以規則為基後之實驗結果如表5.1.5 所示，Precision 和 Recall 之值可以 提升許多，比較結果如圖5.1.1 所示。
表5.1.5 MedLine 以規則為基方式辨識後前 10 高之實驗結果 實驗編號 特徵編號 Precision Recall F1-measure
1 1246KNS 50.3% 80.0% 61.8%
2 1246KPQ 48.0% 76.8% 59.1%
3 1247LMS 51.7% 77.9% 62.2%
4 1340JMS 49.4% 82.1% 61.7%
5 126JMS 51.7% 80.0% 62.8%
6 127KMT 52.4% 78.9% 63.0%
7 127KNR 51.4% 80.0% 62.6%
8 128KPQ 48.0% 75.8% 58.8%
9 130JMT 49.7% 84.2% 62.5%
10 134JMT 50.0% 82.1% 62.2%
41
42
CM SCAI UC3M
UCOLO
DEC 53.0% 33.6% 47.4% 42.1% 39.4% 37.6% 47.9% 50.3% 63.0%
43
4 249EMQ 46.2% 87.7% 60.5%
5 249FMQ 46.1% 89.1% 60.8%
6 149EMQ 48.3% 81.7% 60.7%
7 149EMR 48.2% 81.1% 60.5%
8 149KMT 47.6% 82.9% 60.5%
9 124EMQ 48.1% 82.7% 60.8%
10 124FMQ 47.3% 83.7% 60.4%
將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，若未加 上特徵編號1、2、4、9、M 和 Q，實驗結果如表 5.1.7 所示，效能都比原先還差，
由此可知，特徵1、2、4、9、M 和 Q 對於 DrugBank 來說為較重要之辨識特徵。
表5.1.7 DrugBank 未於辨識階段加入重要特徵之實驗結果 未加入之
特徵編號 特徵編號 Precision Recall F1-measure 1 249EMQ 46.2% 87.7% 60.5%
2 149EMQ 48.3% 81.7% 60.7%
4 129EMQ 47.2% 83.1% 60.2%
9 124EMQ 48.1% 82.7% 60.8%
M 1249EQ 46.1% 83.1% 59.3%
Q 1249EM 45.1% 81.0% 58.0%
為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為
基方式修正機器學習預測後的結果，規則涵蓋率如表5.1.8 所示，在辨識階段共有 6 個規則，其中，規則二「藥物對出現冒號」涵蓋率最高。
44
表5.1.8 DrugBank 規則為基涵蓋率
規則 個數 涵蓋率
規則一 151 0.029 規則二 256 0.049 規則三 49 0.009 規則四 69 0.013 規則五 127 0.024 規則六 84 0.016
加入以規則為基方式後，實驗結果如表5.1.9 所示，Precision 之值可以提升許 多，而部分實驗編號Recall 略為下降，下降的原因可能是因為特徵與特徵之間有 交互作用，但整體效能是提升的，比較結果如圖5.1.3 所示。
表5.1.9 DrugBank 以規則為基方式辨識後前 10 高之實驗結果 實驗編號 特徵編號 Precision Recall F1-measure
1 1249EMQ 63.4% 82.9% 71.8%
2 1249FMQ 61.3% 82.9% 70.5%
3 248EMQ 59.9% 87.6% 71.1%
4 249EMQ 60.2% 86.5% 71.0%
5 249FMQ 59.0% 87.1% 70.3%
6 149 EMQ 62.2% 82.7% 71.0%
7 149EMR 62.1% 82.5% 70.8%
8 149KMT 62.0% 83.3% 71.0%
9 124 EMQ 63.2% 83.3% 71.9%
10 124 FMQ 61.0% 83.3% 70.4%
45
圖5.1.3 DrugBank 辨識之加入以規則為基前後效能比較
本研究 DrugBank 辨識效果最好之實驗為實驗編號 9，使用到的特徵為輔助 特徵、距離特徵、否定詞特徵、詞性組合特徵、關鍵字特徵和相鄰詞性特徵，將 實驗編號 9 結果與參賽隊伍做比較，F1-measure 效能如圖 5.1.4 所示，該值為每 一隊伍最高之辨識效能，參賽隊伍平均辨識效能為69.8%，最好之隊伍為 FBK-irst 效能為82.7%，本研究 DrugBank 辨識效能為 71.9%，雖然此辨識結果未優於第一
46
圖5.1.4 參賽隊伍與本研究之 DrugBank 辨識效能
(三) MedLine+DrugBank
依照表5.1.1 的特徵描述，MedLine+DrugBank 辨識階段產生 10,816 種組合，
本實驗列出以機器學習方式中之 SVM 進行辨識效能排名前 10 高之實驗進行分
M SCAI UC3M
UCOLOR ADO_SO
M
UTurku
UWM-TRIADS WBI 本研究
DEC 82.7% 68.0% 73.4% 70.3% 51.8% 72.6% 61.6% 78.3% 71.9%
47
3 1249GMQ 46.4% 87.2% 60.6%
4 149EMQ 46.7% 86.2% 60.6%
5 149EMS 47.2% 84.2% 60.5%
6 149EMT 47.5% 84.6% 60.9%
7 149FMQ 46.2% 88.2% 60.6%
8 149JMT 46.3% 87.2% 60.5%
9 124EMQ 46.5% 87.3% 60.7%
10 124GMQ 46.4% 87.8% 60.7%
將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，實驗結
果如表5.1.11 所示，效能都比原先還差，由此可知，特徵 1、4、9、M 和 Q 對於 MedLine+DrugBank 來說為較重要之辨識特徵。
表5.1.11 MedLine+DrugBank 未於辨識階段加入重要特徵之實驗結果 未加入之
特徵編號 特徵編號 Precision Recall F1-measure 1 249FMQ 43.6% 86.6% 58.0%
4 129FMQ 44.0% 89.0% 58.9%
9 124FMQ 45.6% 89.2% 60.3%
M 1249FQ 42.0% 89.0% 57.1%
Q 1249FM 42.8% 87.8% 57.5%
為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為
基方式修正機器學習預測後的結果，規則涵蓋率如表5.1.12 所示，在辨識階段共 有6 個規則，其中，規則二「藥物對出現冒號」涵蓋率最高。
48
表5.1.12 DrugBank 規則為基涵蓋率
規則 個數 涵蓋率
規則一 151 0.026 規則二 257 0.045 規則三 55 0.010 規則四 80 0.014 規則五 141 0.025 規則六 86 0.015
加入以規則為基方式後，實驗結果如表5.1.13 所示，Precision 和 Recall 之值 可以提升許多，比較結果如圖5.1.5 所示。
表5.1.13 MedLine+DrugBank 以規則為基方式辨識後前 10 高之實驗結果 實驗編號 特徵編號 Precision Recall F1-measure
1 1249EMQ 59.5% 88.7% 71.2%
2 1249FMQ 58.4% 89.8% 70.8%
3 1249GMQ 59.2% 88.2% 70.8%
4 149EMQ 59.2% 87.9% 70.7%
5 149EMS 60.2% 86.8% 71.1%
6 149EMT 60.2% 87.0% 71.2%
7 149FMQ 57.9% 89.1% 70.2%
8 149JMT 58.8% 89.0% 70.8%
9 124EMQ 59.2% 89.0% 71.1%
10 124GMQ 59.2% 88.8% 71.0%
49
圖5.1.5 MedLine+DrugBank 辨識之加入以規則為基前後效能比較
本研究MedLine+DrugBank 辨識效果最好之實驗為實驗編號 1(實驗編號 1 之 F1-measure 為 71.2351%，實驗編號6 之F1-measure 為 71.1779%)，使用到的特徵為輔 助特徵、距離特徵、否定詞特徵、動詞特徵、詞性組合特徵、關鍵字特徵和相鄰 詞性特徵，將實驗編號1 結果與參賽隊伍做比較，F1-measure效能如圖5.1.6 所示，
該值為每一隊伍最高之辨識效能，參賽隊伍平均辨識效能為 67.5%，最好之隊伍 為 FBK-irst 效能為 80.0%，本研究 MedLine+DrugBank 辨識效能為 71.2%，雖然 此辨識結果未優於第一名隊伍，但優於平均隊伍效能3.7%
50
M SCAI UC3M
UCOLOR ADO_SO
M
UTurku
UWM-TRIADS WBI 本研究
DEC 80.0% 65.6% 70.4% 67.6% 50.4% 69.9% 59.9% 75.9% 71.2%