以混合式方法自生醫文獻擷取藥物－藥物交互作用之研究

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：侯文娟. 博士. 以混合式方法自生醫文獻擷取藥物－藥物交互作用之研究 A Hybrid Method for Drug-Drug Interaction Extraction from Biomedical Literature. 研究生：中華民國. 陳佩瑄. 一零六. 年. 撰七. 月.

(2) 摘要一種疾病往往伴隨著許多不同的症狀，而一種症狀通常使用一種藥物治療，例如:感冒時，會有咳嗽、鼻塞或頭痛等症狀，所以就需要多種藥物來治癒該疾病。在服藥期間，若藥物與藥物之間產生不理想之狀況，像是藥效過強或互相抵抗，導致療效失敗，嚴重甚至導致死亡，就是所謂的藥物－藥物交互作用(Drug-Drug Interaction, DDI)。目前許多的藥物－藥物交互作用仍隱藏在大量的生醫文獻中，等著被研究人員挖掘，若利用自然語言處理(Natural Language Processing, NLP)的擷取和分析等技術，將能大量挖掘隱藏的藥物－藥物交互作用以及減少研究人員的挖掘時間。論文中所使用的資料來源是由 SemEval 2013 Task 9 所提供的語料庫，內容包括 MedLine 的摘要和 DrugBank 的資料庫，SemEval 2013 Task 9 的競賽內容為自生醫文獻中擷取藥物－藥物交互作用(SemEval 2013 Task9：Extraction of DrugDrug Interactions from Biomedical Texts)，將藥物－藥物交互作用分成五類： Advice(建議)、Effect(影響)、Mechanism(機制)、Int(交互作用)和無交互作用，評估的方式為計算辨識和分類的 precision、recall 和 F1-measure。本研究利用混合式方法進行辨識和分類，其中混合式方法為機器學習方法和以規則為基方法，由於語料庫內部五個類別的數量呈現不平衡的狀態，因此，運用兩階段的方式先辨識藥物對是否有交互作用存在，辨識所獲得的 F1-measure 為 70.8%，接著再將辨識出有交互作用的藥物對做分類，分類所獲得的 F1-measure I.

(3) 為 62.5%，其中 FBK-irst 隊伍獲得最好的效能，辨識和分類的 F1-measure 分別為 80.0%和 65.1%，參賽隊伍之平均辨識和分類的 F1-measure 分別為 68.1%和 51.8%，雖然辨識和分類無法比 FBK-irst 隊伍所獲得的 F1-measure 還高，但所獲得的 F1measure 高於平均許多。在未來可將機器學習方法和以規則為基方法運用於其他領域的資訊擷取研究上。. 關鍵字: 藥物－藥物交互作用、生醫文獻、機器學習、規則為基 II.

(4) Abstract. A disease is often accompanied by many different symptoms, and a symptom is usually treated with a drug. For example, when someone gets a cold, he or she usually has symptoms such as coughing, stuffy nose or headache, so it leads to need many kinds of drugs to cure the disease. Drug-Drug Interaction (DDI) is happened during the treatment with drugs if unpredictable results are produced. It may increase or decrease the drug effect, even may cause death. At present, many Drug-Drug Interactions are still hidden in a large number of biomedical literature. It takes a lot of time to find out the DDIs for the researchers. Using Natural Language Processing (NLP) extraction and analysis technologies will be able to discover a large number of hidden DDIs and reduce the researchers’ research time. The corpus in the thesis is provided by Semeval 2013 Task 9, which includes MedLine abstracts and DrugBank database. Semeval 2013 Task 9 aims to extraction of Drug-Drug Interactions from biomedical texts, and DDIs are classified as the following five types: Advice(ADV),Effect(EFF),Mechanism(MEC),Int(INT) and non-interaction. Evaluation results will be reported using the standard precision、recall and F1-measure. This study uses the hybrid method to detect and classify DDIs. The hybrid method includes a machine learning method and a rule-based method. Because the corpus is III.

(5) unbalanced, the study uses two stages to complete the tasks of detection and classification. The first stage is to detect with all the classes (i.e., positive and negative), and the second stage is to make a classification on the positive DDIs (i.e., ADV, EFF, MEC, INT). The experiments show the results of 70.8% F-score in detection, and 62.5% F-score in classification. Though the performance is still worse than FBK-irst team in DDI detection and classification, the performance is higher than the average performance of all teams. In the future, we hope to use the hybrid method in other area of information extraction researches.. Keywords: Drug-Drug Interaction, Biomedical Literature, Machine Learning, Rulebased IV.

(6) 謹獻給我的父母、指導教授、同學和朋友，以及所有幫助過我的人. V.

(7) 致謝. 本論文得以完成，首先要感謝指導教授侯文娟老師。感謝老師這兩年在論文指導上所花費的精力與時間，謝謝您孜孜不倦的教導，也給予很多鼓勵。感謝口試委員方瓊瑤老師和郭俊桔老師特地撥冗於論文口試時給予指正與建議，使本論文能夠更加完善，同時給予我許多啟發與收穫，也感謝老師們對學生論文的肯定，學生於此衷心感謝。另外，要感謝實驗室的同學和學弟妹們，經常與我討論課業上與研究上的問題以及生活上的點滴，因為有你們，我的研究生涯才可以如此精彩與豐富。最後要感謝我的家人，提供我生活上的支援以及支持我所做的決定，讓我能無後顧之憂地進行研究並完成學業，感謝你們。. VI.

(8) 目錄摘要..................................................................................................................................I Abstract ....................................................................................................................... III 附表目錄....................................................................................................................VIII 附圖目錄........................................................................................................................ X 第一章. 緒論............................................................................................................. 1. 第一節. 研究背景................................................................................................. 1. 第二節第三節. 研究動機與目的..................................................................................... 2 論文架構................................................................................................. 3. 第二章第一節第二節第三節第四節第三章. 文獻探討..................................................................................................... 4 SemEval 2013 Task 9........................................................................... 4 近期藥物－藥物交互作用擷取方法與成果......................................... 6 支持向量機(Support Vector Machine)............................................. 9 不平衡資料(Imbalanced Data)處理 ..................................................... 10 研究方法與步驟....................................................................................... 12. 第一節. 研究架構............................................................................................... 12. 第二節第三節第四節第五節第六節. 資料前處理(Data Preprocessing) ......................................................... 14 特徵擷取(Feature Extraction) .............................................................. 16 特徵選取(Feature Selection) ................................................................ 20 機器學習方法....................................................................................... 21 以規則為基方法................................................................................... 22. 第四章第一節第二節第五章第一節第二節第三節第六章. 資料來源與評估方式............................................................................... 29 資料來源............................................................................................... 29 評估方式............................................................................................... 32 實驗結果與討論....................................................................................... 34 辨識後之結果與討論........................................................................... 34 分類後之結果與討論........................................................................... 50 綜合辨識和分類後之結果與討論....................................................... 68 結論與未來展望....................................................................................... 74. 參考文獻....................................................................................................................... 76. VII.

(9) 附表目錄表 2.1.1. SemEval Task 9.2 各類別的說明和例句 ................................................... 5. 表 2.4.1. 不平衡資料處理方法............................................................................... 11. 表 3.2.1. 資料整合之例子....................................................................................... 15. 表 3.2.2. 常用詞性列表與說明............................................................................... 15. 表 3.2.3. 例句、詞性標記和字根還原後的結果................................................... 16. 表 3.4.1. CHI 公式關係圖 ....................................................................................... 20. 表 4.1.1. 語料庫內部詳細資料............................................................................... 31. 表 4.2.1. 評估分析表............................................................................................... 32. 表 5.1.1. 辨識階段之特徵說明............................................................................... 35. 表 5.1.2. MedLine 以 SVM 辨識後前 10 高之實驗結果 ...................................... 38. 表 5.1.3. MedLine 未於辨識階段加入重要特徵之實驗結果 ............................... 39. 表 5.1.4. MedLine 規則為基涵蓋率 ....................................................................... 40. 表 5.1.5. MedLine 以規則為基方式辨識後前 10 高之實驗結果 ......................... 40. 表 5.1.6. DrugBank 以 SVM 辨識後前 10 高之實驗結果 .................................... 42. 表 5.1.7. DrugBank 未於辨識階段加入重要特徵之實驗結果 ............................. 43. 表 5.1.8. DrugBank 規則為基涵蓋率 ..................................................................... 44. 表 5.1.9. DrugBank 以規則為基方式辨識後前 10 高之實驗結果 ....................... 44. 表 5.1.10. MedLine+DrugBank 以 SVM 辨識後前 10 高之實驗結果 ................... 46. 表 5.1.11. MedLine+DrugBank 未於辨識階段加入重要特徵之實驗結果 ............ 47. 表 5.1.12. DrugBank 規則為基涵蓋率 ..................................................................... 48. 表 5.1.13. MedLine+DrugBank 以規則為基方式辨識後前 10 高之實驗結果 ...... 48. 表 5.2.1. 分類階段之特徵說明............................................................................... 50. 表 5.2.2. MedLine 以 SVM 分類後前 10 高之實驗結果 ...................................... 53. 表 5.2.3. MedLine 未於分類階段加入重要特徵之實驗結果 ............................... 54 VIII.

(10) 表 5.2.4. MedLine 規則為基涵蓋率 ....................................................................... 54. 表 5.2.5. MedLine 以規則為基方式分類後前 10 高之實驗結果 ......................... 55. 表 5.2.6. DrugBank 以 SVM 分類後前 10 高之實驗結果 .................................... 58. 表 5.2.7. DrugBank 未於分類階段加入重要特徵之實驗結果 ............................. 59. 表 5.2.8. DrugBank 規則為基涵蓋率 ..................................................................... 59. 表 5.2.9. DrugBank 以規則為基方式分類後前 10 高之實驗結果 ....................... 60. 表 5.2.10. MedLine+DrugBank 以機器學習方式分類後前 10 高之實驗結果 ...... 63. 表 5.2.11. MedLine+DrugBank 未於分類階段加入重要特徵之實驗結果 ............ 64. 表 5.2.12. MedLine+DrugBank 規則為基涵蓋率 .................................................... 65. 表 5.2.13. MedLine+DrugBank 以規則為基方式分類後前 10 高之實驗結果 ...... 65. 表 5.3.1. MedLine 辨識和分類效能結果 ............................................................... 69. 表 5.3.2. DrugBank 辨識和分類效能結果 ............................................................. 70. 表 5.3.3. MedLine+DrugBank 辨識和分類效能結果 ............................................ 71. 表 5.3.4. 三種資料類型個類別的數量................................................................... 72. IX.

(11) 附圖目錄圖 2.2.1. 參賽隊伍之 F1-measure 結果 .................................................................... 8. 圖 3.1.1. 研究架構圖............................................................................................... 13. 圖 3.2.1. 資料前處理步驟流程圖........................................................................... 14. 圖 3.5.1. LibSVM 格式 ........................................................................................... 21. 圖 3.5.2. LibSVM 訓練流程 ................................................................................... 21. 圖 4.1.1. 文件資料格式........................................................................................... 29. 圖 4.1.2. 藥物對數量呈現方式............................................................................... 30. 圖 5.1.1. MedLine 辨識之加入以規則為基前後效能比較 ................................... 41. 圖 5.1.2. 參賽隊伍與本研究之 MedLine 辨識效能 .............................................. 42. 圖 5.1.3. DrugBank 辨識之加入以規則為基前後效能比較 ................................. 45. 圖 5.1.4. 參賽隊伍與本研究之 DrugBank 辨識效能 ............................................ 46. 圖 5.1.5. MedLine+DrugBank 辨識之加入以規則為基前後效能比較 ................ 49. 圖 5.1.6. 參賽隊伍與本研究之 MedLine+DrugBank 辨識效能 ........................... 50. 圖 5.2.1. MedLine 分類之加入以規則為基前後效能比較 ................................... 56. 圖 5.2.2. 參賽隊伍與本研究之 MedLine 分類效能 .............................................. 57. 圖 5.2.3. DrugBank 分類之加入以規則為基前後效能比較 ................................. 61. 圖 5.2.4. 參賽隊伍與本研究之 DrugBank 分類效能 ............................................ 62. 圖 5.2.5. MedLine+DrugBank 分類之加入以規則為基前後效能比較 ................ 67. 圖 5.2.6. 參賽隊伍與本研究之 MedLine+DrugBank 分類效能 ........................... 68. 圖 5.3.1. 參賽隊伍與本研究之 MedLine 辨識與分類效能 .................................. 69. 圖 5.3.2. 參賽隊伍與本研究之 DrugBank 辨識與分類效能 ................................ 70. 圖 5.3.3. 參賽隊伍與本研究之 MedLine+DrugBank 辨識與分類效能 ............... 71. X.

(12) 第一章. 緒論. 第一節研究背景. 服藥期間，病人若未注意用藥須知可能造成藥物交互作用(Drug Interaction)，導致療效失敗甚至病情惡化影響生命安全。藥物交互作用是指藥物與某項物質先後或同時使用，造成藥效會有不如預期的結果，該物質可能是藥物、食物或環境，本論文為研究藥物－藥物交互作用(Drug-Drug Interactions, DDI)。藥物－藥物交互作用1是指先後或同時服用兩種藥物，使得藥效會有以下效果： 1.. 拮抗作用(Antagonism)：兩藥物之藥效互相抵抗造成減弱或消失。. 2.. 協同作用(Synergism)：兩藥物之藥效大於單獨使用之效果。. 了解藥物－藥物交互作用對醫護人員或一般民眾都是相當重要的議題，不但可以提升用藥人的用藥安全，也可以減少醫療成本的支出。自然語言處理(Natural Language Processing, NLP)屬於人工智慧領域中重要的一環，目的在於讓機器可以了解、分析或合成人類的語言，主要的技術有斷詞 (Tokenize)、剖析(Parsing)、詞性標記(Part-of-Speech, POS)、專有名詞識別(Named Entity Recognition) 等，涉及的範圍和領域包括資訊擷取和檢索 (Information Extraction and Retrieval) 、語音識別 (Speech Recognition) 、機器翻譯 (Machine. 1. 國家教育研究院-雙語詞彙、學術名詞暨辭書資訊網 http://terms.naer.edu.tw/detail/1315396/ 1.

(13) Translation)、自動摘要(Automatic Summarization)和問答系統(Question Answering) 等。本論文利用自然語言處理技術擷取句子中的藥物是否有藥物－藥物相互作用的存在。. 第二節研究動機與目的. 目前研究藥物與藥物之間是否有交互作用，大部分都要由研究人員從生醫文獻中仔細的識別或研讀眾多的相關文獻和實驗，來驗證藥物與藥物之間有交互作用的存在，目前具有藥物－藥物交互作用的藥物已被記載於資料庫或網站上，例如:DrugBank2、Dailymed3和 Medscape4等，由於生醫文獻發表的數量正大量成長，遠超過於研究人員手動增加藥物－藥物交互作用於資料庫或網站上的數量，如果能利用資訊擷取的方式挖掘出藥物－藥物交互作用，那麼將能大大地減少研究人員的挖掘時間，目前藥物－藥物交互作用擷取辨識效能最好為 80.0%，分類效能為 65.1%，本研究希望能超越目前最好之辨識和分類效能。本研究運用自然語言處理技術將多篇已預先切割完的文章做特徵擷取的動作，接著運用機器學習和以規則為基的方式進行辨識與分類，預測句子中兩藥物是否含有交互作用。. 2 3 4. DrugBank https://www.drugbank.ca/ Dailymed https://dailymed.nlm.nih.gov/dailymed/index.cfm Medscape http://reference.medscape.com/drug-interactionchecker 2.

(14) 第三節論文架構. 本篇論文架構分為六個章節，第一章為緒論，說明研究背景、研究動機與目的；第二章為文獻探討，說明與本論文相關之文獻或方法；第三章為實驗方法與步驟，說明本論文的系統架構和所提出的方法；第四章為資料來源與評估方式；第五章為實驗結果與討論；第六章為結論與未來展望。. 3.

(15) 第二章. 文獻探討. 本章將探討與本論文相關之技術和實驗結果作為理論參考，第一節為 SemEval 2013 Task 9，介紹此任務內容；第二節為近期藥物－藥物交互作用擷取方法與成果，說明當時參與 SemEval 2013 Task 9 的隊伍所使用的方法和成果；第三節為支持向量機，介紹支持向量機的運作原理；第四節為不平衡資料處理的方式。. 第一節 SemEval 2013 Task 9. SemEval5(The Semantic Evaluation)為國際性的語意評估比賽，主要著重於分析語意系統的效能，比賽項目包括：詞義理解(Word Sense Disambiguation)、情感分析 (Sentiment Analysis) 、語意分析 (Semantic Analysis) 、文本相似度 (Textual Similarity)等。 SemEval Task 9 為 Extraction of Drug-Drug Interactions from Biomedical Texts (Segura Bedmar et al., 2013)，兩個子任務分別為： 1. Task 9.16：從生醫文獻中辨識和分類藥物的類別。 2. Task 9.27：從生醫文獻中利用資訊擷取的技術辨識藥物與藥物之間是否有交互作用的存在。. SemEval https://www.cs.york.ac.uk/semeval-2013/ Task 9.1 https://www.cs.york.ac.uk/semeval-2013/task9/data/uploads/semeval_2013-task-9_1evaluation-metrics.pdf 7 Task 9.2 https://www.cs.york.ac.uk/semeval-2013/task9/data/uploads/task-9.2-ddi-extraction.pdf 4 5 6.

(16) 本論文為研究 Task 9.2，藥物－藥物交互作用共分為五個類別，分別是 Advice、 Effect、Mechanism、Interaction 和無交互作用，表 2.1.1 為各類別的說明和例句，粗體斜字為藥物名稱。. 表 2.1.1 SemEval Task 9.2 各類別的說明和例句類別. 說明. 例句. Advice. 句子中的兩藥物分別或同時使. Concurrent therapy with ORENCIA and (ADV). TNF. antagonists. is. not. 用時，會給予意見或警告。 recommended. 句子中的兩藥物分別或同時使 This may indicate that ibuprofen. Effect 用時，明確指出會產生影響造 could enhance the toxicity of (EFF) 成藥效增加或無效等效果。. methotrexate.. 句子中的兩藥物分別或同時使 Concomitant. use. of. calcium. Mechanism 用時，會與藥動學相關，例. supplements. and. L-lysine. 如：吸收、分布、代謝等。. increase calcium absorption. may. (MEC) 句子中的兩藥物分別或同時使 A possible drug interaction of Int 用時，明確指出會產生藥物交 FOSCAVIR. and. intravenous. (INT) 互作用，但無任何相關訊息。 pentamidine has been described. Imipramine and clonazepam did not 句子中的藥物對無交互作用存 False. change 在。 glycemia.. 5. fasting. or. overload.

(17) 第二節近期藥物－藥物交互作用擷取方法與成果. DDI Extraction 2013 Task 9.2 參賽隊伍包括 FBK-irst 隊伍、WBI 隊伍、UTurku 隊伍、 NIL_UCM 隊伍、 UC3M 隊伍、 UWM-TRIADS 隊伍、 SCAI 隊伍和 UCOLORADO_SOM 隊伍(Segura-Bedmar et al., 2013)，FBK-irst 隊伍(Chowdhury & Lavelli, 2013)使用 SVM-light8當作分類器，內部的演算法是選擇混合核(hybrid kernel)的方式，混合核的定義如(1)所示。. 𝐾𝐻𝑦𝑏𝑟𝑖𝑑 (𝑅1 , 𝑅2 ) = 𝐾𝐻𝐹 (𝑅1 , 𝑅2 ) + 𝐾𝑆𝐿 (𝑅1 , 𝑅2 ) + 𝑤 × 𝐾𝑃𝐸𝑇 (𝑅1 , 𝑅2 ). (1). 其中𝐾𝐻𝐹 為Heterogeneous set of Features核函數，𝐾𝑆𝐿 為Shallow Linguistic核函數，𝐾𝑃𝐸𝑇 為Path-enclosed Tree核函數，𝑤為𝐾𝑃𝐸𝑇 的權重，可依資料特性將權重增加或減少，在進行分類時，產生4個分類器運用One-vs-All的方式將藥物對分類到五個類別中；NIL_UCM隊伍(Bokharaeian & Díaz, 2013)使用SVM、貝氏分類(Naive Bayes)、隨機森林(Random Forest)等當作分類器，最後使用SVM當作最佳的分類器，提出兩種方法實作此競賽，方法一為一次將所有的資料分為5類(ADV、EFF、 INT、MEC和False)，方法二為先將所有的資料分2類(Positive和Negative)，接著將所有分類為Positive的資料分為4類(ADV、EFF、INT和MEC)，NIL_UCM隊伍認為. 8. SVM-light http://svmlight.joachims.org/ 6.

(18) 使用兩階段做分類的效果明顯比只使用一階段的效果佳；SCAI隊伍(Bobic et al., 2013)使用詞彙(Lexical)、語法(Syntactical)、語意(Semantic)當作特徵，由於語料庫內部的資料類別是不平衡(imbalanced)的狀態，考慮訓練時間因素，他們選擇保留所有Positive的資料，並隨機選取與Positive相同數量的Negative資料；UC3M隊伍 (Sánchez Cisneros, 2013) 結合解剖學治療學及化學分類編碼系統 (Anatomical Therapeutic Chemical Code, ATC Code)9識別每種藥物，ATC Code為一種藥物分類系統，該系統可了解藥物在治療學、藥理學和化學上的意義，並使用shallow linguistic kernel的方法做辨識和分類；UCOLORADO_SOM隊伍(Hailu et al., 2013) 使用型態 (Morphsyntactic) 、詞彙 (Lexical) 和語意 (Semantic) 當作特徵， UCOLORADO_SOM隊伍認為加入否定特徵可以減少FP的數量並增加召回率 (Recall)的值；UTurku隊伍(Björne et al., 2013)結合領域知識(Domain Knowledge)將句子放入 MetaMap(Aronson , 2001) 做分析句法和運用 Turku Event Extraction System(TEES)進行辨識和分類；UWM-TRIADS隊伍(Rastegar-Mojarad et al., 2013) 算出四個類別(ADV、EFF、INT和MEC)詞彙的TF-IDF，分數較高的詞彙給予較高的權重，並使用後處理(Post Processing)的方式，將原先偽陽(False Positive, FP)的藥物對變成真陰(True Negative, TN)的藥物對；WBI隊伍(Thomas et al., 2013)亦使用SVM-light當作分類器，運用整體學習(Ensemble learning)和混合核的方式進行辨識和分類，內部的核函數有All-paths graph (APG)、shallow linguistic (SL)、subtree. 9. ATC code https://www.whocc.no/atc_ddd_index/ 7.

(19) (ST)、subset tree (SST)和spectrum tree (SpT)，並結合Turku Event Extraction System (TEES) (Björne et al., 2011)和Moara (Neves et al., 2009)系統，將這些核函數與系統互相組合，最後找出SL+SLW+TEES為最好的分類結果。圖2.2.1為所有參賽隊伍之F1-measure結果，紅色直條圖為分類(CLA)的效能，也就是將藥物對分類為ADV、EFF、INT和MEC之整體效能，藍色直條圖為辨識 (DEC)的效能，也就是將藥物對分成Positive或Negative，分類(CLA)的F1-measure 越高代表效能越好。. 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0% FBK-irst. NIL_UCM. SCAI. UC3M. UCOLORA DO_SOM. UTurku. UWMTRIADS. WBI. CLA. 65.1%. 54.8%. 46.0%. 52.9%. 33.6%. 59.4%. 47.0%. 60.9%. DEC. 80.0%. 65.6%. 69.0%. 67.6%. 49.1%. 69.6%. 59.9%. 75.9%. 圖 2.2.1 參賽隊伍之 F1-measure 結果. 8.

(20) 第三節支持向量機(Support Vector Machine). 支持向量機(Support Vector Machine，SVM)是 Cortes 和 Vapnik(1995)所提出的，主要目的為將資料分類(Classification)，也可以應用於迴歸分析(Regression)，屬於機器學習(Machine Learning)中的監督式學習(Supervised Learning)，可應用於文字、圖像、手寫辨識、生醫領域中蛋白質或疾病的分類等。在訓練過程中，每筆資料視為空間中的一個點，透過函數(Function)轉換到特徵空間(Feature Space)中，其中函數可以是線性函數(Linear Function)或核函數 (Kernel Function)，例如：FBK-irst 隊伍和 WBI 隊伍使用的是核函數，而 UTurku 隊伍和 UWM-TRIADS 隊伍所使用的是線性函數。SVM 會在空間中找出一個超平面(Hyperplane)將不同類別的資料進行分類，此超平面與每個資料類別的邊界 (Margin)要越大越好，如圖 2.3.1 所示，超平面(黑色實線)將藍色方形資料與紅色圓形資料分隔開來，且超平面距離兩類資料為最大距離，w 為超平面的法向量， x 為樣本，b 為偏差值。本論文所使用的 SVM 為台灣大學林智仁(Chih-Jen Lin)博士等人開發的. LIBSVM(Chang and Lin, 2011) ，此工具可於. https://www.csie.ntu.edu.tw/~cjlin/libsvm/ 取得，核心函數包括線性(Linear)、多項式(Polynomial)、放射(Radial Basis Function, RBF)和 S 型(Sigmoid)。. 9.

(21) 圖 2.3.1 支持向量機示意圖圖片來源:石琢暐(2011). 第四節不平衡資料(Imbalanced Data)處理. 使用機器學習的方式當作分類器，若類別不平衡(Class Imbalanced)分類出來的結果會偏向類別中資料量大的那一類，導致少數類別會有相對低的正確率，常見之不平衡類別資料包括醫學中診斷罕見疾病資料、風險管理系統和金融業預測是否會有信用卡詐欺行為等，這些都是在某一類情況下佔大部分，而我們較有興趣的則是少部分的資料類別。為了降低類別不平衡的狀態，張毓珊(2009)整理了幾種不平衡資料處理的基本做法，如表 2.4.1 所示。. 10.

(22) 表 2.4.1 不平衡資料處理方法方法. 做法. 增加少數類別資料. 增加少數類別中的資料樣本個數，直到每個類別中的資料樣本個數不相上下為止，此方法優點為可以減少資訊樣本的數量且較受歡迎，缺點為有可能造成訓練時間過長或過度訓練(Overfitting)的狀況(Kubat & Matwin, 1997)。. 減少多數類別資料. 減少多數類別中的資料樣本個數，直到每個類別中的資料樣本個數不相上下為止，此方法優點為訓練時間短，缺點為有可能遺漏一些有用的訓練資料樣本，造成分類效能降低(Lewis & Catlett, 1994)。. 分群抽樣. 將多數類別資料做分群，在每群中選出具有代表性的資料與少數類別合併，此方優點為能選出有意義的資料，缺點為法較難決定適當的群數(Altincay & Ergun, 2004)。. 調整錯誤分類成本. 每個類別有不同的錯誤分類成本，調高少數類別的權重，使分類器可正確判斷少數類別資料，此方法優點為不需增加或減少資料個數，缺點為需透過測試才能決定分類成本比例(Weiss & Provost, 2001)。. 由於本研究語料庫內部 Positive 和 Negative 的數量比約為 1:6，預測後的結果將會偏向 Negative 類別，比較上述方法，為了避免不平衡資料的狀態以及失去有用的資訊，本研究使用增加少數類別資料，將 Positive 類別的資料增加到與 Negative 類別的資料數量不相上下為止。. 11.

(23) 第三章. 研究方法與步驟. 第一節研究架構. 本研究架構分兩階段進行，如圖 3.1.1 所示，第一階段為辨識(Detection)藥物對是否有交互作用存在，第二階段為將有交互作用的藥物對分類(Classification)到不同的交互類型。首先，將語料庫做前處理(Preprocessing)和特徵擷取(Feature Extraction)，由於訓練資料(Training Data)內的類別數量呈現不平衡(Imbalanced)的狀態，所以需要將資料前處理來達到平衡的狀態，再將訓練資料放入支持向量機(SVM)中訓練產生辨識模型(Model)，接著，將測試資料(Test Data)放入辨識模型中預測，所產生的預測為初步的辨識結果，為了讓辨識效能增加，本研究加入以規則為基(Rulebased)的方式修正機器學習所預測的結果，最後輸出得到辨識的結果。第二階段分類的步驟與第一階段分辨的步驟類似，其中第二階段的訓練資料為語料庫中訓練資料正向的部分，而測試資料為第一階段預測為正向的部分。. 12.

(24) DDI Corpus. Preprocessing. Positive. Predict Positive. Training Data. Test Data. Feature Extraction. Feature Extraction. Training Data. Balanced. Balanced Positive. Test Data. Predict. Training Data. Detection Model. Predict. Training Data. Classification. Rule-based. Model. Method. Rule-based Method. Stage 2 Result. Stage 1. Result. 圖 3.1.1 研究架構圖. 13.

(25) 第二節資料前處理(Data Preprocessing). 資料前處理的內容包括斷句、斷詞(Tokenize)、實體標記(Entity Tagging)、詞性標記(Part-of-Speech Tagging)、字根還原(Stemming)、資料整合和刪除不符合的資料等，由於語料庫已將文章做斷句和實體標記的動作，所以只須做資料整合、刪除不符合的資料、詞性標記和字根還原，前處理步驟如圖 3.2.1 所示。. 原句. 藥物數量. ≥2. <2. 刪除不符合句子. 資料整合. 詞性標記. 字根還原. 圖 3.2.1 資料前處理步驟流程圖. (一). 資料整合及刪除不符合資料. 在刪除不符合資料前要先進行資料整合，也就是將大寫字母轉成小寫字母、刪除數字和標點符號，若是目標藥物對則標記“#”，其他藥物則標記“d”，如表 3.2.1 例句所示，句中 Barbiturates、glutethimide 和 coumarin drugs 為藥物名稱，其中藥物對為 Barbiturates - coumarin drugs，所以會標記成“#”，而 glutethimide 是藥物對以外的藥物，所以標記成“d”。由於語料庫已將所有句子 14.

(26) 中的藥物標記完成，所以可以得知一個句子中的藥物數量，若一個句子的藥物數量少於兩個時，則可將此句做刪除，因為藥物對是由兩個藥物所組成的。. 表 3.2.1 資料整合之例子句子 Barbiturates and glutethimide should not be administered to patients receiving coumarin drugs.. 原句資料整合後. (二). # and d should not be administered to patients receiving #. 詞性標記、字根還原. 在資訊擷取前，先將每個單字做詞性標記(Tagging)的動作，如此一來可以快速地找出句中特定的詞性，本研究使用 Stanford Part-Of-Speech Tagger10進行詞性標記，標記的格式皆為單字_詞性，例如: modify_VB，modify 為單字，VB 為 modify 的詞性，其中，常用詞性如表 3.2.2 所示。. 表 3.2.2 常用詞性列表與說明. 10. 詞性. 說明. 詞性. 說明. 詞性. 說明. CC. 連接詞. CD. 數量詞. DT. 限定詞. JJ. 形容詞. JJR. 比較級形容詞. JJS. 最高級形容詞. RB. 副詞. MD. 助動詞. TO. 介係詞、不定詞. NN. 單數名詞. NNS. 複數名詞. VB. 動詞. VBZ. 第三人稱動詞. VBD. 過去式動詞. VBG. 現在分詞. VBN. 過去分詞. VBP. 非第三人稱動詞. SYM. 表示符號. Stanford Part-Of-Speech Tagger http://nlp.stanford.edu/software/tagger.shtml 15.

(27) 字根還原就是將單字還原成原始的狀態，例如：working 經過字根還原後會變成 work，本研究使用 Porter Stemmer11進行字根還原的動作，表 3.2.3 為資料整合後的例句、詞性標記和字根還原後的結果。. 表 3.2.3 例句、詞性標記和字根還原後的結果句子資料整合後. # and d should not be administered to patients receiving #. 詞性標記後. #_# and_cc d_nn should_md not_rb be_vb administered_vbn to_to patients_nn receiving_vbg #_#. 字根還原後. # and d should not be administ to patient receiv #. 第三節特徵擷取(Feature Extraction). 本研究特徵擷取的方法有輔助特徵(Auxiliary Feature)、距離特徵(Distance Feature)、否定詞特徵(Negative Feature)、動詞特徵(Verb Feature)、詞性組合特徵 (POS Feature)、關鍵字特徵(Keyword Feature)和相鄰詞性特徵七大類，以下將以例句“ Barbiturates and glutethimide should not be administered to patients receiving coumarin drugs. ”為例，其中 Barbiturates 和 coumarin drugs 為目標藥物對， glutethimide 為其他藥物，作為此節的特徵擷取說明:. 11. Porter Stemmer http://tartarus.org/martin/PorterStemmer/ 16.

(28) 輔助特徵(Auxiliary Feature). (一). 該特徵主要是判別藥物對的兩藥物名稱是否相同和藥物對中間的字是否為連接詞，藥物－藥物交互作用是指不同的藥物產生交互作用，若兩藥物名稱相同，則不應該會產生交互作用；若藥物對中間的敘述只有“and”或“or”的話，本研究認為敘述過短，可能無法產生藥物交互作用，則此輔助特徵值為 1。例句中 Barbiturates 和 coumarin drugs 為兩種不同的藥物且藥物對之間的敘述不只有 “and”而已，則此輔助特徵值為 0。. (二) 距離特徵(Distance Feature). 此特徵為計算兩目標藥物的距離，距離若是越遠，產生交互作用的可能性就越低。例句中藥物對 Barbiturates - coumarin drugs 之距離特徵為 10。. (三) 否定詞特徵(Negative Feature). 本研究認為句子中的藥物對中若出現否定詞“no”或“not”時，藥物－藥物交互作用可能為無交互作用。例句中藥物對 Barbiturates - coumarin drugs 中有一個“not”否定詞，因此，否定詞之特徵值為 1，由此特徵判斷此藥物對可能無交互作用。 17.

(29) (四) 動詞特徵(Verb Feature). 此特徵為找出藥物對之間的動詞，本研究認為動詞的特徵可能會影響藥物－藥物交互作用的產生，使用 Stanford Part-Of-Speech Tagger 標記後的動詞有六種類型：VB、VBD、VBG、VBN、VBP、VBZ，將此六種動詞的類型視為同一種動詞，本研究稱為 VB，例句中藥物對 Barbiturates - coumarin drugs 動詞有 administered、 be 和 receiving。. (五) 詞性組合特徵(POS Feature). 此特徵的目的在於找出藥物對之間字的詞性組合，由於詞性的組合有非常多種，所以本研究針對所有句子中藥物對之間字的詞性組合先進行統計，並挑選一個適當的門檻值，高於門檻值就判定該詞性組合是常出現的，特徵表示方式有 unigram、bigrams 和 trigrams。例句中藥物對 Barbiturates - coumarin drugs 詞性組合有 NN、VB、CC、RB、MD、TO、NN&VB、CC&NN。. 18.

(30) (六) 關鍵字特徵(Keyword Feature). 本研究擷取關鍵字的方式為統計相同類別資料該字出現的頻率，判斷的依據 1. 為頻率高於該資料類別數量的 10，例如：Positive 的資料數量為 500 筆，出現 “interact”的頻率為 90 次，則“interact”為 Positive 的關鍵字，特徵表示的方式為 Unigram。若 administ 和 patient 為語料庫中的關鍵字，例句中藥物對 Barbiturates - coumarin drugs 關鍵字特徵有 administ 和 patient。. (七) 相鄰詞性特徵. 此特徵目的在於抓取藥物對前後三個字之詞性，若範圍內的字重複抓取，則該字詞性不重複擷取，特徵表示方式為 Unigram 的方式呈現。例句中藥物對 Barbiturates - coumarin drugs 之相鄰詞性有 CC、NN、MD、TO 和 VB。. 19.

(31) 第四節特徵選取(Feature Selection). 特徵選取主要目的為從原有的特徵集合中選出具有鑑別力的特徵，其方法有 Document Frequency(DF)、Information Gain(IG)、Mutual Information(MI)、Chi-square Test(CHI)和 Term Strength(TS)等，Yang 和 Pedersen(1997)比較上述方法後認為使用 CHI 表現的方法是最佳的。因此，本研究利用 CHI 公式選出藥物－藥物交互作用中具有鑑別力的動詞特徵、關鍵字特徵和詞性組合特徵，CHI 公式如(2)所示。. (𝐴+𝐵+𝐶+𝐷)(𝐴𝐷−𝐵𝐶)2. 𝜒 2 (𝑤𝑜𝑟𝑑, 𝐶𝑖 ) = (𝐴+𝐶)(𝐵+𝐷)(𝐴+𝐵)(𝐶+𝐷). (2). 上述公式可測量𝑤𝑜𝑟𝑑在類別𝐶𝑖 間獨立的程度，其中 A 為 Ci 類別中出現 word 的句子數；B 為非 Ci 類別中出現 word 的句子數；C 為 Ci 類別中出現非 word 的句子數；D 為非 Ci 類別中出現非 word 的句子數；CHI 公式中之 A、B、C 和 D 之關係圖如表 3.4.1 所示。. 表 3.4.1 CHI 公式關係圖. Word 非 word. Ci 類. 非 Ci 類. A. B. C. D. 𝜒 2 值越大越能代表動詞特徵、關鍵字特徵和詞性組合特徵，本研究分別擷 1. 1. 1. 1. 取前2高、前3高和前4高加上中間4。 20.

(32) 第五節機器學習方法. 本研究機器學習的方式是使用支持向量機，使用的版本為 LibSVM，將資料擷取和選取後的結果以二元值或數值的方式呈現，格式如圖 3.5.1 所示，Label 為該筆資料的類別，通常是以整數型態呈現；Index 為該筆資料特徵的索引值，通常是以連續整數型態呈現；Value 為訓練或測試的特徵值，若值為 0 時，可以不用顯示該 Index 和 Value。. Label. Index1:Value1. Index2:Value2. Index3:Value3. …. 圖 3.5.1 LibSVM 格式. 使用 LibSVM 流程如圖 3.5.2 所示，將每筆資料轉換成如圖 3.5.1 所示之格式後，分成訓練資料(Training Data)和測試資料(Test Data)，接著，將訓練資料放入 LibSVM 中學習產生模型(Model)，最後，依照模型的特性將每筆測試資料做預測。. Training Data. Test Data. Model. 圖 3.5.2 LibSVM 訓練流程. 21. Predict.

(33) 第六節以規則為基方法. 為了讓辨識和分類效能提升，本研究運用以規則為基(Rule-based)方法期望增加效能，其中，辨識之規則分為六大類，分類之規則分為四大類，以下說明不同階段之規則。. (一). 機器學習辨識後之規則. 規則一：跨句之藥物對，判定為無產生交互作用. 藥物－藥物交互作用的兩藥物應出現於同一句子當中，若兩藥物出現在不同句，則不會產生藥物－藥物交互作用，如以下資料所示，藥物對 Ethanol – methadone、Ethanol – abacavir2、abacavir1 – methadone 和 abacavir1 – abacavir2 的兩藥物皆來自不同句子當中，本研究將此類型的藥物對辨識為無產生藥物－藥物交互作用。. Ethanol decreases the elimination of abacavir1 causing an increase in overall exposure . The addition of methadone has no clinically significant effect on the pharmacokinetic properties of abacavir2. 22.

(34) 規則二：跨冒號(Colon)之藥物對，判定為無產生交互作用. 冒號的出現通常在說明冒號左邊之解釋，若藥物對之間出現冒號，則不會產生藥物－藥物交互作用，如以下例句所示，藥物對 Theophylline – DIFLUCAN 和 Theophylline – theophylline 之間出現冒號，在說明冒號左邊之藥物 Theophylline，本研究將此狀況辨識為無產生藥物－藥物交互作用。. Theophylline： DIFLUCAN increases the serum concentrations of theophylline.. 規則三：藥物對之間出現“or”，判定為無產生交互作用. 藥物對之間若出現“or”，通常是在說明前面或後面的藥物和藥物對之一的藥物關係，則該藥物對不會產生藥物－藥物交互作用，如以下例句所示，藥物對 ferrous sulfate - ferrous gluconate 中間出現“or”是在說明 methyldopa - ferrous sulfate 和 methyldopa - ferrous gluconate 的關係，並非說明 ferrous sulfate - ferrous gluconate 的關係，因此，本研究將此狀況辨識為無產生藥物－藥物交互作用。. Coadministration of methyldopa with ferrous sulfate or ferrous gluconate is not recommended. 23.

(35) 規則四：列舉(List)形式之藥物對，判定為無產生交互作用. 藥物對的兩藥物若同時出現在列舉中，通常是列出某類型的集合或一連串之舉例，則不會產生藥物－藥物交互作用，如以下例句所示，藥物 piperacillin、 carbenicillin、amikaci 和 ciprofloxacin 為低抗藥性藥物之集合，並非描述這些藥物會產生交互作用，因此藥物對 piperacillin – carbenicillin、piperacillin – amikacin、 piperacillin – ciprofloxacin、carbenicillin – amikacin、carbenicillin – ciprofloxacin 和 amikacin – ciprofloxacin 會被此規則辨識為無產生藥物－藥物交互作用。. Results revealed that the strains were resistant to many drugs at high levels, only piperacillin, carbenicillin, amikacin and ciprofloxacin showed resistances at comparatively lower levels.. 規則五：出現“observed”、 “shown”和“found”時，判定為有交互作用；若結合否定字時，判定為無產生交互作用. 句中出現“observed”、“shown”和“found”時，代表已經被研究人員觀察出藥物對會產生交互作用，因此，本研究將此狀況辨識為會產生藥物－藥物交互作用，如以下例句所示，藥物對 erythromycin – midazolam 出現“shown”，代表 24.

(36) 顯示出 erythromycin 與 midazolam 會產生交互作用；而藥物對 erythromycin – diltiazem 雖然同樣也出現“shown”，但 erythromycin - diltiazem 是屬於列舉之規則，因此，不適用於此規則。. Drugs such as erythromycin, diltiazem, verapamil, ketoconazole, fluconazole and itraconazole were shown to significantly increase the C max and AUC of orally administered midazolam.. 若“observed”、“show”和“found”結合否定字，則代表未被觀察出會產生交互作用，因此，本研究將此狀況辨識為無產生藥物－藥物交互作用，如以下例句所示，藥物對 TRENTAL – antihypertensive drugs 出現否定字加上 “observed”，代表 TRENTAL 沒有被觀察出與 antihypertensive drugs 會產生交互作用；而藥物對 antihypertensive drugs - beta blockers 雖然同樣也出現否定字加上“observed”，但 antihypertensive drugs - beta blockers 是屬於列舉的規則，因此，不適用於此規則。. TRENTAL has been used concurrently with antihypertensive drugs, beta blockers, digitalis, diuretics, antidiabetic agents, and antiarrhythmics, without observed problems. 25.

(37) 規則六：藥物對之間出現舉例之狀況，判定為無產生交互作用. 藥物對之間若產生“such as”或“e.g.”，通常是在舉例前面的藥物就像藥物對之一的藥物，則該藥物對不會產生藥物－藥物交互作用，藥物對之間除了“such as”、 “e.g.”或藥物之外，還有其他敘述則不適用於此規則，如以下例句所示，藥物對 CNS depressants - barbiturates 中間出現“e.g.”，為舉例 CNS depressants 此藥物的類別有哪些，並非敘述該藥物對的關係，因此，本研究將此狀況辨識為無產生藥物-藥物交互作用；而藥物對 Phenothiazines – barbiturates 中間出現 “e.g.”，由於此藥物對之間還有其他敘述，所以不適用於此規則。. Phenothiazines are capable of potentiating CNS depressants (e.g., barbiturates, anesthetics, opiates, alcohol, etc.). (二). 機器學習分類後之規則. 規則七:句子中出現建議或警告，判斷為 Advice 類別. 句子中出現建議或警告相關字，例如:suggest、should be、should not be 等，通常表示研究人員已有做過實驗或曾經發生過具有交互作用，本研究將此狀況分類為 Advice 類別中，如以下例句所示，句中出現“suggest”，代表建議藥物對 S26.

(38) ketamine – ticlopidine 共同使用時，應減少某一藥物之劑量。. The findings suggest that the dosage of S-ketamine should be reduced in patients receiving ticlopidine.. 規則八:句子中明確表達藥物對有交互作用，判斷為 Int 類別. 句子中會出現“interact”，但後續無說明藥物對之相關訊息，如以下例句所示，句中 anticonvulsants – Mephenytoin 會產生交互作用，但無更多的說明，因此，將此狀況分類於 Int 類別中。. Some anticonvulsants may interact with Mephenytoin.. 規則九:句中顯示使用該藥物對會造成藥效改變，判定為 Effect 類別. 句中常會出現 “ increase ” 、 “ enhance ” 、 “ decrease ” 、 “ reduce ” 、 “synergism”(協同)、“antagonism”(加合)，說明使用兩藥物會導致其中一藥物藥效增加或減少，此結果為協同或拮抗作用，如以下例句所示，句中說明 SKELAXIN 會增加 alcohol、barbiturates、CNS depressants 的藥效，因此，藥物 27.

(39) 對 SKELAXIN – alcohol、SKELAXIN –barbiturates、SKELAXIN –CNS depressants 會被此規則分類至 Effect 類別中。. SKELAXIN may enhance the effects of alcohol, barbiturates and other CNS depressants.. 規則十:藥物對與藥動學(Pharmacokinetics)有關，判定為 Mechanism 類別. 藥動學主要說明藥物被人體吸收後的分佈狀況和代謝等，常見字如: “distributed”、“excreted”、“absorption”、“metabolism”、“concentrations”，若藥物對中出現此些字，則將此分類為 Mechanism 類別中，如以下例句所示， Rifampin2 會增加 DIFLUCAN 的代謝，因此，藥物對 Rifampin2 – DIFLUCAN 會被分類於 Mechanism 類別中。. Rifampin1 : Rifampin2 enhances the metabolism of concurrently administered DIFLUCAN.. 28.

(40) 第四章. 資料來源與評估方式. 第一節資料來源. 本研究所使用的語料庫為 DDIExcation 2013 task 9 中所提供的語料庫，該語料庫是由 Segura-Bedmar(2011)等人所創建。語料庫中是由 MedLine abstract 和 DrugBank 的資料庫所組成，語料庫內的資料呈現如圖 4.1.1 所示，document id 為語料庫中文獻的編號；sentence id 為該文獻中的句子編號，其中，text 為句子內容；entity id 為該句的藥物編號，其中，text 為藥物名稱，type 為藥物類型(drug 為任何化學藥劑用於治療或預防人類疾病，drug_n 為任何影響生物體的化學藥劑)， charOffset 為此藥物在該句的位置；pair id 為該句的藥物對編號，其中 ddi 為顯示該藥物對是否有交互作用，e1 和 e2 分別為藥物編號。. 圖 4.1.1 文件資料格式. 29.

(41) 若句子中的藥物數量有 n 個，則藥物對有𝐶2𝑛 對，如圖 4.1.2 所示，該句藥物對數量有 4 個，則藥物對有 6 對。. Slow-channel calcium blockers, such as verapamil, diltiazem and nifedipine, inhibit platelet activation in vitro, and decrease platelet adhesion intravascularly.. Slow-channel calcium blockers - verapamil. Slow-channel calcium blockers - diltiazem. Slow-channel calcium blockers - nifedipine. verapamil - diltiazem. verapamil - nifedipine. diltiazem - nifedipine 圖 4.1.2 藥物對數量呈現方式. 30.

(42) 語料庫內的詳細資料如表 4.1.1 所示，以 MedLine 的訓練資料為例，142 份文件共有 1301 個句子，其中 533 個句子包含至少一對的藥物對，共有 1787 對藥物對，有交互作用的藥物對為 232 對，交互作用類別 Advice 為 8 對， Effect 為 152 對，Int 為 10 對，Mechanism 為 62 對，無交互作用的藥物對為 1555 對。. 表 4.1.1 語料庫內部詳細資料 MedLine + 資料類型. MedLine. DrugBank DrugBank. Total document. 142. 572. 714. Total sentence. 1301. 5675. 6976. Pair sentence. 533. 3256. 3789. Training. Total pair. 1787. 26005. 27792. data. True pair sentence. 232. 3789. 4021. Advice / Effect /. 8 / 152 /. 818 / 1535 /. 826 / 1687 /. Int / Mechanism. 10 / 62. 178 / 1257. 188 / 1319. False pair sentence. 1555. 22216. 23771. Total document. 33. 158. 191. Total sentence. 326. 973. 1299. Pair sentence. 170. 620. 790. Total pair. 451. 5265. 5716. Test data. 31.

(43) 第二節評估方式. 在機器學習領域中，評估(Evaluation)效能是一項重要的步驟，現今有許多評估效能的方式，例如：準確率(Accuracy)、精確率(Precision)、召回率(Recall)和 F1measure。此任務所使用的評估方式為 Precision、Recall 和 F1-measure，首先，要將預測後的結果和標準答案互相比對，若預測結果和標準答案都是正向，稱之為正確正例(True Positive, TP)；若預測結果和標準答案都是負向，稱之為正確負例 (True Negative, TN)；若標準答案是正向，預測結果卻是負向，稱之為錯誤負例 (False Negative, FN)；若標準答案是負向，預測結果卻是正向，稱之為錯誤正例 (False Positive, FP)，表 4.2.1 為評估分析表。. 表 4.2.1 評估分析表標準答案 Positive. Negative. 預測. Positive. True Positive (TP). False Positive (FP). 結果. Negative. False Negative (FN). True Negative (TN). 32.

(44) 其中，Precision 為所有預測結果為正向的資料筆數中預測正確的比率；Recall 為所有標準答案為正向的資料筆數中預測正確的比率；F1-measure 為 Precision 和 Recall 之綜合評估結果，公式分別如式(3)(4)(5)所示：. 𝑇𝑃. (3). 召回率 𝑅 = (𝑇𝑃+𝐹𝑁). 𝑇𝑃. (4). 2𝑃𝑅. (5). 精確率 𝑃 = (𝑇𝑃+𝐹𝑃). F1 − measure = (𝑃+𝑅). 33.

(45) 第五章. 實驗結果與討論. 本研究以兩階段方式完成辨識和分類，第一階段為辨識藥物對是否產生交互作用，第二階段為分類藥物對的交互作用類型。第一節為辨識後之結果與討論，第二節為分類後之結果與討論，第三節為辨識和分類整合後之結果。由於語料庫是由 MedLine 和 DrugBank 組成，因此，兩階段皆含有 MedLine 和 DrugBank 的效能以及兩者混合的效能。. 第一節辨識後之結果與討論. 每一類的特徵表達和選取的方式都不同，如表 5.1.1 所示，本研究選取六個或七個特徵的組合，其中每一類的特徵最多選擇一個特徵編號，組合結果如式(6)～式(13)所示，將式(6)～式(13)相加後共有 10,816 種組合。以式(6)為例，1 × 2 × 1 × 10 × 8 × 4 × 4中的 1 為輔助特徵和否定詞特徵呈現方式的個數，2 為距離特徵呈現方式的個數，4 為關鍵字特徵和相鄰詞性特徵呈現方式的個數，8 為詞性組合特徵呈現方式的個數，10 為動詞特徵呈現方式的個數，將其相乘後得到 7 個特徵的所有組合。. 34.

(46) 選擇 7 個特徵類別 = 1 × 2 × 1 × 10 × 8 × 4 × 4. (6). 不選輔助特徵類別 = 2 × 1 × 10 × 8 × 4 × 4. (7). 不選距離特徵類別 = 1 × 1 × 10 × 8 × 4 × 4. (8). 不選否定特徵類別 = 1 × 2 × 10 × 8 × 4 × 4. (9). 不選動詞特徵類別 = 1 × 2 × 1 × 8 × 4 × 4. (10). 不選詞性組合特徵類別 = 1 × 2 × 1 × 10 × 4 × 4. (11). 不選關鍵字特徵類別 = 1 × 2 × 1 × 10 × 8 × 4. (12). 不選相鄰詞性特徵類別 = 1 × 2 × 1 × 10 × 8 × 4. (13). 表 5.1.1 辨識階段之特徵說明特徵類別. 特徵編號. 特徵說明. 輔助特徵. 1. 以一個特徵表示藥物對的兩藥物名稱是否相同和藥物對中間的字是否為連接詞，以二元值呈現。. 2. 以一個特徵表示藥物對兩藥物的距離，以整數值呈現。. 3. 以多個特徵表示藥物對兩藥物的距離，以二元值呈現。若兩藥物距離為 5，則距離特徵 5 之特徵值為 1，其餘距離特徵值為 0。. 4. 以一個特徵表示藥物對之間是否有否定詞，以二元值呈現。. 5. 以多個特徵表示藥物對之間是否有此動詞，以二元值呈現。若兩藥物之間的動詞為“interact”，則動詞特徵 interact 之特徵值為 1，其餘未出現於藥物對之中的動詞特徵值為 0。. 6. 以動詞頻率排名前 100 高的詞當作動詞特徵，以二元值呈現。若“interact”為排名前 100 高之動詞且藥物對中也出現此動詞，則動詞特徵 interact 之特徵值為 1，其餘未出現於藥物對之中排名前 100 高的動詞特徵值為 0。. 距離特徵否定詞特徵. 動詞特徵. 35.

(47) 7. 以多個特徵表示去除 Positive 和 Negative 常出現的動詞當作特徵，以二元值呈現。若“interact”為 Positive 和 Negative 常出現的動詞，在動詞特徵中則無此 interact 動詞特徵。. 8. 以多個特徵表示動詞頻率前 100 高的詞及去除 Positive 和 Negative 常出現的動詞當作特徵，以二元值呈現。若 “interact”為排名前 100 高之動詞且為 Positive 和 Negative 常出現的動詞，在動詞特徵中則無此 interact 動詞特徵。. 9 動詞特徵. 以一個特徵表示句子中的動詞數量，以整數值呈現。若藥物對之間的動詞數量為 2，則動詞特徵值為 2。. 0. 以 50 個特徵表示 CHI 排名前 50 高的動詞當作特徵，以二元值呈現。. A. 以 100 個特徵表示 CHI 排名前 100 高的動詞當作特徵，以二元值呈現。 𝟏. B. 以多個特徵表示 CHI 排名前𝟐高的動詞當作特徵，以二元值呈現。 𝟏. C. 以多個特徵表示 CHI 排名前𝟑高的動詞當作特徵，以二元值呈現。 𝟏. D. 𝟏. 以多個特徵表示 CHI 排名前𝟒高和中間𝟒高的動詞當作特徵，以二元值呈現。. E. 詞性組合特徵. 以多個特徵表示藥物對之間的詞性組合數量，以整數值呈現。若詞性組合有 NN、VB 和 CC，藥物對之間的詞性組合有 2 個 NB 和 1 個 CC，則詞性組合特徵 NB 之特徵值為 2 ，詞性組合特徵 CC 之特徵值為 1，其餘詞性組合特徵之特徵值為 0。以多個特徵表示藥物對之間的詞性組合，以二元值呈. F. G. 現。若詞性組合有 NN、VB 和 CC，藥物對之間的詞性組合只有 CC，則詞性組合特徵 CC 之特徵值為 1，其餘詞性組合特徵之特徵值為 0。以多個特徵表示去除 Positive 和 Negative 常出現的詞性組合當作特徵，以二元值呈現。若 NN 為 Positive 和 Negative 常出現的詞性組合，在詞性組合特徵中則無此 NN 詞性組合特徵。. 36.

(48) 以多個特徵表示去除 Positive 和 Negative 常出現的詞性組合當作特徵，並計算藥物對之間的詞性組合數量，以 H. 整數值呈現。若藥物對之間的詞性組合有 2 個 NB 和 3 個 VB，由於 NN 為 Positive 和 Negative 常出現之詞性組合，因此無 NN 此特徵，詞性組合特徵 VB 之特徵值為 3。以 3 個特徵表示(Unigram/Bigram/Trigram)詞性組合特徵. 詞性組合. I. 特徵. 的個數，以整數值呈現。若藥物對之間的詞性組合有 NN、CC 和 VB，則 Unigram 特徵之特徵值為 3，Bigram 特徵之特徵值為 2，Trigram 特徵之特徵值為 1。 𝟏. J. 以多個特徵表示 CHI 排名前𝟐高的詞性組合當作特徵，以二元值呈現。 𝟏. K. 以多個特徵表示 CHI 排名前𝟑高的詞性組合當作特徵，以二元值呈現。. L. 以多個特徵表示 CHI 排名前 10 高的詞性組合當作特徵，以二元值呈現。以多個特徵表示句子是否有此特徵，以二元值呈現。若. M. 關鍵字特徵有“increase”和“decrease”，句子中出現 “decrease”，則 decrease 關鍵字特徵之特徵值為 1， increase 關鍵字特徵之特徵值為 0。以多個特徵表示去除 Positive 和 Negative 常出現之關鍵. 關鍵字. N. 特徵. 字，以二元值呈現。若“increase”為 Positive 和 Negative 常出現之關鍵字，在關鍵字特徵中則無此 increase 關鍵字特徵。以一個特徵表示句子中關鍵字的數量，以數值呈現。若. O. 句子中的關鍵字數量有 2 個，則關鍵字特徵之特徵值為 2。 𝟏. P. 以多個特徵表示 CHI 排名前𝟐高的關鍵字當作特徵，以二元值呈現。. 37.

(49) 以多個特徵表示相鄰詞性個數，以整數值呈現。若兩藥 Q. 物前後共有 3 個 NN 及 1 個 CC，則 NN 相鄰詞性特徵之特徵值為 3，CC 相鄰詞性特徵之特徵值為 1。以多個特徵表示藥物對之間是否有該相鄰詞性特徵，以. R 相鄰詞性. 二元值呈現。若兩藥物前後共有 3 個 NN 及 1 個 CC，則 NN 和 CC 相鄰詞性特徵之特徵值為 1，其餘相鄰詞性特徵之特徵值為 0。. 特徵. 𝟏. S. 以多個特徵表示 CHI 排名前𝟐高的相鄰詞性當作特徵，以二元值呈現。 𝟏. T. 𝟏. 以多個特徵表示 CHI 排名前𝟒高和中間𝟒高的動詞當作特徵，以二元值呈現。. (一) MedLine. 依照表 5.1.1 的特徵描述，MedLine 辨識階段產生 10,816 種組合，本實驗列出以機器學習方式中之 SVM 進行辨識效能排名前 10 高之實驗進行分析，實驗結果如表 5.1.2 所示，可以發現前十高之實驗的特徵都有特徵編號 1，而其他大部分的特徵有特徵編號 2、4、K 和 M。. 表 5.1.2 MedLine 以 SVM 辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1246KNS. 41.7%. 71.6%. 52.7%. 2. 1246KPQ. 40.3%. 74.7%. 52.4%. 3. 1247LMS. 42.3%. 69.5%. 52.6%. 4. 1340JMS. 40.3%. 74.7%. 52.4%. 5. 126JMS. 42.5%. 71.6%. 53.3%. 38.

(50) 6. 127KMT. 42.6%. 69.5%. 52.8%. 7. 127KNR. 42.3%. 69.5%. 52.6%. 8. 128KPQ. 40.7%. 73.7%. 52.4%. 9. 130JMT. 39.9%. 76.8%. 52.5%. 10. 134JMT. 41.3%. 74.7%. 53.2%. 將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，由於實驗編號 1 未有特徵編號 M，因此再次選擇特徵數量最多，F1-measure 效能第二高 (實驗編號 3)當作另一對照組，若未加上特徵編號 1、2、4、K 和 M，實驗結果如表 5.1.3 所示，效能都比原先還差，由此可知，特徵 1、2、4、K 和 M 對於 MedLine 來說為較重要之辨識特徵。. 表 5.1.3 MedLine 未於辨識階段加入重要特徵之實驗結果未加入之特徵編號. 特徵編號. Precision. Recall. F1-measure. 1. 246KNS. 37.0%. 71.6%. 48.7%. 2. 146KNS. 39.3%. 71.6%. 50.7%. 4. 126KNS. 41.4%. 70.5%. 52.1%. K. 1246NS. 35.9%. 69.5%. 47.3%. M. 1247LS. 37.6%. 67.4%. 48.3%. 為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為基方式修正機器學習預測後的結果，規則涵蓋率如表 5.1.4 所示，在辨識階段共有 6 個規則，其中，規則五「句子中出現“observed”、“shown”、“found”」涵蓋率最。 39.

(51) 表 5.1.4 MedLine 規則為基涵蓋率規則. 個數. 涵蓋率. 規則一. -. -. 規則二. 1. 0.002. 規則三. 3. 0.006. 規則四. 11. 0.024. 規則五. 14. 0.031. 規則六. 2. 0.004. 加入以規則為基後之實驗結果如表 5.1.5 所示，Precision 和 Recall 之值可以提升許多，比較結果如圖 5.1.1 所示。. 表 5.1.5 MedLine 以規則為基方式辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1246KNS. 50.3%. 80.0%. 61.8%. 2. 1246KPQ. 48.0%. 76.8%. 59.1%. 3. 1247LMS. 51.7%. 77.9%. 62.2%. 4. 1340JMS. 49.4%. 82.1%. 61.7%. 5. 126JMS. 51.7%. 80.0%. 62.8%. 6. 127KMT. 52.4%. 78.9%. 63.0%. 7. 127KNR. 51.4%. 80.0%. 62.6%. 8. 128KPQ. 48.0%. 75.8%. 58.8%. 9. 130JMT. 49.7%. 84.2%. 62.5%. 10. 134JMT. 50.0%. 82.1%. 62.2%. 40.

(52) 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0%. 20.0% 10.0% 0.0%. 實驗實驗實驗實驗實驗實驗實驗實驗實驗實驗編號1 編號2 編號3 編號4 編號5 編號6 編號7 編號8 編號9 編號10. 原P. 41.7% 40.3% 42.3% 40.3% 42.5% 42.6% 42.3% 40.7% 39.9% 41.3%. P. 50.3% 48.0% 51.7% 49.4% 51.7% 52.4% 51.4% 48.0% 49.7% 50.0%. 原R. 71.6% 74.7% 69.5% 74.7% 71.6% 69.5% 69.5% 73.7% 76.8% 74.7%. R. 80.0% 76.8% 77.9% 82.1% 80.0% 78.9% 80.0% 75.8% 84.2% 82.1%. 原F1 52.7% 52.4% 52.6% 52.4% 53.3% 52.8% 52.6% 52.4% 52.5% 53.2% F1. 61.8% 59.1% 62.2% 61.7% 62.8% 63.0% 62.6% 58.8% 62.5% 62.2%. 圖 5.1.1 MedLine 辨識之加入以規則為基前後效能比較. 本研究 MedLine 辨識效果最好之實驗為實驗編號 6，使用到的特徵有輔助特徵、距離特徵、動詞特徵、詞性組合特徵、關鍵字特徵和相鄰詞性特徵，將實驗編號 6 結果與參賽隊伍做比較，F1-measure 效能如圖 5.1.2 所示，該值為每一隊伍最高之辨識效能，參賽隊伍平均辨識效能為 43.9%，最好之隊伍為 FBK-irst 效能為 53.0%，本研究 MedLine 辨識之效能為 63.0%，結果不但比平均效能高 19.1%，更高於第一名隊伍 10.0%。. 41.

(53) 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0%. FBKirst. NIL_U CM. SCAI. DEC 53.0%. 33.6%. 47.4%. UCOLO UWMUC3M RADO_ UTurku TRIAD SOM S 42.1% 39.4% 37.6% 47.9%. WBI. 本研究. 50.3%. 63.0%. 圖 5.1.2 參賽隊伍與本研究之 MedLine 辨識效能. (二) DrugBank. 依照表 5.1.1 的特徵描述，DrugBank 辨識階段產生 10,816 種組合，本實驗列出以機器學習方式中之 SVM 進行辨識效能排名前 10 高之實驗進行分析，實驗結果如表 5.1.6 所示，可以發現前十高之實驗的特徵都有特徵編號 4 和 M，而大部分實驗的特徵有特徵編號 1、2、9 和 Q。. 表 5.1.6 DrugBank 以 SVM 辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1249EMQ. 48.4%. 82.2%. 60.9%. 2. 1249FMQ. 47.8%. 83.1%. 60.7%. 3. 248EMQ. 45.8%. 88.9%. 60.5%. 42.

(54) 4. 249EMQ. 46.2%. 87.7%. 60.5%. 5. 249FMQ. 46.1%. 89.1%. 60.8%. 6. 149EMQ. 48.3%. 81.7%. 60.7%. 7. 149EMR. 48.2%. 81.1%. 60.5%. 8. 149KMT. 47.6%. 82.9%. 60.5%. 9. 124EMQ. 48.1%. 82.7%. 60.8%. 10. 124FMQ. 47.3%. 83.7%. 60.4%. 將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，若未加上特徵編號 1、2、4、9、M 和 Q，實驗結果如表 5.1.7 所示，效能都比原先還差，由此可知，特徵 1、2、4、9、M 和 Q 對於 DrugBank 來說為較重要之辨識特徵。. 表 5.1.7 DrugBank 未於辨識階段加入重要特徵之實驗結果未加入之. 特徵編號. Precision. Recall. F1-measure. 1. 249EMQ. 46.2%. 87.7%. 60.5%. 2. 149EMQ. 48.3%. 81.7%. 60.7%. 4. 129EMQ. 47.2%. 83.1%. 60.2%. 9. 124EMQ. 48.1%. 82.7%. 60.8%. M. 1249EQ. 46.1%. 83.1%. 59.3%. Q. 1249EM. 45.1%. 81.0%. 58.0%. 特徵編號. 為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為基方式修正機器學習預測後的結果，規則涵蓋率如表 5.1.8 所示，在辨識階段共有 6 個規則，其中，規則二「藥物對出現冒號」涵蓋率最高。. 43.

(55) 表 5.1.8 DrugBank 規則為基涵蓋率規則. 個數. 涵蓋率. 規則一. 151. 0.029. 規則二. 256. 0.049. 規則三. 49. 0.009. 規則四. 69. 0.013. 規則五. 127. 0.024. 規則六. 84. 0.016. 加入以規則為基方式後，實驗結果如表 5.1.9 所示，Precision 之值可以提升許多，而部分實驗編號 Recall 略為下降，下降的原因可能是因為特徵與特徵之間有交互作用，但整體效能是提升的，比較結果如圖 5.1.3 所示。. 表 5.1.9 DrugBank 以規則為基方式辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1249EMQ. 63.4%. 82.9%. 71.8%. 2. 1249FMQ. 61.3%. 82.9%. 70.5%. 3. 248EMQ. 59.9%. 87.6%. 71.1%. 4. 249EMQ. 60.2%. 86.5%. 71.0%. 5. 249FMQ. 59.0%. 87.1%. 70.3%. 6. 149 EMQ. 62.2%. 82.7%. 71.0%. 7. 149EMR. 62.1%. 82.5%. 70.8%. 8. 149KMT. 62.0%. 83.3%. 71.0%. 9. 124 EMQ. 63.2%. 83.3%. 71.9%. 10. 124 FMQ. 61.0%. 83.3%. 70.4%. 44.

(56) 100.0% 90.0% 80.0% 70.0%. 60.0% 50.0% 40.0% 30.0% 20.0%. 10.0% 0.0%. 實驗實驗實驗實驗實驗實驗實驗實驗實驗實驗編號1 編號2 編號3 編號4 編號5 編號6 編號7 編號8 編號9 編號10. 原P. 48.4% 47.8% 45.8% 46.2% 46.1% 48.3% 48.2% 47.6% 48.1% 47.3%. P. 63.4% 61.3% 59.9% 60.2% 59.0% 62.2% 62.1% 62.0% 63.2% 61.0%. 原R. 82.2% 83.1% 88.9% 87.7% 89.1% 81.7% 81.1% 82.9% 82.7% 83.7%. R. 82.9% 82.9% 87.6% 86.5% 87.1% 82.7% 82.5% 83.3% 83.3% 83.3%. 原F1 60.9% 60.7% 60.5% 60.5% 60.8% 60.7% 60.5% 60.5% 60.8% 60.4% F1. 71.8% 70.5% 71.1% 71.0% 70.3% 71.0% 70.8% 71.0% 71.9% 70.4%. 圖 5.1.3 DrugBank 辨識之加入以規則為基前後效能比較. 本研究 DrugBank 辨識效果最好之實驗為實驗編號 9，使用到的特徵為輔助特徵、距離特徵、否定詞特徵、詞性組合特徵、關鍵字特徵和相鄰詞性特徵，將實驗編號 9 結果與參賽隊伍做比較，F1-measure 效能如圖 5.1.4 所示，該值為每一隊伍最高之辨識效能，參賽隊伍平均辨識效能為 69.8%，最好之隊伍為 FBK-irst 效能為 82.7%，本研究 DrugBank 辨識效能為 71.9%，雖然此辨識結果未優於第一名隊伍，但優於平均隊伍效能 2.1%。. 45.

(57) 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0%. DEC. FBK-irst. NIL_UC M. SCAI. UC3M. 82.7%. 68.0%. 73.4%. 70.3%. UCOLOR ADO_SO UTurku M 51.8% 72.6%. UWMTRIADS. WBI. 本研究. 61.6%. 78.3%. 71.9%. 圖 5.1.4 參賽隊伍與本研究之 DrugBank 辨識效能. (三) MedLine+DrugBank. 依照表 5.1.1 的特徵描述，MedLine+DrugBank 辨識階段產生 10,816 種組合，本實驗列出以機器學習方式中之 SVM 進行辨識效能排名前 10 高之實驗進行分析，實驗結果如表 5.1.10 所示，可以發現前十高之實驗的特徵都有特徵編號 1、4 和 M，而其他大部分的特徵有特徵編號 9 和 Q，若未加上特徵編號 1、4、9、M 和 Q。. 表 5.1.10 MedLine+DrugBank 以 SVM 辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1249EMQ. 47.0%. 86.7%. 61.0%. 2. 1249FMQ. 46.1%. 88.7%. 60.7%. 46.

(58) 3. 1249GMQ. 46.4%. 87.2%. 60.6%. 4. 149EMQ. 46.7%. 86.2%. 60.6%. 5. 149EMS. 47.2%. 84.2%. 60.5%. 6. 149EMT. 47.5%. 84.6%. 60.9%. 7. 149FMQ. 46.2%. 88.2%. 60.6%. 8. 149JMT. 46.3%. 87.2%. 60.5%. 9. 124EMQ. 46.5%. 87.3%. 60.7%. 10. 124GMQ. 46.4%. 87.8%. 60.7%. 將特徵編號數量最多，F1-measure 效能最高當作對照組(實驗編號 1)，實驗結果如表 5.1.11 所示，效能都比原先還差，由此可知，特徵 1、4、9、M 和 Q 對於 MedLine+DrugBank 來說為較重要之辨識特徵。. 表 5.1.11 MedLine+DrugBank 未於辨識階段加入重要特徵之實驗結果未加入之特徵編號. 特徵編號. Precision. Recall. F1-measure. 1. 249FMQ. 43.6%. 86.6%. 58.0%. 4. 129FMQ. 44.0%. 89.0%. 58.9%. 9. 124FMQ. 45.6%. 89.2%. 60.3%. M. 1249FQ. 42.0%. 89.0%. 57.1%. Q. 1249FM. 42.8%. 87.8%. 57.5%. 為了進一步提升效能，將前 10 高之實驗結果加入第三章所介紹之以規則為基方式修正機器學習預測後的結果，規則涵蓋率如表 5.1.12 所示，在辨識階段共有 6 個規則，其中，規則二「藥物對出現冒號」涵蓋率最高。. 47.

(59) 表 5.1.12 DrugBank 規則為基涵蓋率規則. 個數. 涵蓋率. 規則一. 151. 0.026. 規則二. 257. 0.045. 規則三. 55. 0.010. 規則四. 80. 0.014. 規則五. 141. 0.025. 規則六. 86. 0.015. 加入以規則為基方式後，實驗結果如表 5.1.13 所示，Precision 和 Recall 之值可以提升許多，比較結果如圖 5.1.5 所示。. 表 5.1.13 MedLine+DrugBank 以規則為基方式辨識後前 10 高之實驗結果實驗編號. 特徵編號. Precision. Recall. F1-measure. 1. 1249EMQ. 59.5%. 88.7%. 71.2%. 2. 1249FMQ. 58.4%. 89.8%. 70.8%. 3. 1249GMQ. 59.2%. 88.2%. 70.8%. 4. 149EMQ. 59.2%. 87.9%. 70.7%. 5. 149EMS. 60.2%. 86.8%. 71.1%. 6. 149EMT. 60.2%. 87.0%. 71.2%. 7. 149FMQ. 57.9%. 89.1%. 70.2%. 8. 149JMT. 58.8%. 89.0%. 70.8%. 9. 124EMQ. 59.2%. 89.0%. 71.1%. 10. 124GMQ. 59.2%. 88.8%. 71.0%. 48.

(60) 100.0% 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0%. 實驗實驗實驗實驗實驗實驗實驗實驗實驗實驗編號1 編號2 編號3 編號4 編號5 編號6 編號7 編號8 編號9 編號10. 原P. 47.0% 46.1% 46.4% 46.7% 47.2% 47.5% 46.2% 46.3% 46.5% 46.4%. P. 59.5% 58.4% 59.2% 59.2% 60.2% 60.2% 57.9% 58.8% 59.2% 59.2%. 原R. 86.7% 88.7% 87.2% 86.2% 84.2% 84.6% 88.2% 87.2% 87.3% 87.8%. R. 88.7% 89.8% 88.2% 87.9% 86.8% 87.0% 89.1% 89.0% 89.0% 88.8% 原F1 61.0% 60.7% 60.6% 60.6% 60.5% 60.9% 60.6% 60.5% 60.7% 60.7% F1. 71.2% 70.8% 70.8% 70.7% 71.1% 71.2% 70.2% 70.8% 71.1% 71.0%. 圖 5.1.5 MedLine+DrugBank 辨識之加入以規則為基前後效能比較. 本研究 MedLine+DrugBank 辨識效果最好之實驗為實驗編號 1(實驗編號 1 之 F1-measure 為 71.2351%，實驗編號 6 之 F1-measure 為 71.1779%)，使用到的特徵為輔. 助特徵、距離特徵、否定詞特徵、動詞特徵、詞性組合特徵、關鍵字特徵和相鄰詞性特徵，將實驗編號 1 結果與參賽隊伍做比較，F1-measure 效能如圖 5.1.6 所示，該值為每一隊伍最高之辨識效能，參賽隊伍平均辨識效能為 67.5%，最好之隊伍為 FBK-irst 效能為 80.0%，本研究 MedLine+DrugBank 辨識效能為 71.2%，雖然此辨識結果未優於第一名隊伍，但優於平均隊伍效能 3.7%. 49.

(61) 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0%. DEC. FBK-irst. NIL_UC M. SCAI. UC3M. 80.0%. 65.6%. 70.4%. 67.6%. UCOLOR ADO_SO UTurku M 50.4% 69.9%. UWMTRIADS. WBI. 本研究. 59.9%. 75.9%. 71.2%. 圖 5.1.6 參賽隊伍與本研究之 MedLine+DrugBank 辨識效能. 第二節分類後之結果與討論. 將第一階段辨識後前十高之結果進行第二階段分類的動作，表 5.2.1 為分類之特徵說明，其中，每一類的特徵最多選擇一個特徵編號，將所有特徵類別做組合如式(14)所示，共有 2,159 種組合結果。. 所有組合 = 2 × 3 × 2 × 5 × 3 × 4 × 3 − 1. (14). 表 5.2.1 分類階段之特徵說明特徵類別. 特徵編號. 特徵說明. 輔助特徵. 1. 以一個特徵表示藥物對的兩藥物名稱是否相同和藥物對中間的字是否為連接詞，以二元值呈現。 50.

(62) 距離特徵否定詞特徵. 2. 以一個特徵表示藥物對兩藥物的距離，以整數值呈現。. 3. 以多個特徵表示藥物對兩藥物的距離，以二元值呈現。若兩藥物距離為 5，則距離特徵 5 之特徵值為 1，其餘距離特徵值為 0。. 4. 以一個特徵表示藥物對之間是否有否定詞，以二元值呈現。. 5. 以多個特徵表示藥物對之間是否有此動詞，以二元值呈現。若兩藥物之間的動詞為”interact”，則動詞特徵 interact 之特徵值為 1，其餘未出現於藥物對之中的動詞特徵值為 0。. 6 動詞特徵. 以一個特徵表示句子中的動詞數量，以整數值呈現。若藥物對之間的動詞數量為 2，則動詞特徵值為 2。 𝟏. 7. 以多個特徵表示 CHI 排名前𝟑高的動詞當作特徵，以二元值呈現。 𝟏. 8. 𝟏. 以多個特徵表示 CHI 排名前𝟒高和中間𝟒高的動詞當作特徵，以二元值呈現。. 9. 詞性組合特徵 CC 之特徵值為 1，其餘詞性組合特徵之特徵值為 0。. 詞性組合特徵. 關鍵字特徵. 以多個特徵表示藥物對之間的詞性組合數量，以整數值呈現。若詞性組合有 NN、VB 和 CC，藥物對之間的詞性組合有 2 個 NB 和 1 個 CC，則詞性組合特徵 NB 之特徵值為 2 ，. 0. 以多個特徵表示藥物對之間的詞性組合，以二元值呈現。若詞性組合有 NN、VB 和 CC，藥物對之間的詞性組合只有 CC，則詞性組合特徵 CC 之特徵值為 1，其餘詞性組合特徵之特徵值為 0。. A. 以多個特徵表示句子是否有此特徵，以二元值呈現。若關鍵字特徵有”increase”和”decrease”，句子中出現”decrease”，則 decrease 關鍵字特徵之特徵值為 1，increase 關鍵字特徵之特徵值為 0。. B. 以多個特徵表示句子是否有此特徵，若關鍵字頻率排名前 10 之特徵給予權重 2，其餘以二元值呈現。若關鍵字特徵有 ”increase” 和 ”decrease” 及頻率排名前 10 之關鍵字”interact”，句子中出現”decrease”和”interact”，則 decrease 關鍵字特徵之特徵值為 1，interact 關鍵字特徵之特徵值為 2， increase 關鍵字特徵之特徵值為 0。. C. 以多個特徵表示 CHI 排名前 10 高的關鍵字當作特徵，以二元值呈現。 51.

(63) D. 以多個特徵表示相鄰詞性個數，以整數值呈現。若兩藥物前後共有 3 個 NN 及 1 個 CC，則 NN 相鄰詞性特徵之特徵值為 3，CC 相鄰詞性特徵之特徵值為 1。. E. 以多個特徵表示藥物對之間是否有該相鄰詞性特徵，以二元值呈現。若兩藥物前後共有 3 個 NN 及 1 個 CC，則 NN 和 CC 相鄰詞性特徵之特徵值為 1，其餘相鄰詞性特徵之特徵值為 0。. 相鄰詞性特徵. (一) MedLine. 依照表 5.2.1 的特徵描述，MedLine 分類階段產生 2,159 種組合，本實驗列出以機器學習方式中之 SVM 進行分類效能排名前 10 高之實驗進行分析，實驗結果如表 5.2.2 所示，欄位 CLA 為整體分類效能，ADV、EFF、INT 和 MEC 為四類各類別之效能，P 為各類及整體之 Precision，R 為各類及整體之 Recall，F1 為各類及整體之 F1-measure，數據中之”-”為 0.0%。從表 5.2.2 可以發現有幾組實驗編號之實驗特徵是一樣的組合(例如：實驗編號 1 及實驗編號 4)，由於第一階段所用的辨識特徵不同，但在第二階段使用相同的分類特徵所得到的結果，前十高之實驗的特徵大部分都有特徵編號 1、4 和 A，若未加上特徵編號 1、4 和 A。. 52.