4.3 單獨使用TNP與本研究方法之結果比較
4.3.2 TNP與本研究方法之比較 – 使用設定門檻值
2 4 6 8 10 12 14 16 18 20
-1.5
-0.5 0.5 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5
Scores threshold
Number of Transcription Modules
Pattern Wins OURs Wins
圖 4.3-2 本研究所提方法於不同 Scores 值之下,與 Pattern Match 之預 測結果比較。X 軸代表不同的 Scores 值;Y 軸為預測精確度較高的調控 模組數。
實驗結果:
由實驗數據發現,根據所使用的基因表現資料,TNP 在 PF = 0.4 時,有較好的表現;
而我們所提的方法則是在 Scores = 4.0 時,有較好的表現。因此,在 4.3.2 的比較實驗 中,我們將以這兩個設定值來進行預測能力的比較 (結果可參考 4.3-4) 。
4.3.2 TNP 與本研究方法之比較 – 使用設定門檻值
實驗目的:藉由本實驗,比較 TNP 與本研究所提方法之重建調控網路之能力。並根據所得的結果,
分析兩者之優劣。
實驗資料:
同 4.3.1。以 TNP 所採用的 26 個轉錄因子所組成的轉錄調控模組(如表 4.3-1),為重建 基因網路的目標。
實驗方法:
有了 4.3.1 節所得的 PF 值與 Scores,本實驗只需將此二數值分別設定於 TNP 與本系統,
並針對所得結果比較即可。
實驗結果:
我們將前述 26 個轉錄因子其組成基因,與其他酵母菌之基因,分別使用 TNP 與本研究 方法進行調控網路之重建,並以資料庫 SCPD(Zhu et al. 1999)記錄之調控關係來驗證兩 者之實驗結果。結果如表 4.3-4。
表 4.3-4 大約可分為三大欄:”Pattern”、”TNP”與”OURs”,分別記錄三方法的實驗結果。
其中”P”為該系統認為具調控關係之基因個數;”TP”為預測結果之 True Postive 個數,
即預測結果中,於 SCPD 中有記錄的調控基因數;” Precision”為預測之精確度,定義為:
精確度(precision) = 正確預測的基因數(TP) / 預測會被調控的基因數(P) 而” selectivity”為精確度提升倍數,依據 Hsu 等人定義為:
方法二針對方法一之精確度提升倍數(selectivity) = 方法二之精確度(precision of method 2)/方法一的精確度(precision of method 1)。
TNP 與 OURs 的精確度提升倍數都是跟 Pattern 作比較;另外,OURs 中 selectivity*是 記錄本研究所提方法,對於 TNP 的精確度提升倍數。當數值大於 1,則表示針對該調 控模組,本研究所提方法之表現較為優秀;若數值小於 1 則代表,TNP 之預測能力較 出色;另外,若 TNP 預測之 true positive 個數為 0,而本研究方法預測之結果不為 0 時,
計算精確度提升倍數會造成分母為 0,我們以”>>”表示。而“Coverage”為預測結果之正 確涵蓋率,定義為:
正確涵蓋率(coverage) = 正確預測的基因數 / SCPD 中對應的轉錄調控模組所含基因 數。
一般來說,精確度與正確涵蓋率無法兼得,亦即愈高的精確度,往往伴隨著較低的正 確涵蓋率;反之亦然。因此,我們引用 F score(Lewis, D., and Gale,1994)來比較兩方法 的預測能力。F score 同時將精確度與正確涵蓋率,定義為:
F score = 2*精確度*正確涵蓋率 / (精確度+正確涵蓋率)
由表 4.3-4 我們發現,在 26 組調控模組中,本研究所提方法,其精確度較 TNP 為提升 的有:ABF1、ACE2、ADR1、BAS1、BAS2、GAL4、HAP1、LEU3、HATalpha2、MBF、
MCM1、MIG1、PHO4、RAP1、REB1、Repressor of CAR1、SBF、STE12,共計 18 組;
而 GCN4、GCR1、HSTF、HATalpha1、PDR3、PUT3、SWI5、TBP 等 8 組準精確度則 是下降。值得注意的是,單獨使用 TNP 預測時,有 2 個調控模組(BAS2、LEU3)無法 預測到任何已記錄於 SCPD 之調控關係,而使用本研究所提之方法之後,即可改善這 些模組之預測能力
表4.3-4 Pattern、TNP、與本研究所提方法之實驗結果與比較。其中 P 為系統預測之受調控基因數;TP 為記錄於 SCPD 已知的受調控基因數;Precision 為預測精 確度;Selectivity 為針對 Pattern 方法之精確度提升倍數;F score 一為常用之評量標準,較單獨考慮 Precision 或 coverage 為客觀;Selectivity*為本系統針對 TNP 之精確度提升倍數;若 TNP 預測之 true positive 個數為 0,而本研究方法預測之結果不為 0,計算精確度提升倍數會造成分母為 0,因此以”>>”表示。
Pattern TNP (PF = 0.4) OURs (Scores = 6.5)
Family TP P Precision
(*10-1) TP P Selectivity coverage Fscores
(*10-1) TP P Selectivity Selectivity* Coverage Fscores (*10-1) ABF1 17 2907 0.058 10 1462 1.170 0.526 0.135 12 1261 1.627 1.391 0.632 0.188 ACE2 1 1820 0.005 1 1104 1.649 1.000 0.018 1 858 2.121 1.287 1.000 0.023 ADR1 2 4907 0.004 1 2625 0.935 0.500 0.008 1 2278 1.077 1.152 0.500 0.009 BAS1 3 1562 0.019 1 753 0.691 0.200 0.026 1 472 1.103 1.595 0.200 0.042 BAS2 1 5722 0.002 0 2716 0.000 0.000 0.000 1 1607 3.561 >> 1.000 0.012 GAL4 6 344 0.174 3 157 1.096 0.500 0.368 2 69 1.662 1.517 0.333 0.533 GCN4 9 6050 0.015 4 3165 0.850 0.444 0.025 3 2421 0.833 0.980 0.333 0.025 GCR1 6 5874 0.010 1 3164 0.309 0.167 0.006 0 2252 0.000 0.000 0.000 0.000 HAP1 4 60 0.667 3 44 1.023 0.600 1.250 2 26 1.154 1.128 0.400 1.333 HSTF 6 5103 0.012 5 2551 1.667 0.833 0.039 0 809 0.000 0.000 0.000 0.000 LEU3 2 37 0.541 0 16 0.000 0.000 0.000 1 16 1.156 >> 0.500 1.111 HATalpha1 3 1988 0.015 2 997 1.329 0.667 0.040 0 471 0.000 0.000 0.000 0.000 HATalpha2 7 2126 0.033 5 1319 1.151 0.714 0.075 3 638 1.428 1.240 0.429 0.093 MBF 6 1643 0.037 6 1094 1.502 1.000 0.109 4 716 1.530 1.019 0.667 0.111 MCM1 25 2441 0.102 7 1325 0.516 0.280 0.104 7 677 1.010 1.957 0.280 0.199 MIG1 8 633 0.126 3 290 0.819 0.300 0.201 3 167 1.421 1.737 0.300 0.343 (續)
Pattern TNP (PF = 0.4) OURs (Scores = 6.5) Family TP P Precision
(*10-1) TP P Selectivity coverage Fscores
(*10-1) TP P Selectivity Selectivity* Coverage Fscores (*10-1) PDR3 6 177 0.339 6 104 1.702 1.000 1.091 3 58 1.526 0.897 0.500 0.938 PHO4 4 2160 0.019 1 1156 0.467 0.250 0.017 1 684 0.789 1.690 0.250 0.029 PUT3 1 275 0.036 1 152 1.809 1.000 0.131 0 106 0.000 0.000 0.000 0.000 RAP1 14 1983 0.071 10 1206 1.174 0.625 0.164 11 718 2.170 1.848 0.688 0.301 REB1 12 1409 0.085 5 762 0.770 0.357 0.129 5 635 0.925 1.200 0.357 0.155 Repressor
of CAR1 13 455 0.286 8 300 0.933 0.615 0.511 1 5 7.000 7.500 0.077 1.111 SBF 3 3611 0.008 3 2430 1.486 1.000 0.025 2 965 2.495 1.679 0.667 0.041 STE12 4 4682 0.009 2 2242 1.044 0.500 0.018 1 653 1.792 1.717 0.250 0.030 SWI5 1 4567 0.002 1 2993 1.526 0.500 0.007 0 1255 0.000 0.000 0.000 0.000 TBP 17 4831 0.035 14 2839 1.401 0.778 0.098 9 1869 1.368 0.976 0.500 0.095