實驗參數與結果

本實驗所用重要參數列於下表 9。

表 9. 實驗重要參數

參數名稱 數值

Rss 20

Rns -100

Rsn -20

Rnn 10

統計信賴區間 99%

本節將對五項重要指標之數據做一比對以及說明，下圖 10 顯示為郵件召回率(Spam recall)之比較數據。

圖 10. Spam Recall

藉由上圖可以知道有沒有利用統計模式來做法則管理對於 Spam Recall 影響無顯著 差異，而就數字上而言，不用法則管理的表現略佳（但是差異小）。這是因為 Spam Recall 本身的意涵為在郵件為垃圾郵件的情況下，可以正確判斷垃圾郵件能力的指標。而如果 有利用本論文提出的統計模式為基礎做為法則管理，一開始會因為某些法則不夠顯著而 不採用此法則，因此會造成一開始 Spam Recall 較低的情況，而就本實驗結果顯示，實 驗組以及對照組的 Spam Recall 並無顯著差異，因此可以證明本論文所提出的方式有與 傳統方式相同的垃圾郵件過濾能力。而另外一項垃圾郵件判斷效能的指標為郵件正確率 (Spam precision)，下圖 11 為實驗結果。

圖 11. Spam Precision

由圖 11 可知實驗組與對照組的 Spam Precision 的無顯著差異，而本研究所提出的 方法略高於對照組，Spam Precision 本身的意涵為：在被系統判為垃圾郵件的情況下 實際為垃圾郵件的比率，也就是說如果 Spam Precision 高，其代表正常的郵件比較不 會被判為垃圾郵件。這對於一個垃圾郵件過濾器是一個很重要的指標，而本論文主要的 目的也在於在維持一定的判斷率情況下減少正常郵件被判為垃圾郵件的機會。但是在此 實驗結果並不顯著，這是因為 Spam Precision 的分母為被系統判為垃圾郵件的數量，

而分子為真正垃圾郵件的數量。當垃圾郵件的比率以及數量非常大的時候，正常郵件數 量相對之下十分少，而正常郵件又被誤判為垃圾郵件之數量更為稀少，因此造成實驗組 與對照組比較之下不顯著。有鑑於此本論文利用錯誤率(Miss Rate)作為系統是否會將 正常郵件誤判為垃圾郵件之指標，其比較結果如下圖 12 所示。

圖 12. Miss Rate

由圖 12 得知，本論文實驗組的 Miss Rate 的確低於對照組，而 Miss Rate 代表著 在信件為正常信件的情況下被判斷為垃圾郵件的機會。就正常的系統下，這是一個非常 重要的指標，因為 Miss Rate 高的系統比較會讓正常郵件被誤判為垃圾郵件。與 Spam Precision 不同的是，Miss Rate 以正常郵件當分母，因此能夠反映出真實的正常郵件 被誤判的情況。經由實驗結果可證明本論文所提出的方法可以有效降低 Miss Rate。而 以上三種的指標是分別根據垃圾郵件以及正常郵件的判斷正確率當作指標，而下圖 13 所顯示的精確率(Accruacy)代表的為整體系統的判斷率。

圖 13. Accuracy

上圖顯示本論文所提出的方法整體表現略優於傳統方式，而在垃圾郵件數量以及比 率遠高於正常郵件的情況下，要判斷一個垃圾郵件過濾器的好壞主要在於 Miss Rate。

這是由於假設垃圾郵件數量十分巨大的情況下 Accuracy、Recall 以及 Precision 本身 分母包含有垃圾郵件數量，當垃圾郵件數量一多，就算都不做分類（單純的將所有郵件 都視為 Spam mail）其整體表現就數據上而言也不會差很多；反之 Miss Rate 本身的分 母為正常郵件，數量比較少，可以很公平的判斷整個系統會不會將正常郵件視為垃圾郵 件。實驗結果顯示本論文所提出的方式不但可以對整體的垃圾郵件判斷率有幫助，最重 要的是在 Miss Rate 上有顯著的降低。

以上的實驗主要根據垃圾郵件以及正常郵件的判斷率指標驗證本論文所提供的管 理模式。而在本論文中，另一個重要的指標為是依照報酬來判斷系統的優劣，因此下圖 14 為系統過濾信件，每封信件所獲得之平均報酬之比較。

圖 14. 過濾信件得到之平均 Reward

由上圖可以得知本論文所提出的方式每封信可以得到較多的報酬，但是從數據上來 看比較之下差異不是很大，這是因為大部分（超過 90%）的信件為垃圾郵件，而只要 Miss Rate 不是差異十分大的情況下系統所得到的 Reward 就顯示不出有十分巨大的差異，不 過就實驗數據來看，本論文所提出的方式對於整個系統的判斷率以及得到的回饋確實有 所改善。

根據以上的實驗得到以下的結論，本論文所提出的方式可以在小幅度改善整體的過 濾效能情況下（不犧牲垃圾郵件之過濾能力）來大幅改善 Miss Rate。而目前對於垃圾 郵件系統的指標，在垃圾郵件比率越來越大的情況下要求大幅度的改善整體的判斷率是 無意義的，因為只要將所有的郵件都歸類到垃圾郵件，就有 90%以上的判斷率。而往後 的垃圾郵件比率將會不斷增加，因此 Miss Rate 就成為一個重要的指標。而一般要降低 Miss Rate 會將過濾的條件設定比較嚴格，但隨之而來的是整體過濾率以及垃圾郵件判 斷率會下降。因此一個好的垃圾郵件過濾系統必須在不犧牲整體判斷率的條件下降低 Miss Rate。而根據實驗顯示，本論文所提供的方式可以在小幅度改善整體的過濾效能 情況下，來大幅改善 Miss Rate。而以報酬或是成本的角度來看，實驗證明本論文所提 出的方式對系統整體效能有所改進。