• 沒有找到結果。

潛在語意分析語句摘要之可行性評估

在文檔中 摘要 (頁 61-67)

第五章 實驗結果分析與評估

第四節 潛在語意分析語句摘要之可行性評估

代表訓練集 1(亦即以 Set 2~Set 5 作為訓練集),其餘類推,Recall 代表利用原訓 練集作為測試集時所得到的召回率。

Position Positive Keyword Resemblance to Title Centrality Recall T1 0.926 0.013 0.359 0.002 0.7841 T2 0.867 0.013 0.689 0.011 0.7875 T3 0.996 0.013 0.401 0.025 0.7674 T4 0.981 0.021 0.527 0.004 0.7782 T5 0.875 0.012 0.581 0.022 0.7746

表格 14:利用基因演算法所得到的特徵權重組(不考慮負面關鍵詞)

表格 15 是經過基因演算法訓練的 Score Function (Modified+GA)與沒有經過 訓練的 Score Function (Modified)的比較。從表中可知,Modified+GA 表現比 Modified 來得好,Modified+GA 進步的幅度平均為 Modified 的 7.4%左右;由此 驗證了先前每個特徵的重要性皆不同的假設。

將基因演算法應用在訓練 Score Function 上,最大的益處在於得到的特徵權 重組合是比較適當的,可以提供研究人員了解整個訓練文件集(Training Corpus) 的特性,並當作系統參數調整的參考。當測試文件集(Test Corpus)的特性越接近 訓練文件集的特性時,將基因演算法所找出來的 Score Function 套用在測試文件 集時,我們認為亦可得到不錯的結果。

Modified Modified+GA Improvement

Set 1 0.4906 0.5556 13.2%

Set 2 0.4028 0.4790 18.9%

Set 3 0.4491 0.4604 2.5%

Set 4 0.5348 0.5376 0.5%

Set 5 0.5410 0.5655 4.5%

Average 0.4837 0.5196 7.4%

表格 15:Modified 與 Modified+GA 的實驗數據比較(不考慮負面關鍵詞)

5.4.1 實驗結果

這個實驗評估 LSA 文件摘要系統的可行性。為了與以文件集為基礎的方法 (Corpus-based Approach)作比較,同樣地,我們針對前一節中所提到的每個文件 集作評估;不同 的是,對每個集合而言, LSA 模型建構中的矩陣維度約化 (Dimension Reduction)的程度會因為文件集特性的不同而有所差異;比如說 Set 1 的最佳維度為 65%,即矩陣分解後 S 的 Rank 為 n 的話,那麼 S’的 Rank 便是 0.65*n。平均來說,這些文件集合的維度大約 64%左右可以得到不錯的摘要結果。

這一節裡,我們比較以 關鍵詞(Keyword)的向量表示法建構主題關係地圖 (Text Relationship Map) 的 方 法 (Keyword-based Text Relationship Map , 簡 稱 Keyword-based T.R.M.) [Salton97]及以 LSA 所得到的語意表示法建構主題關係地 圖的方法(LSA-based Text Relationship Map,簡稱 LSA-based T.R.M.)間的差異 性。由表格 16 中可知,LSA-based T.R.M.所得到的結果皆比 Keyword-based T.R.M.

來得好;平均來看,相對的改進的幅度大約為 12.9%左右,其中幾個集合如 Set 1,

相對改進的幅度更高達 34.8%。表格 17 中我們列出不同維度約化對於摘要結果 的影響。

LSA-based T.R.M. Keyword-based T.R.M.

Dimension Reduction Recall Recall Improvement

Set 1 0.65 0.4616 0.3425 34.8%

Set 2 0.45 0.4005 0.3817 4.5%

Set 3 0.8 0.4567 0.4469 2.2%

Set 4 0.65 0.4657 0.4276 9.6%

Set 5 0.65 0.4943 0.4201 17.7%

Average 0.64 0.4558 0.4038 12.9%

表格 16:以 LSA 與 Keyword 向量表示法來實作 Global Bushy Path [Saltoon97]摘要方法的比較

Dimension Reduction Set 1 Set 2 Set 3 Set 4 Set 5

0.05 0.4519 0.3985 0.3614 0.3044 0.3272

0.10 0.3229 0.2959 0.3690 0.2897 0.3526

0.15 0.3002 0.3581 0.3183 0.3716 0.3609

0.20 0.3144 0.3211 0.3600 0.3811 0.3810

0.25 0.3235 0.3251 0.3294 0.3761 0.3824

0.30 0.3343 0.3178 0.3663 0.4097 0.4043

0.35 0.3164 0.3842 0.3861 0.4165 0.4381

0.40 0.3911 0.3841 0.4122 0.4024 0.4441

0.45 0.4102 0.4005 0.4265 0.3773 0.4648

0.50 0.4029 0.3798 0.3985 0.4173 0.4860

0.55 0.4374 0.3557 0.3889 0.4374 0.4784

0.60 0.4236 0.3443 0.4312 0.4305 0.4737

0.65 0.4616 0.3359 0.4256 0.4657 0.4943

0.70 0.4319 0.3591 0.4512 0.4342 0.4500

0.75 0.4121 0.3541 0.4545 0.3789 0.4792

0.80 0.4273 0.3742 0.4545 0.3789 0.4792

0.85 0.4217 0.3635 0.4515 0.4073 0.4467

0.90 0.3781 0.3087 0.4313 0.3922 0.3803

0.95 0.3614 0.3705 0.4441 0.3849 0.3859

Average 0.3854 0.3543 0.4033 0.3935 0.4253

表格 17:不同的維度約化比例對摘要結果的影響

5.4.2 範例文件討論

我們分析新聞文件的摘要內容發現,LSA-based T.R.M.所得到的摘要,其所 提供的概念比 Keyword-based T.R.M.的方法所得到的摘要更具說服力,且涵蓋的 內容較為完整。我們舉以下的範例作說明,該文件的標題為「前總統夫人曾文惠 出現在台北地方法庭」,內容是有關曾文惠「八千五百萬元美金運送風波」與謝 啟大、馮滬祥以及戴錡等三人的惡意誹謗官司案。

其中,每個語句的開始會標示該語句的段落位置,如 P1S1 代表第一段第一 句。如果語句屬於人工摘要的話,語句前面會標示有 1 的符號;如果語句屬於 Keyword-based T.R.M.所生成的摘要,語句前面會標示有 2的符號;如果語句屬 於 LSA-based T.R.M.所生成的摘要,語句前面會標示有3的符號。

標題 前總統夫人曾文惠出現在台北地方法庭

內容 1,2,3<P1S1>三月四日一大早約九點出頭 ,前總統夫人曾文惠在女兒李安妮與隨扈的 護送下,出現在台北地方法庭。2,3<P1S2>在出發之前,前總統李登輝才對曾文惠表示 了精神上的完全支持,但是她還是抵擋不住硬吞下眼淚的那種心情。

1,2,3<P2S1>台灣有史以來,第一次出現前第一夫人到法院出庭的情況,曾文惠臉上

沒有面對群眾時慣有的那種溫暖笑容 ,而是勉強擠出淺淺的笑 ,低著頭快速地進入法 庭。<P2S2>只有在步出法庭時,看到熱情的支持群眾,她才露出親切溫柔的笑臉。

<P3S1>許多人都還記得 ,當然,李登輝一家人也都深深地記得 。1,3<P3S2>兩年前 總統大選後的那幾天,許多「國民黨人士 」包圍國民黨中央黨部,在民眾情緒激憤,

要求李登輝下台的時候 ,謝啟大在宣傳車上,對著底下的群眾喊著 「曾文惠帶了八千 五百萬美金逃到美國 」

<P4S1>接下來,前立委馮滬祥以及前僑務委員戴錡更召開記者會 ,提出洋洋灑灑 的「證據」,公開指稱曾文惠搭乘長榮航空,私運八千五百萬美元到美國,被美方拒絕 入境,又緊急搭華航班機運回美元,於是引來了所謂的「八千五百萬元美金運送風波」 1<P5S1>小女兒李安妮不甘曾文惠被如此惡意誹謗,建議曾文惠自訴謝啟大等三人 涉嫌誹謗,並求償三億元賠償。1,2,3<P5S2>但是,法官出身的謝啟大深闇司法,第一次 出庭就採取反擊,反控曾文惠誣告,也要求三億元賠償,並且要求曾文惠出庭,也使 得曾文惠必須在三月四日出庭應訊。

<P6S1>當天,曾文惠進入台北地院的北大門時,離開庭時間還有約半個小時 ,她 快速地走上樓梯進入休息室 ,並準時出現在位於二樓的第七法庭 。2<P6S2>經過冗長的 庭訊過程,從上午九點四十分開庭到中午一點休息,曾文惠完全沒有發言。<P6S3>經 過短暫的休息之後,曾文惠才站在法庭前接受法官的詢問 ,否認運美金赴美。

1,2<P7S1>在經過身體與精神的雙重煎熬之下 ,下午三點多 ,曾文惠終於承受不住 心裡的委屈 ,趴在桌上偷偷地落淚,並在李安妮的攙扶下暫時離開法庭。<P7S2>在庭 訊的過程中,曾文惠也不禁用紙張寫下她的心情,「上帝創造人的眼淚是流下來的 ,我 的眼淚卻是吞進去的 」

<P8S1>實際上,基於對司法的尊重 ,曾文惠與家人也完全不願意對這件官司發表 談話。<P8S2>而儘管曾文惠的高中校友鄭玉麗,曾經在二○○○ 年三月二十二日下午 打了通電話給她,並聊了將近半個小時,但基於自己沒有舉證責任的原則之下,曾文 惠也不願鄭玉麗出面作證。

1<P9S1>對曾文惠而言,這場官司是一種捍衛自己尊嚴的官司。<P9S2>看著老妻受 到這麼大的委屈,李登輝心底絕對是相當心疼的。

這個例子中,LSA-based T.R.M.所得到的召回率是 0.67 ,Keyword-based T.R.M.所得到的召回率為 0.50。造成這個差異的原因乃是 LSA-based T.R.M.選擇 P3S2,而 Keyword-based T.R.M.選擇 P6S2;直覺來看,P3S2 的重要性比 P6S2 的重要性來得高,由此可以看出 LSA-based T.R.M.比 Keyword-based T.R.M.更強 大的地方在於 LSA-based T.R.M.可以將原本隱含在語句間的語意顯現出來。

此外,我們分析 Keyword-based T.R.M.及 LSA-based T.R.M.這兩種方法所建 構出來的主題相關地圖,如表格 18;表格中第一行(Column)表示語句 Si,第二 行表示與 Si 具有連結的語句,第三行表示 Si 中的連結數目(即先前所提過的 Bushiness [Salton97])。

LSA-based T.R.M. Keyword-based T.R.M.

相關聯語句 連結數 相關聯語句 連結數

P1S1 P2S1, P5S2, P6S2, P7S1 4 P1S1, P2S1, P4S1, P5S1, P6S2, P7S1

6

P1S2 P2S1, P3S2, P7S1, P7S2 4 P1S1, P2S1, P2S2, P7S1, P7S2

5

P2S1 P1S1, P1S2, P2S2, P3S2, P4S1, P5S2, P6S1

7 P1S1, P1S2, P2S2, P5S2, P6S1

5

P2S2 P2S1 1 P1S2, P2S1, P6S1 3

P3S1 P3S2 1 P3S2 1

P3S2 P1S1, P2S1, P3S1, P4S1, P5S1, P5S2, P9S2

7 P3S1, P4S1, P5S2 3

P4S1 P2S1, P3S2, P5S2, P6S3 4 P3S2, P6S3 2 P5S1 P3S2, P5S2, P7S1 3 P1S1, P5S2, P7S1 3 P5S2 P1S1, P2S1, P3S2,

P4S1, P5S1

5 P1S1, P2S1, P3S2, P5S1 4

P6S1 P2S1, P8S2 2 P2S1, P2S2, P8S2 3 P6S2 P1S1 1 P1S1, P6S3, P7S1, P7S2 4 P6S3 P4S1, P7S1 2 P4S1, P6S2 2 P7S1 P1S1, P1S2, P5S1,

P6S3, P8S2, P9S2

6 P1S1, P1S2, P5S1, P6S2, P8S2, P9S2

6

P7S2 P1S2 1 P1S2, P6S2 2

P8S1 P9S1 1 P9S1 1

P8S2 P6S1, P7S1 2 P6S1, P7S1 2

P9S1 P8S1 1 P8S1 1

P9S2 P3S2, P7S1 2 P7S1 1

表格 18:LSA-based T.R.M.及 Keyword-based T.R.M.得到的主題相關地圖

以 P3S2 與 P4S1 來討論,Keyword-based T.R.M.計算兩者間的關聯程度為 0.0831,而 LSA-based T.R.M.得到的關聯程度則提高為 0.8604。對 Keyword-based T.R.M.而言,兩個語句間的關鍵詞重複性並不大,只有『八千五百萬』、『美金』、

『美國』與『曾文惠』等關鍵詞重複,因此算出來的關聯性並不大,但是,LSA-based T.R.M.卻可以將兩句間的關聯性提高。

綜合上述,LSA-based T.R.M.的確可得到更高的文件摘要正確率。對於每個 測試集而言,只要能夠找得到最佳的維度約化比,語句間的關聯強度分析便能夠 越正確,且可將文件內容所隱含的詞意表現出來。

實驗的結果證實,以 LSA 為核心的摘要技術不失為一種可行的方法。最後,

我們總結上述的幾個方法,將各種方法的比較結果整理於表格 19。由表中可知,

LSA-based T.R.M.的結果與 Original Corpus-based 相近,由此更可驗證 LSA 適用 於文件摘要的可行性。LSA-based T.R.M.的方法的好處在於其不像以文件集為基 礎的摘要方法(Corpus-based Approach)一樣需要經過大量文件集的學習,因此不 受限於領域(Domain)的相關性。最後,附錄一展示我們的所實作的系統,附錄二 中列出幾篇範例文章及其摘要作為參考。

Set 1 Set 2 Set 3 Set 4 Set 5 Average Original Corpus-based 0.4647 0.3799 0.4191 0.5142 0.5149 0.4586 Our Modified Corpus-based 0.4906 0.4028 0.4491 0.5348 0.5410 0.4837 Our Modified Corpus-based+GA 0.5556 0.4790 0.4604 0.5376 0.5655 0.5196 Keyword-based T.R.M. 0.3425 0.3817 0.4469 0.4276 0.4201 0.4038 Our LSA-based T.R.M. 0.4616 0.4005 0.4567 0.4657 0.4943 0.4558

表格 19:各種摘要方法的綜合比較

在文檔中 摘要 (頁 61-67)