4. 摘錄式語音文件摘要使用機率生成式摘要模型

4. 摘錄式語音文件摘要使用機率生成式摘要模型

本論文探討研究機率生成式模型於摘錄式語音文件摘要之研究，提出使用關聯性 模型來提昇隱藏式馬可夫摘要模型(HMM)的摘要正確率；另一方面，也提出以 詞層次主題混合摘要模型來摘錄文件中重要的文句。本章前三個小節中，將詳細 的說明與介紹機率生成模型的概念及本論文所提出的摘要方法；此外，我們亦於 第四小節中嘗試結合各種有利於選取重要文句的摘要特徵，作為文句的事前資訊 (事前機率，Prior Probability)，例如辨識信心度、聲學特徵、語言學特徵及文章 結構(文句位置)，研究文句事前機率值的估測對於摘要結果的影響。

4.1 機率生成模型

在本論文中，吾人將摘錄式摘要視為一個“文句重要性排序”的問題，希望依序選 出最能表達整篇文件主題或概念的文句。因此，我們以最大事後機率(Maximum A Posteriori Probability, MAP)法則為基礎，首先提出以機率生成模型的方式來表示 文句與文件之間的關係。當給一篇欲摘要之文件 D 時，希望找出與文件 D 最為 相似的文句 S ，可以下面的式子來表示： _i

( ) ^{S D}

P _i

S _i

max

arg (4-1)

透過貝式定理(Bayes’ rule)轉換，式(4.1)可表示為：

( ) ( ) ( ) ( ) D P

S P S D D P

S

P ^{i i}

S i

S _{i i}

max arg max

arg = (4-2)

由於在排序時文件機率 ^P ( ) ^{D 對文件中所有文句} S 的影響均是相同的，可將其忽 i

略不看，故式(4-2)可進一步表示成：

( ) ( ) _i ( ) _i

S i

S

S P S D P D

S P

i i

max arg max

arg = (4-3)

其中機率值 P ( ) D S i 為文句 S 生成文件 _i D 的可能性(Likelihood)； P ( ) S i 為文句 S 本 _i 身的事前機率(Prior Probability)，我們可簡單地假設其為一致性分佈，使每一文 句 S 的事前機率相同，亦可經由文句本身的語言學分數、重要性分數、文章結構 _i 或是聲學特徵給予不同的機率分佈。

下面各小節中，將闡述本論文中提出的關聯性模型以及詞層次主題混合摘要 模型。

4.2 關聯性模型與隱藏式馬可夫模型

4.2.1 背景簡介：關聯性模型(Relevance Model)

關聯性模型是由 Lavrenko 與 Croft 所提出並應用於文字文件之資訊檢索[Lavrenko and Croft 2001; Croft and Lafferty 2003]。資訊檢索是根據使用者所下的查詢 (Query)，從大量文件集中找出與查詢相關的文件子集合回傳給使用者，以幫助 使用者快速、正確地找到所需資訊。通常，資訊檢索可視為文件集中每一文件與 查詢之間相關程度排名的問題，當文件的主題、內容與使用者查詢的越相關(相 似)，則相關性排名越前面[Chen et al. 2005]。但是，對於如何正確地的估測文件 集中每一文件與查詢之間的相關度，尚存在著某種程度上的困難。一般來說，使 用者所下的查詢大多為簡短的關鍵詞、片詞或是文句，鮮少會完整或詳盡地描述 問題，這可能是因為使用者不知道該如何定義問題，亦可能因使用者沒有充裕的 時間或不想太費心思。因此，若僅以這樣有限的線索(使用者查詢)，希望正確地 找出最相關的文件內容，可能會因同義字及問題定義不明確而發生語意或主題上 的混淆，無法找到最相關資訊。

Lavrenko 與 Croft 二位學者提出關聯性模型，透過建立與查詢有關的”關聯”

分佈來彌補查詢內容的不足，強健使用者查詢的內容，以正確找出相關文件。如

此，當欲檢索與查詢相關的文件時，不再侷限於查詢本身的資訊，而以代表查詢

內容分佈的關聯性模型(Relevance Model)，來評估文件與查詢間的相關程度 [Lavrenko and Croft 2001; Croft and Lafferty 2003]。

然而，該如何定義與建立關聯性模型呢？通常，建立關聯性模型需有與使用 查詢相關的資訊、文件，例如與查詢相關的相關文件子集(Relevant Document Subset)，才能正確的估測查詢的機率分佈。但是，這樣的相關資訊，通常需經由 人工標註(Tagging or Labeling)或使用者回饋(User Feedback)才能取得。然而，相 關文件集的標註是費時、費力又高成本的，而透過與使用者互動所取得的資訊(使 用者回饋)品質不一，其中可能含有主觀與可靠度的因素，同時亦增加使用者的 負擔與時間。因此，相關文件集的取得並不容易。

「局部性回饋(Local Feedback)」[Baeza-Yates and Ribeiro-Neto 1999]技術可 被使用來建立關聯性模型。由於與查詢相關的文件集取得不易，因此需要透過自 動的方式來取得相關的資訊，而局部性回饋是最為常見的方法之一。其作法為利 用使用者所下的查詢先對一個大的文件集進行初步的文件檢索，找出與查詢最為 相關的文件子集。如此，便可獲得與查詢最相關的前 L 篇文件作為查詢的相關文 件子集。接著，透過這些相關文件子集，用來建立查詢的關聯性模型：

∑ =

= ^L

l

l l

R P D R P w D

M w P

1

)

| ( )

| ( )

|

( (4-4) 其中 P ( w | M _R ) 為詞 w 於關聯模型( M _R )中的機率分佈，表示相關文件子集中詞 w 的發生機率； L 為檢索系統所回傳的相關文件數；機率值 P ( D _l | R ) 表示第 l 篇相 關文件於相關文件子集 R 中的分佈機率值；機率值 P ( w | D _l ) 為第 l 篇相關文件中 詞 w 的機率分佈值，通常每一文件 D 可表示成一個多項式模型(Multinomial _l Model)，用以描述每一個詞 w 於文件 D 中的機率分佈。如此，文件 _l D 件的可能 _l 性(Likelihood)定義如下：

∏ ∈

=

l

l

D w

w D l

l P w D

D

L ( ) ( | ) ^{( )} (4-5)

其中， D _l (w ) 為詞 w 在文件 D 中出現的次數。機率值 _l P ( w | D _l ) 的估測可以最大相

似度估測法(Maximum Likelihood Estimation, MLE)來計算：

l l

l D

w D D

w

P ( )

)

|

( = (4-6)

D l 表示文件 D 的長度，可表示為： _l

∑ ∈

=

l

n D

w

n l

l D w

D ( ) (4-7) 最後，進一步的檢索結果可透過所建立的關聯性模型來找出與查詢最相關的文件 集，亦可用於調適(Adapt)原來的查詢模型(Query Model)，以彌補原查詢分佈估 測的不足，或是利用相關文件集的資訊進行查詢擴增(Query Expansion)。

4.2.2 使用關聯性模型提昇文句估測

如論文中 2.3.3 小節所提，隱藏式馬可夫摘要模型將欲摘要文件 D 中每一文句 S _i 視為一個機率生成模型(HMM)，其中包含二個 N-連詞機率分佈－文句模型 (Sentence Model)與文件集模型(Collection Model)。在使用單連詞(Unigram)機率分 佈情況下可表示成：

^{( | )} [ ^{( | ) ( 1 ) ( | )} ] ^{n ( w , D )}

D w

i

i P w S P w C

S D

P ∏

∈

⋅

− +

⋅

= λ λ (4-8)

( w D )

n , 為詞 w 於 D 出現的次數，λ 是權重參數(Weighting Parameter)， P ( w _i | S _i ) 為 文句 S 產生詞 _i w 的機率值。 P ( w | C ) 為詞 w 在整個文件集(或語料)發生的機率，

用來平滑化(Smooth) 詞 w 於文句 S 發生的機率，同時表示詞 _i w 在語言裡的統計 資訊。重要文句的選取以其生成文件 D 中所有的詞 w 的可能性(Likelihood)乘積 來決定。本論文中所探討的隱藏式馬可夫模型皆採用單連詞機率分佈。

在隱藏式馬可夫模型中，文句模型與文件集模型的機率分佈皆可使用最大相 似度估測法估測。例如機率 P ( w | S _i ) 的計算方式可表示如下：

i i

i S

w S S

w

P ( )

)

|

( = (4-9)

其中 S _i (w ) 表示詞 w 在文句 S 出現的次數； _i S _i 為文句 S 的長度。由式(4-9)可看出 _i

文句 S 中詞 _i w 的機率分佈是由詞 w 於文句出現的次數來估測。但是，在文件中通

圖 4.1 每一文句的機率生成模型及關聯性模型示意圖

常每一文句都為簡短的詞串，僅包含少量的文字內容與資訊，每一個詞可能最多 僅出現一次，造成文句 S 的機率模型估測不夠健全與可靠，使得所估測之文句模 _i 型無法表示文句“真正”的文句模型(True Sentence Model)。因此，我們希望提昇 對文句模型估測的精確性，正確地表示每一索引於於文句 S 中的分佈機率值，以 _i 提高文句 S 生成文件可能性的估測，提昇自動語音文件摘要的正確率。 _i

在本論文中，吾人將關聯性模型(Relevnace Model)延伸應用於自動語音文件 摘要，以改善因文句的內容簡短與資料量的不足，造成文句模型估測的偏差及無 法精確地計算文件與文句間的相似度。我們將每一文句 S 的關聯性模型視為文句 _i 模型參數的事前機率(Prior Probability)分佈，用來調適原來僅使用最大相似度估 測法所估測的文句機率模型，提高對於文句 S 機率模型分佈的估測可靠性。希望 _i 當使用隱藏式馬可夫摘要模型進行文件摘要時，藉由透過每一文句所對應的關聯 性模型的調適，帶來更多相關的資訊以彌補文句資訊量的不足，對於文句模型的 機率分佈的估測能夠更精確及可靠。

每一文句 S 所對應之關聯性模型的建立，通常需取得與文句 _i S 相關的文件 _i 集資訊。但是，在實際應用中並沒有這樣的資訊可以運用。因此，我們採用局部 性回饋技術自動地建立每一文句所關聯性模型。如圖 4.1 所示。首先，我們將摘

Sentence

M

S 1

M

D 1

D 2

D n

IR System

General Text News Collection

Retrieved Relevant Documents

of S _i S _i ’s HMM

Model

S _i,g ’s RM Model Sentence S i

Sentence S N i

Document Likelihood )

|

( _i

HMM D S P

Spoken Documents to be Summarized

Contemporary Text News Collection

S i

D

要文件中每一文句 S 視為一個查詢，作為資訊檢索系統的輸入，接著經由資訊檢 _i 索系統對於與摘要文件同一時期的文件集進行檢索後，找出與文句 S 最相關的前 _i L 篇文件，視為相關的文件集；然後，利用此相關文件集來建立文句 S 的關聯性 _i 模型，並用於調適原文句 S 模型的機率分佈。每一文句 _i S 所對應的關聯性模型 _i 可以下面公式近似求得表示：

∑ =

= ^L

l

l i

l

S P D S P w D

R w P i

1

)

| ( )

| ( )

|

( (4-10) )

| ( w R S i

P 為詞 w 於文句 S 所對應的關聯性模型( _i

S i

R )中的分怖機率值； L 為檢索 系統所回傳的相關文件數； P ( w | D _l ) 為第 l 篇相關文件中詞 w 的機率分佈，計算 方式如式(4-6)所示； P ( D _l | S _i ) 表示文句 S 生成第 _i l 篇相關文件的可能性，可透過 貝式定理(Bayes’ rule)表示成：

∑ =

=

= _L

j i j j

l l i

i l l i i

l P S D P D

D P D S P S

P

D P D S S P

D P

1 ( | ) ( )

) ( )

| ( )

(

) ( )

| ) (

|

( (4-11)

如假設文件 D 的事前機率為一致性分怖，式(4-11)可化簡為： _l

∑ =

= _L

j i l

l i i

l P S D

D S S P

D P

1 ( | )

)

| ) (

|

( (4-12)

)

| ( D _l S _i

P 可視為一個權重值，表示文件 D 對於文句 _l S 的重要性。若檢索系統是 _i 採用機率生成模型(例如，隱藏式馬可夫模型)進行文件的檢索， P ( D _l | S _i ) 則可 直接由檢索系統的輸出結果取得。

本論文將每一文句 S 所對應的關聯性模型視為文句 _i S 模型參數的事前機率 _i 分佈，以狄利克雷分佈(Dirichlet Distribution)表示，經調適後之文句 S 模型的機 _i 率分佈如下所示：

∑ = +

= ^L +

l i

l i

i l

i S m

D w mP w S S

D P S

w P

1

* ( ) ( | )

)

| ( )

|

( (4-13)

其中，關聯性模型為狄利克雷混合分佈(Dirichlet Mixtures Distribution)，表示文

句 S 多項式分佈模型參數的事前機率分佈。 _i m 為等量取樣大小(Equivalent Sample

Size)，通常 m 值的估測採經驗法則，不同論文中設定不一，太多介於 500~3000

之間。式(4-13)，經由下面的公式推導，可看出文句模型與關聯生模型的線性插 補 法 (Linear Interpolation) 公 式 其 實 為 狄 利 克 雷 混 合 分 佈 的 一 個 特 例 (Special Case)：

( ) _⎟ ^⎟

⎠

⎞

⎜ ⎜

⎝

⎛

− +

=

⋅

− +

⋅

=

+ ⋅

⎟ +

⎟

⎠

⎞

⎜ ⎜

⎝

⎛

− +

=

+ ⋅

⎥ +

⎥ ⎦

⎤

⎢ ⎢

⎣

⎡

= +

+ +

⎥ ⎥

⎦

⎤

⎢ ⎢

⎣

⎡

= +

⎥ ⎥

⎦

⎤

⎢ ⎢

⎣

⎡ + +

⎥ ⎥

⎦

⎤

⎢ ⎢

⎣

⎡

= +

+

= +

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

m S S S

w P D

w P S D P

S w m P S

S m

S D S

w P S D P

S w S m S

S m

S D m w P S D P

m S

w S m

S D w S mP D P

m S

w S S

D m P

S D w S mP D P

m S

D w mP w S S

D P S

w P

i i i

L l

l i

l

i i

i i

L i l

l i

l

i i i

i i

L l

l i

l

i i L

l i

i l l

L

l i

i i l L

l i

i l l L

l i

l i i

l i

1 here w )

| ( 1

)

| ( )

| (

)

| ( 1

)

| ( )

| (

) ) (

| ( )

| (

) ( )

| ) (

| (

) ) (

| ) (

| ) (

| (

)

| ( ) ) (

| ( )

| (

1 1

1 1

1 1

1

*

α α

α

(4-14) 在本論文的實驗中，由於 m 值的範圍很大(1~∞)，為了參數調整的方便，我們在 下面有關於關聯性模型於文句模型調適的實驗裡，皆以調動參數 α 為主。最後，

文句 S 的隱藏式馬可夫摘要模型，由調適後之文句模型及集合模型所組成，估測 _i 每一文句 S 生成文件的可能性 _i D ：

[ ^{* ( | ) ( 1 ) ( | )} ] ^{( , )}

)

|

( ^{n w D}

D w

i

i P w S P w C

S D

P ∏

∈

⋅

− +

⋅

= λ λ (4-15) 直觀來看，由每一文句所對應的關聯性模型分佈，可有以下二點觀察：

1. 當語音文件中文句 S 的內容包含有較重要概念或豐富資訊內容時，其所 _i

對應的關聯性模型分佈亂度(Entropy)較小且資訊較集中，對於概念或主

題上不相關詞，機率值亦相對較小。同時越能代表文句本身的機率分

佈。如此，可簡單的由關聯性分佈來看出文句 S 內容是否較具鑑別力及 _i

內容獨特性。

2. 反之，若文件中某一文句 S 的內容過於簡短，或是內容無意義或不具代 _i 表性，其所對應的關聯性模型的機率分佈亂度較大，不相主題與概念的 詞於分佈中機率值會無明顯差異，則當此文句被視為查詢進行檢索時，

檢索系統將會找到許多主題不相關文件。如此，亦表示關聯性模型對於 文句模型的調適，將會把此文句模型機率分佈的估測偏差變得更大；這 也代表此文句對於文件的發生可能性會降低，以結果來說，似乎可達到 我們預期的目的。

從初步實驗結果來觀察，當文句愈具代表性，所對應的關聯性模型對於文句模型 的調適亦愈有正向的貢獻；反之，當所對應的關聯性模型可能因文句本身內容無 重要的資訊，而無法對文句分佈有一個好的估測，在文句模型的摘適將會帶來負 向的貢獻。

4.2.3 關聯性模型於文句模型調適之實驗結果

本論文分別採用二種測試語料來觀察吾人所提之方法在摘錄式摘要的表現。同 時，使用二種評估方法來進行實驗的分析與討論，評估方法的設定與基礎實驗相 同。如此，我們可觀察關聯性模型於文句模型調適，在二種不同測試語料與評估 方法下的結果，並且驗證所提之方法有助於語音文件摘要結果的提昇。以下實驗 我們希望達到：

1. 加入關聯性模型於文句模型之調適，可以提昇原 HMM 的摘要結果，因 此在摘要正確率上，本實驗結果應較原 HMM 來得高。

2. 加入關聯性模型於文句模型之調適，可以提昇機率式摘要模型的摘要正 確率，也就是本實驗結果應較論文中的基礎實驗結果好。

下面，分別呈現在不用的測試語料、評估方法下，關聯性模型的調適於人工

轉寫文件與自動轉寫文件摘要上的實驗結果，其中隱藏式馬可夫模型參數 λ 於

DataSet1 設定為 0.05，於 DataSet2 設定為 0.01，與基礎實驗設定相同。第三章基 礎實驗中的隱藏式馬可夫模型結果，為本實驗的基礎實驗(Baseline)，觀察關聯 性模型的調適是否可有效提昇隱藏式馬可夫模型的摘要結果；然後，再將最後的 參數設定之摘要結果，與基礎實驗中各種摘要方法的摘要正確率比較。

測試語料 DataSet1 實驗結果：

在本實驗中，我們有三個主要的參數需要作設定與調整：式(2-10)中參數 L 、式 (2-14) 中參數 α 值、及檢索系統的搜尋範圍(Search Range)設定。其中，α 值是 用來平衡每一文句的關聯性模型與原文句模型機率分佈的權重值。L 值是用來決 定建立關聯性模型的文件數， L 值設定越大，表示關聯性模型中可能包含有更多 與文句相關的資訊，但是相對地也可能表示關聯性模型中帶有更多雜訊，會為文 句模型帶來混淆的資訊內容，因此，我們觀察不同 L 值設定下的實驗結果。搜尋 範圍設定是用來限制檢索系統對檢索文件集的搜尋範圍；也就是說，對於每一篇 語音新聞文件中的每一文句，我們對整個文字文件訓練語料集中所有文件進行檢 索，而是只考慮檢索文字文件集訓練集中，與此新聞事件(文件)發生日期的同一 天與發生前幾 Dy 天的新聞文件。因此，搜尋範圍設定即是決定要搜尋文字文件 訓練集中，與每一篇文件發生日期同一天及前幾天中的所有文件，進行檢索並回 傳相關文件。這樣做的目的為：

1. 整個文字文件訓練集包含有大量文件數，直接對文字文件集進行檢索，

可能會造成摘要系統的效率不佳，我們希望加入關聯性模型的調適並不會增加系 統太大的負擔；

2. 在實際且線上即時系統的應用上，當給定一篇欲摘要的新聞文件，我們 可以取得的相關資訊(由網路上或是過去收集的資料庫中)只有過去已發生的新 聞事件內容，並沒有得到未來的新聞事件。因為一個新聞事件通常會持續一段時 間，所以從過去幾天的新聞中所找到相關的資訊，可以作為每一文句的關聯性模 型一個很好的估測資訊。

下面實驗我們將觀察在發展集每一參數於不同設定下，摘要的結果，同時嘗

試找出一組最好的實驗設定，得到最佳的摘要正確率。最後，我們將相同的實驗 設定在測試集中進行觀察與分析。本實驗中，為了增加每一文句所對應的關聯性 模型的正確性，檢索系統採用雙音節(Bi-Syllables)為索引進行檢索。

討論參數α 值設定：

我們先以檢索系統搜尋每一篇摘要文件中，與每一文句相關的前五篇文件 ( L =5)來建立關聯性模型，搜尋範圍 Dy 設為 5，作為初步的實驗設定。然後，

觀察不同的α 值下之摘要結果。表 4.1 為 DataSet1 發展集中，人工轉寫文件 分別在餘弦評估及 Rouge-2 評估下的結果。表中每一行表示在 α 值為 0、

0.1、…、1.0 時，不同摘要比例下的摘要正確率。若 α =0 代表原來隱藏式馬 可夫模型的結果， α =1 代表僅使用每一文句的關聯性模型進行文件摘要處 理。

由表 4.1 的結果來看，在 α 值介於 0.1~1.0 的設定中，二種評估方法結 果均顯示出當α =0.1 時，有最好的摘要結果；同時，正確率於摘要比例 20%、

30%、70%下，皆較原來隱藏式馬可夫模型的結果好。特別是在 Rouge-2 評 估下摘要比例 30%時，有 20%以上的進步。經由初步的實驗結果，可以證 明所提的方法可能是有用的，雖然結果於摘要比例 10%時卻有明顯地下降。

表 4.2 為 DataSet1 發展集中，自動轉寫文件分別在餘弦評估及 Rouge-2 評估下的結果。表中每一行分別表示在不同 α 值設定時，不同摘要比例下的 摘要正確率。同樣地， α =0 代表原來隱藏式馬可夫模型的結果，α =1 為 只使用關聯性模型進行文件摘要處理的結果。由表 4.2 我們可以觀察出不同 α 值設定，α 值介於 0.1~1.0 的設定中，當α =0.1 時有最好的摘要結果，而 且隨著α 值的遞增，不同摘要比例下的正確率有遞減的情形，與人工轉寫文 件有一致性的結果。當α =0.1 時，在餘弦評估的結果中，摘要比例 30%、

40%、50%時正確率有些微的提昇，然而 Rouge-2 評估結果中，在摘要比例 10%、20%、30%、70%下正確率都有小幅度的進步。

雖然，於表 4.1 與 4.2 結果中關聯性模型於原文句模型的調適結果，對

於正確率的提昇並不明顯。但是，由初步結果可以觀聺出關聯性模型於隱藏 式馬可夫模型上的應用，正確率確實有些微進步，對隱藏式馬可夫模型的摘 要結果帶來某種程度上的提昇。

表 4.1 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ α 值分析 (人工轉寫文件)

表 4.2 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ α 值分析(自動轉寫文件)

Cosine 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.4203 0.4073 0.4031 0.4016 0.4002 0.3933 0.3886 0.3871 0.3733 0.3361 0.3030 20% 0.4657 0.4663 0.4640 0.4661 0.4566 0.4607 0.4580 0.4538 0.4353 0.3992 0.3752 30% 0.5178 0.5293 0.5205 0.5234 0.5191 0.5119 0.5082 0.5130 0.5073 0.4935 0.4640 50% 0.6271 0.6257 0.6235 0.6202 0.6200 0.6184 0.6162 0.6135 0.6165 0.6068 0.5864 70% 0.6996 0.7025 0.6999 0.6974 0.6947 0.6946 0.6948 0.6942 0.6947 0.6926 0.6729

Rouge-2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.4157 0.4064 0.3920 0.3860 0.3739 0.3719 0.3648 0.3615 0.3351 0.2911 0.2655 20% 0.4591 0.4628 0.4556 0.4599 0.4380 0.4443 0.4337 0.4242 0.3911 0.3508 0.3425 30% 0.4947 0.5202 0.5030 0.5112 0.5011 0.4926 0.4863 0.4920 0.4745 0.4590 0.4190 50% 0.6527 0.6511 0.6470 0.6336 0.6294 0.6290 0.6291 0.6261 0.6290 0.6107 0.5761 70% 0.7845 0.7857 0.7806 0.7710 0.7631 0.7608 0.7572 0.7539 0.7519 0.7409 0.6995

Cosine 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.3415 0.3330 0.3149 0.3246 0.3246 0.3204 0.3161 0.3163 0.3070 0.2945 0.2666 20% 0.3789 0.3788 0.3646 0.3661 0.3624 0.3617 0.3573 0.3544 0.3474 0.3309 0.3186 30% 0.4281 0.4338 0.4176 0.4163 0.4131 0.4057 0.3985 0.3965 0.3950 0.3883 0.3812 50% 0.5159 0.5182 0.5165 0.5136 0.5126 0.5085 0.5095 0.5101 0.5061 0.5078 0.4958 70% 0.5847 0.5872 0.5868 0.5877 0.5883 0.5877 0.5868 0.5857 0.5823 0.5824 0.5687

Rouge-2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.3084 0.3131 0.2890 0.3035 0.3035 0.2928 0.2904 0.2865 0.2777 0.2578 0.2207

20% 0.3467 0.3531 0.3376 0.3368 0.3329 0.3282 0.3254 0.3200 0.3155 0.2958 0.2738

30% 0.3734 0.3846 0.3591 0.3548 0.3509 0.3367 0.3268 0.3184 0.3234 0.3225 0.3109

50% 0.4768 0.4750 0.4765 0.4698 0.4684 0.4601 0.4563 0.4520 0.4392 0.4415 0.4188

70% 0.5631 0.5661 0.5656 0.5644 0.5653 0.5630 0.5596 0.5556 0.5509 0.5453 0.5185

表 4.3 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ Dy 值分析(人工轉寫文件)

Cosine Baseline 5 10 15 20 25 30

10% 0.4203 0.4073 0.4163 0.4155 0.4151 0.4189 0.4230 20% 0.4657 0.4663 0.4709 0.4681 0.4677 0.4716 0.4716 30% 0.5178 0.5293 0.5347 0.5341 0.5340 0.5342 0.5334 50% 0.6271 0.6257 0.6278 0.6270 0.6267 0.6247 0.6248 70% 0.6996 0.7025 0.7022 0.7041 0.7042 0.7022 0.7016

Rouge-2 Baseline 5 10 15 20 25 30

10% 0.4157 0.4064 0.4234 0.4187 0.4175 0.4224 0.4313 20% 0.4591 0.4628 0.4692 0.4646 0.4634 0.4683 0.4683 30% 0.4947 0.5202 0.5307 0.5272 0.5276 0.5284 0.5280 50% 0.6527 0.6511 0.6539 0.6534 0.6512 0.6434 0.6444 70% 0.7845 0.7857 0.7838 0.7880 0.7869 0.7858 0.7861

¾ 參數 Dy 值設定：

延續前面的實驗，我們想要進一步探討不同的檢索範圍，對於關聯性模型 結果的影響；也就是研究檢索系統所搜尋的文件數量大小，於關聯性模型 實驗中的正確率結果。同樣地，我們仍以檢索系統所回傳的前五篇文件 ( L =5)，來建立關聯性模型，但是檢索的範圍 Dy 值嘗試採用 5、10、15、

20、25、30 等設定。結果如表 4.3、表 4.4 所示，其中α 值設定為 0.1。

表 4.3、表 4.4 分別為發展集中，人工轉寫文件與自動轉寫文件在不同 Dy 值的結果；表格上半部分為餘弦評估結果，下半部分為 Rouge-2 評估 結果。首先，由人工轉寫文件的結果來觀察(表 4.3)，可以發現於摘要比例 10%s 時，摘要正確率與 Dy 的值呈現出某種程度上的線性關係，也就是說 當 Dy 增加正確率亦有些微的提昇。但是，於其他摘要比例下就無此一線 性關係存在。餘弦評估結果中，不同 Dy 設定為何，在摘要比例為 20%、

30%及 70%時，正確率皆有小幅度的進步；而當 Dy =30 時，低摘要比例

10%的正確率亦有所進步。Rouge-2 評估的結果中，除了於摘要比例 50%

下部分的摘要結果有些微的下降外，其他摘要比例結果在不同 Dy 值設定 下，均有明顯的提昇；當摘要比例為 30%時，甚至有 2~3%的絕對進步。

表 4.4 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ Dy 值分析(自動轉寫文件)

Cosine Baseline 5 10 15 20 25 30

10% 0.3415 0.3330 0.3369 0.3375 0.3375 0.3375 0.3370 20% 0.3789 0.3788 0.3787 0.3787 0.3787 0.3787 0.3771 30% 0.4281 0.4338 0.4327 0.4322 0.4322 0.4322 0.4301 50% 0.5159 0.5182 0.5196 0.5201 0.5194 0.5192 0.5190 70% 0.5847 0.5872 0.5881 0.5880 0.5890 0.5904 0.5888

Rouge-2 Baseline 5 10 15 20 25 30

10% 0.3084 0.3131 0.3180 0.3208 0.3208 0.3208 0.3224 20% 0.3467 0.3531 0.3549 0.3549 0.3549 0.3549 0.3550 30% 0.3734 0.3846 0.3838 0.3827 0.3827 0.3827 0.3842 50% 0.4768 0.4750 0.4774 0.4778 0.4769 0.4768 0.4769 70% 0.5631 0.5661 0.5673 0.5667 0.5686 0.5702 0.5701

接著，由表 4.4 實驗結果中，可以看出關聯性模型對於自動轉寫文件 文句模型調適的結果。餘弦評估結果顯示在摘要比例 30%、50%及 70%時，

正確率在不同 Dy 設定值下皆有進步，但是於低摘要比時 10%正確率是下 降的。然而，從 Rouge-2 評估的結果，我們可以發現無論是在低摘要比例 或是高摘要比例下，正確率均有所進步，特別是在摘要比例 10%、20%、

30%時，正確率均有 0.5%～1.4%的絕對進步。

這部分的實驗結果顯示不同 Dy 值的設定對於正確率的影響並不會太

大，但是 Dy 值設定為 30 似乎有最佳的結果。在 Rouge-2 評估結果中，實

驗結果皆呈現出所提之方法有不錯的進步；而在餘弦評估中，部分結果顯

示出小幅度的進步。

¾ 參數 L 值設定：

接下來的實驗，我們分析建立關聯性模型所使用的文件數 L ，對於摘要正 確率的影響。實驗中，α 值設定為 0.1， Dy 值為 30。實驗結果如表 4.5、

表 4.6 所示，我們很驚訝地發現在不同文件數 L 設定值下的摘要結果很相 似，尤其當摘要比例越低時，不同文件數 L 的結果是相同的。這樣的實驗 結果，讓我們重新思考實驗中的每一個環節，尋找合理的理由來解釋這個 現象。我們發現可能的原因為：

1. 公式(4-10)中，機率值 P ( D _l | S _i ) 的影響。當機率值 P ( D _l | S _i ) 對式(4-10) 的機率值 ( | )

S i

R w

P 影響很大時，若所回傳的相關文件中，相關性排名越前 面的機率值 P ( D _l | S _i ) 很大，而越後面的相關性文件之機率值 P ( D _l | S _i ) 很 小，那麼關聯性模型中機率值 ( | )

S i

R w

P 便會受最前面幾篇相關文件的影響 很大，不論 L 值設定為多少，關聯性模型中詞的機率分佈只會被少數相關 文件所支配(Dominate)。

表 4.5 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ L 值分析(人工轉寫文件)

Cosine L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4230 0.4230 0.4230 0.4230 0.4230 0.4229 20% 0.4716 0.4716 0.4716 0.4716 0.4716 0.4716 30% 0.5334 0.5334 0.5334 0.5334 0.5334 0.5334 50% 0.6248 0.6248 0.6248 0.6248 0.6248 0.6248 70% 0.7016 0.7018 0.7020 0.7021 0.7021 0.7021

Rouge-2 L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4313 0.4313 0.4313 0.4313 0.4313 0.4313

20% 0.4683 0.4683 0.4683 0.4683 0.4683 0.4683

30% 0.5280 0.5280 0.5284 0.5280 0.5280 0.5280

50% 0.6444 0.6447 0.6447 0.6447 0.6447 0.6447

70% 0.7861 0.7868 0.7869 0.7867 0.7867 0.7867

表 4.6 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ L 值分析(自動轉寫文件)

Cosine L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3370 0.3370 0.3370 0.3370 0.3370 0.3370 20% 0.3771 0.3771 0.3771 0.3771 0.3771 0.3771 30% 0.4301 0.4301 0.4301 0.4301 0.4301 0.4301 50% 0.5190 0.5181 0.5181 0.5181 0.5173 0.5173 70% 0.5888 0.5887 0.5887 0.5887 0.5887 0.5887

Rouge-2 L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3224 0.3224 0.3224 0.3224 0.3224 0.3224 20% 0.3550 0.3550 0.3550 0.3550 0.3550 0.3550 30% 0.3842 0.3842 0.3842 0.3842 0.3842 0.3842 50% 0.4769 0.4759 0.4759 0.4759 0.4756 0.4756 70% 0.5701 0.5703 0.5703 0.5703 0.5703 0.5703

2. 若所回傳的 30 篇相關文件資訊很集中，不會因為文件數多而造成所 建立的關聯性模型包含太多雜訊，而使正確率下降的情況下，可能會發生 此情形。

因此，針對上述原因 1，我們嘗試減少機率值 P ( D _l | S _i ) 對關聯性模型 的影響，對機率值 P ( D _l | S _i ) 加上一個次方項，重新進行實驗分析。表 4.7 與表 4.8 為機率值 P ( D _l | S _i ) 開 0.01 次方後的結果。由表 4.7 結果可以看出 在不同 L 值設定下之摘要結果有較明顯的不同，但是結果均較表 4.5 中的 結果較差。因此，對於人工轉寫文件而言，機率值 P ( D _l | S _i ) 的次方項設定 為 1 會有較佳的結果；同時與第三章所列之所有摘要方法結果比較，於餘 弦評估結果中，摘要比例 20%、30%的結果較好，於 Rouge-2 評估結果中，

不同摘要比例的結果皆較所有基礎實驗方法好。表 4.7 結果顯示於餘弦評

估結果中，當 L 值為 30 時於低摘要比例 10%、20%下較基礎實驗隱藏式馬

可夫模型的結果好，於 Rouge-2 評估結果中，不同的 L 值設定下於摘要比

例 10%、20%、30%時較基礎實驗隱藏式馬可夫模型的結果好，並且於 L 值 為 30 時摘要比例 10%、20%的結果較第三章中所有摘要方法結果好。比較 表 4.6 與表 4.8 的結果，可以看出於自動轉寫文件結果中，當機率值

)

| ( D _l S _i

P 的次方項設定為 0.01 時有更高的正確率，同時於餘弦評估方法下 低摘要比例 10%、20%均較基礎實驗隱藏式馬可夫模型的結果好，並且當 L 值為 30 時摘要比例 10%、20%及 30%的結果較第三章中所有摘要方法結果 好；於 Rouge-2 評估不同 L 值設定結果中皆較第三章中所有摘要方法結果 好。

在 DataSet1 發展集所進行的實驗中，我們嘗試了三種參數的調整，並且試 著分析實驗結果。然而，對於影響正確率的因素還有許多，例如上面所提到的機 率值 P ( D _l | S _i ) 設定問題。最後，我們使用與發展集實驗相同的實驗設定於測試

表 4.7 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－

調整機率值 P ( D _l | S _i ) 次方項 (人工轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4203 0.4195 0.4180 0.4180 0.4189 0.4193 0.4216 20% 0.4657 0.4723 0.4661 0.4701 0.4709 0.4714 0.4714 30% 0.5178 0.5283 0.5159 0.5175 0.5174 0.5191 0.5175 50% 0.6271 0.6282 0.6268 0.6276 0.6275 0.6271 0.6263 70% 0.6996 0.7006 0.7002 0.7002 0.7016 0.7012 0.7008

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4157 0.4159 0.4195 0.4195 0.4233 0.4233 0.4261

20% 0.4591 0.4678 0.4649 0.4688 0.4726 0.4726 0.4726

30% 0.4947 0.5127 0.4974 0.5045 0.4992 0.5013 0.4984

50% 0.6527 0.6515 0.6479 0.6457 0.6452 0.6459 0.6456

70% 0.7845 0.7836 0.7847 0.7841 0.7841 0.7847 0.7846

表 4.8 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－

調整機率值 P ( D _l | S _i ) 次方項 (自動轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3415 0.3465 0.3511 0.3477 0.3459 0.3459 0.3462 20% 0.3789 0.3837 0.3872 0.3827 0.3827 0.3823 0.3826 30% 0.4281 0.4253 0.4289 0.4227 0.4255 0.4296 0.4307 50% 0.5159 0.5188 0.5165 0.5169 0.5168 0.5166 0.5171 70% 0.5847 0.5877 0.5855 0.5850 0.5847 0.5847 0.5849

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3084 0.3369 0.3377 0.3231 0.3179 0.3179 0.3165 20% 0.3467 0.3757 0.3667 0.3527 0.3527 0.3526 0.3512 30% 0.3734 0.3725 0.3757 0.3614 0.3682 0.3745 0.3753 50% 0.4768 0.4779 0.4744 0.4750 0.4754 0.4748 0.4750 70% 0.5631 0.5652 0.5628 0.5634 0.5631 0.5630 0.5629

表 4.9 DataSet1,測試集：關聯性模型於隱藏式馬可夫模型調適結果 (人工轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3841 0.3945 0.4055 0.4046 0.4056 0.4023 0.4002 20% 0.4064 0.4054 0.4209 0.4150 0.4157 0.4148 0.4179 30% 0.4855 0.4782 0.4805 0.4807 0.4850 0.4874 0.4890 50% 0.6037 0.5982 0.5990 0.6011 0.6016 0.6042 0.6050 70% 0.6820 0.6771 0.6802 0.6816 0.6815 0.6830 0.6830

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3714 0.3922 0.4087 0.4090 0.4105 0.4049 0.3980

20% 0.3892 0.3903 0.4166 0.4072 0.4085 0.4063 0.4092

30% 0.4669 0.4491 0.4575 0.4608 0.4670 0.4727 0.4739

50% 0.6308 0.6286 0.6252 0.6312 0.6323 0.6349 0.6353

70% 0.7660 0.7650 0.7658 0.7648 0.7657 0.7678 0.7678

表 4.10 DataSet1,測試集：關聯性模型於隱藏式馬可夫模型調適結果(自動轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3155 0.3213 0.3213 0.3218 0.3218 0.3218 0.3218 20% 0.3381 0.3403 0.3388 0.3402 0.3402 0.3404 0.3410 30% 0.3993 0.4033 0.4010 0.4001 0.3991 0.3989 0.3984 50% 0.5027 0.5049 0.5046 0.5031 0.5021 0.5023 0.5027 70% 0.5601 0.5611 0.5629 0.5622 0.5622 0.5613 0.5630

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.2932 0.3182 0.3169 0.3168 0.3168 0.3168 0.3168 20% 0.3191 0.3264 0.3252 0.3240 0.3240 0.3249 0.3251 30% 0.3705 0.3671 0.3720 0.3731 0.3689 0.3692 0.3692 50% 0.4732 0.4774 0.4767 0.4745 0.4745 0.4754 0.4763 70% 0.5595 0.5596 0.5609 0.5609 0.5609 0.5609 0.5617

集，結果如表 4.9 與表 4.10 所示。其中，α =0.1， Dy =30，機率值 P ( D _l | S _i ) 次 方項為 0.01。

由測試集的實驗結果(表 4.9 與表 4.10)觀察，人工轉寫文件的餘弦評估結果

中，當 L 值設定為 25、30 正確率較隱藏式馬可夫模型的結果(Baseline)好，甚至

較第三章中所有摘要方法結果來得好；同樣地，Rouge-2 評估結果中，當 L 值設

定為 20、25 及 30 時，正確率亦較隱藏式馬可夫模型的結果(Baseline)好，甚至

比所有摘要方法結果好。在自動轉寫文件的結果中，於二種評估方法下正確率均

要較隱藏式馬可夫模型的結果(Baseline)好，特別是於 Rouge-2 評估結果中有明顯

的進步，例如摘要比例 10%有 2%以上的絕對進步；與基礎實驗中的所有摘要方

法結果比較，表 4.10 的餘弦評估結果於摘要比例 10%時較機率生成式摘要方法

HMM 與 TMM 好，但是沒有較其他摘要方法好，於 Rouge-2 評估結果亦沒有較

其他摘要方法好。我們認為是因發展集與測試集不匹配的原因。在關聯性模型於

隱藏式馬可夫模型調適的實驗中，關聯性模型的參數( α 、 Dy 、 L )或隱藏式馬

可夫模型參數 λ 於發展集中所調整的最佳參數設定，於測試集中並一定會得到最 佳的實驗結果，這一點我們可從測試集其他參數設定的結果證明。但是，這樣的 問題也可能發生於其他摘要方法上，因此對於所提方法之參數的設定，或許未來 我們可以進一步使用自動的方法來決定。

測試語料 DataSet2 實驗結果：

我們亦於 DataSet2 進行關聯性模型於隱藏式馬可夫模型的摘要實驗，其中參數 α 、 L 及 Dy 的設定同樣先以 DataSet2 的發展集作調整，然後使用於測試集。由 於 DataSet1 的實驗中發現機率值 P ( D _l | S _i ) 對於摘要結果的影響，因此於 DataSet2 的實驗中機率值 P ( D _l | S _i ) 亦可嘗試不同次方項的結果，此部分的實驗我們對於 不同次方項的摘要結果不作進一步的探討，以下的實驗結果皆為次方項設定為 0.05 下的摘要結果。

¾ 參數α 值設定：

實驗先將參數 L 及 Dy 設定 5，觀察不同的α 值(0.1~0.9)的摘要結果。表 4.11

表 4.11 DataSet2,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ α 值分析 (人工轉寫文件)

Cosine 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.4534 0.4588 0.4605 0.4600 0.4542 0.4547 0.4513 0.4500 0.4415 0.4231 20% 0.5776 0.5816 0.5904 0.5911 0.5967 0.5964 0.5964 0.5922 0.5843 0.5779 30% 0.6429 0.6476 0.6533 0.6502 0.6553 0.6633 0.6571 0.6534 0.6508 0.6376 50% 0.7434 0.7468 0.7478 0.7483 0.7459 0.7478 0.7439 0.7430 0.7407 0.7289 70% 0.8005 0.8016 0.8032 0.8022 0.8029 0.8035 0.8028 0.8002 0.7984 0.7871

Rouge-2 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.2926 0.2989 0.3045 0.3017 0.2871 0.2931 0.2929 0.2935 0.2987 0.2901

20% 0.4052 0.4100 0.4183 0.4151 0.4296 0.4269 0.4301 0.4238 0.4180 0.4175

30% 0.4859 0.4950 0.5093 0.4998 0.5112 0.5199 0.5047 0.4921 0.4888 0.4901

50% 0.6645 0.6661 0.6635 0.6610 0.6529 0.6541 0.6486 0.6420 0.6327 0.6276

70% 0.8001 0.8007 0.7980 0.7929 0.7920 0.7906 0.7891 0.7851 0.7743 0.7612

表 4.12 DataSet2,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ α 值分析 (自動轉寫文件)

Cosine 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.4185 0.4183 0.4135 0.4078 0.4085 0.4071 0.4046 0.3990 0.3882 0.3637 20% 0.5179 0.5195 0.5168 0.5184 0.5172 0.5169 0.5157 0.5105 0.5005 0.4632 30% 0.5623 0.5639 0.5661 0.5677 0.5664 0.5629 0.5605 0.5577 0.5494 0.5234 50% 0.6200 0.6205 0.6196 0.6206 0.6192 0.6193 0.6164 0.6127 0.6052 0.5777 70% 0.6341 0.6341 0.6350 0.6337 0.6336 0.6330 0.6321 0.6301 0.6261 0.6094

Rouge-2 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

10% 0.2265 0.2282 0.2230 0.2158 0.2148 0.2122 0.2140 0.2156 0.2130 0.2128 20% 0.2797 0.2788 0.2746 0.2784 0.2769 0.2780 0.2767 0.2717 0.2647 0.2469 30% 0.3167 0.3182 0.3194 0.3184 0.3132 0.3108 0.3111 0.3075 0.2985 0.2898 50% 0.3966 0.3960 0.3938 0.3937 0.3926 0.3917 0.3876 0.3837 0.3755 0.3559 70% 0.4320 0.4321 0.4329 0.4303 0.4284 0.4272 0.4245 0.4217 0.4153 0.4002

為發展集人工轉寫文件於餘弦評估及 Rouge-2 評估下的結果。從實驗結果中顯示 α 值於 0.1~0.6 之間皆有不錯的摘要結果，同時於不同評估方法下皆較隱藏式馬 可夫模型的結果好。由表 4.11 中可以發現當α 值為 3 或 4 時有最好的結果。表 4.12 為發展集自動轉寫文件於餘弦評估及 Rouge-2 評估下的結果，當α 值介於 0.1~0.3 之間摘要結果皆較隱藏式馬可夫模型好。由表 4.11 及表 4.12 結果發現最 佳的α 值設定並不相同，我們進而觀察不同的 L 及 Dy 值設定下不同α 值的摘要 結果，發現於其他 L 及 Dy 值設定下，大部分實驗結果均顯示 α 值於人工轉寫文 件中設定為 0.4 時有最佳的結果，於自動轉寫文件中設定為 0.2 時有最佳的結果。

¾ 參數 Dy 值設定：

接下來，我們探討不同的檢索範圍的摘要結果。實驗中仍以檢索系統所回 傳的前五篇文件( L =5)來建立關聯性模型，於人工轉寫文件之α 值設定為 0.4，自動轉寫文件之α 值設定為 0.2， Dy 值嘗試以 5、10、15、20、25、

30 等設定。結果如表 4.13、表 4.14 所示。

表 4.13 為人工轉寫文件於不同評估方法下的摘要結果，從結果可以看 出於不同 Dy 值下正確率均較隱藏式馬可夫模型高；同時於二種評估方法 下，當 Dy 值為 15 及 20 時均有較好的結果。進一步比較 Dy 值 15 及 20 時 於低摘要比例 10%、20%與 30%的結果，當 Dy =20 可得到不錯的結果。表

表 4.13 DataSet2,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ Dy 值分析(人工轉寫文件)

Cosine 5 10 15 20 25 30

10% 0.4600 0.4590 0.4687 0.4684 0.4644 0.4628

20% 0.5911 0.5836 0.5831 0.5891 0.5914 0.5923

30% 0.6502 0.6534 0.6512 0.6536 0.6522 0.6533

50% 0.7483 0.7497 0.7488 0.7509 0.7499 0.7487

70% 0.8022 0.8029 0.8019 0.8034 0.8041 0.8031

Rouge-2 5 10 15 20 25 30

10% 0.3017 0.3027 0.3214 0.3209 0.3134 0.3101

20% 0.4151 0.4085 0.4156 0.4207 0.4228 0.4266

30% 0.4998 0.5037 0.5044 0.5103 0.5028 0.5059

50% 0.6610 0.6609 0.6608 0.6635 0.6607 0.6617

70% 0.7929 0.7945 0.7942 0.7985 0.7994 0.8000

表 4.14 DataSet2,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ Dy 值分析(自動轉寫文件)

Cosine 5 10 15 20 25 30

10% 0.4183 0.4159 0.4163 0.4217 0.4212 0.4223 20% 0.5195 0.5176 0.5199 0.5167 0.5185 0.5183 30% 0.5639 0.5641 0.5644 0.5629 0.5637 0.5628 50% 0.6205 0.6211 0.6198 0.6206 0.6205 0.6202 70% 0.6341 0.6339 0.6348 0.6348 0.6351 0.6348

Rouge-2 5 10 15 20 25 30

10% 0.2282 0.2263 0.2273 0.2308 0.2328 0.2387

20% 0.2788 0.2742 0.2803 0.2794 0.2766 0.2739

30% 0.3182 0.3165 0.3174 0.3157 0.3170 0.3154

50% 0.3960 0.3962 0.3945 0.3968 0.3965 0.3961

70% 0.4321 0.4316 0.4328 0.4324 0.4314 0.4312

4.14 為自動轉寫文件於不同評估方法下的結果，於餘弦評估結果中不同 Dy 值設定之正確率皆較隱藏式馬可夫模型高，當 Dy 值為 25 及 30 時有最好結 果；於 Rouge-2 評估結果中，不同 Dy 值下低摘要比例 10%的正確率皆較隱 藏式馬可夫模型高，當 Dy 值為 25 及 30 時有最佳的結果。進一步比較自動 轉寫文件結果中， Dy 值為 25 及 30 時於低摘要比例 10%、20%與 30%的結 果，當 Dy =25 可得到不錯的結果。

¾ 參數 L 值設定：

最後，我們探討使用於建立關聯性模型的文件數 L ，在 DataSet2 中對於摘 要正確率的影響。同樣地，α 值於人工轉寫文件設定為 0.4，於自動轉寫 文件設定為 0.2。 Dy 值的設定採用前面實驗的結果，於人工轉寫文件設為 20，於自動轉寫文件設為 25。實驗結果如表 4.15、表 4.16 所示。如表 4.15 所示，當 L 值為 2 時，人工轉寫文件於不同評估方法下皆有最高的的摘要 正確率；同時，在低摘要比例 10%、20% 時，亦較隱藏式馬可夫模型及

表 4.15 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ L 值分析(人工轉寫文件)

Cosine L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4684 0.4597 0.4541 0.4577 0.4601 0.4578 20% 0.5891 0.5897 0.5863 0.5863 0.5853 0.5858 30% 0.6536 0.6514 0.6508 0.6489 0.6506 0.6494 50% 0.7509 0.7499 0.7477 0.7456 0.7454 0.7452 70% 0.8034 0.8013 0.8016 0.8018 0.8016 0.8007

Rouge-2 L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3209 0.3063 0.3029 0.3107 0.3151 0.2998

20% 0.4207 0.4174 0.4170 0.4175 0.4148 0.4146

30% 0.5103 0.5010 0.5017 0.4949 0.4949 0.4934

50% 0.6635 0.6633 0.6609 0.6609 0.6603 0.6586

70% 0.7985 0.7933 0.7951 0.7952 0.7974 0.7947

表 4.16 DataSet1,發展集：關聯性模型於隱藏式馬可夫模型調適結果－ L 值分析(自動轉寫文件)

Cosine L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4212 0.4215 0.4146 0.4112 0.4119 0.4122 20% 0.5185 0.5196 0.5184 0.5193 0.5182 0.5176 30% 0.5637 0.5614 0.5589 0.5612 0.5611 0.5610 50% 0.6205 0.6200 0.6203 0.6190 0.6198 0.6198 70% 0.6351 0.6344 0.6345 0.6344 0.6341 0.6340

Rouge-2 L=5 L=10 L=15 L=20 L=25 L=30

10% 0.2328 0.2330 0.2221 0.2196 0.2193 0.2199 20% 0.2766 0.2782 0.2791 0.2777 0.2762 0.2759 30% 0.3170 0.3148 0.3117 0.3155 0.3156 0.3156 50% 0.3965 0.3963 0.3972 0.3957 0.3968 0.3965 70% 0.4314 0.4314 0.4319 0.4316 0.4311 0.4315

其他基礎實驗的摘要方法之結果好。表 4.16 為自動轉寫文件於不同評估方 法的摘要結果，當 L 值為 10 時有最高的摘要正確率，並且於在低摘要比 例 10%、20% 時較隱藏式馬可夫模型的結果好。比較與其他基礎實驗中 不同摘要方法的結果，當 L =10 時在餘弦評估方法下於摘要比例 20%、30%

有較好的結果；當 L =15 時在 Rouge-2 評估方法下於低摘要比例 10%、20%

有較好的結果。

由發展集的實驗結果可以證明關聯性模型於隱藏式馬可夫模型調適的方法對摘

要正確率是有幫助的，透過建立每一文句的關聯性模型，可有效地提昇隱藏式馬

可夫模型的摘要結果，甚至較其他摘要方法的結果好。接著，我們使用相同的參

數設定於測試集中，實驗結果表 4.17 及表 4.18 所示。其中，於人工轉寫文件α 值

為 0.4，於自動轉寫文件α 值為 0.2； Dy 值於人工轉寫文件設定為 20，於自動轉

寫文件設為定 25；機率值 P ( D _l | S _i ) 次方項為 0.05。表 4.17 為人工轉寫文件於不

同評估方法的摘要結果；當 L =5 時，二種評估方法於低摘要比例 10%、20%及 30%的摘要結果，皆較隱藏式馬可夫模型的結果好；於餘弦評估方法下，當 L =5 時不同摘要比例的結果皆較其他基礎實驗摘要方法好，於 Rouge-2 評估方法下，

當 L =20、25 及 30 時在低摘要比例 10%結果較其他基礎實驗摘要方法好。表 4.18 為自動轉寫文件於不同評估方法的摘要結果；當 L =30 時，二種評估方法於低摘 要比例 10%有最好的摘要結果。於餘弦評估方法下，當 L =10、15 時於不同摘要 比例的結果均較隱藏式馬可夫模型好，但是結果較基礎實驗中 VSM 及 MMR 等 相似度估測(餘弦估測)的摘要方法差；於 Rouge-2 評估方法下，當 L =25 時摘要 比例 10%、20%及 30%的結果較隱藏式馬可夫模型好，同時亦較基礎實驗中非機 率生成式摘要方法的正確率高；但是，較 TMM 結果差。

從 DataSet2 的實驗結果中，我們同樣發現了發展集與測試集不匹配情形，

但是實驗結果仍然顯示出使用關聯性模型應用於文件摘要中，可以有效提昇摘要 的正確率，特別是對於低摘要比例下的摘要結果。此外，於 Rouge-2 的實驗結果

表 4.17 DataSet2,測試集：關聯性模型於隱藏式馬可夫模型調適結果 (人工轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.4835 0.5000 0.4936 0.4900 0.5046 0.5076 0.5044 20% 0.6166 0.6258 0.6162 0.6164 0.6154 0.6165 0.6187 30% 0.6579 0.6685 0.6684 0.6646 0.6642 0.6613 0.6609 50% 0.7338 0.7406 0.7398 0.7395 0.7403 0.7386 0.7386 70% 0.7873 0.7914 0.7919 0.7912 0.7913 0.7908 0.7910

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3280 0.3473 0.3361 0.3301 0.3568 0.3592 0.3562

20% 0.4499 0.4590 0.4463 0.4459 0.4425 0.4424 0.4444

30% 0.5012 0.5031 0.5055 0.5013 0.5014 0.4986 0.4962

50% 0.6534 0.6520 0.6512 0.6503 0.6512 0.6487 0.6493

70% 0.7915 0.7908 0.7948 0.7940 0.7938 0.7926 0.7928

表 4.18 DataSet2,測試集：關聯性模型於隱藏式馬可夫模型調適結果 (自動轉寫文件)

Cosine Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.3837 0.3847 0.3880 0.3876 0.3906 0.3911 0.3922 20% 0.4739 0.4793 0.4792 0.4742 0.4726 0.4739 0.4732 30% 0.5110 0.5129 0.5130 0.5135 0.5133 0.5128 0.5128 50% 0.5619 0.5667 0.5667 0.5671 0.5666 0.5661 0.5659 70% 0.5837 0.5853 0.5850 0.5852 0.5848 0.5848 0.5845

Rouge-2 Baseline L=5 L=10 L=15 L=20 L=25 L=30

10% 0.2008 0.1998 0.2050 0.2044 0.2073 0.2085 0.2108 20% 0.2501 0.2542 0.2587 0.2510 0.2500 0.2506 0.2493 30% 0.2820 0.2850 0.2855 0.2855 0.2842 0.2847 0.2839 50% 0.3622 0.3652 0.3646 0.3654 0.3653 0.3656 0.3659 70% 0.4065 0.4056 0.4062 0.4061 0.4062 0.4058 0.4060

中呈現出所提之摘要方法對正確率有明顯的提昇，甚至較其他基礎實驗結果好。

經由一連串的實驗可以證明所提之方法確實對於正確率的提昇有所幫助，尤 其是對於低摘要比例的摘要結果的提昇；不過，實驗結果仍有許多進步的空間，

例如：由提昇檢索系統正確率及召回率方面著手，檢索系統可採用雙音節與詞的 組合作為索引[Chen et al. 2005]，如此，不僅可增加對於辨識結果的強健性(雙音 節索引)，亦結合了較具語意的資訊內容(詞索引)。另外，在摘要系統上，亦可考 慮以不同索引特徵或是索引特徵的組合[Chen et al. 2006]，來增加摘要正確率。

其他方面，像是上面所提及之關於參數的調整，或是進一步將文句本身的重要性 納入考量，如對文句事前機率的估測(於後面小節中將有更詳細的說明)等。

4.2.4 以相關文件進行隱藏式馬可夫模型參數訓練之實驗結果

如同上面所述，當文件中每一文句視為一個查詢來進行相關文件檢索時，檢索系

統所回傳的相關文件子集，除了可用來建立關聯性模型作為文句模型的調適外，

亦可將這些相關文件子集，視為每一文句所對應的訓練語料，作為訓練文句的隱 藏式馬可夫模型參數使用。如第二章中關於隱藏式馬可夫模型的敘述表示，當有 訓練文件集(文件及其對應的摘要資訊)時，隱藏式馬可夫摘要模型可以透過監督 式方式進行模型的參數訓練，然而這樣的資訊通常取得不易，因此只能採用非監 督式訓練來訓練參數。現在，透過局部性回饋技術的使用，可經由檢索的方式得 到與文句相關的文件集作為訓練語料，利用文句與其對應相關文件的資訊來進行 模型參數 λ 與每一文句 S 產生詞 _i w 的機率值 P ( w | S _i ) 之監督式訓練：

{ }

∑ ∑ { }

∑ ∑

∈ ∈

∈ ∈

=

R

D w D

r R

D w D

i r

r r

r r

D w n

D w S P D w n

) , (

) ,

| ( ) , (

λ ˆ (4-16)

∑ ∈

=

i s S w

s i i s

i i

i n w S P S w D

D w S P S w S n

w

P ( , ) ( | , ) ) ,

| ( ) , ) (

|

ˆ ( (4-17)

)

| ( ) 1 ( )

| (

)

| ) (

,

|

( P w S P w C

S w D P

w S P

i

i λ λ i

λ

−

= + (4-18)

其中， { } ^{R 為每一文句} S 所對應的相關文件子集， i D _r 表示相關文件子集中某一文 件， n ( w , D _r ) 表示索引 w 於文件 D _r 中出現的次數，機率值 P ( w | C ) 為某文件集產 生詞 w 的機率。

下面實驗為使用每一文句之相關文件子集來訓練隱藏式馬可夫模型參數，實 驗分別嘗試二種參數訓練的方式：1. 僅訓練模型參數 λ 值 (Training_ λ )，如式 (4-16)所示；2. 同時訓練模型參數 λ 值與機率值 P ( w | S _i ) (Training_All)，如式(4-16) 與式(4-17)所示。

測試語料 DataSet1 實驗結果：

實驗設定為：採用每一文句的前 10 篇相關文件作為訓練語料( L =10)， Dy =30；

隱藏式馬可夫模型參數 λ 初始值為 0.05，訓練次數為 10。表 4.19 及表 4.20 為測

試語料 DataSet1 人工轉寫文件結果，其中表 4.19 為餘弦評估的摘要結果，表 4.20 為 Rouge-2 評估結果，TD-1 與 TD-2 分別表示 DataSet1 中發展集及測試集的實 驗結果。基礎實驗(Baseline)為隱藏式馬可夫模型參數 λ 設定為 0.05，且沒有進行 參數訓練的摘要結果。表中欄位 Training_ λ 、Training_All 分別表示二種訓練方 式的摘要正確率。從人工轉寫文件的實驗結果(表 4.19 及表 4.20)，可以得到以下 的結論：首先，與 Baseline 結果比較，所有的結果均顯示出於摘要比例為 10%、

20%及 30%時，摘要正確率有明顯的提昇，於摘要比例為 50%、70%時有部分的 結果亦有小幅度的上升；接著，比較二種訓練方式的摘要結果，在餘弦評估結果 中顯示在同時訓練模型參數 λ 值與機率值 P ( w | S _i ) (Training_All)下有較高的正確 率，在 Rouge-2 評估結果中於低摘要比例為 10%、20%時有相同的結果。最後，

將參數訓練之摘要結果與第三章中其他基礎實驗結果比較，TD-1 於摘要比例 20%、30%時 Training_All 結果中有較高的正確率，TD-2 的 Training_All 結果中

表 4.19 DataSet1,人工轉寫文件：隱藏式馬可夫模型監督式訓練參數實驗結果 (餘弦評估) TD-1 Baseline Training_ λ Training_All TD-2 Baseline Training_ λ Training_All

10% 0.4203 0.4242 0.4245 10% 0.3841 0.3943 0.4016 20% 0.4657 0.4705 0.4738 20% 0.4064 0.4204 0.4661 30% 0.5178 0.5288 0.5298 30% 0.4855 0.4910 0.5234 50% 0.6271 0.6210 0.6271 50% 0.6037 0.6177 0.6202 70% 0.6996 0.6960 0.6956 70% 0.6820 0.6763 0.6974

表 4.20 DataSet1,人工轉寫文件：隱藏式馬可夫模型監督式訓練參數實驗結果 (Rouge-2 評估) TD-1 Baseline Training_ λ Training_All TD-2 Baseline Training_ λ Training_All

10% 0.4157 0.4159 0.4194 10% 0.3714 0.3947 0.4160

20% 0.4591 0.4674 0.4731 20% 0.3892 0.4186 0.4434

30% 0.4947 0.5308 0.5249 30% 0.4669 0.4874 0.4909

50% 0.6527 0.6492 0.6603 50% 0.6308 0.6695 0.6557

70% 0.7845 0.7843 0.7831 70% 0.7660 0.7687 0.7527