查詢結果摘要評估

6.3.1 實驗資料來源及評估方法

本節中介紹的實驗以人為標示類別為事實問題的問題句做為資料來源，共 200 句。將問題句所產生的摘要內容，交由 3 位資料探勘領域學者進行評分，並 將 3 位學者的評分結果取平均後四捨五入，即為此問題句摘要內容的分數。本論 文考慮摘要內容是否提供問題句的事實資訊，將結果分為 4 種分數值，如表 18 所示。接著以實際範例呈現評分結果。

表 18 摘要內容評分標準 分數 評分標準說明

3 摘要內容專門提供該問題句欲獲得之事實資訊 2 摘要內容非專門提供該問題句欲獲得之事實資訊 1 摘要內容與問題句相關，但未提供事實資訊 0 摘要內容與問題句無關

[範例 6-1] 摘要內容評分範例

假設問題句為“What are the actors names in Harry Potter?”，在問題句中的查詢 主體字詞為“Harry Potter”，並希望獲得“actors name”的面向事實資訊。利用表 18 所定義摘要內容評分標準進行評分，結果如表 19 所示。

表 19 摘要內容評分範例

編號 摘要內容 分數

範例句一

The film stars Daniel Radcliffe as Harry Potter, with Rupert Grint and Emma Watson as his best friends Ron Weasley and Hermione Granger.

3

範例句二 Emma Watson and Harry Potter co-stars to re-shoot

crucial final Deathly Hallows scenes, Daily Mail. 2

範例句三

Harry Potter and the Deathly Hallows: Part 1 2010 cast and crew credits, including actors, actresses, directors, writers and more.

1

範例句四 actor 0

55

在範例句 6-1 的摘要內容中，完整的說明在電影中“Daniel Radcliffe”飾演

“Harry Potter”，而“Rupert Grint”和“Emma Watson”分別飾演“Ron Weasley”以及

“Hermione Granger”，因此評為最高 3 分。範例句二的摘要內容中，只提到“Emma Watson”和“Harry Potter”一起合作拍攝，但未提及所飾演的角色，因此評為 2 分。

範例句三的摘要內容中，提供了“Harry Potter”的相關資訊，但未提供演員的事實 資訊，因此評為 1 分。範例句四的摘要內容中，並未提供“Harry Potter”的相關資 訊，且也未提供演員的事實資訊，因此我們評為 0 分。

6.3.2 實驗結果

[實驗 3-1]摘要內容效果評估

本實驗的目的為系統摘要內容是否提供問題句事實資訊的效果評估，比較對 象(google search)直接以問題句當作查詢詞讓搜尋引擎進行查詢，將查詢結果所回 傳排序前 k 名的文字敘述片段(snippet)視為此問題句的事實資訊摘要內容。對於 人為標示的所有事實問題句，分別利用本論文所提出從問題中擷取出查詢關鍵 字，將查詢結果摘要作為答案提供給使用者的方法 (AAG, Automatic Answer Generation)和 google search 的方法進行評估，並統計評分結果，如表 20 所示。

表 20 摘要內容評分結果

google search AAG

1.88 2.22

實驗 3-1 的結果顯示，整體來說 google search 方法產生的摘要內容平均分數

介於 1 至 2 分之間。而本論文提出的方法所產生的摘要內容，平均分數則介於 2 問題句的事實資訊，而結果顯示本論文所提出的方法比起 google search 方法提供 較多問題句獲得事實資訊。 別分別利用本論文所提出產生事實資訊摘要內容的方法(AGG)和 google search 的

37

57

方法進行評估，並統計評分結果，如表 21 所示。

表 21 各類別摘要內容評分結果 類別

方法 電影 電子軟體/

系統 人名 車子 電子

產品 場所 宇宙 google search 1.80 1.71 2.12 2.00 1.64 1.91 2.38 AAG 2.21 2.35 2.35 2.29 2.29 2.18 2.38

類別 方法

人體/

健康 動物 物品 政治 食物 其他 google search 2.43 1.67 1.83 1.80 2.33 1.80 AAG 2.29 1.83 2.00 2.20 2.67 1.80

實驗 3-2 結果顯示，有將近一半類別 google search 方法產生的摘要內容平均 分數介於 1 至 2 分之間。而本論文所提出的方法，在大部分的類別所產生的摘要 內容平均分數介於 2 至 3 分之間。整體來看，本論文提出的方法在大部分問題句 的類別中相較於 google search 的方法好。而在“人體/健康”類別的問題句中，事實 資料需給予較多詳細的描述，但本論文的方法是擷取問題句中的查詢關鍵字產生 事實資訊摘要內容，因此 google search 的方法本論文方法得到略高的平均評分。

接著我們進一步的分析各類別中兩種方法問題句評分的分布情況，如圖 20 及圖 21 所示。

圖 20 google search 各類別摘要內容評分之分布情況

圖 21 AGG 各類別摘要內容評分之分布情況

結果顯示在大部分的類別中本論文所提出的方法比起 google search 的方法，

都能提供較多問題句評定為 3 分的摘要內容，並且在大部分的類別中，本論文所

59

在“動物”類別中，使用者所提出的問題句大部分詢問的事實資訊和數量有 關，例如:貓咪的平均體重、貓咪在戶外可存活的時間、或是大麥町犬的平均價格，

對於這類的問題，因為事實資訊為一個數值，在挑選面向資訊時無法直接計算文 字片段的重要性分數，導致答案內容較無法提供該問題句欲獲得之事實資訊。

[實驗 3-3]含不同字數之問題句對應摘要內容獲得事實資訊的效果評估

本實驗的目的為評估問題句所含的字詞數不同時，系統摘要內容是否提供問 題句事實資訊的效果。對於各字詞數分別利用本論文所提出產生事實資訊摘要內 容的方法(AGG)和 google search 的方法進行評估，並統計評分結果，如圖 22 所示。

圖 22 問題句所含不同字詞數之摘要內容評分結果

實驗 3-3 結果顯示，當問題句為 5 或 5 個以下的字詞所組成時，google search 方法產生的摘要內容平均分數介於 2 至 3 分之間，當問題句所含的字詞數較多 時，google search 方法產生的摘要內容平均分數則介於 1 至 2 分之間。而本論文 所提出的方法，在大部分的問題句字詞數所產生的摘要內容平均分數介於 2 至 3

0 0.5 1 1.5 2 2.5 3

5以下 5 6 7 8 9 10 10以上

評 分

字詞數

AAG google search

分之間。圖 23 所示為不同字詞數的問題句分布情況，結果顯示問題句大多是由 5 個以上的字詞所組成，因此使用本論文提出的方法相較於使用 google search 的方 法好。

圖 23 不同字詞數的問題句分布情況

總結查詢結果摘要實驗，對於問題句的答案內容為非數值或是順序性的事實 資訊時，利用本論文所提出的方法比起 google search 方法較能獲得事實資訊，以 表 22 為例，問題句為詢問“Joe Cocker”擁有的疾病，透過本論文所提出的方法 可以知道“Joe Cocker”是因為肺部疾病而死亡，但透過 google search 的方法無 法得知“Joe Cocker”擁有的疾病，並且摘要內容包含多不是事實資訊的資料，

61

表 22 摘要內容結果比較

問題句 What illness did Joe Cocker have?

方法 答案

AAG

English singer and songwriter Joe Cocker has passed away from an undisclosed illness , his agent Barrie Marshall confirms to BBC News . TMZ is reporting singer song-writer Joe Cocker died after a lung

illness .

google search

Joe Cocker Festival du Bout du Monde 2013 - 068.jpg ... 1.5 On the road (1972? 1982); 1.6 Later career (1982?2014); 1.7 Illness and

death .... Go Get Stoned"， "I Shall Be Released"， and "With a Little Help from My Friends". .... His 1987 album Unchain My Heart was nominated for a Grammy Award， although it did not win.\Get information， facts， and pictures about Joe Cocker at

Encyclopedia.com. Make research projects and school reports about Joe Cocker easy with credible?...22 Dec 2014 ... For a period of time in the late 1960s and early '70s， Joe Cocker was one ... with Cocker and that Belushi was making fun of an illness or disability. ... But he did go down the rabbit hole of drug and alcohol abuse， and lost ... Aside from ?Up Where We Belong，? Cocker's post-70s career may not have been as?...