SQL 查詢結果的重要資料摘要效果之評估

本研究第二個目的為對 SQL 查詢的執行結果，以統計的觀點將查詢結果進行 摘要，因此本實驗此部分實驗的目的是評估本系統對查詢結果進行摘要是否能夠 幫助使用者。

6.3.1 實驗方法

我們針對兩個主題資料庫分別蒐集挑選了各 20 組查詢關鍵字所執行後的查 詢結果，所挑選的查詢結果筆數都是超過 5 筆資料筆數，因為我們認為查詢結果 要有一定筆數的資料量，才有摘要的必要。系統會對每一組查詢結果進行一致性 和分佈變化差異兩種觀點進行摘要，而我們會將兩種摘要結果請受試者評斷滿意 度值，認為摘要結果是否對於瞭解查詢結果有幫助，滿意度值越高表示系統產生 之摘要結果與人為期待越符合。

本實驗找了五位受試者，對於兩個主題資料庫分別 20 組查詢關鍵字執行後 的查詢結果及進行一致性和分佈變化差異的摘要結果呈現給使用者，進行人工評 分，評分基準如下：

1: 非常有幫助 0.5: 有幫助 0: 無幫助

6.3.2 實驗結果及分析探討

[實驗四]摘要一致性效果評估

表 6.9 示查詢結果經由一致性觀點摘要後，經過受試者評估的整體平均分數，

IMDB 為 0.39、DBLP 為 0.4063，而圖 6.7、圖 6.8 分別顯示對於 IMDB 和 DBLP 資料庫，每個摘要結果經受試者評估之後所得到之平均分數，橫軸數值為各個摘 要對應之編號。

表 6.9IMDB 和 DBLP 摘要一致性效果評估整體平均分數

資料庫主題

IMDB DBLP

整體平均分數 0.39 0.4063

圖 6.7IMDB 各個摘要一致性效果評估結果

圖 6.8 DBLP 各個摘要一致性效果評估結果

在摘要一致性效果評估結果中，兩個主題資料庫的滿意度分數接近 0.4 左右，

在摘要呈現的效果上，接近有幫助(0.5 分)的效果。其摘要效果好壞的決定因素，

一是本身查詢結果資料有沒有特別適合一致性屬性欄位和屬性值，若屬性欄位本 身的屬性值內容都是平均分佈，數量沒有明顯差異，對受試者認為不具重複性就 無太重要的摘要意義，其摘要滿意度評斷上容易評斷為無幫助。

而若依照資料庫每個摘要結果來評斷，IMDB 在 20 個摘要結果當中有 6 個大 於 0.5 分，而 DBLP 在 20 個摘要結果當中有 11 個大於 0.5 分。從實驗結果所示，

DBLP 資料庫的查詢結果較具有一致性，受試者在評斷摘要效果上會給予其分數。

但某幾個摘要結果卻是完全沒有摘要效果，因此分數卻也沒有特別優於 IMDB。

[實驗五] 摘要分佈變化差異效果評估

表 6.10 顯示查詢結果經由分佈變化差異觀點摘要後，經過受試者評估的整體 平均分數，IMDB 為 0.455、DBLP 為 0.48125，而圖 6.9、圖 6.10 分別顯示對於

IMDB 和 DBLP 資料庫，每個摘要結果經受試者評估之後所得到之平均分數，橫 軸數值為各個摘要對應之編號。

表 6.10 IMDB 和 DBLP 摘要分佈變化差異效果評估整體平均分數

資料庫主題

IMDB DBLP

正確率 0.455 0.48125

圖 6.9 IMDB 各個摘要分佈變化差異效果評估結果

圖 6.10 DBLP 各個摘要分佈變化差異效果評估結果

在摘要分佈變化差異效果評估結果中，兩個主題資料庫的滿意度分數接近

0.45 以上，在摘要呈現的效果上，接近有幫助(0.5 分)的效果。在摘要分佈差異變 化的觀點，不容易直接從查詢結果去評斷效果，其摘要計算方式是使用查詢結果 和資料庫分佈差異去做欄位和屬性值的的選擇，因此摘要好壞的決定因素，於使 用者本身若認為所摘要出是具有不同含意的特別資料，才會認為是有特殊意義之 摘要效果。

而若依照資料庫每個摘要結果來評斷，IMDB 在 20 個摘要結果當中有 9 個大 於 0.5 分，而 DBLP 在 20 個摘要結果當中有 14 個大於 0.5 分，都是顯示出幾乎 有一半以上是被認為有幫助的摘要效果。