• 沒有找到結果。

實作系統簡介與實驗評估

本章節將評估本論文方法的面向選定結果,在 4-1 節先介紹面向分析系統的 操作介面,接著在 4-2 節說明實驗方法與結果,最後在 4-3 節分析及討論實驗之 結果。

4-1 新聞論壇多面向分析系統介紹

本 論 文 方 法 所 實 作 出 之 新 聞 論 壇 多 面 向 分 析 系 統 , 系 統 網 址 為 :

http://140.122.184.122/fpc.php。圖 4.1 所示為本系統操作介面,先勾選欲分析之一 個或多個主題,如本例勾選『你支持台獨嗎?』及『菸害防制法新制上路』兩則 文章主題,勾選完畢點選『送出』按鈕,待系統頁面傳回分析結果。

圖 4.1 新聞論壇多面向分析系統使用介面 1. 選擇主題

2. 送出查詢,等待分析結果傳回 http://140.122.184.122/fpc.php

系統頁面會先列出系統所探勘出面向階層架構中上層的面向,如圖 4.2 所 示。點選上層面向後,系統會展開屬於該面向的下層面向,在階層架構面向之下,

還有一些單獨存在的面向,如圖 4.2 所示。

圖 4.2 系統分析結果回傳頁面 上層面向

點選欲展開瀏覽的面向

『吸菸』的下層面向

不屬於面向架 構中的其它面

展開『吸菸』

圖 4.3 展開面向,列出與面向相關的文章

接著再點選想要瀏覽的面向,就會展開顯示與該面向相關的文章列表,如圖

4.3 列出與『人權』相關的文件。再點選要閱讀的文章標題,就會展開文章的內 容,如圖 4.4 所示。

點選欲閱讀的文章

圖 4.4 面向與相關文章結果展示範例

每一篇文章開頭會先列出與此篇文章內容相關的面向,按照相似度值的高低 順序列出,愈相關的面向會排在愈前面,並以不同顏色標記面向;文章內容以斷 句的結果顯示,並且一個句子若與某一面向相關即會標記該面向的顏色,方便使 用者閱覽。

有一些研究是從許多文章中取出與面向或關鍵字相關的句子,將這些句子列 出來給使用者,但是有的時候只有一個句子,而沒有一起把那一個句子的前後文 一起列出來給使用者,因此看不出來那個句子真正要表達的意思。所以我們將完

這篇文章的面向:『人權』和『抽菸』

和『抽菸』這個面向相關的句子

和『人權』這個面向相關的句子

文章,而不是只看到一些句子組合而成的結果;若使用者只想看看有哪一些句子 和特定面向相關,也可以很容易找到與該面向相關的句子。

4-2 實驗評估

我們做了兩個實驗來評估本論文所提出的研究方法的效果。第一個實驗的目 的是檢驗本研究方法為每一篇文章挑選出的面向是否適合;第二個實驗則評估本 論文方法將多主題文章混合在一起時挑選面向的效果。

4-2.1 單一主題之文章的面向選定效果評估

實驗一所採用的測試文章集合從 Yahoo!奇摩新聞全民話頭條中的『消費券政 策』主題(http://tw.forum.news.yahoo.com/topic/tbn_1226807171.html)共 464 篇 文章中,亂數挑選出 30 篇文章當成本實驗的測試文章集合。

參與本實驗的受試者共有 15 位,每一位受試者閱讀 10 篇文章,每一篇文章 各有 5 位受試者閱讀,並提供受試者由本系統產生的『消費券政策』這個主題的 所找出的所有面向,讓使用者從面向集合中挑選出其認定與文章最合適的一個面 向。再將受試者參與實驗之結果與本論文方法對該文章面向選定結果進行比較。

本論文方法會對每篇文章選出最多三個面向,並依照相關程度值的高低將面 向排名第一、二、三名。若受試者挑選的面向落在系統挑選出來的面向的前三名,

則給予一個排名分數,分別為 1 分、2 分、3 分。我們計算每一篇文章被選定面

向的平均使用者排名分數來評估系統面向選定的結果。文章 d 之面向的平均使用

0

21 57 91 101 118 131 162 202 321 516 639 669 754 1015 1016 1026 1362 1377 1480 1570 1662 1818 1947 1955 2113 2158 2228 2245 2279 2396

圖 4.5 實驗一:每一篇文章的排名分數

0 0.2 0.4 0.6 0.8 1 1.2

21 57 91 101 118 131 162 202 321 516 639 669 754 1015 1016 1026 1362 1377 1480 1570 1662 1818 1947 1955 2113 2158 2228 2245 2279 2396

圖 4.6 實驗一:每一篇文章的 Recall 值

Recall 值不高的原因有可能為文章中某一關鍵字出現很多次,所以系統會判 定該篇文章與該關鍵字相關,但是受試者在閱讀該篇文章時卻會注意整篇文章綜 合起來的意思,而不是由關鍵字的多寡來決定面向。

也有可能是因為面向關鍵字在文章中的表達方式不同,如圖 4.7 所示,該篇 文章系統挑選的面向為『經濟』與『刺激消費』,但是受試者挑選的面向為『債 留子孫』和『舉債』,與系統挑選的面向皆不相同。

在這個例子中,『債留子孫』一詞在文章中可能是以『這些負債到了我們的 子孫輩都還要承擔』這樣子的句子來表示,受試者即會認為這樣子的句子與『債 留子孫』有關,而選了這一個面向。或者文章中使用的字詞是『負債』而非『舉 債』,受試者就會認為這篇文章與『舉債』相關而選了舉債,但因文章中沒有出 現明確的『舉債』這個詞,所以系統並不會將『舉債』選為面向。

圖 4.7 受試者與系統結果不一致之範例

另外,有一些文章在本方法是沒有被分配到與面向相關的,如圖 4.8 所示,

這一篇文章被系統判定為無相關的面向,本實驗的受試者也認為此篇文章與面向 集合中的面向皆不相關,因此顯示本系統也可以有效找出文章集合中與主題不相 關的文章。

圖 4.8 沒有相關面向的文章範例

4-2.2 多主題文章混合的面向選定評估

實驗一是針對單一主題中的文章,比較系統挑選面向的結果和受試者挑選面 向的結果是否一致。另外我們想要實驗看看我們的方法用在區分文章主題的應用 是否可行,所以在實驗二我們將多個主題的文章混合在一起,然後從這個混合主 題的文章集合中找出面向,同樣對每一篇文章指定其所屬面向。

每一個主題應該具有它特有的、與該主題非常相關,但和其它主題較不相關 的面向,實驗二就是評估當有多個主題的文章混合在一起,系統是否同樣可以找 出這些主題特有的面向。

因此我們對每一個面向檢查系統指定具有該面向的相關文章是否都屬於同 一個主題,若面向的相關文章都是同一個主題,表示這個面向是可以代表該主題 的概念。我們以『你支持台獨嗎?』及『菸害防制法新制上路』這兩個主題下文 章的面向分析結果來檢驗找出面向用於文章分群的效果。

圖 4.9 所示為這兩個主題所找出之各個面向,以及系統指定具有該面向之文 章數分屬兩個不同主題下所佔的百分比例值統計圖表,由此統計圖可看出大部分 具有特定面向的相關文章都是屬於同一個主題的文章,只有少數幾個面向是兩個 主題下的文章都有涵蓋,但佔的比例也不高,當這幾個面向剛好在這兩個主題下 的文章中都會有使用者討論到,才會發生這樣的情況。

3.33%

4 6 . 4 6 %

每兩個主題一組,每一組主題系統找出來的面向的相關文章中屬於不同主題 的百分比例平均值如如表 4.1 所示。由此表可以看出,主題討論的話題愈相似,

面向的相關文章中屬於不同主題的百分比例就愈低。但若是主題的討論內容很不 相關,面向的相關文章中屬於不同主題的百分比例就會很高,例如『菸害防制法 新制上路』和『消費券政策』這兩個主題的百分比例平均值高達 94.71%,表示這 兩個主題的文章混合在一起,系統也可以找出這兩個主題各別相關的面向。

4-3 分析與討論

由所探勘出的面向集合中可以發現一般常見誤用字情形所造成的問題,例如 吸『菸』與吸『煙』,消費『券』與消費『卷』,『抽』菸與『吸』菸等,應為 同義詞的兩個字詞,但系統會將這兩個字詞視為不同的字詞,且這兩個詞不符合 一字詞包含另一字詞的情形,故無法合併,只能當成是兩個字詞。又此二字詞的 出現頻率都很高,因此皆會被選為面向,造成計算字詞的出現頻率分散計算,降 低其相關值分數。若可以將此二字詞視為同一字詞合併計算,實驗之準確度應可 以再提升。

一個關鍵字在文章中的位置不同,對於讀者來說可能會有不同的意義,例如 讀者會認為在一篇文章的第一段或最後一段出現的概念是整篇文章的重點,或者 因為一篇文章太長,讀者閱讀的時候只會先閱讀第一段或最後一段,且文章的作

結這一整篇文章所要表達的概念為何。因為這個原因,讀者在挑選一篇文章的面 向時,會先參考文章的第一段或最後一段的概念,以此做為參考,再閱讀整篇文 章。

所以在挑選一篇文章相關的面向的時候,可以考慮在不同位置的關鍵字的重 要程度給予不同的權重值,例如在整篇文章的前 25%或最後 25%的部分的關鍵字 的權重值加倍,讓一篇文章中比較重要的概念可以突顯出來,這樣也許可以讓面 向的挑選結果更為精確。

相關文件