運用 Google 搜尋引擎檢索相關字句

本研究所實作的中文剽竊偵測系統，其運用Google搜尋引擎的流程如下：

1. 將使用者上傳至系統的文章傳入Google AJAX Search API。

2. 將Google傳回的JSON資料格式做分析，取得URL，將其與候選文句做 剽竊偵測的比對，超過門檻值的文句會被紀錄下來。

3. 以人工檢視結果。

3.2.1 Google Ajax Search API

本研究利用 Google AJAX Search API [9]進行第一階段相似度篩選，Google AJAX Search API 使用 JavaScript 將「Google 搜尋」放入自身的網頁。對入一個 簡單的動態搜尋框，並在自身的網頁上顯示搜尋結果，圖 4 為搜尋引擎傳回結 果之簡單範例。

18

圖 4：Google Search API傳回結果之簡單範例

但針對於其他非JavaScript環境，Google AJAX Search API提供原始RESTful 介面，可以傳回大部分語言和執行程式皆能夠處理的JSON編碼結果。以下是一 個範例查詢：

ajax.googleapis.com/ajax/services/search/web?v=1.0&lr=lang_zh-TW&q=

可透過調整此 URL 格式，抓取不同格式如影音、圖片等搜索結果，並可設 定其所搜尋的語言。

透過Google AJAX 搜尋API所提供的RESTful介面，可傳回JSON編碼結果。

表 9 是一個JSON編碼結果範例：

表 9 JSON編碼結果範例

查詢：

http://ajax.googleapis.com/ajax/services/search/web?v=1.0&lr=lang_zh-TW&q=

冰島一座沈寂了兩百年的火山 結果：

responseData{"results":[{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://atlantisc hiu.blog.ithome.com.tw/post/3058/68926","url":"http://atlantischiu.blog.ithome.com.tw/post/305 8/68926","visibleUrl":"atlantischiu.blog.ithome.com.tw","cacheUrl":"http://www.google.com/se arch?q=cache:baU6FuTAiMsJ:atlantischiu.blog.ithome.com.tw","title":"亞特蘭提斯| <b>冰島 火山<\/b>爆發，沉睡了兩百多年的<b>火山<\/b>醒來了，全球皮皮剉！

19

","titleNoFormatting":"亞特蘭提斯| 冰島火山爆發，沉睡了兩百多年的火山醒來了，全球 皮皮剉！","content":"<b>冰島一座沈寂了兩百年的火山<\/b>，突然再度噴發，引爆了雙重 危機，岩漿導致冰河融化，可能 引發大洪水，還有大量火山灰如果持續飄到高空，還可 能造成全球進入寒冬。 <b>...<\/b>"}

{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://news.cts.com.tw/cts/internationa l/201003/201003250436566.html","url":"http://news.cts.com.tw/cts/international/201003/20100 3250436566.html","visibleUrl":"news.cts.com.tw","cacheUrl":"http://www.google.com/search?

q=cache:IcoKWaGF0KMJ:news.cts.com.tw","title":"<b>冰島火山<\/b>爆發全球皮皮剉!-華視 新聞網","titleNoFormatting":"冰島火山爆發全球皮皮剉!-華視新聞網","content":"2010年3 月25日 <b>...<\/b> <b>冰島一座沈寂了兩百年的火山<\/b>，突然再度噴發，引爆了雙重危 機，岩漿導致冰河融化，可能 引發大洪水，還有大量火山灰如果持續飄到高空，還可能 造成全球 <b>...<\/b>"}

{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://weihsinchiu.pixnet.net/blog/post/5 668226","url":"http://weihsinchiu.pixnet.net/blog/post/5668226","visibleUrl":"weihsinchiu.pixne t.net","cacheUrl":"http://www.google.com/search?q=cache:U2zYgoHipDUJ:weihsinchiu.pixnet.

net","title":"<b>冰島火山<\/b>爆發，沉睡了兩百多年的<b>火山<\/b>醒來了，全球皮皮剉！

@ 維新生活 <b>...<\/b>","titleNoFormatting":"冰島火山爆發，沉睡了兩百多年的火山醒來 了，全球皮皮剉！ @ 維新生活 ...","content":"<b>冰島一座沈寂了兩百年的火山<\/b>，突 然再度噴發，引爆了雙重危機，岩漿導致冰河融化，可能 引發大洪水，還有大量火山灰 如果持續飄到高空，還可能造成全球進入寒冬。 <b>...<\/b>"}

{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://tw.myblog.yahoo.com/ihsien-2012 /article?mid=23698&prev=23699&next=-1","url":"http://tw.myblog.yahoo.com/ihsien-2012/artic le%3Fmid%3D23698%26prev%3D23699%26next%3D-1","visibleUrl":"tw.myblog.yahoo.com",

20

"cacheUrl":"http://www.google.com/search?q=cache:_cDT5FSFanIJ:tw.myblog.yahoo.com","titl e":"<b>冰島火山<\/b>爆發全球皮皮剉! - 您好,這是一個分享的部落格!!! - Yahoo

<b>...<\/b>","titleNoFormatting":"冰島火山爆發全球皮皮剉! - 您好,這是一個分享的部落 格!!! - Yahoo ...","content":"<b>冰島一座沈寂了兩百年的火山<\/b>，突然再度噴發，引爆了 雙重危機，岩漿導致冰河融化，可能 引發大洪水，還有大量火山灰如果持續飄到高空，

還可能造成全球進入寒冬。 <b>...<\/b>"}]

"cursor":{"pages":[{"start":"0","label":1},{"start":"4","label":2},{"start":"8","label":3},{"start":"

12","label":4},{"start":"16","label":5},{"start":"20","label":6},{"start":"24","label":7},{"start":"2 8","label":8}],"estimatedResultCount":"75","currentPageIndex":0,"moreResultsUrl":"http://www .google.com/search?oe=utf8&ie=utf8&source=uds&start=0&lr=lang_zh-TW&hl=en&q=%E5%8 6%B0%E5%B3%B6%E4%B8%80%E5%BA%A7%E6%B2%88%E5%AF%82%E4%BA%86%

E5%85%A9%E7%99%BE%E5%B9%B4%E7%9A%84%E7%81%AB%E5%B1%B1"}}

透過此JSON編碼結果，可分析出由Google傳回的有關於資料探勘的前4筆資 料，以利進行後續相似度計算。表 10 與表 11 為Google AJAX Search API傳回 的JSON參數之解釋。

21

表 10 results參數解釋

參數 說明

GwebSearch 網頁搜尋

unescapedUrl 網頁的原始網址

url 原始網址的escaped version，會對一些特殊的字元進 行編碼

visibleUrl 縮短版的網址，省略掉協定與路徑

title 網頁搜尋結果的標題

titleNoFormatting 網頁搜尋結果的標題，省略掉HTML的標記

content 關於搜尋結果網頁的簡短描述

cacheUrl Google對web網頁的快取版本

表 11 cursor參數解釋

參數 說明

pages Google AJAX Search API 預設傳回的 搜尋結果頁數，網頁搜尋支援8頁。

start 搜尋結果的陣列索引參數

label 搜尋結果的陣列索引參數

estimatedResultCount 預估符合使用者所下之查詢的結果數 currentPageIndex 搜尋結果的陣列索引參數

moreResultsUrl 更多的搜尋結果網址

22