透過Google圖片搜尋引擎作個人資料網頁搜尋

透過Google圖片搜尋引擎作個人資料網頁搜尋

搜尋引擎將找出非常多不相關的資料，因此需要使用者對一筆一筆搜尋到的資料進行篩 選，而篩選的過程將耗費非常多的時間。在過濾這些資料時，我們發現很多有個人文字 資料的頁面往往伴隨著此人的個人正面相片，所以本研究嘗試從網頁中的臉孔圖片開始 搜尋，找到其相關的個人文字資料。我們以人名當作搜尋字串，利用搜尋引擎的圖片搜 尋功能，從網頁搜尋到圖片之後，再來作進一步的分析篩選工作。 目前已經有許多網站業者提供圖片搜尋功能，讓使用者方便地找到想要的圖片，最 著名的有 Google 及 Yahoo 奇摩網站，這些網站業者擁有自行開發的精密演算法，也是大 家公認功能最強、使用者最多並且資源最豐富的平台。以 Google 為例，Google 的好用、 快速以及自動化，是贏得使用者青睞及成為最受歡迎的搜尋引擎的主要原因。最近幾年， Google 在原先強大的網站搜尋系統上，增加了圖片搜尋的功能[1]，使用者只要輸入任何 的搜尋字串，Google 就能藉由自行建立的圖片索引，搜尋出許多圖片，不過 Google 沒有 保證百分之百會找到網際網路上的每一張圖片[2]。Google 在搜尋網頁的過程裡，為了避 免不客觀的因素產生，開發了網頁排序（PageRank）演算法[3][4]，來自動決定網頁的重 要性，從等級 0（表最不重要）到等級 10（表最重要），共分為 11 個等級，並且每隔一 段時間，Google 就會重新計算網頁的排序。另外在圖片索引的建立上，Google 針對圖片 周圍的文字和網頁標題等作分析，決定相對於圖片的文字索引，以確保搜尋結果的高品 質。雖然 Google 的功能強大，但在圖片的搜尋結果，被大家最在意的缺點，就是找到太 多實際上並不相關的圖片，因此需使用者花很多的時間去作篩選。 近年有些學者針對搜尋引擎的圖片搜尋結果作進一步之改善[5-8]，Ben-Haim 等人認 為搜尋引擎的圖片搜尋結果中有許多垃圾圖片存在，並非使用者需要的，所以在經由 Yahoo 輸入搜尋字串找到大量的圖片之後，利用影像處理方法分割圖片的背景與物件， 然後取出圖片的色彩特徵來對圖片作分群，再對分群後的結果作重新排序，並過濾掉一 些不相關的圖片。Cai 等人[6]則首先利用 Google 搜尋到大量的圖片，然後分別作視覺、 文字與連結資訊的分析，再對搜尋後的圖片作階層式的語意分類。Fergus 等人[7]同樣先 利用 Google 搜尋得到圖片，以圖片中的曲線（Curves）及區域（Regions）當作特徵來作 模式學習（Model learning），然後再對圖片進行重新排序。另外 Sunayama 等人[8] 根據 Google 的圖片搜尋結果，對這些圖片的的主題句子（Topic sentences）作分析，並進而作 圖片貼標籤（Image labeling）的工作，然後依據這些標籤作圖片分群，並由實驗證明分 類後的圖片有助於搜尋速度上的改善。

以上這些文獻，主要針對搜尋引擎的圖片搜尋結果作進一步分類或排序，實驗說明 都能獲得不錯的效果，但是並不適合用在本研究的個人資料搜尋之應用上。

Aslandogan 與 Yu [9]曾經實作了一個取名為 Diogenes 的人臉圖片搜尋代理人 （Personal facial image search agent），此代理人首先透過網路下載大量的圖片，分別作視 覺分析與文字分析，然後結合兩者之分析結果，對每張人臉影像建立人名索引。使用者 只要輸入人名，則可透過索引找到此人的所有臉孔圖片。此系統作視覺分析時，需要有 已知人名的臉孔影像來作辨識，與本研究之應用並不相同。

表 1 圖片搜尋結果原因分析 文字描述來源 文字描述來源 文字描述來源 文字描述來源 出現出現出現出現「「「「馬英九馬英九」馬英九馬英九」」三字之圖」三字之圖三字之圖三字之圖片張數片張數片張數片張數 圖片檔名 6 圖片周圍文字 96 網頁標題 43 圖片 Alt 屬性 22 表 2 屬於「項目」之個人資料關鍵字 個人資料項目關鍵字 個人資料項目關鍵字 個人資料項目關鍵字 個人資料項目關鍵字 專長 出生日期 職位 經歷 email 手機 TEL 研究領域 籍貫 現職 簡歷 信箱 分機 Tel 姓名 星座 現任 簡介 電子信箱 Ext 服務機關 名字 血型 榮譽 專書 地址 傳真 服務單位 生日 相片 學位 E-mail 住址 Fax 服務部門

性別 照片 學經歷 Email Address FAX 著作

以圖 2 為例，其所伴隨的文字描述為「台北市長馬英九致詞」，文字描述中含有「市 長」這個關鍵字，共 2 字，再加上「馬英九」三個字的字數 3，得到數字 5，將其除以文 字描述的總字數 9，得到 5/9（約 0.55），即為此張圖片的排序分數。 二 二 二 二. 偵測臉孔偵測臉孔偵測臉孔 偵測臉孔 一般出現在個人資料網頁上的圖片，通常為個人相片居多，尤以個人正面臉孔照最 多，再其次是合照。因此在這個階段中，我們對 Google 所回傳的圖片進行臉孔偵測，依 照所偵測到的臉孔數目對第一種搜尋方式之排序結果作重新排序，並將非人臉之圖片排 序在最後。當偵測完每張圖片的臉孔數目後，我們將只有一個臉孔之圖片排序在最前面； 而這些單臉孔圖片之先後位置則依第一種方式所得之排序分數由大而小排列。再來則是 排序二個臉孔到多個臉孔之圖片，最後再排序無臉孔之圖片。如此將使得文字描述含有 個人資料關鍵字以及臉孔的圖片將被排序在較前方的位置。 臉孔偵測技術目前已有許多相關的研究及應用[11]，其主要目的是找出一張圖片中所 有的臉孔。臉孔偵測的方法主要可分成以下四種[12]： (一) 知識為主的方法（Knowledge-based methods）[13]： 又可稱為以規則為主的方法（Rule-based methods），此方法主要是透過各種符 合人臉特性的知識或規則，以偵測出人臉。 (二) 樣板為主的方法（Template-based methods）[14][15]： 此方法是事先儲存符合人臉特性的標準樣板，然後與輸入的圖片作比對，以區 分是否為臉孔圖片。 (三) 外觀為主的方法（Appearance-based methods）[16][17]： 這類的方法通常是從訓練的影像中，利用各式各樣的學習或統計方法，取得能 表現臉孔外觀的模型，然後進行臉孔的偵測。 (四) 特徵為主的方法（Feature-based methods）[18][19]： 這類的方法首先找出臉部的特徵，例如膚色、眼睛、鼻子或嘴巴等，然後判斷 圖片中的局部區塊是否為人臉，其尋找的速度被認為較前面三種方法為快速。 許多臉孔辨識或臉孔偵測的相關研究均利用膚色偵測（Skin detection）作為前處理， 通常獲得不錯的結果。因此本研究中，我們選擇人臉的膚色特徵來對圖片進行臉孔偵測。 以下則簡略介紹利用膚色作臉孔偵測的相關研究文獻。

圖 4 Google 圖片搜尋引擎所回傳的圖片範例

圖 6 圖 4 在 YCbCr 色彩空間作膚色偵測[26]後之結果

圖 12 圖 9 經「比對文字描述」重新排序後之結果

圖 15 圖 12 經「偵測臉孔」重新排序後之結果

肆

肆

肆

肆.

.

.

. 結論

結論

結論

結論

本研究提出三種不同個人資料搜尋排序方式，透過Google圖片搜尋引擎，以人名當 作搜尋字串，找到相關圖片之後，對圖片重新作排序，使得所在網頁含有個人資料之圖 片排序在較前面之位置，讓使用者能在較前面資料就找到所要的個人資料網頁。首先第 一種方式是根據每張圖片伴隨之文字描述作語意分析比對，重新對Google回傳之圖片作 排序，第二種方式依據圖片上之臉孔數目對圖片再作重新排序，最後第三種方式則是連 結至圖片所在原始網頁進行個人資料關鍵字的比對，然後依關鍵字多寡重新排序圖片。 實驗結果也說明了本研究所提方法之可行性及有效性。 本研究目前主要是作中文個人資料之搜尋，未來可依照英文或其他語言的特性，改 變其關鍵字與稱謂關係之計算方式，便可進一步擴充其功能。另外我們目前是以Google 圖片搜尋引擎當作搜尋資料的來源，而Google與其他業者所提供的搜尋結果並不相同， 未來亦可針對其他的圖片搜尋引擎（例如Yahoo）搜尋個人資料網頁，再加以分析整合所 得到的內容，呈現更為完整的搜尋結果。

伍

伍

伍

伍. 參考文獻

參考文獻

參考文獻

參考文獻

[1] http://images.google.com/ [2] http://www.google.com.tw/intl/zh-TW/help/faq_images.html [3] http://www.google.com.tw/intl/zh-TW//corporate/tech.html

[4] T. H. Haveliwala, “Efficient computation of pagerank,” Technical Report, Standford University, Oct. 1999.

[5] N. Ben-Haim , B. Babenko, and S. Belongie, “Improving web-based image search via content based clustering,” in Proceedings of IEEE Conference on Computer Vision and

Pattern Recognition, New York City, New York, USA, June 2006.

[6] D. Cai, X. He, Z. Li, W. Y. Ma, and J. R. Wen, “Hierarchical clustering of www image search results using visual, textual and link information,” in Proceedings of ACM

International Conference on Multimedia, New York City, New York, USA, Oct. 2004, pp. 952-959.

[7] R. Fergus, P. Perona, and A. Zisserman, “A visual category filter for google images,” in

Proceedings of European Conference on Computer Vision, Prague, Czech Republic, May 2004, pp. 242-256.

[8] W. Sunayama, A. Nagata, and M. Yachida, “Image clustering system on www using web texts,” in Proceedings of International Conference on Hybrid Intelligent Systems, Kitakyushu, Japan, Dec. 2004, pp. 230-235.

[9] Y. A. Aslandogan and C. T. Yu, “Diogenes: a web search agent for content based indexing of personal images,” in Proceedings of ACM Special Interest Group on

Information Retrieval, Athens, Greece, July 2000.

Proceedings of ACM International Conference on Multimedia, Los Angeles, California, USA, Oct. 2000, pp. 39-48.

[11] E. Hjelmas and B. K. Low, “Face detection: a survey,” Computer Vision and Image

Understanding, vol. 83, no. 3, pp. 236-274, Sep. 2001.

[12] M. H. Yang, D. Kriegman, and N. Ahuja, “Detecting faces in images: a survey,” IEEE

Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, Jan. 2002.

[13] G. Yang and T. S. Huang, “Human face detection in complex background,” Pattern

Recognition, vol. 27, no. 1, pp. 53-63, 1994.

[14] J. Cai and A. Goshtasby, “Detecting human faces in color images,” Image and Vision

Computing, vol. 18, no. 1, pp. 63-75, Dec. 1999.

[15] A. Lanitis, C. J. Taylor, and T. F. Cootes, “Automatic face identification system using flexible appearance models,” Image and Vision Computing, vol. 13, no. 5, pp. 393-401, June 1995.

[16] P. Shih and C. Liu, “Face detection using discriminating feature analysis and support vector machine,” Pattern Recognition, vol. 39, no. 2, pp. 269-276, Feb. 2006.

[17] R. Feraud, O. J. Bernier, J. E. Viallet, and M. Collobert, “A fast and accurate face detector based on neural networks,” IEEE Transactions on Pattern Analysis and

Machine Intelligence, vol. 23, no. 1, pp. 42-53, Jan. 2001.

[18] C. H. Lin and K. C. Fan, “Triangle-based approach to the detection of human face,”

Pattern Recognition, vol. 34, no. 6, pp. 1271-1284, June 2001.

[19] W. H. Lai and C. T. Li, “Skin colour-based face detection in colour images,” in

Proceedings of IEEE International Conference on Video and Signal Based Surveillance, Sydney, Australia, Nov. 2006.

[20] Q. Zhang and Z. J. Liu, “Face detection based on complexional segmentation and feature extraction,” in Proceedings of International Conference on Intelligent

Information Hiding and Multimedia Signal Processing, Pasadena, California, USA, Dec. 2006, pp. 293-296.

[21] R. L. Hsu, M. A. Mottaleb, and A. K. Jain, “Face detection in color images,” IEEE

Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 696-706, May 2002.

[22] P. Peer and F. Solina, “An automatic human face detection method,” in Proceedings of

the Computer Vision Winter Workshop, Rastenfeld, Austria, Feb. 1999, pp. 122-130. [23] C. C. Chiang and C. J. Huang, “A robust method for detecting arbitrarily tilted human

faces in color images,” Pattern Recognition Letters, vol. 26, no. 16, pp. 2518-2536, Dec. 2005.

Proceedings of International Conference on Computer as a Tool, Ljubljana, Slovenia, Sep. 2003.