學年度專題製作期末報告 中華大學資訊工程學系 100

1

中華大學資訊工程學系

100 學年度專題製作期末報告

網際網路熱門搜尋偵測-遊戲產業為例

專題生：B09602007 吳中峻 B09602090 陳雋峰 指導教授:周智勳 教授

專題編號: PRJ2011-CSIE-10035

執行期間 民國 100 年 3 月至 101 年 6 月

2

目錄

一、 專題簡介 3

二、 研究方法及步驟 4

(1)前處理 6

(2)特徵提取 7

(3)分類測試 12

三、 成果 13

四、 心得 15

五、 致謝 21

六、 參考文獻 22

3

一、 專題簡介:

利用網際網路來搜尋資料，在現代社會是相當普及的行為，在這 份專題中，希望能做到對網際網路蒐集來的遊戲相關文件與資料，進 行自動分類，增加搜尋的準確度與效率。

網際網路在現今的社會中，扮演著不可或缺的角色，大量的訊息 與資料在網際網路中，如何有效的利用網際網路進行資料搜尋，這份 專題，希望能對大量的資料進行有效率的處理與分析，增加搜尋的效 率。

這份專題主要鎖定在遊戲領域方面，首先在網際網路中收集遊戲 領域相關資料，這些資料分為五大類別，對各類別的資料進行讀入的 動作，同時將資料內的框架去除留下文字部分，文字部分經過斷詞處 理，去掉標點符號以及虛詞後，對處理後的資料作 n-gram , n-gram 後的詞透過下面四項指標 term frequency , document frequency , conformity , uniformity ，算出相關數值後，透過數值分析得出各 類別的關鍵字，即可利用關鍵字對文件進行自動分類，將文件放入正 確的類別中。

4

二、 研究方法及步驟

圖表 1

訓練用 HTML 資料

讀入資料

去 HTML 框架

去標點符號 標點符號

編碼表

N-gram rule 斷詞

計算指標

前處理

特徵提取

關鍵字分析

各類別關鍵字資料

測試資料

計算資料相似度

分類

分類後結果 分類測試

5

本次專題的研究方法及步驟如圖表 1 文件資料首先經由前處 理，將 html 格式的資料中，屬於網頁框架的部分去除留下文字部分，

斷詞將標點符號以及虛詞去除，同時經 n-gram 演算法處理後，配合 詞庫選出關鍵字的候選詞，關鍵字分析經四項關鍵字評估指標選出合 適的關鍵字，新進來的資料透過這些關鍵字便可自動分類到合適的資 料類別。

文件資料- 事先準備分類過的文件資料，讓程式獲得各類別的基 礎資料，進而對未知的新資料進行自動分類處理。

下圖為剛讀入的 HTML 資料

6

(1) 前處理

去 HTML 框架：將 HTML 文件中的數字、表格與框架移除，留下文字內 容，處理後的文件如下圖所示。

去除標點符號：透過讀入的標點符號編碼表，將標點符號、虛詞、特 殊字元去除，處理後的文件如下圖所示。

7

(2) 特徵提取

斷詞：在文件資料經過前處理後，文件中只剩下文字資料，對於英文 而言，空白以及標點符號 能有效的區分出每一個詞彙，但是對於中 文來說卻沒有明顯的一個分界可用於區分每一個詞彙，因此需要有一 個有效的機制來對中文句子進行分析處理來區分每一個詞彙，在斷詞 方面有很多的演算法廣為使用， long word priority rule , maximum matching rule , PAT tree-based rule , probabilistic learning rule and the n-gram rule ,在這份專題中使用的是 n-gram rule , n-gram rule 的運作方式如下

Step 1.刪除標點符號。

Step 2.刪除虛詞，在這份專題中虛詞的範例如圖表 TABLE2。

Step 3.透過 n-gram rule 整理出 2-gram 3-gram 4-gram 的詞彙，

並刪除只出現一次的詞彙。

Step 4.保留 2-gram 詞彙, 3-gram 4-gram 透過詞庫提取需要的詞 彙。詞庫中包含 43028 個 3-gram 與 4-gram 的常用詞彙。

8

下圖為經處理後 2-GRAM、3-GRAM、4-GRAM、5-GRAM、6-GRAM 資料。

9

將各個做 N-GRAM 後僅出現一次的詞去除，並計錄出現過次數，處理 後的文件如下圖所示。

10

關鍵字分析：處理後留下的關鍵字候選詞，經由下方四個演算法算出 四個關鍵字特徵值：

：計算該詞在該類別中出現的頻率相較於在所有類別中的比例。

：計算該詞在該類別中文件內含有該詞的比例相較於該詞在所有類別 文件中的比例。

：計算該類別文件中該詞出現次數比例相較於在該類別 中其他文件出現次數的比例。

Conformity – 計算該類別文件中含有該詞的數量相較於所有類別 文件中含有該詞的數量。

11

根據四個關鍵字特徵值演算法選出各類別代表關鍵字如下圖所示。

角色扮演類: 射擊類: 動作類: 策略模擬類: 運動類:

12

(3) 分類測試

測試資料經前處理後如下圖所示。

計算相似度：計算文章在各類別出現的關鍵字數量，如下圖所示。

關鍵字的出現數量分別為：

角色扮演類:57 射擊類:8 動作類:15 策略模擬類:115 運動類:31

從上面關鍵字的出現數量可以看出，策略模擬類的關鍵字出現數 量最多有 115 次，因此最後將此文件分類到策略模擬類這個類別。

13

三、 成果

測試環境

作業系統:Microsoft Windows 7 CPU:Intel i5

記憶體:8G 硬碟:320G

開發環境：Visual Stuido 2010 開發語言：C++

訓練用文章量為各類別 10 篇，總共 50 篇。

以下為另外 50 篇文章讀入後分類的結果:

網頁分類＼判定結果 角色扮演類 射擊類 動作類 策略模擬類 運動類

角色扮演類 4 0 0 0 11

射擊類 1 6 0 0 4

動作類 1 0 6 0 1

策略模擬類 0 0 0 4 6

運動類 0 0 0 0 6

角色扮演類 射擊類 動作類 策略模擬類 運動類 總數

讀入文章數量 15 11 8 10 6 50

判定正確數量 4 6 6 4 6 26

判定正確率 26.67% 54.55% 75.00% 40.00% 100.00% 52.00%

14

分類判定時，在誤判的情況下總是會將文章歸類到運動類。我們 手動檢視運動類文章和選出來的關鍵字後發現，運動類遊戲文章比起 其他類別，比較沒有頻繁出現的共通字，因此在篩選關鍵字時，選到 了如巴哈姆特、遊戲…等在其他類別的文章也會頻繁出現的字為關鍵 字，因此當讀入文件的重要辭彙出現頻率不夠時，便容易誤判至運動 類。

15

四、心得

1.去掉網頁框架 - 這部分一開始採用，尋找"< br>"做為文字內容開 始以及結束的關鍵字，但"< br>"在 HTML 中還有其他的特殊用法，該 用法會導致程式在判定上產生失誤，無法正確的去除掉網頁框架。

解決方式 - 網頁的 HTML 語法多以英文撰寫，所使用的英文字皆 可用 ascii 的編碼格式表示，使用<ctype.h>中的 isascii 指令，傳 入的值若為 ascii 格式內的文字回傳非 0 的值，反之則為 0。

透過這個指令便能有效的將網頁框架去除，留下內文。

[程式範例 1]

2.去除中文標點符號(UTF-8 編碼格式) –在除去中文標點符號，一 開始對於編碼類型毫無概念，便認定了要用 big5 的編碼格式下去 做，但無法去除掉標點符號。

解決方式 - 在查詢資料後發現，事實上多數的網頁，為了方便 不同語言使用者之間的交流，採用 UTF-8 的編碼格式下去撰寫[參考 文獻 1]，最早中文的編碼的格式皆為 big5 格式，而簡體中文則為 GB 格式，當設計出來的軟體開始外銷後便發現了問題，同一個字在不同 的編碼格式中可能代表了別的字元，甚至在該編碼中並沒有這個字

16

元，便無法正常顯示在使用者的介面上，為了處理這個問題，就產生 了 Unicode 俗稱萬國碼，在非 Unicode 環境下，由於不同國家和地區 採用的字符集不一致，很可能出現無法正常顯示所有字元的情況。在 這種情況下，一些非英語的歐洲語言編寫的軟體和文檔很可能出現亂 碼。而將內碼表設定為相應語言中文處理又會出現問題， 因此有了 Unicode，內碼表技術現在廣泛為各種平台所採用。

在確認 HTML 資料為 Unicode - UTF8 格式後，對常出現的中文標 點建立 UTF-8 格式的編碼表如表 1 所示，藉由編碼表得知那些字元為 UTF-8 格式下的中文標點，便能有效的將標點符號去除。

[程式範例 2]

3.對中文做 N-gram 斷詞 - 將文章斷成 2-gram, 3-gram, 4-gram, 5-gram, 讀入詞庫做比對，在將各 gram 中沒出現在詞庫中的詞，在 各 gram 中做出現次數統計，將只出現一次的詞去除，留下的便是候 選詞。

[程式範例 3]

4.在 MFC 程式中秀出處理好的文字檔案 – 遇到了 MFC 不支援 UTF-8 編碼的問題，導致顯示出來的文字檔案是亂碼，參考了網路上的資源 [參考文獻 2]，透過MultiByteToWideChar將 UTF-8 編碼轉換成 unicode，

再利用WideCharToMultiByte將 unicode 編碼轉換成 BIG5 碼，最後就能正

17

常的在 MFC 程式上秀出處理過後的文字檔案。

[程式範例 4]

參考文獻

1.http://www.unicode.org/cgi-bin/GetUnihanData.pl?codepoint

=%E5%BE%97

表 1.UTF-8 的編碼對應表

{0xef, 0xbc, 0x8c}, // "，"

{0xe3, 0x80, 0x81}, // "、"

{0xe3, 0x80, 0x82}, // "。"

{0xcf, 0x86}, // "φ"

{0xcf, 0x87}, // "χ"

{0xcf, 0x88}, // "ψ"

{0xcf, 0x89}, // "ω"

18

[範例程式 1]

for(int q=0;q<sizeof(data);q++) { if(isascii(data[q]))

{

/*english[en_counter] = data[q];

en_counter++;*/

} else {

//printf("%c",data[i]);

input[k]=data[q];

data[q] = '\0';

k++;

} }

[範例程式 2]

int big5(int z) {

int j = 0;

for(j=0;j<n+2000;j++) {

test = false;

for(int k=0;Big5Separator[k][0]!=0;k++) {

if (Big5Separator[k][0] == (input[j]) && Big5Separator[k][1] ==

(input[j+1]) && Big5Separator[k][2] == (input[j+2])) {

//0xe3, 0x80, 0x80

test = true;

j = j + 2;

z++;

//z = z + 3;

} }

19 for(int k=0; special[k][0]!=0;k++) {

if(special[k][0] == input[j] && special[k][1] == input[j+1]) {

test = true;

j++;

z++;

} }

if(test == false) {

input2[z] = input[j];

z++;

}

}

return z;

}

[範例程式 3]

for(j=0;j<=sizeof(input3);j++){

if(input3[j]==0) {

}

else if(input3[j+1]==0){}

else if(input3[j+2]==0){}

else if(input3[j+3]==0){}

else if(input3[j+4]==0){}

else if(input3[j+5]==0){}

else if(isascii(input3)){}

else {

two[k] = input3[j];

two[k+1] = input3[j+1];

two[k+2] = input3[j+2];

two[k+3] = input3[j+3];

two[k+4] = input3[j+4];

20 two[k+5] = input3[j+5];

two[k+6] = '\n';

k=k+7;

j=j+2;

} }

[範例程式 4]

MultiByteToWideChar(CP_UTF8, 0, test3, 10000, unicode, 10000);//UTF-8 轉 Unicode WideCharToMultiByte(950, 0, unicode, -1, cbig5, 10000, NULL, NULL);//Unicode 轉 Big5

21

五、致謝

感謝指導教授的細心指導，專題的製作上花了很長的一段時間，

感謝老師在這之中的指引與督促，給予了我們很大的幫助，希望這段 專題的製作經驗，能在未來給予我們幫助，指導教授周智勳老師在專 題的製作過程中，適時的在關鍵點上，給我們指引方向，讓我們在專 題的進度上快了很多，學長姐也給予了很多協助，這次的專題製作會 是很珍貴的人生經驗。

22

六、參考文獻

1. Chih-Hsun Chou,

Chang-Hsing Lee

Y

-H

3. C How To Program 第五版 -作者：P.J.DEITEL,H.M.DEITEL 出版社: PEARSON 出版日期:2007 年 1 月 1 日

4. C++函式庫精華錄 作者：核心研究室：陳正凱，陳錦輝/編著 出版社：金禾 出版日期：2001 年 08 月 25 日