使用序列探勘技術建立遊戲機器人偵測系統之研究
46
0
0
全文
(2) . 使用序列探勘技術建立 遊戲機器人偵測系統之研究 指導教授：蕭漢威 博士 國立高雄大學資訊管理學系 學生：廖又加 國立高雄大學資訊管理學系 摘要 遊戲產業現在是相當重要的網路產業，線上遊戲在當前擁有數量龐大的使用 人口，在遊戲產業市場上有相當高的市占率。而其中線上角色扮演遊戲是最受歡 迎的遊戲類型，其佔有率高達整個遊戲產業的三分之一。然而這類型的遊戲一直 存在著一個影響玩家參與遊戲意願的嚴重問題，也就是俗稱外掛或掛機的遊戲機 器人。遊戲機器人被視為一種作弊代理程式，作弊者可透過此程式長時間且持續 的自動化執行程式去獲取一般正常玩家需投入長期經營才可取得的遊戲資源，造 成了嚴重的公平性問題，使得一般正常的玩家不願意繼續投入該遊戲，進而讓遊 戲公司蒙受損失。隨著遊戲機器人被氾濫地使用，如何有效的偵測出線上遊戲機 器人與正常玩家的遊戲行為模式已成為當前遊戲產業重視的研究議題。 本研究針對此問題，提出了一個遊戲機器人自動偵測系統。使用交互資訊以 及序列探勘技術，從遊戲行為記錄中挖掘遊戲機器人以及一般玩家的遊戲行為序 列特徵，最後藉由這些特徵建立偵測系統的核心模組，使系統得以自動偵測出遊 戲機器人。在經過實證資料的驗證後，本研究提出的偵測方法可以達到正確率 91%以及 F 度量值 90.2%。從兩項數據可看出本研究提出的偵測方法可有效地偵 測出遊戲機器人程式，相信能透過本研究的模式提供未來發展即時偵測遊戲機器 人的重要基礎。 關鍵字：線上遊戲、遊戲機器人、交互資訊、序列探勘. I .
(3) . A Study of Using Sequence Mining to Construct a Game Bot Detection System Advisor: Professor Hsiao, Han-Wei Department of Information Management National University of Kaohsiung Student: Liao, Yu-Chia Department of Information Management National University of Kaohsiung ABSTRACT Nowadays, one of the important industries is the game industry. There is a lot population playing online game which makes online games having high market share in the computer games market. The most popular type of online game is the online role playing game that having one third of the online game market share. But there has been a serious problem that would decrease players’ intention to play which is the game bot. The game bot is considered as a cheating agent program. The cheaters could use the automatic program to get the resources that would cost normal players lots of time. It brought very serious problem which was very unfair and made not only the normal players lost the intention to play and enterprises would also lost profits. Because of the increasing of the serious cheating bot problem, to distinguish the behavior patterns between game bots and normal players has become an important research issue. We proposed an automatic cheating bot detection system against this problem. We use mutual information and sequence mining to find out both the cheating bot’s and normal players’ features of acting sequences from game logs for building the detection module. After being experimented by empirical data, the detection approach we proposed could reach the accuracy rate 91% and the F-measure 90.2%. The accuracy rate and the F-measure confirmed that the detection approach is effective. We believe this approach will be an important basis for developing immediate detection of game bots. Keyword: Online game, game bot, mutual information, sequence mining. II .
(4) . 目錄 第一章 緒論.................................................................................................................. 1 第一節 研究背景.................................................................................................. 1 第二節 研究動機.................................................................................................. 3 第三節 研究目的.................................................................................................. 4 第二章 文獻探討.......................................................................................................... 5 第一節 遊戲機器人自動偵測相關研究探討...................................................... 5 第二節 資料探勘應用於遊戲機器人偵測方法.................................................. 6 第三節 序列探勘相關研究.................................................................................. 7 第三章 遊戲機器人偵測方法與系統架構.................................................................. 9 第一節 遊戲機器人偵測系統架構...................................................................... 9 第二節 資料前置處理........................................................................................ 10 第三節 交互資訊................................................................................................ 12 第四節 序列探勘................................................................................................ 13 第五節 特徵選取................................................................................................ 15 第六節 分類建模................................................................................................ 18 第四章 實證與評估.................................................................................................... 21 第一節 實證方法................................................................................................ 21 第二節 不同特徵選取方法之結果比較............................................................ 22 第三節 特徵過慮前後之結果比較.................................................................... 23 第四節 交互資訊不同門檻值比較.................................................................... 25 第五節 序列探勘不同支持度門檻比較............................................................ 27 第六節 不同特徵選取數量比較........................................................................ 29 第七節 不同分類器分類結果比較.................................................................... 30 第八節 實驗結果討論........................................................................................ 32 第五章 結論................................................................................................................ 34 參考文獻...................................................................................................................... 37 . III .
(5) . 圖目錄 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 1 遊戲機器人自動偵測系統架構圖 ............................................................... 10 2 支援向量機超平面示意圖 ........................................................................... 19 3 TF-IDF 與 TF-WIDF 正確率比較圖 ............................................................ 22 4 TF-IDF 與 TF-WIDF 之 F 度量值比較圖 .................................................... 23 5 特徵過濾比例圖 ........................................................................................... 24 6 特徵過濾前後正確率比較圖 ....................................................................... 25 7 特徵過濾前後 F 度量值比較圖 ................................................................... 25 8 不同交互資訊門檻值正確率之比較圖 ....................................................... 26 9 不同交互資訊門檻值 F 度量值之比較圖................................................... 27 10 不同支持度門檻正確率之比較圖 ............................................................. 28 11 不同支持度門檻 F 度量之比較圖 ............................................................. 28 12 不同特徵數量結果比較圖 ......................................................................... 29 13 不同分類器之正確率比較圖 ..................................................................... 31 14 不同分類器之 F 度量值比較圖 ................................................................. 31. IV .
(6) . 表目錄 表 表 表 表 表 表 表 表. 1 2 3 4 5 6 7 8. 線上遊戲類型比例 ......................................................................................... 2 遊戲行為紀錄原始資料範例 ....................................................................... 11 前置處理結果範例 ....................................................................................... 11 遊戲行為序列範例 ....................................................................................... 14 SPADE 演算法輸入資料範例 .................................................................... 14 SPADE 演算法 ID-list 格式範例 ............................................................... 15 SPADE 演算法暫存資料格式 .................................................................... 15 混淆矩陣 ....................................................................................................... 21. V .
(7) . 第一章 緒論 在台灣如今已經有了龐大的上網人口，網路相關的產業也隨著網路普及而蓬 勃發展，線上遊戲產業也是其中之一。在線上遊戲產業中，線上角色扮演(Online Role-Playing Game)是最受歡迎的類型，是產業發展的主力。部分線上角色扮演 的玩家會利用遊戲機器(Game Bot)人這一種作弊程式來取代人力進行遊戲。遊戲 機器人會帶來包含公平性在內的許多問題，造成玩家不滿而離開遊戲，進而影響 遊戲廠商的營收。由於遊戲機器人會帶來負面影響，偵測並防範遊戲機器人一直 是個重要的議題。本章第一節將針對本研究的背景做介紹，探討線上角色扮演遊 戲的市場規模與特色以及何謂遊戲機器人與其負面影響，第二節提出現行偵測遊 戲機器人方法的缺點與不足，第三節為本研究的目的，提出一個自動偵測遊戲機 器人的方法。. 第一節 研究背景 網際網路發展至今已經過了數十年，它已深入人們的生活，在台灣已經有非 常大量的上網人口。根據資策會 FIND(Foreseeing Innovative New Digiservices)中 心的調查報告「2012 年我國家庭寬頻現況與需求調查─個人篇」[27]指出，2012 年台灣推估曾經上網的人數約為 1,735 萬人，由此數據可以看出網路在台灣已經 相當的普及。而隨著網路的普及化，許多依附於網路的產業也跟著蓬勃發展，其 中值得關注的產業之一便是線上遊戲。根據台灣網路資訊中心「2012 年台灣寬 頻網路使用調查」[28]指出，全國 12 歲以上曾上網的受訪者之中，有玩過線上 遊戲的比例為 47.04%，可見線上遊戲是現今相當重要、值得重視的網路產業。 在線上遊戲的市場之中，佔有率最高的遊戲類型是線上角色扮演，同樣根據「2012 年台灣寬頻網路使用調查」[28]指出，在玩過線上遊戲的人之中，「角色扮演」 類型的佔有比例達到了 27.34%，是所有線上遊戲中最高的，如表 1 所示，代表 此類型的遊戲在線上遊戲產業的發展上，佔有相當重要的地位。 1 .
(8) 表 1 線上遊戲類型比例[28]. 項目. 百分比%. 角色扮演 益智類 動作類(含格鬥) 射擊類(如 CS) 策略/即時戰略類 經營模擬 運動類 競速類 WEB 遊戲 其他. 27.34 20.32 10.37 9.42 9.38 8.15 4.66 3.83 3.70 2.84. 線上角色扮演遊戲的特色是，讓眾多的玩家透過遊戲用戶端連線至遊戲伺服 器上，各自扮演、控制一個遊戲中的人物，並且培養這個自己所屬的人物以及體 驗遊戲世界中的事物。舉例來說，一名玩家可能在一款以古代中國為背景的遊戲 中扮演一名士兵，與許多同樣扮演士兵的玩家與敵國交戰以取得戰利品或獎勵， 並且利用這些戰利品與獎勵換取更優良的武器與防具強化自己的人物，藉此在之 後的戰役獲得更好的戰功、換得更多獎勵。然而線上角色扮演遊戲在受歡迎的同 時，也一直受困於遊戲機器人這個問題，此問題也不斷地造成遊戲公司的損失。. 遊戲機器人被定義為一種作弊程式(Cheating Program)，它可以代替玩家自動 地控制玩家的遊戲人物進行遊戲、鍛鍊人物並獲取各種遊戲中的資源[3]。因為 此類型的遊戲內容重複性較高，使部分玩家不想親自完成這些遊戲內容，於是開 始利用遊戲機器人來進行遊戲，另外不必投入時間便能獲得大量遊戲中的報酬與 資源這點，更是吸引許多玩家使用遊戲機器人[2],[3]。遊戲機器人會帶來的許多 負面影響，如公平性問題，遊戲機器人能長時間不間斷地進行遊戲，因此可以獲 得並佔有許多的遊戲資源，對於一般正常遊戲的玩家相當不公平[2]。而遊戲機 器人長時間進行遊戲，相較於一般玩家會生產出許多額外的遊戲資源，進而加速 2 .
(9) . 遊戲中的通貨膨脹，使一般玩家漸漸的難以取得想要的物品[4]。這些遊戲機器 人帶來的負面影響，會使得一般玩家遊戲意願下降，連帶造成遊戲公司的損失[5]， 於是遊戲公司大多會在遊戲規章中禁止使用遊戲機器人這一類的作弊程式。此外 也會針對使用遊戲機器人的玩家主動地進行偵測，並且給予刪除人物或是鎖定帳 號等等懲罰。. 第二節 研究動機 目前遊戲公司使用的偵測方法大致有三種，人工進行遊戲機器人的辨識、全 自動區分電腦和人類的圖靈測試(Completely Automated Public Turing test to tell Computers and Humans Apart)以及反作弊軟體(Anti-cheating Software) 。由於遊戲 機器人並無法像一般玩家一樣進行對話，只能透過設定針對某些特定的問題進行 回應。人工辨識遊戲機器人便是針對此特性，由遊戲管理員一個一個進行對話辨 識。但如果是在玩家數量龐大的情況下，人力會難以應付造成效率過低且成本過 高[6]。除了人工辨識之外，一些遊戲公司會使用圖靈測試，透過遊戲機器人難 以辨認但一般玩家能理解的圖片，要求照圖片上的指示進行回應，藉此分辨遊戲 機器人與一般玩家。但這樣會干擾一般玩家進行遊戲，因此圖靈測試並不受到玩 家的歡迎[3],[4],[7]。反作弊軟體會跟隨遊戲軟體一起安裝在玩家電腦，此類型軟 體會掃描電腦所執行的程序，並阻擋包含遊戲機器人在內的非法程式。然而這些 軟體的監測很容易被迴避掉，例如使用獨立運作不需要遊戲軟體的遊戲機器人， 且對作業系統也有不良影響[4],[7]。由於現有的遊戲機器人偵測方法都有許多的 缺點，因此需要一個改善或沒有這些缺點的新偵測方法。有鑑於此，本研究提出 了一個遊戲機器人的自動偵測方法，來達成在不干擾玩家且成本低廉的情況下有 效地偵測遊戲機器人。. 3 .
(10) . 第三節 研究目的 根據之前的研究得知，相較於一般玩家較沒有某些特定行為模式，遊戲機器 人由於會不斷執行腳本，因此會產生許多不斷重複的行為序列[8]。由於此一特 性，本研究認為能透過資料探勘中的序列探勘技術，從遊戲行為紀錄中找出一般 玩家與遊戲機器人不同的地方。本研究之目的為提出一個架設於伺服器端之遊戲 機器人自動偵測系統，此偵測系統將利用伺服器端的遊戲行為紀錄資料，透過序 列探勘技術找出遊戲機器人與一般玩家的特徵行為序列，最後利用這些特徵之間 的差異來訓練偵測系統中的偵測模組。預計此偵測系統可以達到降低偵測成本、 避免偵測被迴避以及有效偵測遊戲機器人。. 4 .
(11) . 第二章 文獻探討 由於遊戲機器人偵測上的困難，許多年來眾多研究人員試著要解決這個問題。 他們觀察到了遊戲機器人有與一般玩家不同之處，利用一些統計方法或是資料探 勘技術來針對這些有所差異的地方，提出各種遊戲機器人自動偵測方法。本章將 針對自動偵測遊戲機器人過往的相關研究，以及本研究所利用的序列探勘技術進 行探討。第一節為遊戲機器人自動偵測相關研究探討，第二節為資料探勘應用於 遊戲機器人偵測方法，第三節序列探勘的相關研究。. 第一節 遊戲機器人自動偵測相關研究探討 Chen 等人[7]提出了幾個針對流量分析的方法，他們觀察到遊戲機器人的在 回應指令的時間上有明顯的固定間隔，認為可能是因為遊戲機器人在執行過程中 的迭代(Iteration) 時間固定所導致的，他們計算這些回應時間間隔的功率譜密度 (Power Spectral Density) 嘗試來辨別遊戲機器人。但他們覺得這樣的方法不足以 準確地偵測出遊戲機器人，因此又針對流量突發程度(Traffic Burstiness) 提出了 一個方法，利用計數分散指數(Index of Dispersion for Counts) 來觀察一段時間內 流量離散程度的變化。最後考慮到網路延遲的影響，又檢測網路延遲與流量變化 的相關性。Mitterhofer 等人[6]觀察到遊戲機器人會不斷照著同樣的路徑移動，因 此針對依照固定移動路徑的遊戲機器人，提出了一個移動路徑檢測方法。此方法 透過最長共同前綴(Longest Common Prefix) 檢測每個移動指令的可匹配最長字 串，觀察移動位置的重複程度，來找出不斷重複經過一個路徑的遊戲機器人。 Varvello 等人[9]發現遊戲機器人的社交網絡與一般玩家有所不同，因此利用社群 網絡分析技術中的三種衡量值，中介中心性(Betweenness Centrality)、群聚度 (clustering coefficient)以及程度中心性(Degree centrality)來找出差異之處，並藉此 偵測遊戲機器人。Platzer[8]認為遊戲機器人在執行一個任務的過程只會依照一個 固定的腳本，因此在執行同一個任務的行為序列會是一致的。他針對此特性提出 5 .
(12) . 使用編輯距離(Levensthein Distances)來檢測遊戲行為紀錄中完成單一任務之行 為序列是否一致的偵測方法。. 這些偵測方法都有其不足的地方，例如流量分析可能因為遊戲機器人在行動 加入隨機延遲使其規律的特性改變而降低準確度。移動路徑分析則不適用有特殊 移動方式，甚至不移動的遊戲機器人。而社群網絡分析若針對完全不與人互動， 或是同時親自玩遊戲以及使用遊戲機器人的玩家會不夠精準。編輯距離若是序列 會夾雜些許差異便會產生誤判，此外需先找出遊戲行為紀錄中那些段落屬於同一 任務，因此適用的範圍不大。. 第二節 資料探勘應用於遊戲機器人偵測方法 Cornelissen 與 Grootjen[2]認為遊戲機器人動作的時間間隔會相當規律，此處 與一般玩家有所差異，因此挑出了 7 個行為間的時間間隔，如兩次移動的間隔時 間、兩個封包到達的間隔時間等做為訓練資料，將這些訓練資料以及正確結果輸 入倒傳導類神經網路(Back Propagation Neural Network)，藉此訓練一能自動辨別 遊戲機器人的偵測系統。除了前兩位學者之外，Gianvecchio 等人[4]也使用了類 神經網路(Neural Network)來自動辨識遊戲機器人。他們也認為遊戲機器人的動 作間隔時間有其規律性存在，而選擇了滑鼠及鍵盤的動作，例如連點、長按…等 動作做為訓練資料來訓練偵測系統。除了類神經網路外，也有使用其他資料探勘 方法的研究。Kang 等人[10]認為遊戲機器人的團隊遊戲行為會較一般玩家顯著不 同，遊戲機器人的團隊會有明顯分工，而玩家則無明顯分工。因此嘗試利用異常 值偵測(Outlier Detection) 從大量的團隊互動行為紀錄中找出異常值，並將此異 常值視為遊戲機器人來進行偵測。Thawonmas 等人[11]為了能準確偵測遊戲機器 人，而挑選了幾個機器人無法避免的動作，如使用倉庫、與 NPC 交易…等，再 利用遊戲機器人動作頻率與玩家不同的特性，挑選出其中符合門檻的動作頻率訓 6 .
(13) . 練支援向量機進行偵測。. 這些偵測方法的缺點主要是使用的資料都有不夠周全的地方，利用動作的時 間間隔容易因遊戲機器人在動作時加入隨機延遲而受到影響。團隊活動的異常值 分析對不進行團隊活動、只單獨行動的遊戲機器人無用。利用特定動作的頻率進 行偵測的話，在行動種類多的情況下，其遊戲機器人與一般玩家的動作頻率會產 生大幅重疊的部分而影響結果。本研究提出的序列探勘方法，由於並非針對執行 動作間隔時間的規律性，因此不會受到隨機延遲的影響。利用序列探勘挖掘出遊 戲紀錄中所有足以作為特徵的序列組合，因此在行為序列有些微差異時仍能找出 其中相同的特徵。由於利用的是行為的序列，其頻率不容易受到外在條件不同而 改變。此外本研究利用完整遊戲行為紀錄而不使用特定的動作進行偵測，代表偵 測系統的泛用性上會有較好的表現。. 第三節 序列探勘相關研究 根據以前的研究指出，遊戲機器人的行為序列會較一般玩家規律，因此本研 究選擇利用序列探勘來找出兩者的特徵差異。序列探勘(Sequence Mining)是由提 出 Agrawal 與 Srikant [12]兩人提出的一個資料探勘技術，是從有時間性的一連串 事件中，找出事件發生的前後順序關係的分析方法。兩位學者提出了以 Apriori 演算法為基礎，將其修改成用於序列探勘的 AprioriAll 演算法。該演算法會先從 資料庫找出所有視窗長度為 1 的頻繁序列樣式，再以這些頻繁序列樣式來組合出 長度加 1 的候選序列，並再次掃描資料庫找出候選序列中的頻繁序列樣式，並繼 續組合與掃描直到沒有候選序列為止。由於 AprioriAll 演算法效率不佳，Srikant 與 Agrawal [13]又提出了 GSP 演算法(Generalized Sequential Pattern)，利用滑動時 間視窗(Sliding time window)提升產生候選序列時的效率。Lin 與 Lee [14]提出了 FASTUP 演算法 (Fast Sequential Pattern Update)，為了避免資料庫更新資料後， 7 .
(14) . 需重新探勘(re-mining)整個資料庫的問題，先探勘新增資料庫(Increment Database) 後將頻繁樣式與支持度計數(Support Count)加入原始資料庫，最後再更新原本的 探勘結果。Garofalakis 等人[15]提出了 SPIRIT 演算法(Sequential Pattern Mining with Regular Expression Constraints)，SPIRIT 演算法可由使用者輸入正規表示式， 來從資料庫挖掘出符合使用者需求的頻繁樣式。Han 與 Pei [16]提出了 FreeSpan 演算法(Frequent Pattern-Projected Sequential Pattern Mining)，該演算法利用投射 資料庫(Projected Database)來縮小資料庫，利用投射序列樣式(Projected Sequential Pattern)來組合候選序列，藉此提高效率。之後 Pei 與 Han [17]又提出了 PrefixSpan 演算法(Prefix-projected Sequential Pattern Mining)，改善 FreeSpan 演算在在產生 投射資料庫上的缺點，會投射出每個樣式的後序序列(Postfix Sequence)資料庫， 這些樣式被稱為前序序列(Prefix Sequence)。Zaki [18]提出 SPADE (Sequential Pattern Discovery using Equivalence Classes)演算法，主要以垂直資料庫(Vertical Databases)的 ID-list 儲存頻繁樣式序列，取代 AprioriAll 的水平資料庫(Horizontal Databases)，並利用晶格(lattice)來拆解資料庫，讓探勘得以在記憶體中執行，擁 有更好的效能。Ayres 等人[19]提出 SPAM 演算法(Sequential Pattern Mining)，此 演算法利用位元圖表示法(Bitmap Representation)大幅提高產生候選序列的速度， 但會產生出過多不可能成為頻繁樣式的候選序列，降低了整體效率。Yan 等人[20] 提出了 CloSpan 演算法(Closed Sequential Pattern Mining)以及封閉序列樣式 (Closed Sequential Pattern)，以 PrefixSpan 為基礎，利用反向子樣式(Backward Sub-pattern) 與 反 向 超 樣 式 (Backward Super-pattern) 進 行 搜 尋 空 間 修 剪 (Search Space Pruning)減少重複的序列樣式，來找出資料中的封閉序列樣式。本研究使 用 SPADE 演算法來實作序列探勘的步驟，SPADE 演算法利用垂直資料庫可快速 找出頻繁樣式，且探勘過程都在記憶體中執行，擁有相當好的效率。. 8 .
(15) . 第三章 遊戲機器人偵測方法與系統架構 本章節將介紹本研究提出的遊戲機器人偵測系統，此偵測系統使用序列探勘 技術，從遊戲行為紀錄中找出遊戲機器人與一般玩家特徵行為序列的差異，並藉 此特徵行為序列偵測遊戲機器人。後續將依序介紹此偵測系統訓練流程的每個步 驟所使用的方法與技術。第一節介紹偵測系統之系統架構，第二節為資料的前置 處理，第三節介紹交互資訊如何應用於本研究，第四節介紹本研究使用的序列探 勘演算法，第五節說明如何挑選建立偵測模組用的特徵，第六節介紹用來測試挑 選結果的分類器。. 第一節 遊戲機器人偵測系統架構 本研究之自動偵測系統架構如圖 1。首先利用已確認是遊戲機器人或一般玩 家的遊戲行為紀錄做為訓練資料，透過資料前置處理將需要的欄位從記錄中過濾 出來。在前置處理後，會得到一個個包含一整筆遊戲行為紀錄的序列，序列中會 有不斷重複的一段段行為指令序列，本研究使用交互資訊將這些行為指令序列切 分開來。接著利用資料探勘中的序列探勘技術，從這些指令序列中找出所有足以 作為一筆遊戲行為紀錄之特徵的行為序列。然而這些行為序列只能夠代表各自所 屬的紀錄，因此需經過特徵選取的步驟，將所有行為序列之中可以代表遊戲機器 人或是一般玩家特徵的部分挑選出來。最後，使用分類器利用挑選出來的特徵建 立起一個偵測的模組，偵測系統將利用此模組來判斷何者為遊戲機器人，何者為 一般玩家。. 9 .
(16) . 圖 1 遊戲機器人自動偵測系統架構圖. . 第二節 資料前置處理 本研究從遊戲公司收集來的真實遊戲行為紀錄中包含了數個部分，分別為指 令抵達的時間、指令長度、行為指令以及執行指令所需資訊。表 2 為遊戲紀錄的 範例，此範例的行為是不斷移動尋找狩獵目標，發現目標後進行攻擊，最後撿取 戰利品再繼續尋找下一個目標。紀錄中的時間欄位，代表著這一筆行為指令下達 的時間。指令的長度則是行為指令加上執行指令所需資訊兩欄位的長度，單位是 位元組(byte)。例如移動指令長度為 1 位元組，而目的地座標包含三個軸的長度 共 3 位元組，兩者相加之後可得到指令長度 4 位元組。行為指令部分為玩家在遊 戲時所下給所屬遊戲人物的指令代碼，是由兩個十六進位的數字組成，長度為 1 位元組，範例中為求容易理解不用代碼而直接標明是什麼動作。本研究所收集的 遊戲紀錄中，遊戲機器人類別中總共出現三十多種的動作，而一般玩家則是約四 10 .
(17) . 十種。一般玩家會做的動作種類較多，但出現次數最多的動作差距不大，多是移 動、遠距離攻擊、近距離攻擊或是法術攻擊…等等。此外有 6 個左右的動作，在 兩類別中的總出現次數有較大的差異，例如遊戲機器人類別中總共出現不到 100 次，而一般玩家超過 500 次。最後一個欄位是執行指令所需資訊，是玩家的遊戲 人物在執行指令時所需要的資訊，例如要移動時需要有移動的目的地的座標、攻 擊時要指定攻擊目標，長度隨著執行的動作而有所不同。本研究利用的方法為序 列探勘，所需要用到的序列就是依照時間先後順序排序的行為指令，因此會透過 前置處理過濾原始的遊戲行為紀錄，留下行為指令並將依照指令下達的時間整理 排序，如表 3。. 表 2 遊戲行為紀錄原始資料範例. 時間. 指令長度. 行為指令. 執行指令所需資訊. 1 2 3 4 5 6 7. 4 4 4 3 3 4 4. 移動 移動. 目的地座標 目的地座標. 移動 攻擊 撿取 移動 移動. 目的地座標 目標編號 道具編號 目的地座標 目的地座標. 行為指令 移動 移動 移動 攻擊 撿取 移動 移動 … 11 . …. …. .. .. …. 表 3 前置處理結果範例.
(18) . 第三節 交互資訊 由於線上角色扮演的特性，遊戲紀錄中會有許多不斷重複的指令序列，例如： 移動尋找目標、與目標戰鬥、撿取戰利品、移動尋找目標。遊戲機器人行為照著 腳本不斷重複，產生出許多相似的行為序列。玩家則是動作變化較多，因此序列 組合會與遊戲機器人有所差異，本研究便是利用這些序列來找出遊戲機器人與一 般玩家的差異。但在經過前置處理後的資料，只是一串包含所有行為指令的大序 列，無法得知其中到底隱藏了哪些序列。因此在針對其中包含的指令序列進行探 勘前，需將隱藏在遊戲紀錄中的行為序列給切分開來。為了切開這些隱藏的序列， 本研究利用交互資訊來檢視遊戲行為紀錄中，每一對指令之間接連出現的關聯性。 交互資訊會檢驗兩個指令接連出現的機率與單獨出現的機率兩者的比值，並利用 此比值之對數再對兩個指令接連出現的機率進行調整。若兩者接連出現的機率在 調整後大於預先設定的門檻值，則代表這兩個指令具有關聯性，它們接連出現時 可能代表了某些重要資訊。而一對指令之間的關聯性高於設定的門檻值，便視這 一對指令屬於同一個序列。若關聯性小於設定的門檻值，則此兩個指令視為不同 序列，便從此處將序列切斷。此外，切分序列時也將時間因素考慮進去，若兩接 連出現的指令時間相隔過久，代表兩指領並非連續的動作，也將兩者視為不同序 列，本研究將此間隔設定為三秒。. ,. ,. ,. ∈. ,. 公式(1)為交互資訊的完整公式，. (2). 是. 聯性，也是切分序列的主要依據。公式 (2) 之中的 所有行為指令的集合。 ,. 代表遊戲行為紀錄. 為在一整筆遊戲行為紀錄. 與. 的接連出現的關. 代表一筆遊戲行為紀錄中 中的第 個行為指令紀錄。. 中，行為指令 12 . . (1). 出現後行為指令.
(19) . 接連著出現的機率，. 與. 則是指. 與 . 在. 率。在計算行為指令之間的關連性前，需要設立門檻值θ，藉由 否大於θ來判斷. 與. 之中出現的機 ,. 是. 的關聯性是否足夠高到將其視為屬於同一序列。以表. 3 之中的指令為例，攻擊指令的總出現機率為 0.143，撿取指令的總出現機率也 為 0.143。在攻擊之後撿取接連出現的狀況總共出現一次，而總共有六種接連出 現的組合，因此攻擊之後接撿取的機率為六分之一，0.167。則攻擊與撿取之間 的關聯性為 0.167 除以 0.143 的平方，然後取對數再乘以 0.167，其結果為 1.364。 若門檻值為 1，則攻擊與撿取則視為在同一個序列之中，若為 1.5，則將攻擊與 撿取視為兩個序列的切分點。若門檻值θ設定過大，會出現許多過於零散的行為 指令序列，造成實際上屬於同一行為序列的指令被切開，而使後續序列探勘結果 失準。若門檻值θ設定過小，則可能把不相關的行為指令劃為同一序列，將會使 序列探勘得到錯誤的特徵序列。因此θ的設定應於實證評估時納入評估，找出最 合適的門檻值θ。. 第四節 序列探勘 序列(Sequence) 指的是由許許多多的事件(Event) 依照發生時間順序所組成 的一連串事件。樣式(Pattern) 則是一個序列中的一段連續事件隱含的前後關係特 徵。視窗長度(Window) 指的是序列由多少個事件組成。支持度(Support) 代表樣 式在各序列中出現的頻率。若樣式出現的頻率大於支持度門檻值，則為頻繁樣式。 子序列(Sub-sequence) 是與超序列(Super-sequence) 中的一部分相同的序列。以 表 4 為例，序列 S 是由移動、攻擊與撿取等三個事件所組成，S = <{移動}, {移 動}, {移動}, {攻擊}, {撿取}, {移動}, {移動}> ，而 S1 = <{移動}, {攻擊}> ，完 全等同於 S2 = <{移動}, {攻擊}, {撿取}> 中的一部分，S1 便是 S2 的子序列， S2 為 S1 的超序列。. 13 .
(20) 表 4 遊戲行為序列範例. 時間. 1. 2. 3. 4. 5. 6. 7. …. 事件. 移動. 移動. 移動. 攻擊. 撿取. 移動. 移動. …. 本研究進行序列探勘時，所使用的演算法是 Zaki 提出的 SPADE 演算法。此 演算法的優點在於其將資料利用名為 ID-list 的垂直資料庫方式儲存，藉此格式 可以快速檢驗每一個樣式在哪些序列的什麼位置出現過，並且方便計算樣式的支 持度以過濾樣式。其中 SID 代表一樣式在哪個序列出現過，EID 代表該樣式在序 列中出現的位置。例如一筆紀錄有 100 個序列，<{移動}, {攻擊}> 總共擁有 5 個不同的 SID，則可以馬上知道此樣式的支持度為 0.05。能藉此減少掃描資料的 次數，不必在檢驗每個樣式時都重新掃描原始資料，能更有效率地找出資料之中 的頻繁樣式。在利用 SPADE 演算法進行序列探勘前，必須先將輸入資料整理成 如表 5 一般的格式，標出每一個事件所屬序列的 SID，以及事件的位置 EID。. 表 5. SPADE 演算法輸入資料範例. EID. Event. 1 1 1. 1 2 3. 移動 移動 移動. 2 2. 1 2. 攻擊 撿取. 3 3. 3 3. 移動 移動. …. …. …. SID. 資料輸入後第一步驟會先讀取所有事件，將這些事件視為視窗長度為 1 的序 列，並存成如表 6 的 ID-list。在資料轉存成 ID-list 之後，會計算每個序列的支持 度，檢驗是否高於門檻值並修剪掉低於門檻值的部分，接著將 ID-list 轉存表 7 中的暫存資料格式，如此可以清楚了解每個序列之中剩下那些序列，並且能快速 的組合出長度為 2 的序列存入 2-sequence ID-list ，例如由{移動}與{攻擊}組合成 14 .
(21) . <{移動}, {攻擊}>，當找出所有視窗長度為 2 的序列後再修剪一次支持度未達門 檻值的序列。後續就持續利用視窗長度 k-1 的序列組合出視窗長度為 k 的序列， 並不斷修剪掉支持度低於門檻的序列，直到沒有任何序列支持度高於門檻，如此 便找出所有的頻繁樣式。. 表 6. SPADE 演算法 ID-list 格式範例. 移動. 3. 1 …. …. …. EID 1. …. SID 2. …. EID 1. …. SID 1. 攻擊. . 表 7. SPADE 演算法暫存資料格式. SID. (item, EID) pairs. 1. (移動 1). (移動 2). 2. (攻擊 1). (撿取 2). (移動 3). …. …. …. …. 第五節 特徵選取 在序列探勘之後，可以得到每一筆遊戲行為紀錄的所有頻繁樣式，然後這些 頻繁樣式只有辦法代表所屬紀錄的特徵，並無法作為遊戲機器人或一般玩家這樣 一個類別的特徵。因此在進行特徵選取時，需先計算每一個頻繁樣式在整個類別 之中的權重，再挑選權重排行前 K 個序列做為一個類別的特徵樣式。在文本探 勘的領域中，TF-IDF(Term Frequency – Inverse Document Frequency) 是一種常用 的權重計算方法，本研究試圖應用 TF-IDF 於特徵選取，但有一個可能影響遊戲 機器人偵測結果的問題存在。由於本研究只有兩個類別，IDF 會將兩類別都有的 特徵之權重視為 0，使得一些在兩類別中出現機率差異很大的特徵在挑選時被排 15 .
(22) . 除，可能會使偵測成效變差。以下將說明 TF-IDF 與其問題，並且說明此問題的 在本研究中應該如何改善。. (1) TF-IDF TF-IDF[21]是用來計算一個字詞在一份文件中的重要性與代表性，TF 為詞 頻(Term Frequency)[22]，代表一個字詞在一份文件中出現的頻率，出現頻率越高 則表示字詞對一份文件的代表性越高。IDF 為逆向文件頻率(Inverse Document Frequency)[23]，主要是利用一個字詞在多少份文件中出現來決定字詞的代表性。 若字詞在大量的文件中出現，則難以利用此一字詞來判斷一份文件的特徵，因此 代表性就會低落。而字詞只在少量的文件中出現時，較能透過此一字詞推斷出文 件特性，此字詞代表性便較高。TF-IDF 之公式如下所示，公式(3) 中 一個字詞在文件. 之中出現的次數，分母為文件. ,. 的在文件. ∑. 的文件總數. (3). ,. | | : ∈ ,. ,. 之中的權重。. ,. ,. 代表. 中所有字詞的出現次數總. 和。公式(4) 中 | | 代表所有文件的數量，其分母為包含字詞 量。公式(5) 計算出字詞. ,. =. ,. (4) (5). 本研究試圖應用 TF-IDF 進行特徵選取。將頻繁樣式視為一個字詞，將遊戲 機器人以及一般玩家這兩個類別視為兩份文件。透過詞頻檢視一個頻繁樣式出現 在一類別中多少比例的紀錄，並以逆向文件頻率來檢視此頻繁樣式是否同時出現 在兩個類別中。然而逆向文件頻率只檢視一頻繁樣式是否出現在一個類別之中， 且本研究只擁有兩個類別，若一頻繁樣式同時出現在兩個類別時，IDF 值便會是 2 除以 2 之後取對數，也就是 log(1)，其權重值 TF-IDF 將會歸零。若此頻繁樣 16 .
(23) . 式在兩個類別之中的出現頻率差距非常的大，足以作為遊戲機器人或是一般玩家 的特徵，將會使偵測模組在進行判斷的時候失去一個可靠的依據，可能會使判斷 的準確度降低，因此必須要改進逆向文件頻率這個無視出現頻率的問題。. (2) WIDF WIDF(Weighted Inverse Document Frequency)[24]是一種改良過的逆向文件 頻率，其值為一個字詞在一筆文件中出現的頻率，佔了所有文件中出現頻率總和 ,. 的多少比例。WIDF 的計算公式如公式(6)， 現的次數，. 代表字詞 i 在文件 j 中出. 代表所有的文件，j 為 Ｄ 之中的第 j 份文件，. ,. 代表字. 詞 i 在文件 k 中出現的次數。本研究將應用 WIDF 來取代逆向文件頻率 IDF， 檢視一頻繁樣式在一個類別的遊戲行為紀錄中出現的頻率，佔了所有遊戲行為紀 錄多少的比例，也就是檢視頻繁樣式在兩類別中的出現頻率差異。若頻繁樣式在 兩類別之中出現的頻率有相當大的差距，例如在遊戲機器人的類別中出現 100 次，在一般玩家的類別中出現 1 次，其 WIDF 值各會是 0.99 以及 0.01，不會如 TF-IDF 般使權重直接變成 0，如此便可以將此頻繁樣式在兩個類別之中的權重 值做出合理的調整。. ,. , ∑ ∈. ,. (6). 在改善了權重排行的計算後，還有個可能會影響偵測系統偵測準確度的問題 存在。序列探勘的特性是，會把一個序列中所以可能的排列組合都找出來，所以 探勘的結果會有許多屬於同一個超序列的子序列。由於一個超序列及其子序列之 集合的代表性差異可能不大，找出了一個超序列就能知道會有那些子序列，找出 子序列的集合就能組合出其超序列。因此若在挑選特徵時同時選到了超序列以及 其子序列，偵測模組同時利用兩種序列進行判斷的效果，與只用其中一種加上一 17 .
(24) . 個其它序列的效果相比，分類的成果可能不會比較好，甚至會更差。因此在計算 每一個特徵序列的權重後，應該再過濾這些特徵序列，以求每個挑選出來的特徵 都能擁有足夠的代表性。若過濾子序列保留超序列，可能會造成特徵過適(Overfit) 於少數遊戲行為紀錄的問題。因為超序列的視窗長度較子序列長，相較之下不容 易被組合出來，很有可能只有少數的遊戲紀錄才出現，所以將過濾掉可以由權重 排行較前的特徵序列組合出來的特徵，如<{移動}, {攻擊}>和<{攻擊}, {撿取}> 組合出的<{移動}, {攻擊}, {撿取}>就會被過濾，避免過適問題。. 第六節 分類建模 此步驟的目的在於利用分類器建立分類模型，將會測試不同分類器用於辨識 遊戲機器人與一般玩家的效果，藉此挑選出最佳的分類器。目前已經存在多種分 類方法，本研究將以最常見的三種方法來進行實驗，並利用分類結果評估該如何 選擇交互資訊的門檻值θ 、序列探勘的支持度以及特徵選取數量 K。以下為預 計使用的分類器：. (1) J48 決策樹(J48 Decision Tree) J48 決策樹改良自 Quinlan 的 C4.5 決策樹[25]而來的，C4.5 決策樹是 Quinlan 於 1993 年提出、改善自他先前提出的 ID3 演算法。J48 決策樹會利用訓練資料 建立一如樹狀的結構，從根節點(Root Node) 開始分枝，每個內部節點(Internal Node) 代表一個分類用的屬性(Attribute) ，最終的葉節點(Leaf Node) 代表決策 結果。建立決策樹的過程會由根節點開始，利用資訊獲利率(Information Gain) 來 決定一個屬性要分配到的內部節點位置，直到分配完所有屬性或滿足訓練條件， 最後會進行修剪(Pruning) 改善過度配置的問題。. 18 .
(25) . (2) 支援向量機(Support Vector Machine) 支援向量機又稱支援向量網路(Support-vector networks)[26]，是一種兩類別的 分類器(Two-class classifier)，用來在訓練資料所構成的向量空間中，尋找一個或 多個超平面(Hyperplane) 能讓兩類別到達超平面的距離都最遠。以圖 2 為例，圓 形點為第一類，三角形點為第二類，支援向量機所要找出的超平面可表示為公式 (7) ，與兩類別的距離最遠。公式中 w 為垂直於超平面的向量，x 為超平面上的 點，常數 b 使超平面不用通過原點，減少限制。. 圖 2 支援向量機超平面示意圖. wx. b. 0. (7). (3) 單純貝氏分類器(Naïve Bayes Classifier) 單純貝氏分類器根據貝氏定理(Bayesian Theorem) 建立的分類方法，是速度 非常快的分類器，即使建立分類模型時使用的屬性相當多，完成建模也不用多少 時間。其運作原理是採用監督式學習的方式，利用已知道分類結果的訓練資料學 習結果與屬性之間的關係，最後以學習得知的結果對未歸類的資料進行分類。貝 氏定理公式如(8) ，. 代表事件 X 發生的機率，. |. 代表發生事件 H 的. 情況下事件 X 的發生機率。. |. |. 19 . (8).
(26) . 在經過分類建模之後，便可得到一個由分類器所建立起來的分類模型，本研 究將利用此分類模型作為偵測模組的核心來進行遊戲機器人的偵測。偵測模組會 先讀入要進行辨識的紀錄之特徵，接著檢視這些紀錄之中有沒有建立分類模型時 用到的各個分類屬性。檢視過這些紀錄內包含的所有特徵後，會標示出每筆紀錄 中分類屬性的分布情況，如此便能開始進行分類。最後偵測模組會將分類結果回 傳，管理員便可以依據回傳的結果做出下一步的處理，或是使偵測系統自動根據 結果進行預先安排好的處理方法。. 完整的偵測系統運作流程為輸入尚未辨別為遊戲機器人或一般玩家的遊戲 行為紀錄，並同樣經過交互資訊及序列探勘找出每一筆紀錄的特徵樣式，接著偵 測模組會讀入每一筆紀錄中的特徵樣式，使用這些特徵以及預先訓練好的分類模 型來將這些紀錄分類至遊戲機器人或一般玩家。在分類完成並回傳判斷的結果之 後，偵測系統可以依照預先做好的設定來自動對被判斷為遊戲機器人的玩家進行 懲處，或著是回傳結果給遊戲管理員，讓遊戲管理員針對被判斷為遊戲機器人的 玩家進行懲處。遊戲管理員也可以做更進一步的測試，以避免系統誤判造成一般 玩家權益受損。. 20 .
(27) . 第四章 實證與評估 第一節 實證方法 為了驗證本研究提出的遊戲機器人自動偵測系統的偵測效果，將利用真實的 遊戲行為紀錄進行實證，並且使用資料探勘軟體 weka 來進行實驗。此外，每階 段實驗都以十折交叉驗證(10-fold cross-validation)進行。目前已經向遊戲公司申 請取得 4706 筆的遊戲行為紀錄，並且已經確認其中 2150 筆紀錄屬於遊戲機器人， 2556 筆紀錄屬於一般玩家。在分類測試的結果評估上，本研究將使用正確率 (Accuracy Rate)以及 F 度量(F-measure)來做評估結果的指標。正確率計算方法為 公式(9)，是用來檢驗本研究提出的自動偵測系統，正確判斷為遊戲機器人以及 一般玩家的紀錄，占了所有遊戲行為紀錄中多少的比例。而 F 度量如公式(10) 可以同時檢驗準確率(Precision)，真實為遊戲機器人並且被判斷為遊戲機器人的 比例，以及召回率(Recall)，偵測系統判斷為遊戲機器人的紀錄中實際為遊戲機 器人的比例，兩項指標的評估指標。. 表 8 混淆矩陣. 正確率： F 度量：. 21 . (9) ∗ ∗. (10).
(28) . 第二節 不同特徵選取方法之結果比較 本節將針對特徵選取方法 TF-IDF 與 TF-WIDF 之結果進行比較與探討。為 了比較兩者的差異，因此其他設定參數都只使用一個固定的數值，以進行選取方 法的比較。交互資訊的門檻值設定為 0.01，序列探勘的支持度門檻設亦為 0.01， 分類器只使用 J48 決策樹，而特徵數量由 100 到 1000 中選取等差的 300、500 以 及 700。圖 3 為 TF-IDF 與 TF-WIDF 的正確率比較，圖 4 為 TF-IDF 與 TF-WIDF 的 F 度量比較。使用 TF-IDF 來挑選特徵時，最佳成果為正確率 82.3%，F 度量 值 83.2%。而使用 TF-WIDF 來挑選特徵的話，最佳結果可以達到正確率 90.6%， F 度量值 89.8%，正確率約高出了使用 TF-IDF 的結果 8%，F 度量值則多了將近 7%。由此結果可以確認的確有許多如同前面章節所提到的，遊戲機器人與一般 玩家都擁有，但出現頻率差異非常大的特徵。而這些特徵在 TF-WIDF 權重計算 之下，得以排進權重排名較前端的部分，使得這些特徵得以成為一個有效的分類 依據，明顯提升了分類測試的成效。. 正確率. TF-IDF與TF-WIDF正確率比較 92.0% 90.0% 88.0% 86.0% 84.0% 82.0% 80.0% 78.0% 76.0% 74.0%. TF-IDF TF-WIDF. 100. 300. 500. 700. 1000. 特徵數量. 圖 3 TF-IDF 與 TF-WIDF 正確率比較圖. 22 .
(29) . TF-IDF與TF-WIDF之F度量值比較 92.0% 90.0%. F度量值. 88.0% 86.0% 84.0%. TF-IDF. 82.0%. TF-WIDF. 80.0% 78.0% 100. 300. 500. 700. 1000. 特徵數量. 圖 4 TF-IDF 與 TF-WIDF 之 F 度量值比較圖. 第三節 特徵過慮前後之結果比較 本節將針對特徵過濾前後的分類結果進行比較與探討。在參數的設定上使用 與前一節相同之設定，交互資訊的門檻值為 0.01，序列探勘的支持度門檻為 0.01， 分類器使用 J48 決策樹，特徵數量為 100、300、500、700 以及 1000。在特徵選 取的方法上，使用 TF-WIDF 來進行特徵的選取。圖 5 為在不同特徵數量下，被 過濾替換掉的特徵佔有多少比例。從圖中可以清楚的看出在這些被挑選出來的特 徵中，的確有非常多如前一章所提到的，可由權重排行較前的子序列組成的超序 列。此外也可看到隨著選取的特徵數量上升，被過濾掉的序列比例也隨著上升。 因為特徵數量增加後，能用來組合超序列的特徵也隨之增加，組合出超序列的總 類開始變多，所以被過濾掉的序列比例也逐漸上升。. 23 .
(30) . 特徵過濾比例 60.0%. 過濾比例. 50.0% 40.0% 30.0%. 遊戲機器人. 20.0%. 一般玩家. 10.0% 0.0% 100. 300. 500. 700. 1000. 特徵數量 圖 5 特徵過濾比例圖. 圖 6 為過濾特徵與不過濾特徵的分類正確率比較，圖 7 為過濾特徵與不過濾 特徵的分類 F 度量值比較，可以看到特徵過濾後正確率與 F 度量值都有稍微提 升，在特徵數量 700 時達到最大差距約 0.6%，但是在特徵數量 100 時，分類結 果沒有明顯差異。實驗的結果雖然顯示出特徵過濾能帶來比較好的結果，但是其 差異並不如預期的大。其原因可能是因為利用 TF-WIDF 針對特徵進行權重排序， 能夠使大部分有效的特徵排到最前端，權重排行較低的特徵則幾乎無法帶來更多 的資訊，並提高分類的正確率與 F 度量值。因此在過濾比例較低的情況下，如 特徵數量 100 時過濾掉不到 30%的特徵，補上的特徵大多是對分類成效沒有幫助 的。在過濾比例高的情況下，如特徵數量 700 時過濾了超過 40%的特徵，才有機 會能替補進一些能對分類有效果的特徵。根據實驗結果，特徵過濾後分類成果雖 然較好但差距不夠明顯，因此為了提高偵測系統之效率，捨棄特徵過濾這個步 驟。. 24 .
(31) . 特徵過濾前後正確率比較 91.5%. 正確率. 91.0% 90.5%. 特徵過濾. 90.0%. 特徵不過濾 89.5% 89.0% 100. 300. 500. 700. 1000. 特徵過濾. 圖 6 特徵過濾前後正確率比較圖. 特徵過濾前後F度量值比較 91.0%. F度量值. 90.5% 90.0% 89.5%. 特徵過濾. 89.0%. 特徵不過濾. 88.5% 88.0% 100. 300. 500. 700. 1000. 特徵過濾. 圖 7 特徵過濾前後 F 度量值比較圖. 第四節 交互資訊不同門檻值比較 本節將針對交互資訊不同門檻值θ的分類結果進行比較與探討。為比較不同 門檻值θ的影響，本節實驗只調整θ值，不調整其他參數。序列探勘的支持度門 檻設為 0.05，分類器使用 J48 決策樹，特徵數量為 100、300、500、700 以及 1000。 特徵選取方法使用 TF-WIDF，並且由於特徵過濾對分類結果的影響不夠顯著，. 25 .
(32) . 因此不過濾特徵。θ值的設定以 10 負 N 次方為標準進行實驗，然而θ值小於 0.01 之後切出來的序列過長且數量過少無法進行序列探勘，因此只實驗至θ值 0.01。 又為了更清楚了解θ值變化對偵測結果的影響，在 0.1 與 0.01 之間取了接近兩者 平均的 0.05 進行實驗。 圖 8 為不同門檻值θ下正確率的比較，圖 9 為不同門檻值θ下 F 度量值的 比較。由兩張圖中可以看出，在θ值較小的情況下可以得到較好的分類結果，θ 值 0.01 時可以達到最佳的成果，正確率 90.8%，F 度量值 89.8%。推測原因為θ 值越小，則每一筆紀錄內序列就會越長、總量也越少，因此在進行序列探勘時， 可以組合更多種的序列組合，且會有更多序列超過支持度門檻，於是可以探勘到 更多的特徵，進而使得分類測試時擁有更多有效的判斷依據。相反的θ值越大， 每一筆紀錄內序列就會越短、總量也越多，序列的組合及能超過支持度門檻的序 列就少，有效的序列特徵也隨之減少。因此在θ值 0.1 時，挖掘出的特徵總數量 甚至達不到 1000 個，而且分類成果明顯比θ值 0.01 遜色。相較於θ值 0.1 與 0.01， θ值 0.05 與 0.01 之間的差距就明顯縮小， 可見在θ值 0.05 時已經挖掘出大多 數有效的特徵序列組合，然而為求最佳的偵測效果，後續實驗仍將θ值設定為 0.01。 不同交互資訊門檻值之正確率比較 91.0% 90.5%. F度量值. 90.0% 89.5%. 0.1. 89.0%. 0.05. 88.5%. 0.01. 88.0% 87.5% 100. 300. 500. 700. 1000. 特徵數量. 圖 8 不同交互資訊門檻值正確率之比較圖 26 .
(33) . 不同交互資訊門檻值之F度量比較 90.0% 89.5%. F度量值. 89.0% 88.5%. 0.1. 88.0%. 0.05. 87.5%. 0.01. 87.0% 86.5% 100. 300. 500. 700. 1000. 特徵數量. 圖 9 不同交互資訊門檻值 F 度量值之比較圖. 第五節 序列探勘不同支持度門檻比較 本節將針對序列探勘不同的支持度門檻對分類結果的影響進行探討。實驗過 程中，將測試不同支持度門檻並且不調整其他參數。交互資訊門檻值設為 0.01， 分類器使用 J48 決策樹，特徵數量為 100、300、500、700 以及 1000。特徵選取 方法為 TF-WIDF，不過濾特徵。在實驗所使用的支持度門檻設定上，以 10 的負 N 次方來選取，但由於在交互資訊門檻值為 0.01 時，序列數量最少的 100 個遊 戲行為紀錄中，包含的序列平均數量不滿 100 個，因此支持度門檻最小設定為 0.01。而為了更清楚了解支持度變化對結果的影響，因此多進行了支持度 0.05 的測試。. 圖 10 為不同支持度門檻的正確率比較，圖 11 為不同支持度門檻的 F 度量值 比較。由兩張圖中可以看出，支持度門檻在 0.05 與 0.01 時，成果都較支持度門 檻為 0.1 時更好。最佳的支持度門檻為 0.05，可以達到正確率 90.8%，F 度量值 89.8%。次佳的支持度門檻為 0.01，正確率為 90.6%，F 度量值為 89.8%。支持 度門檻為 0.1 時，最多只能達到正確率 88.6%，F 度量值 87.3%。推測其原因為 27 .
(34) . 進行序列探勘時，支持度門檻 0.05 的情況下已經得以挖掘出所有有效的特徵序 列，而在支持度門檻 0.01 時，多挖掘出來的特徵序列支持度已經過低，無法成 為代表一個類別的特徵。而支持度門檻 0.1 時，雖然已挖掘出大多數的有效特徵 序列，仍有些支持度較低特徵序列能有效分類一般玩家或是遊戲機器人，因此分 類成果較支持度門檻 0.05 及 0.01 略差一些。根據實驗的結果，為求得最佳的偵 測成果，並且能減少偵測所需時間、提升效率，因此後續實驗將以支持度門檻 0.05 來進行。. 正確率. 不同支持度門檻正確率之比較 91.0% 90.5% 90.0% 89.5% 89.0% 88.5% 88.0% 87.5% 87.0% 86.5%. 0.1 0.05 0.01. 100. 300. 500. 700. 1000. 特徵數量. 圖 10 不同支持度門檻正確率之比較圖 . F度量值. 不同支持度門檻F度量值比較 90.5% 90.0% 89.5% 89.0% 88.5% 88.0% 87.5% 87.0% 86.5% 86.0% 85.5%. 0.1 0.05 0.01. 100. 300. 500. 700. 1000. 特徵數量. 圖 11 不同支持度門檻 F 度量之比較圖 28 .
(35) . 第六節 不同特徵選取數量比較 本節將針對作為進行分類依據的特徵，其選取的數量對分類結果的影響進行 探討。參數設定上，交互資訊門檻值設為 0.01，序列探勘支持度門檻設為 0.05， 分類器使用 J48 決策樹，特徵選取方法為 TF-WIDF，不過濾特徵。從前面實驗 的結果來看，特徵數量 500 以後再繼續增加特徵，對分類結果的影響幅度已經不 是非常顯著，因此不再繼續探討更多特徵數量的結果。而由於尚未針對特徵數量 少於 100 的範圍進行了解，本節進行這一部份的探討。圖 12 為不同特徵數量下 分類結果正確率的比較，圖 13 為不同特徵數量下分類結果 F 度量值的比較。可 以從兩張圖中明顯看出，在特徵數量少的情況下，特徵數量的提升對分類結果有 非常大的影響力。差異最大的部分為特徵數量 10 到 30，正確率差距達到 6.3%， F 度量值差異達到 6.5%。然而特徵數量增加到一定的程度，特徵數量的影響比 例就會大幅減少。雖然使用前 30 個特徵偵測成果便已經相當良好，但若追求最 佳的結果則需要使用前 500 個特徵。因此建議特徵的選取數量為 500 個，以達到 最佳的偵測成果。. 不同特徵數量結果比較 91.0% 89.0% 87.0% 85.0%. 正確率. 83.0%. F度量值. 81.0% 79.0% 10. 30. 50. 70. 100 300 500 700 1000. 特徵數量. 圖 12 不同特徵數量結果比較圖. 29 .
(36) . 第七節 不同分類器分類結果比較 本節將針對不同分類器在分類結果上的差距進行探討。參數設定上，交互資 訊門檻值設為 0.01，序列探勘支持度門檻設為 0.05，特徵選取方法為 TF-WIDF， 不過濾特徵。圖 14 為本研究所選用的三種分類器的正確率比較圖，圖 15 為 F 度量值的比較圖。三種分類器中表現最佳的是支援向量機，在特徵數量 300 時可 得到最佳的正確率 91%，F 度量值 90.2%。次佳的分類器是 J48 決策樹，其最佳 的成果是在特徵數量 500 時，正確率達到 90.8%，F 度量值則為 89.8%。單純貝 氏分類器表現則明顯較差，正確率最高只達到 73.7%，F 度量也只有 65.6%。此 外從圖中可看出 J48 決策樹以及支援向量機的分類成果具有隨特徵數量逐漸上 升的特性，而單純貝氏分類器則相反，會隨著特徵數量逐漸變差。由於 J48 決策 樹會利用資訊獲利來挑選最有效的特徵，並且針對決策樹進行修剪來避免分支過 多。支援向量機則是會將資料投射到高維度的空間，找出兩個類別間最適合的超 平面來作為分類準則，此兩個分類器皆能避免雜訊影響分類器的訓練。而單純貝 氏分類器則會利用所有的特徵進行分類，因此會受到雜訊的影響，因此分類結果 會較為遜色。而特徵數量大時雜訊的比例跟著上升，單純貝氏分類器分類成果也 會隨著特徵數量上升而變差。由於為了取得最好的偵測結果，建模時會挑選較多 的特徵，所以在實驗使用的三種分類器之中，建議使用 J48 決策樹以及支援向量 機。. 30 .
(37) . 不同分類器之正確率比較. 90.0%. 正確率. 85.0%. J48 80.0%. SVM NB. 75.0%. 70.0% 100. 300. 500. 700. 1000. 特徵數量 圖 13 不同分類器之正確率比較圖. 不同分類器之正確率比較. 90.0%. 正確率. 85.0%. J48 80.0%. SVM NB. 75.0%. 70.0% 100. 300. 500. 700. 1000. 特徵數量 圖 14 不同分類器之 F 度量值比較圖. 31 .
(38) . 第八節 實驗結果討論 從實驗結果可以看到交互資訊門檻變小時，成果也跟著逐漸改善。在交互資 訊門檻較大時，切割出來的序列會過於破碎、短小，造成一些有效的特徵無法被 組合出來。且紀錄中的序列數量也會因此增加，讓後續序列探勘時，部分有效特 徵支持度因此下降至無法達到支持度門檻。若降低交互資訊門檻，則可以增加序 列長度以及可組合的樣式數量，並且減少記錄內的序列數量，可以在同樣支持度 門檻下找出更多頻繁樣式，因此分類結果能跟著改善。序列探勘門檻由降低時， 分類結果也有同樣的趨勢。由於序列探勘門檻降低時，有更多的樣式會被視為頻 繁樣式，因此能挖掘出更多的有機會成為類別特徵的樣式。. 除了上述的部分之外，也可以看到此兩部分實驗結果較好的兩參數差距都非 常接近，不管是正確率或 F 度量最小甚至差不到 1%。而從特徵數量 100 到特徵 數量 1000 的差距也不是非常的大，正確率與 F 度量的增加了不到 2%。從特徵 數量影響階段的實驗結果來看，其原因應是即使在不同參數設定下，最有效的特 徵可能都已經被包含在前 100 個特徵之中了。由於交互資訊門檻以及序列探勘門 檻在 0.05 時，都已經是相當小的門檻，所以此設定下較有效的特徵應該都挖掘 出來了。再加上特徵數量超過 100 的情況下，各參數最有效的特徵大多都已經被 選用了，因此即使參數設定不同，在分類上都已經有了足夠多的判斷依據，所以 不同參數以及特徵數量的差距就變得比較小。. 而在反制偵測上，本研究所提出的偵測系統，針對遊戲行為紀錄中隱藏的行 為序列進行探勘，挖掘其中的特徵。即使遊戲機器人在行為中加入亂數的行為改 變序列組成，試圖反制本研究的偵測系統，對偵測成效的影響也不會太大。偵測 系統在序列探勘時，會優先修剪掉每個序列中支持度低於門檻的所有行為，隨機 加入的亂數行為的支持度難以高過門檻，因此這些行為多會在一開始就被排除。 32 .
(39) . 而即使亂數行為沒有被修剪掉，序列探勘在組合樣式時，仍能從序列中組合出不 包含亂數行為的樣式，因此亂數行為不會有所影響。基於以上的原因，本研究的 偵測系統在面對遊戲機器人行動時加入亂數行為的情況，仍然能保有良好的偵測 成效，不會因此受到影響。. 33 .
(40) . 第五章 結論 網路遊戲現今已經值得重視的一個產業，線上角色扮演遊戲更是其產業發展 的主力，然而遊戲機器人一直存在於這類型的遊戲之中，並為此遊戲產業帶來損 失。雖然遊戲公司會針對遊戲機器人進行偵測，但現有的偵測方法大多難以有合 適的方法來偵測此類的問題，因此本研究提出一個能自動偵測遊戲機器人的偵測 系統來解決這個問題。本研究所提出的偵測系統架構主要是利用交互資訊以及序 列探勘技術從遊戲行為紀錄之中，找出每一筆遊戲行為紀錄的頻繁樣式，再利用 TF-WIDF 來進行權重排行，挑選出足以代表遊戲機器人或是一般玩家的特徵， 以這些特徵進行分類分析來歸納出遊戲機器人與一般玩家的行為特徵差異，以藉 此從遊戲記錄檔中找出潛在的遊戲機器人代理程式。. 在經過本研究實際資料驗證並且針對每個步驟的方法及參數設定進行探討 後，本研究從實驗結果中得知了不同特徵選取方法以及交互資訊門檻參數的變化 對偵測成果的影響。在特徵選取方法的選擇上，使用 TF-WIDF 的偵測結果明顯 較 TF-IDF 較好，這兩項不同特徵選取方法的實驗中所最佳正確率分別為 90.6% 及 82.3%。而 F 度量值則是 89.8%與 83.2%，在不同的評估判斷條件下 TF-WIDF 都有較佳的預測結果。這主要是由於本研究是遊戲機器人與正常玩家行為的兩類 別的遊戲紀錄，傳統的 TF-IDF 特徵選取方式在計算兩類別都存在但頻率差距很 大的特徵之權重會有明顯的偏誤，而 TF-WIDF 則能算出這些特徵之權重。此外， 序列探勘會把所有組合的特徵樣式都找出來，因此結果中會有許多屬於同一超序 列的子序列。本研究認為若特徵選取時同時挑選到超序列和子序列，可能無法讓 分類成效提升，因此嘗試過濾特徵中的超序列，並進行實驗了解其成果。在特徵 過濾後，同樣參數設定下正確率由 90.6%提升至 91.2%，F 度量值由 89.9%提升 至 90.5%。雖然得到了更好的成果，但是差距的幅度並不大。其原因應是大多數 的有效特徵都集中在前 100 個特徵內，因此過濾掉超序列之後，遞補上的大多數 34 .
(41) . 特徵並無足夠的資訊能提升成果。. 在交互資訊門檻參數的設定上，經本研究的實證結果可知交互資訊門檻θ越 小，正確率及 F 度量值越高。從 0.1 降低至 0.05 可以提升正確率及 F 度量值最 多達到約 1.5%，而從 0.05 降至 0.01 最多可以提升大約 0.3%。從數據中可看出 雖然θ越小，分類的成果越好，但過了 0.05 已經沒有顯著的提升。原因應是在 交互資訊門檻參數為 0.05 時已經可以充份的將序列切割開，使得後續的序列探 勘步驟能有效挖掘出大部分特徵。而在序列探勘的支持度門檻上，若由 0.1 降低 至 0.05 時可將正確率由 88.6%提高至 90.8%，但支持度門檻 0.05 的正確率及 F 度量只能微幅提升於門檻更小的 0.01 條件。判斷原因應是由於支持度門檻 0.01 時，已無法挖掘出更多具有區分能力的樣式特徵。而在此兩部分實驗中，結果差 距會如此不明顯的原因，尚有一部份應該是因為最有效的特徵都已經集中在前 100 個之中了。在特徵數量對分類成果的影響上，可以看到只用了 30 個的特徵 便已經可以得到正確率約 88%與 F 度量約 87%的成果，與最好的表現只差了 3% 左右。此外，特徵數量與預測正確率呈現了正相關的趨勢，然而過了特徵數量 500 時，即使大幅增加特徵數量仍無法取得更好的成果，可見在權重排名 500 後 已經幾乎沒有能夠提高分類成果的有效特徵。在實驗所使用的三種分類器中，J48 決策樹及支援向量機能達到正確率 90.8%及 91%，F 度量值 89.8%及 90.2%，而 單純貝氏分類器最多只能達到正確率 73.7%及 F 度量值 65.6%，因此本研究建議 在此類遊戲機器人偵測判定的研究結構下使用 J48 決策樹及支援向量機會有較 佳的預測表現。. 本研究於交互資訊門檻值 0.01、序列探勘支持度門檻 0.05 且特徵數量 300 或 500 時，使用支援向量機或 J48 決策樹可以達到最佳的正確率 91%，F 度量值 90.2%。從實證結果可以看出，本研究提出的偵測方法在偵測遊戲機器人上，能. 35 .
(42) . 夠有很好的判斷成效。此外由於本研究是利用交互資訊及序列探勘技術，從完整 的遊戲行為紀錄挖掘特徵，並非針對特定遊戲機器人代理程式的特定行為特性進 行遊戲機器人之偵測，因此本研究所提出的研究模式具有一般性，可應用於不同 類型的遊戲機器人偵測，更切合現今產業界所面臨多樣多變的遊戲機器人代理程 式的情境。. 在未來的研究方向上，將嘗試收集更多的遊戲紀錄來對本研究的偵測系統做 更進一步的實驗，以了解本偵測系統用於不同的遊戲時的成效，也希望能藉此瞭 解本系統較適合用於何種的遊戲類型以及何種情況。此外，也會嘗試使用其他種 類的分類器來進行實驗，找出是否有在分類成果上更為優異的分類器，使本偵測 系統能擁有更好的偵測效能。在進行更進一步的分類器實驗時，也將會測試更多 的參數設定，來了解不同的分類器是否有不同的最佳參數設定。. 本研究的偵測方法在經過實驗之後證實其擁有良好的效能，高正確率代表能 正確的利用遊戲行為紀錄區分遊戲機器人與一般玩家，高 F 度量值代表能有效 偵測遊戲機器人。此方法除了有效之外，利用伺服器端的完整遊戲行為紀錄進行 偵測，不易被遊戲機器人的作弊者所發現或反制，並且不干擾一般玩家。由以上 可知本研究的偵測方法可以達成自動、準確且有效地偵測遊戲機器人，相信能對 解決長期困擾線上遊戲產業的遊戲機器人問題提供一個重要的研究基礎。. 36 .
(43) . 參考文獻 [1] P. S. Chen, J.J. Hwang, R. Song, G. Yee, and L. Korba, “Online Gaming Cheating and Security Issue,” International Conference on Information Technology: Coding and Computing, 2005. ITCC 2005, vol. 1, 2005, pp. 518– 523. [2] A. Cornelissen, and F Grootjen, "A Modern Turing Test: Bot Detection in MMORPGS," In Proceedings of the 20th Belgian-Dutch Conference on Artificial Intelligence, BNAIC2008, 2008, pp. 49-55. [3] M. v. Kesteren, J. Langevoort, and F. Grootjen, "A Step in the Right Direction: Botdetection in MMORPGs Using Movement Analysis," in Proceedings of the 21st Belgian-Dutch Conference on Artificial Intelligence, 2009. [4] S. Gianvecchio, Z. Wu, M. Xie, and H. Wang, “Battle of Botcraft: Fighting Bots in Online Games with Human Observational Proofs,” in Proceedings of the 16th ACM Conference on Computer and Communications Security, New York, USA, 2009, pp. 256–268. [5] S. Hilaire, H. Kim, and C.K. Kim, “How to Deal with Bot Scum in MMORPGs?,” in Communications Quality and Reliability (CQR) , IEEE, 2010, pp. 1–6. [6] S. Mitterhofer, C. Kruegel, E. Kirda, and C. Platzer, “Server-Side Bot Detection in Massively Multiplayer Online Games,” IEEE Security and Privacy, vol. 7, no. 3, pp. 29–36, 2009. [7] K.T. Chen, J.W. Jiang, P. Huang, H.H. Chu, C.L. Lei, and W.C. Chen, “Identifying MMORPG Bots: A Traffic Analysis Approach,” EURASIP Journal on Advances in Signal Processing,, vol. 2009, no.3 , pp. 1–22, Jan. 2009. [8] C. Platzer, “Sequence-based Bot Detection in Massive Multiplayer Online Games,” 8th International Conference on Information, Communications and Signal Processing (ICICS) 2011, IEEE, Dec. 2011, pp. 1–5. [9] M. Varvello and G. M. Voelker, “Second Life: A Social Network of Humans and Bots,” in Proceedings of the 20th International Workshop on Network and Operating Systems Support for Digital Audio and Video, New York, USA, 2010, 37 .
(44) . pp. 9–14. [10] A. R. Kang, J. Woo, J. Park, & H. K. Kim, “Online Game Bot Detection Based on Party-play Log Analysis,” Computers & Mathematics with Applications, vol. 65, no. 9, pp. 1384-1395, 2013. [11] R. Thawonmas, Y. Kashifuji, and K.T. Chen, “Detection of MMORPG Bots Based on Behavior Analysis,” in Proceedings of the 2008 International Conference on Advances in Computer Entertainment Technology, New York, USA, 2008, pp. 91–94. [12] R. Agrawal and R. Srikant, “Mining Sequential Patterns,” in Proceedings of the Eleventh International Conference on Data Engineering, Washington, DC, USA, 1995, pp. 3–14. [13] R. Srikant and R. Agrawal, “Mining Sequential Patterns: Generalizations and Performance Improvements,” in Proceedings of the 5th International Conference on Extending Database Technology: Advances in Database Technology, London, UK, Mar. 1996, pp. 3-17. [14] M.Y. Lin and S.Y. Lee, “Incremental Update on Sequential Patterns in Large Databases,” in Proceedings of 10th IEEE International Conference on Tools with Artificial Intelligence, Taipei Taiwan, ROC, Nov. 1998, pp. 24-31 [15] M. N. Garofalakis, R. Rastogi, and K. Shim, “SPIRIT: Sequential Pattern Mining with Regular Expression Constraints”, in Proceedings of the 25th International Conference on Very Large Data Bases, Sep. 1999, pp. 223-234. [16] J. Han, J. Pei, B. Mortazavi-Asl, Q. Chen, U. Dayal and M-C. Hsu, “Freespan : Frequent Pattern-Projected Sequential Pattern Mining,” in Proceedings of the 6th ACM SIGKDD International Conference on Knowledge discovery and data mining, Boston, USA, Aug. 2000, pp. 355–359. [17] J. Han, J. Pei, B. Mortazavi-Asl, and H. Pinto, “PrefixSpan: Mining Sequential Patterns Efficiently by Prefix-Projected Pattern Growth,” in Proceedings of the 17th Internatioanl Conference on Data Engineering, Heidelberg, Germany, April 2001, pp.215-224. [18] M. J. Zaki, “SPADE : An Efficient Algorithm for Mining Frequent Sequences,” 38 .
(45) . in Proceeding of Machine Learning Journal, special issue on Unsupervised Learning, Vol. 42, pp.31-60, 2001. [19] J. Ayres, J. Gehrke, T. Yiu and J. Flannick, “Sequential Pattern Mining using A Bitmap Representation,” in Proceedings of the 8th ACM International Conference on Knowledge Discovery and Data Mining, Edmonton, Alberta, Canada, Jul. 2002, pp.429-435. [20] X. Yan, J. Han and R. Afshar, “CloSpan: Mining Closed Sequential Patterns in Large Datasets,” in Proceedings of 2003 SIAM Int. Conf. Data Mining on Data Mining, San Francisco, USA, May 2003, pp. 438-457. [21] G.Salton and C.Buckley. “Term-weighting Approaches in Automatic Text Retrieval,“ Information Processing & Management, vol. 24, no. 5, pp. 513-523, 1998. [22] H.P. Luhn. “A Statistical Approach to Mechanized Encoding and Searching of Literary Infoamttion,” IBM Journal of Research and Development, vol. 1, no. 4, pp. 309-317, 1957. [23] K. Sparck Jones. A Statistical Interpretation of Term Specificity and Its Application to Retrieval. Journal of Documentation, vol.28, no. 1, pp. 11-20, 1972. [24] T. Tokunaga and M. Iwayama, "Text Categorization Based on Weighted Inverse Document Frequency." Special Interest Groups and Information Process Society of Japan (SIG-IPSJ). 1994. [25] J. R. Quinlan, “C4. 5: Programs for Machine Learning,” Morgan kaufmann, vol.1, 1993. [26] C. Cortes and V. Vapnik, "Support-vector Networks", Machine Learning, vol. 20, no. 3, pp 273-297, Sep. 1995. [27] 蔡郁薇， 『2012 年我國家庭寬頻現況與需求調查─個人篇』 ，資策會 FIND 中 心，2013 (available online at http://www.find.org.tw/find/home.aspx?page=many&id=345) [28] 梁德馨、蘇浚欽、謝昀東、陳薪卉、劉惠婷、劉峻廷與陳儀蔓， 『2012 年台 39 .
(46) . 灣寬頻網路使用調查報告』，財團法人台灣網路資訊中心，2012 (available online at http://www.twnic.net.tw/download/200307/20120709d.pdf). 40 .
(47)
相關文件
Hofmann, “Collaborative filtering via Gaussian probabilistic latent semantic analysis”, Proceedings of the 26th Annual International ACM SIGIR Conference on Research and
• Information retrieval : Implementing and Evaluating Search Engines, by Stefan Büttcher, Charles L.A.
Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp... Annealed
Since the FP-tree reduces the number of database scans and uses less memory to represent the necessary information, many frequent pattern mining algorithms are based on its
Furthermore, in order to achieve the best utilization of the budget of individual department/institute, this study also performs data mining on the book borrowing data
in Proceedings of the 20th International Conference on Very Large Data
Step 5: Receive the mining item list from control processor, then according to the mining item list and PFP-Tree’s method to exchange data to each CPs. Step 6: According the
資料探勘 ( Data Mining )
