第四章 實驗
4.2 實驗方法
在此章節中，我們以兩個實驗分別對風格分析和西洋棋開局推薦系統做評估。
對於風格分析的實驗，我們引用西洋棋棋手的風格分析研究成果(圖三十[2])當標 準，將圖三十中棋手依據風格程度的排序與風格分析產生的棋手排序做比較，評 估其風格分析的效果。我們使用 Chessgames.com 網站上有被標記為戰術型風格 或局面型風格的棋局記錄，戰術型風格和局面型風格的棋局記錄各分別收集 300
38
盤，將這些棋局紀錄作為風格分析的訓練資料。另外，我們從 Big database 2010 棋局資料庫中，取出圖三十中 25 位棋手的棋局資料作為風格分析的測試資料。
對棋局紀錄的特徵提取上我們只取用棋譜中開局與中局的部分，不納入殘局，因 為在下棋風格上，殘局沒有下棋的風格，只有下棋的正確性。一盤對局由白方與 黑方雙方棋手所下，我們將贏棋的一方，視為擁有此盤棋風格的一方，因為我們 假設一盤棋局的風格由贏棋的一方所主導。最後，我們將測試資料經過風格分析 預測出的棋手戰術型風格機率之排序(由大至小)與圖三十中棋手重視子力程度 的排序(由左至右)來做比較，評估風格分析的效果。圖三十中越左側表示越重視 子力，傾向戰術型風格；越右側表示越不重視子力，傾向局面型風格。兩個排序 的比較，我們以 Spearman's rank correlation coefficient[21]來做評估:
𝜌 = 6 ∑ 𝑑
𝑖2𝑛(𝑛
2−1)
(公式 18)其中，n 為棋手總人數，𝑑𝑖 = 𝑥𝑖− 𝑦𝑖為兩個排序的差距，𝑥𝑖是第 i 個棋手在戰術 型風格機率的排序位置，𝑦𝑖為第 i 個棋手在重視子力程度的排序位置。
圖 三十、棋手對子力的重視程度[2]
對於西洋棋開局推薦系統的實驗，要來評估系統所推薦給棋手的開局對於棋 手學習開局的幫助。由於棋手在比賽中使用的開局，都是來自於他過去學習過的 開局，因此，我們以比對棋手是否在比賽中使用系統推薦的推薦開局來評估。我
39
們從 Big Database 2010 棋局資料庫中，提取從 2002 年至 2009 年的 8 年之區間，
棋力持續上升的棋手，共 2219 位棋手，將這些棋藝持續進步的棋手對局紀錄，
以 2005 年為基準將此區間切半，把棋手在 2002 年至 2005 年下棋生涯前期的對 局紀錄作為輸入資料，將棋手在 2006 年至 2009 年下棋生涯後期的對局紀錄作為 驗證資料。我們將系統由輸入資料產生推薦給棋手的推薦開局與驗證資料中的驗 證開局做比較。
開局推薦系統的評估方法，我們參考準確率(Precision)與召回率(Recall)，並 修 改 這 兩 項 評 估 方 法 以 適 用 於 對 開 局 的 評 估 。 準 確 率 (Precision) 與 召 回 率 (Recall)[22]是資訊檢索領域最常用來評估系統效能的兩個指標，評估系統回傳的 結果是否棋手想要的資訊，準確率與召回率的定義如下:
Precision = |{𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠} ∩ {𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠}|
|{𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠}|
Recall = |{𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠} ∩ {𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠}|
|{𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠}|
圖 三十一、Precision 和 Recall 示意圖
準確率與召回率的計算，對於開局來說，直接以相同開局的個數來代表推薦開局 與驗證開局的交集並不適合，因為不同開局可能極為相似，在棋步上只有在最後 少數一至兩步有差異。因此，我們依據開局從棋步的開始到結束的過程中，所經 歷的過程開局來評估推薦開局與驗證開局的相似性，以推薦開局與驗證開局中滿 足條件的共同過程開局來計算。在此評估推薦開局與驗證開局的相似性，所使用
40
41
開局準確率(Opening Precision, OPP)定義如下:
OPP =
|{𝑂𝑅|{𝑂}∩{𝑂𝑉}|𝑅}| (公式 19)
OR是推薦開局中滿足條件一、條件二、條件三的過程開局集合。OV是驗證開局 之中滿足條件三的過程開局集合。
開局召回率(Opening Recall, OPR)的定義如下:
OPR =
|{𝑂𝑅|{𝑂}∩{𝑂𝑉}|42 開局準確率(Opening Precision, OPP):
OPP = |{𝑂𝑅} ∩ {𝑂𝑉}|
|{𝑂𝑅}| =2
3= 0.67 開局召回率(Opening Recall, OPR):
OPR = |{𝑂𝑅} ∩ {𝑂𝑉}|
|{𝑂𝑉}| = 2
4= 0.5