實驗評估方法

國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

將職官沿革的名稱一併列入建立職官清單，之後再根據這些職官建立職官資料庫。

若職官同一時間有多位官員擔任，現階段暫不考慮產生此種職官的年表，僅先針對 同一時間只有一人擔任之任官情況，以二品部份職官為例，包括總督、巡撫以及布政使，

實驗的職官數量總共為六十一個職官。《清聖祖實錄》中對於較低品位之職官記載較少，

因為較低品位的職官與朝廷之間奏折往返的機會不多，間接導致這些較低品位之職官在 史料中出現或者被提到的次數也較少，在資訊較不足的情況下對於任職官員的判斷上也 較為不易，同時史料文本對於品等較高的職官記載也比較完整，因此本研究對於較低品 位之職官並不列入考慮。另外，一品職官與從一品職官當中較多是虛銜，如太師、少保、

太子太師或將軍等，多為兼任、加封、贈官等情況，以及某些職官如正一品的領侍衛內 大臣與當代實際政治並無直接關係，換句話說，名義上虛榮的職官在人事變化的部份也 比較大。此外清代習慣重文輕武，例如從一品的提督在政治或社會地位上較不如正二品 的巡撫，所以武官官職在《清代職官年表》中的年表極少，考慮到正確答案判定上無所 依據便不列入考量。基於以上種種因素，因此本研究以二品的部份職官為例產生職官年 表。

4.2 實驗評估方法

關於本研究產生的職官年表評估標準，是以錢實甫的《清代職官年表》做為標準答案，

將產生的職官年表與正確答案中該職官的歷任官員進行比較。本實驗以時間軸方式來計 算準確率以及召回率，換句話說，評估產生的職官年表依照時間軸角度來看，根據職官 每個月份所擔任的官員是否判斷正確做為評估的基準，若該月份標準答案的人名與我們 判斷的人名相符合，則當做一次正確的判斷，反之則當做一次錯誤的判斷，最終目的為 評 估 整 體 職 官 年 表 當 中 多 少 部 分 為 判 斷 正 確 的 官 員 。 實 驗 評 估 採 用 資 訊 檢 索 (Information Retrieval, IR)中常見的評估方法，分別考慮準確率 (Precision rate, P)與召回

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

率 (Recall rate, R)[14]，定義如下：

1. 準確率 (Precision)

判斷正確的月份 判斷的任期月份

分母判斷的任期月份代表在本方法產生的職官年表中，所判斷的任期時間範圍，是 考慮到我們判斷的任期可能與標準答案的任期長度有所不同，根據此方式計算職官年表 的準確率，換句話說，職官年表在準確率的評估方式，是針對我們所判斷的所有任期中，

有多少個月份是為正確的判斷。

2. 召回率 (Recall)

判斷正確的月份 職官出現的總月份

分母職官出現的總月份代表該職官在歷史上有出現的任期部份，畢竟不是所有職官 在清朝康熙時期都持續存在，有可能一些沿革情況導致該職官在這期間不復在。因此職 官年表在召回率的評估方式，是根據該職官在歷史上真正的任期月份中，有多少月份是 為正確的判斷。

透過召回率得知在職官真正任期部份，本方法所產生的職官年表其判斷正確的月份 有多少，另外藉由準確率得知在職官任期之外的部份，是否也能夠判斷準確。所以職官 年表的評估包括每個職官的官員任期判斷能夠準確之外，職官沿革的關係，當職官在該 期間為裁缺的情況下，那段空窗期間是否能夠正確的判斷擔任職官之情況也是實驗評估 的要素之一。

準確率 =

召回率 =

‧

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

範例中準確率的部份為找出的 720 個月份當中，有多少為判斷正確的月份；而範例中召 回率的部份為該職官實際於歷史上總共出現 715 個月份中，有多少個月份是為判斷正確 者。本研究於實驗部分便藉由上述方法進行準確率以及召回率之評估。