第七章 實驗結果與分析

7.1 評估實體名詞辨識模型實驗

7.1.1 人名擷取實驗

本實驗中根據 5.3 節中介紹的三種標記方法產生各自的辨識模型,對實驗語料去做辨識,

比較三種模型的效果,同時以只用人物資料表中的資訊去訓練出的辨識模型作為基礎,

觀察本研究提出的辦法的優缺點。根據條件隨機場模型推論時產生出最佳序列時所得到 的每一個位置權重分數,擷取人名與其對應序列區段的分數,對擷取出的所有人名依對 應分數做排序,做透過系統抽樣(Systematic Sampling),也稱為等距抽樣,將總體資料切 割成 10 個階層(Zone),取每一個階層前 100 個人名去做人工檢驗去判斷,決定是否為人 名,評估人名的標準依據表 7.1 所示。由於並沒有實驗語料中人名實際的數量及位置,

因此無法去計算 Recall,所以在此僅使用 Precision 公式去計算人工驗證時的精準度當作 整體精準度的期望值 E(P),作為評估指標來進行評估,如公式(13)所示。

E(P) = Match + 0.5 × P_match

Match + P_match + Miss (13)

44

從 5.3 節介紹的三種標記方法:順序標記法(M1)、列舉式標記法(M2)、列舉式標記 法加入朝代資訊(M3),加上只運用人物資訊表中的標記(RE),根據 6.2 節的特徵分別去 建立各自的 NER 模型,對格式轉換後的實驗語料去做辨識,產生實驗標記語料,再透 過系統抽樣方式進行人工檢驗。由於中國漢族人名大多以二、三字組合而成,超過三字 以上並不多,而外族人名字數尌有比較大的變化,因此本研究希望分開觀察最主要的二 字人名以及三字以上人名擷取的效果。實驗結果如表 7.2、表 7.3 所示。

根據表 7.2,可以觀察到本研究提出的方法,比只運用人物資訊表的標記方法皆可 以辨識出更多可能的人名;其中在 M1 方法下,由於優先權的關係,再標記時會使得優 先順序較低者的部分標記被忽略掉,所以訓練出來的模型所辨識出的人名會相對 M2、

M3 少。再從表 7.3 去觀察,將人名資訊拆二字人名與三字以上人名兩類去做抽樣後人 工檢驗,結果四種方法整體的期望精準度差異不大,表示四種模型皆可以有效的標記出 人名,而本研究提出的方法可以比 RE 的部分多標記出更多人名且擁有相近的精準度,

其中 M2、M3 能夠擷取到比 M1 更多的人名,即表示 M1、M2 模型可辨識出更多可能 的人名。其中二字人名的辨識度是比較差的,從人工驗證的過程中,發現了幾個常見情 況:

(1) 二字人名為不完整的人名,例如「李繼隆」只擷取到「李繼」為人名。

表7.1 人名判斷評估標準 Label 標記狀況 說明

Match 正確 人名完全正確

P_match 部分正確 人名不完全正確,少姓氏 人名不完全正確,少名字結尾

Miss 遺失 人名並非人名

多餘 人名中包含非人名的字

45

(2) 文本內用不完整的人名,例如「佟鳳彩」在內文中只用「鳳彩」稱呼。

(3) 字、號、謚號誤認為人名。

(4) 地名誤認為人名。

由於上述情況下前三者雖屬於人名,但是不完整,此處人工驗證只針對完整人名的部分,

若是簡稱、尊稱的部分都會被視作錯誤,而第四種情況用字常與人名類似,又同時可為 二字詞的時候容易導致辨識上的錯誤; 至於三字以上人名的部分,從中也發現了辨識 容易產生錯誤的幾種情況:

(1) 人名接續地名時,辨識產生的錯誤,如圖 7.1、圖 7.2 所示,在辨識結果中,「安 靖齊」被視為人名,「河縣」被視為地名,但實際上應該「安靖」是人名,「齊河縣」

為地名,由於「縣」、「州」等行政劃分單位在地方志中並沒有一致的使用規則,並 非編寫到地名時必會附加,以及「容縣」、「潞縣」、「通州」等單字地名,根據目前 的方法,會趨向把「縣」、「州」當作地名的一部分,所以在人名接續地名的地方,

此時當人地名用字類似很容易產生辨識上的錯誤。

(2) 外族人名容易只擷取到部分,例如「鄂彌達新柱」只擷取到「鄂彌達」為人名。

(3) 人名內存在尊稱,如圖 7.3、圖 7.4 所示,「張公曾慶」名為「張曾慶」,「公」

為尊稱,但會直接加入人名之中,本研究中,並無針對這種狀況去設計標記,所以 這種情況辨識結果都會是錯誤的。

在三字以上人名時,雖然在這些情況無法辨識,但在常見的漢族人名辨識上有著顯著的 表7.2 NER模型擷取人名數量

M1 M2 M3 RE

二字人名數量 7096 7616 7694 5244

三字以上人名數量 7654 8264 8327 5927 人名總數量 14750 15877 16021 11171

46

效果。雖然本研究所提供的模型上述幾種狀況下,無法準確的辨識,但在最常見的二字 名及三字名上,都有著相當不錯的表現,後面章節也會運用這些標記結果及討論應用的 效果。

圖7.1 福山縣志原始片段內容 表7.3 人名抽樣檢驗結果

二字人名 三字以上人名

階層 M1 M2 M3 RE M1 M2 M3 RE Z1 100 100 100 98 98.5 98.5 98.5 96 Z2 95.5 99 97 81 94.5 97.5 97 89.5 Z3 95 90.5 91 71 95.5 94.5 95 72 Z4 85 86.5 81 99 94 93.5 92.5 94.5 Z5 87.5 81.5 82.5 97 90 93.5 90.5 95 Z6 83 81 82 93 82.5 86.5 89.5 92.5 Z7 78.5 80.5 85 89.5 87 87 84.5 86.5 Z8 72 73 75 86 86 87.5 85.5 83 Z9 77.5 74.5 68.5 68.5 82.5 83 77.5 78 Z10 60 57.5 48.5 43 84.5 80.5 69.5 80.5 E(P) 0.834 0.824 0.810 0.826 0.895 0.901 0.880 0.868

47

圖7.2 實體名詞辨識後結果

圖7.4 實體名詞辨識後結果

在文檔中 應用序列標記技術於地方志的實體名詞辨識 - 政大學術集成 (頁 61-65)