綜合評估分析

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

41

表 4.3：同作者不同類型各類別間 OOB 錯誤率最大及最小的語言特徵(左表)

及平均值(右表)(紅字為各類型最大，藍字為各類型最小)

表 4.3 為「同作者不同類型」各類別與其他類別的 OOB 錯誤率，左表為最大 最小值，而右表為同類別間的語言特徵平均值，與表 4.1 和表 4.2 架構相同。因為 只有 3 種類型，可以很清楚看出社論、文章與日記間的差距。社論與文章在名詞+

名詞的 OOB 錯誤率有 0.354，遠比社論與日記和文章與日記的模型表現還差，而 日記則是與社論及文章類別的文本能夠完整分類。

4.1.3 綜合評估分析

透過隨機森林對於不同研究方向、不同語言特徵得到的數值，依照不同條件畫出的 圖表，可以得到以下幾個結果：

1. 類別模型在「同主題不同作者」下 OOB 錯誤率數值皆高，而在「同作者 不同類型」數值較低且不會隨著語言特徵的不同而有所變化。

2. 雙類別模型因為類別數較多類別模型的 9 位作者及 3 個文本類型還少，

隨機分類的成功率較高，使得平均 OOB 錯誤率相對較低。

3. 透過建立不同類別間的模型，可以利用 OOB 錯誤率觀察出類別間在與其 他類別或是單一類別語言特徵的數值差異，並找出類別在與其他類別於 不同語言特徵分類上的優劣。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

42

第一點為本論文提出的情境性語言特徵與一般常用語言特徵間相互比較，從 圖 4.1 至圖 4.4 可看出後者分類效果皆優於前者，但本論文目的是為了觀察後續類 別間在具情境性詞組下的差異性，而非僅為了觀察分類，所以分類效果不佳是可接 受的，但問題是分類效果也不能太差。在 4.1.1 小節的多類別模型時，55%的 OOB 錯誤率表現實在很難說具有分類的效果，所以在 4.3 節會透過尋找重要特徵詞組合 併的方式來改善此問題。

「同主題不同作者」與「同作者不同類型」為何折線圖上前者高低起伏且前者 平均 OOB 錯誤率偏高，而後者趨於水平且偏低？理由主要為類別構成的因素：前 者共有 9 位作者，也就是在隨機森林中會從 9 個類別中選出 1 個類別做為預測的 結果，而後者則只有 3 個類別。若是隨機選取結果，後者預測成功率會比前者高，

OOB 錯誤率也會偏低，雙類別模型則是只剩 2 個類別選 1 個。儘管得出的 OOB 錯 誤率可能有著誤差，本研究利用隨機森林的函式 random_state 建立 10 個固定的隨 機模型平均值減少誤差。此外，後續的重要特徵詞組及獨特性詞組尋找，也會進一 步作數值篩選，以解決模型評估失誤的問題。至於為何「同作者不同類型」在圖中 的折線會比「同主題不同作者」還要平緩？主要是因為 3 個類別中，社論與文章雖 然之間有著差異，但與日記差別太大，使得 OOB 錯誤率趨近於 0，分類模型數值 大多為社論與日記之間的差異，又剛好各個語言特徵上的差異數值變化不大，結果 就是一條水平折線。

一般常用的語言特徵與本論文提出的情境性語言特徵比較起來，在折線圖上 前者的 OOB 錯誤率大多會比後者低很多，尤其是高頻詞。在以高頻詞作為語言特 徵時，虛詞通常占了絕大部分的比例，例如：的、之、而、或…等詞彙，這些虛詞 詞彙在文章的使用相當頻繁，所以很容易包含作者寫作風格，當數量一有變化就能 馬上察別，也因此常作為分類要素。至於本研究提出的語言特徵則是根據不同語言 特徵清除雜質過後的結果，而剩下的詞組也大多數量不高，甚至幾乎沒有，所以變

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

43

化上也不會太大，這也造就了為何高頻詞分類效果會遠比特定詞性或意義組合還 好很多。不過，高頻詞卻無法包含太多的情境性，也因為幾乎大家都在用而缺乏獨 特性，這也是本研究提出新的語言特徵理由。

透過觀察更細部類別間在不同語言特徵下 OOB 錯誤率的差異，我們能看出各 個類別與其他類別在分類上語言特徵選擇的優劣表現，也能看出何個語言特徵在 不同研究方向下分類效果較優，或是較差。像是名詞+動詞組合、程度詞組合及形 容詞+名詞組合分類表現較差，而副詞+動詞組合及名詞+名詞組合則是分類表現較 佳。另外從類別角度來看，雷震因為身為《自由中國》社論修訂者，與其他社論作 者差距性不大，所以平均 OOB 錯誤率較高；而龍平甫與朱伴耘則因為沒有撰寫社 論，使得個人風格能以保留，分類效果也較好。

本研究所使用的研究資料，在「同主題不同作者」選擇上為 4 位作者的社論及 5 位作者的文章，雖然一開始假設情境性語言特徵不會受社論的共同修訂所影響，

但得到身為修訂者雷震的社論與其他作者間 OOB 錯誤率較高的結果，不過卻也能 看出非經過共同修訂的龍平甫與朱伴耘文章與其他作者的分類表現更有感。「同作 者不同類型」的 3 個文本類型則是日記的 OOB 錯誤率遠異於社論與文章，而非預 期的三足鼎立理想狀況，後續在尋找重要特徵詞組及獨特性詞組時將會觀察究竟 是在何個詞組產生差異。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

44