國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6 裁判要旨擷取模型
6.1 裁判要旨擷取模型之建立
從研究語料中觀察，法院所製作之裁判要旨大多皆係直接從裁判理由中擷取分句組合而成。
因此可採用與抽取式摘要（extractive summarization）相似之方法從裁判理由中擷取裁判要旨。
若採用抽取式摘要方式進行裁判要旨擷取，將裁判理由視為以分句組成之序列，並以分句為 單位依序判斷裁判理由中之各分句是否屬於裁判要旨，則可將擷取裁判要旨之工作轉換為序 列標記（sequence labeling）問題。若對裁判理由中之各分句分別判斷是否屬於裁判要旨，則 可再將序列標記問題轉換為二元分類（binary classification）問題。
將擷取裁判要旨之工作轉換為二元分類問題後，我們可利用裁判理由與法院所製作之裁判要 旨間之對應關係，將裁判理由中之各分句標記為裁判要旨或非裁判要旨。並且使用這些具有 標記之裁判理由做為機器學習方法之訓練資料及測試資料，透過機器學習方法訓練分類模型 。 分類模型訓練完成後，可利用訓練後之分類模型對無裁判要旨裁判書之裁判理由進行標記，
再將被標記為裁判要旨之分句擷取並組合為自動擷取之裁判要旨。
分類問題為常見之機器學習任務，因此具有不少機器學習方法皆可用以處理分類問題。以多 層類神經網路為基礎之深度學習方法於近年來被廣泛應用於各項領域。在自然語言處理領域 中，深度學習方法在多項不同任務中皆有較其他機器學習方法更好的表現[28]。因此本研究 主要採用深度學習方法建立裁判要旨擷取模型，並且與以非深度學習方法建立之裁判要旨擷 取模型進行比較。
6.2 深度學習模型
深度學習方法以多層類神經網路為基礎，依其所使用之神經元類型以及網路結構型態可分為 多種不同類型之深度學習模型。本研究分別採用最基礎之 fully-connected neural network 以及 被廣泛使用於自然語言處理領域之 recurrent neural network（RNN），並將 fully-connected neural network 與 RNN 結合為混合式模型。
6.2.1 Fully-connected neural networks
Fully-connected neural network [18]以多層 fully-connected layer 構成，為深度學習網路結構中 最基礎之型態。每層 fully-connected layer 包含數個神經元，相鄰各層之間的所有神經元皆互 相連結。各神經元皆以向量做為輸入，將輸入向量與神經元內所包含之權重向量進行內積運
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
算，再將內積結果以非線性之 activation function 處理，做為神經元之輸出。神經元內所包含 之權重向量則於深度學習模型之訓練過程中更新、決定。
本研究中所使用之 fully-connected neural network 以非序列型態之特徵為輸入資料，並輸出裁 判 理 由 中 特 定 分 句 為 裁 判 要 旨 之 機 率 。 圖 3 為 使 用 兩 層 connected layer 之 fully-connected neural network 範例。
6.2.2 Recurrent neural networks
Recurrent neural network（RNN）[19]為使用深度學習技術處理文字型態資料時常用之網路結 構。主要特點在於加入時間狀態之概念，使用序列型態之資料做為 RNN 之輸入，並將神經 元在前一時點之輸出連結至後一時點之輸入，因此神經元之狀態會受到先前輸入資料之影響 隨時間而改變。因為 RNN 之狀態會受到先前輸入資料之影響，因此較適合用於處理具有前 後文關聯之文字資料。
建構 RNN 時可選擇使用多種不同類型之基礎神經元，本研究使用 long short-term memory
（LSTM）[29]做為構成 RNN 之基礎神經元。LSTM 在神經元中加入額外的邏輯閘（輸入閘、
輸出閘、遺忘閘），透過這些邏輯閘控制神經元的內部狀態，具有模擬人類的短期記憶的功 圖 3: Fully-connected neural network 範例
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
能。LSTM 因為加入了額外的邏輯閘控制是否記憶或遺忘資料，因此較一般 RNN 更容易保 留較重要的資訊，因此通常具有較好的表現。
本研究所使用之 RNN 模型以多層 LSTM layer 構成，以序列型態之特徵做為輸入資料，並輸 出裁判理由中特定分句為裁判要旨之機率。圖 4 為使用兩層 LSTM layer 組成之 RNN 範例。
6.2.3 混合式模型
在本研究中所使用之特徵可分為序列型 態之特徵及非序列型態之特徵。 Fully-connected neural network 僅能以非序列型態之特徵做為輸入資料，而 RNN 則僅能以序列型態之特徵做 為輸入資料，兩種模型皆無法同時使用兩種型態之特徵做為輸入。為了使用所有特徵做為輸 入資料，因此在網路結構中加入一層 concatenate layer，將 fully-connected neural network 與 RNN 結合，結合後之混合式模型可同時使用序列及非序列型態之特徵做為輸入資料。圖 5 為混合式模型之網路結構，LSTM layer 及 fully-connected layer 皆可使用數層組合而成。
圖 4: RNN 範例