特徵組合探討

本 節 實 驗 中， 我 們 從前 述 章 節中 選 取預 測 效 能 較佳 的 兩 個方 法 ， Joint Learning 及 IM – Attention，探討以不同特徵組合學習疾病診斷碼間的向量表示

51

法，比較對預測效果所造成的影響。

探討特徵組合時，分成以逐步增加特徵的方式及逐步刪減特徵的方式兩種：

 逐步刪減特徵：從採用所有特徵開始，每次去掉一個特徵。

 逐步增加特徵：從特徵組合為空開始，每次增加一個特徵。

每次特徵增加或刪減時，選擇可使效能達到最高者。若出現以下情形則停止：

較刪減/增加前的組合預測效果差時。

各特徵以字母符號表示如下：

 Code  C

 Time  T

 Age  A

 Location  L

 Drug  G

 Procedure  P

 Department  D

52

1. 聯合訓練 (Joint Learning) 1) 逐步刪減特徵：

(a) (b)

(c) (d)

(e)

圖 5.4 採用 Joint Learning，以逐步刪減特徵方式評估不同特徵組合下之

Precision@3

53

(a) (b)

(c) (d)

(e)

圖 5.5 採用聯合訓練向量表示法，以逐步刪減特徵方式評估不同特徵組合下之

Recall@3

54

如圖 5.4、5.5 所示，每張圖中最左邊的長條為刪減前的組合，例如圖 5.4(a) 及 5.5(a)最左邊的長條表示 7 個特徵全部使用(C-T-A-L-G-P-D)，而右邊各長條表 示刪減某個特徵後的組合。從圖 5.4(a)及 5.5(a)中可以看出刪減特徵 Code-Drug 時(C-T-A-L-P-D)的預測效果上升最多。因此後續的刪減選擇為：

(b) 刪減特徵 Department。(C-T-A-L-P-D  C-T-A-L-P) (c) 刪減特徵 Age。(C-T-A-L-P  C-T-L-P)

(d) 刪減特徵 Location。(C-T-L-P  C-T-P)

(e) 因效能沒有提升，故不再刪減特徵。(C-T-P 為此階段最後得到的特徵組 合)

55

2) 逐步增加特徵：

(a) (b)

(c) (d)

圖 5.6 採用 Joint Learning，以逐步增加特徵方式評估不同特徵組合下之

Precision@3

56

(a) (b)

(c) (d)

圖 5.7 採用 Joint Learning，以逐步增加特徵方式評估不同特徵組合下之

Recall@3

如圖 5.6 及 5.7 所示，(a)的各長條表示只採用一個特徵；(b)、(c)及(d)最左邊 的長條表示增加特徵前的組合，右邊各長條表示每次增加某個特徵後的組合。增 加特徵的選擇為：

(a) 增加特徵 Code。(Null  C) (b) 增加特徵 Procedure。(C  C-P) (c) 增加特徵 Time。(C-P  C-T-P)

(d) 因效能沒有提升，故不再增加特徵。(C-T-P 為此階段最後得到的特徵組

57

合)

從圖 5.4、5.5、5.6 及 5.7 所示的實驗結果，顯示採用聯合訓練向量表示法，

採用特徵 Code 搭配 Time 與 Procedure 訓練向量表示法，其 Precision@3 與 Recall@3 預測效能最佳。表示結合疾病診斷碼與看診時間及醫療處置出現關聯 學習到的向量表示法，有助於提升聯合訓練模型的預測效能。

58

2. 獨立訓練之「注意力機制」 (IM – Attention) 1) 逐步刪減特徵：

(a) (b)

(c) (d)

(e) (f)

圖 5.8 採用 IM–Attention，以逐步刪減特徵方式評估不同特徵組合下之

Precision@3

59

(a) (b)

(c) (d)

(e) (f)

圖 5.9 採用 IM–Attention，以逐步刪減特徵方式評估不同特徵組合下之

Recall@3

60

圖 5.8 及 5.9 中，每張圖中最左邊的長條表示刪減特徵前的組合，右邊各長條表 示每次刪減某個特徵後的組合。增加特徵的選擇為：

(a) 刪減特徵 Department。(C-T-A-L-G-P-D  C-T-A-L-G-P) (b) 刪減特徵 Procedure。(C-T-A-L-G-P  C-T-A-L-G) (c) 刪減特徵 Location。(C-T-A-L-G  C-T-A-G) (d) 刪減特徵 Time。(C-T-A-G  C-A-G)

(e) 刪減特徵 Age。(C-A-G  C-G)

(f) 因效能沒有提升，故不再刪減特徵。(C-G 為此階段最後得到的組合)

61

2) 逐步增加特徵：

(a) (b)

(c)

圖 5.10 採用 IM–Attention，以逐步增加特徵方式評估不同特徵組合下之

Precision@3

62

(a) (b)

(c)

圖 5.11 採用 IM–Attention，以逐步增加特徵方式評估不同特徵組合下之

Precision@3

如圖 5.10 及 5.11 所示，(a)的各長條表示只採用一個特徵；(b)及(c)最左邊的 長條表示增加特徵前的組合，右邊各長條表示每次增加某個特徵後的組合。增加 特徵的選擇為：

(a) 增加特徵 Code (NULL  C)。

(b) 增加特徵 Drug (C  C-G)。

(c) 因效能沒有提升，故不再增加特徵。(C-G 為此階段最後得到的組合)

63

由圖 5.8、5.9、5.10 及 5.11 所示結果，採用獨立訓練向量表示法，整合模型 採用「注意力機制」，以特徵 Code 搭配 Drug 訓練向量表示法時，其 Precision@3 與 Recall@3 預測效能最佳。表示結合疾病診斷碼與用藥出現關聯學習到的向量 表示法，對於注意力機制模型有助於提升預測效能。

比較上述兩種方法可以得到：以 Joint Learning 模型，特徵採用疾病診斷碼 搭配看診時間及醫療處置時，可得到最佳預測效果。

64