第 4 章 實驗與討論
4.2 類別內實驗
圖 4.7: 類別內實驗流程圖
4習慣上,評定系統模型的好壞是以錯誤率E為依據,而不使用正確率T,雖然兩者有著E+T = 1 的關係。
圖 4.8: 類別內實驗之控制變數
類別內 (within category)實驗流程如圖 4.7 所示, 本論文在此單一類別實驗 是使用正常資料樣板為基底, 並將此實驗分為小雜訊與大雜訊兩部份。 如圖 4.8 所 示,本實驗之控制變數有三種,除了雜訊大小之外,另有時間序列位移量以及相似度 距離量測方法兩種因素待討論。
以小雜訊實驗為例, 我們在正常資料樣板上加上 ±2 以內的隨機亂數 (此即雜 訊), 先產生出 40 筆時間序列, 其中 20 筆設為固定組資料, 亦即之後的各組實驗 皆不會更動到此20筆資料,而剩餘的20筆資料則設為移動組資料,該組資料將在 之後用來實驗不同位移量對分類結果的影響。 本論文測試了時間序列延後 (dalay)
(a)固定組時間序列 (b)移動組時間序列
圖 4.9: 類別內實驗之小雜訊時間序列
圖4.10: N2S4之知覺圖
位移(亦即時間序列向右移動) {2、4、 6、 8、10}等五種時間,加上未位移共六組數 據。 圖 4.9 展示了此六組數據, 可將資料分為固定組與移動組兩類, 而我們的目標 是找出一個較好的方法, 使其能將兩類的資料視為一類。 因為此兩類資料本為同一 樣板所產生, 雖有位移的情況發生, 仍該歸屬為同一類, 因此最後得出的 F -試驗值 應該要越小越好。
圖4.10 展示了部份的實驗結果知覺圖,其中N2S4 代表“雜訊為 ±2以內, 位 移量為 4”,而各圖右上角的數值即為F -試驗值。 各圖上的標題, EDM代表使用歐
基里德距離量測法, DTW代表使用最小累進距離式動態時間扭曲法, DTW5代表
位移量 EDM DTW DTW5 DTW10 DTW15 DTW20
0 0.0204 0.0061 0.0037 0.0027 0.0137 0.0270 2 3.8095 0.0085 0.6729 0.3312 0.3003 0.2009 4 2.98e+09 0.0124 1.2289 0.6205 0.4478 0.3528 6 3.01e+09 0.0256 5.8745 0.7619 0.4592 0.3918 8 8.24e+09 0.0351 4.80e+09 1.3305 0.7962 0.6702 10 8.58e+09 0.1165 4.85e+09 1.5347 1.0065 0.8529
圖4.11: N2與不同位移量下的各系統成效
這是因為位移量在此時已超過了視窗所能掃描的長度,因此才會判定此兩組實驗數 據為不同的類別; 而其餘的 DTW 量測方法因位移量最大為 10, 並未超過其視窗 長度,因此曲線看來較平穩。
(a)固定組時間序列 (b)移動組時間序列
圖4.12: 類別內實驗之大雜訊時間序列
圖4.13: N8S6之知覺圖
接下來探討本實驗的另一控制變數 — 雜訊大小, 其對系統分類成效的影響。
圖4.12為實驗所使用的大雜訊時間序列,雜訊在±8之內,同樣將資料分為固定與 移動兩組。 圖 4.13 則為 “雜訊為 ±8以內,位移量為 6”的各相似度量測方法之知 覺圖。
類別內大雜訊實驗的F -試驗值數據列在表4.2 中,圖4.14 則展示了各相似度 量測方法的 F -試驗值趨勢。 同樣的, 各方法的優劣度與小雜訊實驗所得結果相同, DTW5 曲線亦在位移量超過 5 時即急速上升。 但比較兩實驗的數據可發現, 大雜
表 4.2: N8與不同位移量下的各系統F -試驗值
位移量 EDM DTW DTW5 DTW10 DTW15 DTW20
0 0.0363 0.0184 0.0039 0.0721 0.0844 0.0628 2 0.4284 0.0209 0.3008 0.3355 0.2463 0.2177 4 0.8822 0.0294 0.7579 0.5783 0.4139 0.3413 6 1.6678 0.0297 1.2905 0.7657 0.6574 0.4396 8 5.2536 0.0772 2.2932 1.2312 0.8331 0.5116 10 12.1310 0.0900 8.1404 2.2148 1.3873 1.0642
圖4.14: N8與不同位移量下的各系統成效
訊實驗所得的 F -試驗值較小雜訊實驗來的小, 在高位移量時, 數據差距尤其顯著。
這是因為資料樣板加上大雜訊後,所產生的時間序列之振幅很大, 即使有位移情況 發生,看起來差異仍不明顯,因此在分類時就不易將兩組資料分為不同的兩個類別。
換句話說,若時間序列的走勢越混亂(上下抖動明顯),越不容易判讀其整體趨勢時, 則在分類時就很容易跟它種類別資料混淆。