第四章 模擬測試
4.2 測試情境設計
4.2 測試情境設計
本研究目的在比較加入準確度之後對誤差的改善值,故以是否有誤差及變異 數大小組合後設計出以下幾種情境,分別以團隊共識法、加入準確度之團隊共識 法以及類神經網路進行測試,並比較加入準確度之後是否有改善,並與類神經網 路相比較。
本研究母體依常態分配產生 N(29.86,5.111),測試進行流程為:每個偵測器 產生一組資料,接著以此資料進行融合加入準確度調整後求出兩偵測器之權重,
此時每偵測器再以相同分配產生第二組資料,再將第二組之資料以該權重進行融 合,藉以比較融合後資料與母體值,模擬同特性的資料融合後是否準確。
因誤差為造成融合結果不準確之重要原因之一,故本研究測試時將模擬偵測 器資料加入固定誤差,作為有誤差之情境;並將兩偵測器之變異數比較後,分為 變異數大及變異數小兩種情境,測試情境以有無誤差及偵測器收集資料之變異數 大小排列組合後,如圖 4.2,因偵測器 1 及偵測器 2 為可重複排列,故排列組合 數量需減半,共有 4*4/2=8 種組合,將兩偵測器進行測試,測試結束後會在 4.3 小節進行結果分析。
圖 4.2 測試情境可能性
4.2.1 情境一:偵測器一有誤差,兩偵測器變異數都小
情境一產生的兩組數據,偵測器一有固定誤差,而兩偵測器所收集到的資料 變異數都比較小,車速表如表 4.3:
表 4.3 情境一車速表
Sensor1 Sensor2 38 32 38 38 35 28 29 22 33 37 26 33 33 29 34 21 41 26 28 33 32 36 25 26 37 36 33 21 36 45 32 28 27 45 33 28 30 30 31 19 42 36 30 38
32 41 23 26 36 35 34 29 34 27 30 33 36 42 29 38 36 28 28 29
30 26
平均值 34.576 平均值 29.424 標準差 5.13 標準差 5.099
接著本研究以兩種方式計算權重,並訓練類神經網路,測試結果如表 4.4:
表 4.4 情境一測試結果
計算方式 偵測器 1 權重
偵測器 2
權重 融合結果
融合後平均速 率與實際平均 速率差距 團隊共識法 0.518 0.482 32.053 2.121 加入準確度後 0.001 0.999 29.247 -0.685 類神經網路(一層) 29.812 -0.12 類神經網路(兩層) 29.942 0.01 類神經網路(三層) 29.863 -0.069 前兩者距離母體平均值各為:2.121 與-0.685,此種情況下,可以發現加入準 確度後有改善結果值,因兩偵測器的車速平均值都大於母體平均值,這時候越接 近母體的偵測器值該有較高的準確度,因準確度之測量是以距離之絕對值為計算 基礎,故越靠近母體所得到權重就越高,偵測器 1 距離實際值有一段距離,在加 入準確度計算之後將誤差部份大幅減少,而類神經網路學習結果跟前兩者相比都 較優良。
4.2.2 情境二:偵測器一有誤差,偵測器一變異數較大
此情境產生的資料為偵測器一有固定誤差,且變異數也較大,偵測器二較接 近母體均速,變異數也較小,產生資料如表 4.5。
表 4.5 情境二車速表 團隊共識法 0.4455 0.5545 31.7422 1.8828 加入準確度後 0.0001 0.9999 29.7576 -0.1019 類神經網路(一層) 29.8045 -0.055
當接近類神經網路所學習之結果。
4.2.3 情境三:偵測器一有誤差,偵測器一變異數較小
情境三所產生出來的資料為偵測器一有固定誤差,但變異數較小,偵測器二 值較接近真值,變異數較大:
表 4.7 情境三車速表
Sensor1 Sensor2 30 34 36 25 40 32 25 19 25 35 30 31 23 31 38 17 40 41 40 30 34 34 21 27 35 35 27 31 34 33 30 31 34 24 23 26 41 33 20 32 33 32 38 37 36 34 23 29 36 26 29 30 35 36 35 29 44 37 50 29 40 42 25 19
30 33
平均值 34.212 平均值 29.242 標準差 5.036 標準差 6.933
測試結果如表 4.8:
46 30 20 30 37 39 30 25 30 23 34 18
26 24
平均值 34.788 平均值 29.242 標準差 8.011 標準差 6.815 測試結果如下:
表 4.10 情境四測試結果
計算方式 偵測器 1 權
重 偵測器 2 權重 融合結 果
融合後平均速 率與實際平均 速率差距 團隊共識法 0.468 0.532 31.843 1.911 加入準確度後 0.002 0.998 29.071 -0.861 類神經網路(一層) 29.610 -0.322 類神經網路(兩層) 29.994 0.062 類神經網路(三層) 29.501 -0.431 第四種情境加入準確度之後的融合結果與母體平均數差距為-0.861,較改善 前之結果與母體差距 1.911 佳,綜合前四項測試可以得到一個小結論:當兩個偵 測器有一個會有固定誤差時,以加入準確度修正的團隊共識法進行融合會得到較 佳的結果,因傳統團隊共識法的權重計算方法僅考量變異數,在不考量準確度的 情況下,會將變異數較小的偵測器權重加大,若有固定誤差的偵測器變異數較 小,則融合結果就會較不準確,在這四個情境裡可以清楚發現這個現象。
4.2.5 情境五:兩偵測器都有誤差,兩偵測器變異數都小
情境五所產生之資料為兩偵測器都有固定誤差,且兩偵測器之變異數都小,
測試固定誤差狀況下加入準確度是否能有效改善融合結果,產生之車速資料如表 4.11:
表 4.11 情境五車速表
共識法的 1.816 佳,但實際上並無太大改善,而此處類神經網路學習的結果依然 非常準確,三層的類神經網路得到的結果與母體值差距為 0.088。
4.2.6 情境六:兩偵測器都有誤差,兩偵測器變異數都大
此情境所產生的資料為兩偵測器都有一定誤差,且兩偵測器變異數都大,產 生之車速資料表如表 4.13:
表 4.13 情境六車速表
Sensor1 Sensor2 30 36 17 34 44 36 33 26 41 37 6 27 33 21 22 25 45 32 25 22 36 28 20 30 34 18 17 15 40 21 34 25 37 33 25 34 43 38 31 27 39 32 28 14 36 32 38 32 26 39 26 17 29 40 25 19 35 45 28 14 43 38 28 12
37 41
平均值 34.97 平均值 24.758 標準差 6.775 標準差 7.945 測試結果如表 4.14:
表 4.14 情境六測試結果
計算方式 偵測器 1 權重 偵測器 2 權重 融合結果
融合後平均速 率與實際平均 速率差距 團隊共識法 0.500 0.500 30.149 0.217 加入準確度後 0.501 0.499 30.133 0.201 類神經網路(一層) 29.7614 -0.171 類神經網路(兩層) 29.9896 0.058 類神經網路(三層) 29.5312 -0.401 觀察情境六後,因兩樣本平均距離母體平均較遠,且變異數都比較大,故加 入準確度後與母體平均差距為 0.201,改善前則是 0.217,結果都差不多,不會有 其中一個偵測器權重特別大的情況出現,故此情境下兩方法融合出來結果是差不 多的,但加入準確度仍小幅修正(0.016)融合結果與母體平均之距離。
4.2.7 情境七:兩偵測器都有誤差,偵測器一變異數較小
情境七兩個樣本平均數距離實際資料平均數都有差距,其中偵測器二的變異 數大於偵測器一,測試資料如表 4.15:
表 4.15 情境七車速表
Sensor1 Sensor2 25 37 34 24 39 31 38 18 34 37 7 23 24 34 22 18 43 33 18 30 31 31 27 34 36 44 17 21 45 37 24 18 39 32 39 28 36 43 11 28 34 38 47 31 30 41 35 19 29 33 25 19
41 32 26 24
25 34 25 29 31 41 21 26 45 36 19 25 32 35 18 36 43 47 25 30 35 26 28 22 43 41 20 28 31 41 13 30 25 39 22 28
33 32
平均值 34.606 平均值 25.091 標準差 6.937 標準差 4.939 測試結果如表 4.18:
表 4.18 情境八測試結果
計算方式 偵測器 1 權重 偵測器 2 權重 融合結果
融合後平均速 率與實際平均 速率差距
團隊共識法 0.470 0.530 29.610 -0.322 加入準確度後 0.473 0.527 29.642 -0.290 類神經網路(一層) 29.8431 -0.0889 類神經網路(兩層) 29.9108 -0.0212 類神經網路(三層) 29.8975 -0.0345 加入準確度融合之後的結果與母體平均差距值為-0.29,與改善前之融合結果 與母體差距值-0.322 相比,並沒有太大改進,相較情境 1 至情境 4 之測試,情境 5 至情境 8 改善結果都較小,本研究將在 4.3 節討論這八項測試所發現的現象。