第四章 模型建構
4.3 資料分析與模型比較
可取得模型一的估計函數(Evaluation Function)如下:
Min
∑
Derivatives)等於零,即可獲得下列的方程式:∑
= ⎟⎟∑
= ⎟⎟⎠b
α 言 Programming Language One(PL/I)撰寫之資料庫應用程序中的測試數據,該軟 體約含有 1,317,000 行程式碼。其測試時間為 19 週,偵測到之錯誤數目共 328 個,
詳細失效數據內容如表 3 所示。
表 3 PL/I 應用程式測試資料
週 累積
失效數目 週 累積
失效數目
1 15 11 233
2 44 12 255
3 66 13 276
4 103 14 298 5 105 15 304 6 110 16 311 7 146 17 320 8 175 18 325 9 179 19 328 10 206
資料來源:Ohba(1984)
2. 資料集二
此資料集蒐集自 Tandem Computers 的產品,該軟體透過測試與修正的過程,
共取得四個版本的失效數據。本研究只使用第一次測試取得之失效數據進行測 試,其測試時間為 20 週,偵測到之錯誤數目共 100 個,詳細失效數據內容如表 4 所示。
3. 資料集三
此資料集取自一無線網路交換中心(Wireless Network Switching Center),其主 要功能為配置音頻和傳遞訊息至相關的無線資源和處理器中。失效數據之內容包 含 2000 年度的相容性修改、操作系統的升級,以及一些和訊息處理有關的新功能。
詳細失效數據內容如表 5 所示。
表 4 Tandem Computers 軟體失效數據 測試時間
(週)
累積 錯誤數目
測試時間 (週)
累積 錯誤數目
1 16 11 81 2 24 12 86 3 27 13 90 4 33 14 93 5 41 15 96 6 49 16 98 7 54 17 99
8 58 18 100
9 69 19 100
10 75 20 100 資料來源:Pham & Zhang(2003)
表 5 無線數據服務系統之失效數據
月 錯誤數目 累積
錯誤數目
1 7 7
2 3 10
3 14 24
4 8 32
5 11 43
6 8 51
7 7 58
8 19 77
9 17 94
10 6 100
11 11 111
12 4 115
13 0 115
資料來源:Jeske & Zhang(2005)
4.3.3 範例測試與模型比較
模型建構完成後,為了暸解所提出的模型是否能夠有效運用於實際的情形 中,本研究透過三組實際的失效數據集進行測試。而在模型比較的部份則是分別 挑選出與模型一和模型二相似之現有模型進行比較,藉此判斷所提出之模型的有 效性。以下將分別針對比較模型的選擇方式、模型的測試和比較結果進行說明。
1. 模型一
為了瞭解模型一是否較現有模型為佳,在現有模型之選擇上,除了挑選故障 內容函數為指數型或是線性函數的模型之外,還必須選擇錯誤偵測率函數為一常 數之模型。基於上述理由,本研究挑選出 Y-ExpI、Y-LinI 和 G-O 三個模型與模型 一進行比較,其比較結果如下所述。
(1) 資料集一
表 6 為透過資料集一所估計出之各模型的參數值,分別將其代入至各模 型的均值函數中,即可估計出各時段的累積錯誤數目,並可畫出各模型之曲 線適配度(如圖 7-圖 10)。圖 11 則為模型一、Y-ExpI、Y-LinI 和 G-O 模型 之間的曲線適配度之比較,由此可看出模型一擁有較好的曲線適配度。除了 透過曲線適配度之比較外,還需進行模型評量準則之比較,以評估所提出的 模型是否確實較其他模型為佳,其比較結果如表 7 所示。透過此表可觀察出 在 MSE、Bias、Variation 和 RMSPE 的部分,模型一的值皆小於其他模型,
而 R2的部分則是大於其他模型,由此顯示模型一較其他三個模型來說,更能 有效預測出該系統可能發生的失效行為。
表 6 模型一、Y-ExpI、Y-LinI 和 G-O 之參數估計結果(資料集一)
模型 a b α γ
M 1 400.2277 0.0498 0.0894 1.6366 Y-ExpI 408.3591 0.0623 0.0181 –
Y-LinI 400.0094 0.0625 0.0227 – G-O 760.5603 0.0323 – –
圖 7 模型一之曲線適配度(資料集一)
圖 8 Y-ExpI 之曲線適配度(資料集一)
圖 9 Y-LinI 之曲線適配度(資料集一)
圖 10 G-O 之曲線適配度(資料集一)
圖 11 模型一、Y-ExpI、Y-LinI 和 G-O 之曲線適配度比較圖(資料集一)
表 7 模型一、Y-ExpI、Y-LinI 和 G-O 之比較結果(資料集一)
模型 MSE R2 Bias Variation RMSPE M 1 67.909 0.99342 0.148 8.465 8.466
Y-ExpI 154.090 0.98507 1.338 12.679 12.750 Y-LinI 148.776 0.98559 1.187 12.472 12.528 G-O 139.816 0.98645 1.165 12.089 12.145
(2) 資料集二
表 8 為透過資料集二所估計出之各模型的參數值,而圖 12-圖 15 分別 為各模型之曲線適配度。圖 16 則為模型一、Y-ExpI、Y-LinI 和 G-O 模型之 間的曲線適配度之比較,其比較結果為模型一擁有較好的曲線適配度。後續 進行模型評量準則加以分析,其結果如表 9 所示,可觀察出在 MSE、Bias、
Variation 和 RMSPE 的部分,模型一的值皆小於其他模型,而 R2的部分則是 大於其他模型,顯示模型一較其他三個模型來說,在預測系統失效行為上可 獲得較佳的效果。
表 8 模型一、Y-ExpI、Y-LinI 和 G-O 之參數估計結果(資料集二)
模型 a b α γ
M 1 101.0045 0.0948 0.0512 2.4222 Y-ExpI 101.8096 0.1114 0.0114 –
Y-LinI 98.8685 0.1144 0.0145 – G-O 130.2014 0.0832 – –
圖 12 模型一之曲線適配度(資料集二)
圖 13 Y-ExpI 之曲線適配度(資料集二)
圖 15 G-O 之曲線適配度(資料集二)
圖 16 模型一、Y-ExpI、Y-LinI 和 G-O 之曲線適配度比較圖(資料集二)
表 9 模型一、Y-ExpI、Y-LinI 和 G-O 之比較結果(資料集二)
模型 MSE R2 Bias Variation RMSPE M 1 6.578 0.99191 -0.348 2.607 2.630
Y-ExpI 13.647 0.98321 -0.071 3.789 3.790 Y-LinI 13.570 0.98331 -0.066 3.779 3.779 G-O 11.617 0.98571 -0.091 3.496 3.497
(3) 資料集三
表 10 為透過資料集三所估計出之各模型的參數值,而圖 17-圖 20 分別 為各模型之曲線適配度。圖 21 則為模型一、Y-ExpI、Y-LinI 和 G-O 模型之 間的曲線適配度之比較,其比較結果為模型一擁有較好的曲線適配度。後續 同樣進行模型評量準則加以分析,其結果如表 11 所示,可觀察出在 MSE、
Bias、Variation 和 RMSPE 的部分,模型一的值皆小於其他模型,而 R2的部 分則是大於其他模型,顯示模型一較其他三個模型來說,在預測系統失效行 為上可獲得較佳的效果。
表 10 模型一、Y-ExpI、Y-LinI 和 G-O 之參數估計結果(資料集三)
模型 a b α γ
M 1 100.3860 0.0694 0.2167 1.1615 Y-ExpI 109.7091 0.0835 0.0684 –
Y-LinI 97.6337 0.0828 0.1257 – G-O 955.1573 0.0103 – –
圖 17 模型一之曲線適配度(資料集三)
圖 18 Y-ExpI 之曲線適配度(資料集三)
圖 19 Y-LinI 之曲線適配度(資料集三)
圖 20 G-O 之曲線適配度(資料集三)
圖 21 模型一、Y-ExpI、Y-LinI 和 G-O 之曲線適配度比較圖(資料集三)
表 11 模型一、Y-ExpI、Y-LinI 和 G-O 之比較結果(資料集三)
模型 MSE R2 Bias Variation RMSPE M 1 18.856 0.98724 0.502 4.489 4.517
Y-ExpI 38.485 0.97396 0.899 6.389 6.452 Y-LinI 31.668 0.97857 0.657 5.817 5.854 G-O 42.306 0.97137 1.254 6.643 6.760
2. 模型二
為了瞭解模型二是否較現有模型為佳,在現有模型之選擇上,除了挑選故障 內容函數為指數型或是線性函數的模型之外,另外一個選擇的條件是錯誤偵測率 函數為一非遞減 S 型曲線之模型。基於上述理由,本研究挑選出 P-N-Z、P-Z 和 ISS 三個模型與模型二進行比較,其比較結果如下所述。
(1) 資料集一
表 12 為透過資料集一所估計出之各模型的參數值,分別將其代入至各模 型的均值函數中,即可估計出各時段的累積錯誤數目,並可畫出各模型之曲 線適配度(如圖 22-圖 25)。圖 26 則為模型二、P-N-Z、P-Z 和 ISS 模型之間 的曲線適配度之比較,由此可看出模型二、P-Z 和 ISS 三個模型的曲線適配度
非常相似。因此,除了透過曲線適配度之比較外,還需進行模型評量準則之 比較,以評估所提出的模型是否較其他模型為佳,其比較結果如表 13 所示。
透過此表可觀察出在 MSE、Variation 和 RMSPE 的部份,模型二的值皆小於 其他模型,而在 R2的部分則是大於其他模型,但在 Bias 的部份,則是以 P-Z 模型的值為最小,而模型二的值稍微較其來得大。雖然模型二在 Bias 的部分 沒有獲得較好的結果,但在其餘四項準則中的表現皆為最佳的,因此,整體 看來模型二在預測失效行為上的效果是優於其他三個模型的。
表 12 模型二、P-N-Z、P-Z 和 ISS 之參數估計結果(資料集一)
模型 a b c β α γ
M 2 589.8632 0.1197 423.9946 2.9568 0.0498 2.6469 P-N-Z 299.3549 0.1561 – 1.2386 0.0211 –
P-Z 237.2153 0.1851 142.8894 1.7844 0.1751 – ISS 382.2540 0.1789 – 2.8903 – –
圖 22 模型二之曲線適配度(資料集一)
圖 23 P-N-Z 之曲線適配度(資料集一)
圖 24 P-Z 之曲線適配度(資料集一)
圖 26 模型二、P-N-Z、P-Z 和 ISS 之曲線適配度比較圖(資料集一)
表 13 模型二、P-N-Z、P-Z 和 ISS 之比較結果(資料集一)
模型 MSE R2 Bias Variation RMSPE M 2 68.796 0.99334 -0.604 8.499 8.520
P-N-Z 106.824 0.98965 0.497 10.607 10.618 P-Z 90.669 0.99122 -0.921 9.737 9.781 ISS 82.704 0.99199 -0.523 9.328 9.343
(2) 資料集二
表 14 為透過資料集二所估計出之各模型的參數值,而圖 27-圖 30 分別 為各模型之曲線適配度。圖 31 則為模型二、P-N-Z、P-Z 和 ISS 模型之間的 曲線適配度之比較,其比較結果為模型二擁有較好的曲線適配度。後續進行 模型評量準則之比較,其比較結果如表 15 所示。透過此表可觀察出在 MSE、
Bias、Variation 和 RMSPE 的部份,模型二的值皆小於其他模型,而在 R2的部 分則是大於其他模型,顯示模型二較其他三個模型來說,更能有效預測出該 系統可能發生的失效行為。
表 14 模型二、P-N-Z、P-Z 和 ISS 之參數估計結果(資料集二)
模型 a b c β α γ
M 2 112.7349 0.0972 112.1127 0.2368 0.0557 2.7337 P-N-Z 100.1075 0.1543 – 0.5574 0.0086 –
P-Z 100.1205 0.1426 99.9625 0.3926 0.0106 – ISS 110.8486 0.1719 – 1.2025 – –
圖 27 模型二之曲線適配度(資料集二)
圖 28 P-N-Z 之曲線適配度(資料集二)
圖 29 P-Z 之曲線適配度(資料集二)
圖 30 ISS 之曲線適配度(資料集二)
圖 31 模型二、P-N-Z、P-Z 和 ISS 之曲線適配度比較圖(資料集二)
表 15 模型二、P-N-Z、P-Z 和 ISS 之比較結果(資料集二)
模型 MSE R2 Bias Variation RMSPE M 2 7.152 0.99120 -0.436 2.707 2.742
P-N-Z 10.711 0.98682 -0.224 3.350 3.357 P-Z 11.133 0.98631 -0.171 3.419 3.423 ISS 8.979 0.98896 -0.434 3.042 3.073
(3) 資料集三
表 16 為透過資料集三所估計出之各模型的參數值,而圖 32-圖 35 分別 為各模型之曲線適配度。圖 36 則為模型二、P-N-Z、P-Z 和 ISS 模型之間的 曲線適配度之比較,其比較結果為模型二與 ISS 模型擁有相似的曲線適配 度。後續透過模型評量準則進行比較,其結果如表 17 所示,藉由此表可觀 察出在 MSE、Bias、Variation 和 RMSPE 的部份,模型二的值皆小於其他模 型,而在 R2的部分則是大於其他模型,顯示模型二較其他三個模型來說,更 能有效預測出該系統可能發生的失效行為。
表 16 模型二、P-N-Z、P-Z 和 ISS 之參數估計結果(資料集三)
模型 a b c β α γ
M 2 170.8910 0.2668 117.7193 9.1002 0.1396 1.6802 P-N-Z 99.7806 0.1554 – 1.0509 0.0758 –
P-Z 89.9107 0.1612 94.1012 2.0598 0.4127 – ISS 134.4826 0.3364 – 8.9571 – –
圖 32 模型二之曲線適配度(資料集三)
圖 33 P-N-Z 之曲線適配度(資料集三)
圖 34 P-Z 之曲線適配度(資料集三)
圖 35 ISS 之曲線適配度(資料集三)
圖 36 模型二、P-N-Z、P-Z 和 ISS 之曲線適配度比較圖(資料集三)
表 17 模型二、P-N-Z、P-Z 和 ISS 之比較結果(資料集三)
模型 MSE R2 Bias Variation RMSPE M 2 9.518 0.99356 -0.276 3.198 3.210
P-N-Z 27.404 0.98145 0.626 5.410 5.446 P-Z 17.884 0.98790 0.162 4.398 4.401 ISS 11.784 0.99203 -0.229 3.565 3.572