支援向量機器於可靠度系統之應用 李育昇、白炳豐
E-mail: [email protected]
摘 要
支援向量機器(support vector machines; SVMs)，由統計學理論發展而來，是一套新穎的學習器。SVMs常使用於處理回歸和 時間數列的預測上，在一些案例中所得到的成果非常好。調整SVMs參數可讓分類或預測結果產生極大的變化，如何決 定SVMs最適參數卻是非常地困難。在本研究中，結合SVMs與基因演算法(GA)，使用GA之求解近似最佳解功能來搜 尋SVMs的最佳參數，並使用於可靠度預測上。本研究使用五種不同形式的可靠度資料，以GA結合SVMs方法做預測，並 把預測結果與多種方法做比較，包含MLP模式、GRNN模式以及ARIMA模式，結果說明新方法所得到的誤差皆小於其他 預測方法。並使用Mann-Whitney U和Wilcoxon統計檢定方法，檢定預測的效果有無顯著的好。
關鍵詞 : 支援向量機器 ; 基因演算法 ; 可靠度成長模式 ; 時間數列 ; 驗證資料 ; Mann-Whitney U檢定 ; Wilcoxon檢定 目錄
目錄 封面內頁 簽名頁 授權書 iii 中文摘要 iv ABSTRACT v 誌謝 vi 目錄 vii 圖目錄 x 表目錄 xi 第一章 緒論 1 1.1 研究背景 1 1.2 研究方法以及目的 2 1.3 研究資料 3 第二章 文獻探討 5 2.1 預測方法 5 2.1.1 傳統預測方法 5 2.1.2 類神經網路預測方法 8 2.1.3 ARIMA預測方法 11 2.1.4 SVMs預測方法 13 2.2 可靠度(Reliability) 15 2.2.1 可靠度的預測 18 2.2.2 可靠度成長模式 19 2.2.3 預測可靠度的方法：Duane mode 20 2.2.4 ARIMA模式預測可靠度 20 2.2.5 類神經網路預測可靠度 21 2.3 驗
證(Validation) 23 2.3.1 驗證的方法 23 2.4 檢定 24 2.4.1 Mann-Whitney U統計檢定方法 24 2.4.2 Wilcoxon檢定方法 25 第三章 研究方法 27 3.1 SVMs預測方法 29 3.2 基因演算法運作過程 32 第四章 實例探討 35 4.1 實例一、U.S.S. Halfbeak引擎可靠度 預測 39 4.1.1使用GA with SVMs模式預測 39 4.1.2 ARIMA方法 44 4.1.3 GRNN方法 51 4.1.4 整合比較各方法預測結果 53 4.1.5 Mann-Whitney U檢定 54 4.1.6 Wilcoxon做檢定 55 4.2 實例二、汽車平均修復數預測 56 4.2.1 使用GA with SVMs模式預 測 57 4.2.2 Mann-Whitney U檢定 62 4.2.3 Wilcoxon做檢定 63 4.3 實例三、系統可靠度預測 64 4.3.1 使用GA with SVMs模式 預測 64 4.3.2 Mann-Whitney U檢定 71 4.3.3 Wilcoxon做檢定 72 4.4 實例四、機器可靠度預測 73 4.4.1 使用GA with SVMs模 式預測 74 4.4.2 Mann-Whitney U檢定 77 4.4.3 Wilcoxon做檢定 78 4.5 實例五、引擎可靠度預測 79 4.5.1 使用GA with SVMs 模式預測 79 4.5.2 Mann-Whitney U檢定 83 4.5.3 Wilcoxon做檢定 84 第五章 結論以及未來研究 85 5.1 結論 85 5.2未來研究 86 5.2.1 SVMs與SA、AA等其他演算法做結合 86 5.2.2 田口方法定義GA搜尋參數範圍 87 參考文獻 88 附錄 92
參考文獻
參考文獻 【1】 Chan, C.k., Kingsman, B.G., Wong, H., “The value of combining forecasts in inventory management — a case study in banking
”, European Journal of Operational Research, 117(2), pp.119-210,1 1999. 【2】 Francis E. H. Tay, Lijuan Cao, ”Application of support vector machines in financial time series forecasting”, The International Journal of Management Science, Omega 29, pp.309-317, 2001. 【3】 Francis E.
H. Tay, Lijuan Cao, ”Modified support vector machines in financial time series forecasting”, Neurocimputing, 48 ,pp.847-861, 2002. 【4】
Francis X. Diebold ,Roberto S. Mariano, “Comparing Predictive Accuracy” ,journal of Business & Economic Statistics, Vol. 13, NO. 3, pp.
134-144, 1995. 【5】 GIOQINANG ZHANG, MICHAEL Y. HU, “Neural Network Forecasting of the Britich Pound/US Dollar Exchange Rate”, Elsevier Science Ltd., Vol. 26, NO. 4, pp.495-506, 1998. 【6】 Harold Ascher, Harry Feingold, “Repairable system reliability, modeling, inference, misconceptions and their causes”, Marcel dekker, INC., pp. 73-78, 1984. 【7】 J. D. Musa, “Software reliability data”, IEEE Comput. Soc. Repository, 1979. 【8】 K. Xu, M. Xie, L. C. Tang, S. L. Ho, “Application of neural networks in forecasting engine system reliability”, Applied Soft computing 2, pp255-268, 2003. 【9】 Kai-Yuan Cai, Lin Cai, Wei-Dong Wang, Zhou-Yi Yu, David Zhang, ”On the neural network approach in software reliability modeling”, The Journal of System and Software 58, pp47-62, 2001. 【10】 Kecman, V.(Vojislav),
“Learning and soft computing: support vector machines, neural networks, and fuzzy logic models”, Massachusetts Institute of Technology, pp.121-189, 2001. 【11】 M.A. Mohandes, T.O. Halawani, S. Rehman, Ahmed A. Hussain, “Support vector machines for wind speed prediction”, Renewable Energy, 29, pp. 939-947, 2004. 【12】 Nozer D. Singpurwalla, Pefik Soyer, “Assessing (Software) reliability growth using a random coefficient autoregressive process and its ramifications”, IEEE transactions on software engineering, Vol. SE-11, NO.12, pp.
1456-1464, 1985. 【13】 Paul Kales, ”Reliability for technology, engineering, and management”, Prentice Hall, pp.6-8, 1998. 【14】 Paul Kales, ”Reliability for technology, engineering, and management”, Prentice Hall, pp.61-70, 1998. 【15】 Paul Kales, ”Reliability for technology, engineering, and management”, Prentice Hall, pp.280-287, 1998. 【16】 Renate Sitte,”Comparison of Software-Reliability-
Growth Predictions: Neural Networks vs Parametric-Recalibration”,IEEE Transactions on reliability, VOL. 48, NO. 3, 1999 September. 【17】
Rob Law,Norman Au, “A neural network model to forecasting Japan demand for travel to Hong Kong”, Tourism Management, 20, pp. 89-97, 1999. 【18】 Robert D. Mason & Douglas A. Lind著, 張宮熊譯, “Ststisical Techniques In Business And Economics”, Richard D. Irwin, Inc., 1993. 【19】 S. L. Ho and M. XIE, “The Use of ARIMA Models for Reliability Forecasting and Analysis”, Computer ind. Engng Vol. 35, Nos 1-2, pp.213-216, 1998. 【20】 S. L. Ho, M. XIE, T. N. Goh, ”A comparative study of neural network and Box-Jenkins ARIMA modeling in time series prediction”, Computers & Industrial Engineering 42, pp371-375, 2002. 【21】 Theodore B. Trafalis and Huseyin Ince, “Support Vector Machine for Regression and Application to Financial Forecasting”, IEEE, 2000. 【22】 Trevor Hastie, Robert Tibshirani, Jerome Friedman,
”The Elements of Statistical Learning”, Springer , pp214-217, 2001. 【23】U. Thissen, R. van Brakel, A.P. de Weijer, W.J. Melssen, L.M.C.
Buydens, “Using support vector machines for time series prediction”, Chemometrics and Intelligent Laboratory Systems, 69, pp. 35-49, 2003.
【24】 Weizhen Lu, Wenjian Wang, Andrew Y T Leung, Siu-Ming Lo, Richard K K Yuen, Zongben Xu, Huiyuan Fan, ”Air Pollutant
Parameter Forecasting Using Support Vector Machines”, IEEE, 2002. 【25】王淵海,“統計學”,王冠出版社, 5, pp. 401-418 ,2002. 【26】 郭 明哲, ”預測方法-理論與實例-”, 中興管理顧問公司, pp.203-205, 1989. 【27】 張孝德, 蘇木春, ”機器學習:類神經網路、模糊系統以及 基因演算法則”, 全華科技圖書股份有限公司, pp.1-14 - 1-34, 2002. 【28】 羅華強, “類神經網路-MATLAB的應用”, 清蔚科技股份有限 公司, 2001. 【29】 蘇朝敦, 唐麗英, 柳近明, “結合時間數列與類神經網路構建可靠度成長之預測模式研究”, Journal of the Chinese Institute of Industrial Engineers, Vol. 14, NO. 4, pp. 419-430, 1997.
