第四章 實驗數據
4.2 函數最佳化
4.2.1 最佳化方程式選取
本論文最佳化模擬的方程式選了以下三種：Rosenbrock function、Ackley’s function 以及 generalized Rastrigin function，分別以 f 、0 f 及1 f 表示，如以下方2 程式所示， n 為各方程式中維度個數，本實驗中 n 值皆為 30，意即皆具有 30 個 維度。
Rosenbrock function：
2
圖 4.5：Rosenbrock function 實際圖形。
Ackley’s function：
2
Ackley’s function 維度之間全獨立 4.並存在許多最佳局部解，圖 4.6 為 Ackley’s
-1 -0.5 0 0.5 1 1.5 2 2.5 3
function 之實際圖形。
圖 4.6 Ackley’s function 之實際圖形。
generalized Rastrigin function：
/ 2
Generalized Rastrigin function 方程式維度間全獨立並存在許多局部最佳解。圖 4.7 為 generalized Rastrigin function 之實際圖形。
圖 4.7 generalized Rastrigin function 實際圖形。
f 各維度間完全相關每個維度之間都具有關聯性，意即關聯的情況並不只是0
如果能把所有維度分在同一類，在演化上的效果會較好；f 各維度間為完全獨立，1 每個維度並不受其它維度的影響，此種情況在抗體基元分類上，若能將所有維度 各自分到不同的族群，意即類似於共生式人工免疫系統的分類準則在表現上會得 到較好的效果； f 維度部分部分相關且部分獨立，可用於判斷本論文演算法是2 否具備提升效能的能力。本文中所提出基於頻繁樣式成長法的共生是人工免疫系 統，便是為了達到這樣的結果，對於維度相關方程式或是維度非相關方程式甚至 於維度間部分相關且部分獨立方程式，皆能做出最適當的處理。
4.2.2 函數最佳化實驗結果
本論文在函數最佳化部分比較的三種方法在演算上每個族群維度大小並不 相同，因此若以程式執行速度來比較並不公平，另外這三種演算法的演算方式有 所差異，每一個演化代中所做的份量亦不相同，因此也不可以演化代數做為相同 的限制，因此本論文在停止條件的設定上，以 function evaluations(FEs)的數量做 為準則，每運算一次適切值則 FEs 值增加 1。表 4.11 為各方程式初始設定參數。
表 4.11 實驗參數初始設定。
函數編號 函數維度 初始範圍 演化門檻值
(threshold)
f 0 30 2.048 100
f 1 30 30 5.00
f 2 30 30 5
本論文所使用的方法以及比較的兩種演算法在 function evaluations 的數目上 皆設定為2 10× 5，所有實驗的數據皆測試 50 次，最後所得函數值為 50 次實驗的 平均值。在抗體基元數的取法上，為使模擬可以得到較客觀的結果，本論文先做
抗體基元數目測試，表 4.12~表 4.14 為 f ~0 f 粒子數由 1~50 的實驗結果。 2
表 4.13 f 抗體基元數目測試結果。 1
f 1
抗體 基元 個數
函數值
抗體 基元 個數
函數值
抗體 基元 個數
函數值
1 0.074218 18 0.000177 35 0.000169 2 0.028183 19 0.000173 36 0.000179 3 0.007915 20 0.000169 37 0.000159 4 0.001627 21 0.000169 38 0.000166 5 0.001061 22 0.000170 39 0.000162 6 0.000734 23 0.000167 40 0.000172 7 0.000601 24 0.000163 41 0.000179 8 0.000355 25 0.000172 42 0.000171 9 0.000241 26 0.000160 43 0.000173 10 0.000197 27 0.000173 44 0.000172 11 0.000183 28 0.000183 45 0.000162 12 0.000186 29 0.000169 46 0.000181 13 0.000174 30 0.000168 47 0.000153 14 0.000176 31 0.000165 48 0.000178 15 0.000173 32 0.000166 49 0.000162 16 0.000179 33 0.000167 50 0.000168 17 0.000177 34 0.000170
表 4.14 f 粒子數測試結果。 2
況進行模擬。
演算法模擬 f 的實驗結果比較如表 4.15~表 4.17 所示，此方程式為一個0 維度完全相關的例子，每個維度間彼此都具有關聯性，因此透過本論文的族 群分類機制，會將所有的維度皆放於同一族群裡，如此的分類結果與 AIS 的族群分類方式是相同的，所以在演化上會與 AIS 所得到的結果相近，由 表 4.15 可以看出，此一維度完全相關的函數，若以 AIS 進行演化會比 SymbAIS 來得有效，雖然 SymbAIS 可避免 AIS 演算法的缺點，但 CPSO-S 將關聯維度劃分開來所造成的缺陷遠大於自身演算法所提供的優點，因此結 果如同第二章所述，維度關聯函數仍以 AIS 可得到較好結果。表 4.18 為方 程式 f 當0 λ不同時之數據。表 4.19 為利用歸屬函數之重疊性調整規則數前 後之時間比較。
表 4.15 f 使用本論文方法實驗結果。 0
函數 演算法 各維度粒子數 函數值
f 0
11 0.15088 12 0.09845 13 0.01427 14 0.00846 15 0.00703
本論文
16 0.00701 17 0.00697 18 0.00694 19 0.00693 20 0.00699 21 0.00690 22 0.00687 23 0.00688 24 0.00691 25 0.00692
表 4.16 f 使用 AIS 方法實驗結果。 0
SymbAIS
16 0.66421
表 4.18 方程式 f 當0 λ不同時之數據。
λ 規則數目(個) RMSE
0.60 15 0.0124
0.65 21 0.00693
0.70 25 0.00687
0.75 28 0.00688
0.80 29 0.00701
未調整 30 0.00716
表 4.19 f 利用歸屬函數之重疊性調整規則數前後之時間比較。 0
方法 所需執行時間(秒)
演算法利用歸屬函數之重疊性判斷規 則數是否過多進而調整最小支持度及
最小信任度
12.819
未調整 15.224
表 4.20~表 4.22 為方程式 f 於各種實驗方法所得到的結果，1 f 的各維度間1 彼此獨立，所有維度皆不相關，因此本論文在此實驗中，族群分類後的結果為 所有維度皆放於不同的族群裡，總共產生族群個數為 30。此種分法與 SymbAIS 相同，意即本論文的方法在實驗數據將會於 SymbAIS 相近。由實驗數據可明 顯看出，當函數的類型為維度間具有相關性，且維度數目較大時，SymbAIS 的表現會明顯優於 AIS，本論文藉由 FP-growth 尋找關聯項目，應用於此類型 方程式也可達到與 SymbAIS 相近的結果。表 4.23 為方程式 f 當1 λ不同時之數 據。表 4.24 為 f 利用歸屬函數之重疊性調整規則數前後之時間比較。 1
表 4.20 f 使用本論文方法實驗結果。 1
表 4.22 f 使用 SymbAIS 方法實驗結果。 1
SymbAIS
16 0.000194
上，都無法與實際情況得到較接近的分類結果，因此在實驗結果上，因為本論
表 4.27 f 使用 SymbAIS 方法實驗結果。 2
SymbAIS
16 0.00620
4.3 模擬結果分析
在函數模擬的實驗中，以原始人工免疫系統為參數最佳化演算法雖然速度較 快，但卻只能做大略的調整，並無法做到較細微的圖形曲線逼近；而以共生式人 工免疫系統做為最佳化演算法速度上較慢，但卻可以較準確逼近圖型；本論文在 速度上介於原始人工免疫系統與共生式人工免疫系統之間，分類結果大多會將每 一組輸入在歸屬函數層的平均值和標準差置於同一族群內，如公式 3.2 所示，平 均值和標準差在 TSK 模糊類神經系統中為相關變數，因此這樣的分類結果有助 於演算法效能的表現，此外本文以改良式共生式人工免疫系統做為參數最佳化工 具，最重要的部分為基於頻繁樣式成長的共生式人工免疫系統在演化上彈性大，
可解決共生式人工免疫系統對有相關聯項目演化困難的窘境，因此本文在模擬結 果上，皆比其餘兩者來得好。此次實驗中，有個較值得注意的部分，表 4.9 中 AIS 演算法當各維度包含 15 個粒子以及 20 個粒子時，由實驗數據看出，維度中 包含的粒子數越多，有時並不一定會使演化效果更好，主要原因在於本實驗不以 演化代數做為限制，而是以 function evaluations 代替演化代數做為演算法終止條 件 ，意 即當每個 維度中粒子 數 增加， 每 一次 演化代中 將消耗 更多 function evaluations 的次數，若大略以演化代數來看，維度中粒子數多的實驗，最佳化過 程中起始至演化結束，執行的演化代數會比維度中粒子數較少的實驗來得少，以 致於會出現粒子數較多反而較差的情況。但粒子數的影響主要在於個數小於 10 的情況，因此當粒子個數足夠時，彼此間差異並不大。
在函數最佳化的實驗中，維度內抗體基元的個數會影響效能的表現，尤其當 個數過於小時，會造成較大的影響，因此在使用的建議上，可將抗體基元個數設 定在 15~25 之間，彼此之間差異不大。
函數 f 各維度間皆為相關，因此本論文在確立規則步驟時，當測試資料族群0 分類情況與原始人工免疫系統相近，意即把所有的維度置於一個族群內，以實驗
結果來看，因為函數 f 的維度全相關性，因此結果如預期的想法，本論文與原始0
本論文 AIS SymbAIS
所有維度置於
第五章 結論
本論文將共生式人工免疫系統結合資料探勘，以頻率項目成長尋找各維度間 的關聯性，如此一來便可解決面對抗體基元之間有相關聯性而造成演算法效能不 彰的窘境，使用者在一開始便可訂立出合理的抗體集合分類方法，解決共生式人 工免疫系統所遇到的瓶頸，由第四章實驗結果可看出，透過關聯性的尋找，所得 到的族群分類結果為合理且實用，省去了很多利用嘗試錯誤法所浪費的時間。
此外，當處理的問題具有過大的維度時，因為共生式人工免疫系統在維度過 大的情況下效而表現不佳，每一次的演化中，僅考量整體的適切值，各維度是否 較上一代來得好，共生式人工免疫系統並無法確保，對於最佳解的找尋造成相當 大影響，因此多數使用者在沒有族群分類的規則下，會以共生式人工免疫系統做 為最佳化過程中所使用的演算法，但如此一來，將所有維度分到不同的族群裡，
完全不考慮維度間是否具有關聯性，會造成計算量龐大的問題，且對關聯維度來 說並不理想，雖然仍可比原始人工免疫系統較有效達到找尋最佳解的目的，但卻 會因為沉重的計算量而使計算時間相當冗長。透過本論文所提出的方法，將關聯 維度找出並置於同一族群裡，可有效的使族群數目減少，在計算量上，可達到縮 小的效果，使執行速度上可以更加快速，另外在最佳化過程中，也可避免關聯維 度被分到不同族群所造成不好的影響，因此不僅在演化計算量上，以及最佳解的 找尋，本論文都可達到較不錯的表現。
未來希望可透過關聯法則，進行設定參數的調整，使參數不需經由一連串的 錯誤嘗試法來決定。
參考文獻
[1] J. H. Holland, Adaptation in Natural and Artificial System, Cambridge: MIT Press, 1992.
[2] J. D. Bagley, “The behavior of adaptive systems which employ genetic and correlation algorithms,” Ph. D. dissertation, Michigan, USA, 1967.
[3] D. E. Goldberg, Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA, 1998.
[4] J. E. Hunt and D. E. Cooke, “Learning using an artificial immune system, ”Journal of Network and Computer Applications, pp. 189-212, 1996.
[5] D. Dasgupta and N. Attoh-Okine, “Immunity-Based Systems ： A Survey,”
Proceeding of the IEEE Transactions on Systems, Man and Cybernetics, vol. 1, pp. 369 -374, 1997.
[6] T. Fukuda, K. Mori, and M. Tsukiama, “Parallel search for multi-modal function optimization with diversity and learning of immune algorithm,” Artificial Immune Systems and Their Application, Springer-Verlag, pp. 210-220, 1999.
[7] L. N. de Castro and F. J. Von Zuben, “Learning and optimization using the clonal selection principle, ” IEEE Transactions on Evolutionary Computation, vol. 6 no. 3, pp. 239–251, 2002
[8] R. Halavati and S. B. Shouraki, “Symbiotic immune system,” - Soft Computing- A Fusion of Foundations, Methodologies and Applications, vol. 13, no. 6, pp.
565-575, 2009.
[9] R. Agrawal, T. Imielinski, and A. Swami, “Mining association rules between sets of items in large databases,” in Proc. ACM Special Interest Group on
[10] R. Agrawal and R. Srikant, “Fast algorithm for mining association rules,” in Proc. Very Large Data Bases, pp. 487-499, 1994.
[11] Y. Dote, “Soft Computing (Immune Networks) in Artificial Intelligence,”
Proceeding of the IEEE Transactions on Systems, Man and Cybernetics, vol. 2, pp.1382 -1387,1998.
[12] H. G. Cobb, “Is the genetic algorithm a cooperative learner?” Foundations of Genetic Algorithms 2., pp. 277-296, 1992.
[13] S. H. Clearwater, T. Hogg, and B. A. Huberman, “Cooperative problem solving,”
in Computation: The Micro and Macro View, pp. 277-296, 1992.
[14] P. Cabena and P. Hadjnian, Discovering Data Mining, Upper Saddle River:
Prentice Hall, 1998.
[15] J. Han and M. Kamber, Data Mining: Concepts and Techniques, San Francisco:
Elsevier, 2001.
[16] J. Pei and J. Han, “Can we push more constraints into frequent pattern mining?”
in Proc. Int. Conf. Knowledge Discovery and Data Mining, pp. 350-354, 2000.
[17] S. Park, W. W. Chu, J. Yoon, and C. Hsu, “Efficient searches for different lengths of FP-growth algorithm,” in Proc. 4th Int. Conf. Information and Knowledge
[17] S. Park, W. W. Chu, J. Yoon, and C. Hsu, “Efficient searches for different lengths of FP-growth algorithm,” in Proc. 4th Int. Conf. Information and Knowledge