多目標演化式演算法之多狀態適應性參數調整機制

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：. 蔣宗哲. 博士. 多目標演化式演算法之多狀態適應性參數調整機制. A Multiobjective Evoluationary Algorithm with Multi-state Adaptive Parameter Control. 研究生：中華民國. 陳. 冠. 102 年. 廷. 撰 6. 月.

(2) 誌. 謝. 兩年碩士班研究生涯中有許多需要感謝的人，這些師長朋友們總是在各方面提供指導與協助，使得學業與研究方面有著不小的成長與進步，同時也度過了一段愉快又有各種成長收獲的日子。首先要感謝的是指導教授蔣宗哲老師。不論在專業領域研究或是待人處事方面，老師用稱職專業的能力與朋友關懷的態度去教化學生，使我能夠修正錯誤與思考上的盲點來精進專業能力，同時以無壓力的方式啟發學生的思維，則是我值得學習的目標。同時也感謝百忙之中撥空前來參加論文口試的兩位口試委員：元智大學資管系張百棧老師與淡江大學資工系陳俊豪老師，兩位老師在論文口試中提供了相當寶貴的建議，使得本論文能夠更加完善。此外要感謝一路在學習上相互鼓勵和扶持的實驗室同學們：少文和大維，和兩位在課業與研究上的討論讓我增進不少；裕傑、宏奇、維新和鼎基學長也提供了很多研究與生活上的援助，使得研究生涯過得更加順利；而麒安和泳浚學弟則是解決我在程式設計上的許多疑惑。最後要感謝我的父母與家人，提供了一個讓我無後顧之憂的環境認真研究，也正向鼓勵我多學習充實自我。由於所有人的幫助，才讓我有機會完成這篇論文，在此獻上最高的謝意。. I.

(3) 中文摘要多目標最佳化問題在現實生活中隨處可見，像是生產排程與規劃問題，目標通常是讓生產效能最大化而耗費成本最低。此類問題的目標通常是相互衝突的，因而求解此類最佳化問題的解集合是相當困難又耗時的。演化式演算法 ( evolutionary algorithm ) 利用族群演化的特性求取 (近似) 最佳解集合，相當適合在多目標最佳化這種類型問題上使用，因此已被廣泛使用與發展。可是演化式演算法在不同的問題上需要不同的參數設定，才能獲得較佳的效能。所以如何讓使用者在參數調校的負擔減少，是一個十分重要的項目。本論文針對 MOEA/D-AMS 演算法中的差分式演算法主要參數 F 與 CR 執行動態調整，兩者分別影響子代和親代的差異程度與選擇子代的基因交配機率。本論文使用 MOEA/D-AMS 收斂度評估機制作演化時期參考分類個體，佐以三種狀態參數調整機制去對應個體不同演化時期的調整。目的是希望族群中的個體能夠在不同演化時期獲得最恰當的調整方法來增進效能。最後實驗部分則會評比演算法在 17 個多目標問題的效能，與其他具動態參數調整機制在處理不同型態問題時的分析和討論。. 關鍵字：多目標最佳化問題、演化式演算法、差分演化式演算法、動態參數調整. II.

(4) 目誌. 錄. 謝 ............................................................ I. 中文摘要 ........................................................... II 目. 錄 .......................................................... III. 附圖目錄 ............................................................ V 附表目錄 ........................................................... VI 第一章. 緒論 ........................................................ 1. 1.1 研究背景與動機................................................................................................. 1 1.2 研究目的、方法與貢獻..................................................................................... 3 1.3 全文架構............................................................................................................. 4 第二章. 文獻探討 .................................................... 5. 2.1 MOEA/D、MOEA/D-DE 與 DE ......................................................................... 6 2.1.1 MOEA/D ........................................................................................................ 6 2.1.2 MOEA/D-DE ................................................................................................. 7 2.1.3 Differential Evolution（DE） ....................................................................... 7 2.1.3.1 基底選擇方式......................................................................................... 8 2.1.3.2 差異向量的個數..................................................................................... 9 2.1.3.3 交配方法............................................................................................... 10 2.2 參數調整機制分類............................................................................................. 10 2.2.1 數值的分布方式......................................................................................... 11 2.2.2 族群參數個數............................................................................................. 12 2.2.3 參考資訊的範圍 ........................................................................................ 12 2.3 具參數調整機制之差分演化式演算法介紹..................................................... 14 2.3.1 連續數值-多重參數-沒有資訊 .................................................................. 14 2.3.2 連續數值-多重參數-群體資訊 .................................................................. 15 2.3.3 連續數值-個別參數-沒有資訊 .................................................................. 16 2.3.4 連續數值-個別參數-個體資訊 .................................................................. 17 2.3.5 連續數值-個別參數-群體資訊 .................................................................. 20 2.3.6 連續數值-個別參數-親代資訊 .................................................................. 22 2.3.7 連續數值-單一參數-群體資訊 .................................................................. 22 第三章. 多目標演化式演算法之多狀態適應性參數調整機制實現 ........... 25. 3.1 MOEA/D-AMS .................................................................................................. 25 III.

(5) 3.1.1 收斂評估機制.............................................................................................. 25 3.1.2 密集度評估機制......................................................................................... 26 3.1.3 交配池選擇機制......................................................................................... 26 3.1.4 MOEA/D-AMS 主要流程與參數介紹 ................................................... 26 3.2 MOEA/D-AMS 演算法之多狀態適應性參數調整機制 (MOEA/D-MAPC) 28 3.2.1 參數初始值設定......................................................................................... 29 3.2.2 演化過程中的參數調整............................................................................. 29 3.2.3 參數值選擇................................................................................................. 34 3.2.4 加入多狀態適應性參數調整機制 MOEA/D-AMS 演算法的流程 ...... 37 第四章. 實驗分析 ................................................... 39. 4.1 測試問題........................................................................................................... 39 4.2 比較文獻........................................................................................................... 44 4.3 效能指標........................................................................................................... 45 4.4 實驗與參數設定................................................................................................. 46 4.4.1 基礎參數設定 (MOEAD-AMS)............................................................... 46 4.4.2 具參數調整機制設定................................................................................. 47 4.5 效能評比 ............................................................................................................ 47 4.6 觀察與討論 ........................................................................................................ 49 4.6.1 F2 效能問題探討 ..................................................................................... 56 4.6.2 UF5 效能問題探討 .................................................................................. 64 第五章. 結論與未來展望 ............................................. 65. 參考文獻 ........................................................... 66. IV.

(6) 附圖目錄圖 1-1 決策空間(左)及目標空間(右)示意圖 ............................................................. 2 圖 1-2 凌越關係示意圖(最小化問題) ......................................................................... 2 圖 2-1 參數調整機制分類示意圖 ............................................................................... 11 圖 2-2 參考資訊範圍示意圖(陳政南[5]) .................................................................... 13 圖 3-1 MOEA/D-AMS 演算法流程 ............................................................................... 27 圖 3-2 個體狀態分類示意圖 ....................................................................................... 31 圖 3-3 參數控制流程圖 ............................................................................................... 34 圖 3-4 探勘 (EXPLORATION) 與開發 (EXPLOITATION) 比較圖 ......................................... 35 圖 4-1 問題 LZ2 第 2 代族群演化 F 值狀態分布圖 ................................................. 50 圖 4-2 問題 LZ2 第 2 代族群演化 CR 值狀態分布圖 ............................................... 50 圖 4-3 問題 LZ2 第 50 代族群演化 F 值狀態分布圖 ................................................ 51 圖 4-4 問題 LZ2 第 50 代族群演化 CR 值狀態分布圖 .............................................. 51 圖 4-5 問題 LZ2 第 150 代族群演化 F 值狀態分布圖 .............................................. 52 圖 4-6 問題 LZ2 第 150 代族群演化 CR 值狀態分布圖 ............................................ 52 圖 4-7 問題 LZ2 第 200 代族群演化 F 值狀態分布圖 .............................................. 53 圖 4-8 問題 LZ2 第 200 代族群演化 CR 值狀態分布圖 ............................................ 53 圖 4-9 問題 LZ2 第 500 代族群演化 F 值狀態分布圖 .............................................. 54 圖 4-10 問題 LZ2 第 500 代族群演化 CR 值狀態分布圖 .......................................... 54 圖 4-11 問題 LZ2 族群演化平均 F 值趨勢圖 ............................................................. 55 圖 4-12 問題 LZ2 族群演化平均 CR 值趨勢圖 ........................................................... 55 圖 4-13 問題 LZ2 族群演化未收斂個數趨勢圖 ......................................................... 56 圖 4-14 問題 UF5 第 2 代族群演化 F 值狀態分布圖 ............................................... 58 圖 4-15 問題 UF5 第 2 代族群演化 CR 值狀態分布圖............................................. 58 圖 4-16 問題 UF5 第 50 代族群演化 F 值狀態分布圖 ............................................. 59 圖 4-17 問題 UF5 圖 4-18 問題 UF5 圖 4-19 問題 UF5 圖 4-20 問題 UF5 圖 4-21 問題 UF5 圖 4-22 問題 UF5 圖 4-23 問題 UF5 圖 4-24 問題 UF5 圖 4-25 問題 UF5. 第 50 代族群演化 CR 值狀態分布圖........................................... 59 第 150 代族群演化 F 值狀態分布圖 ........................................... 60 第 150 代族群演化 CR 值狀態分布圖......................................... 60 第 200 代族群演化 F 值狀態分布圖 ........................................... 61 第 200 代族群演化 CR 值狀態分布圖......................................... 61 第 500 代族群演化 F 值狀態分布圖 ........................................... 62 第 500 代族群演化 CR 值狀態分布圖......................................... 62 族群演化平均 F 值趨勢圖 ............................................................ 63 族群演化平均 CR 值趨勢圖 ......................................................... 63. 圖 4-26 問題 UF5 族群演化未收斂個數趨勢圖 ........................................................ 64 V.

(7) 附表目錄表 4-1 多目標最佳化問題 ........................................................................................... 39 表 4-2 IGD 效能評比..................................................................................................... 48 表 4-3 IGD 效能評比統整............................................................................................. 49. VI.

(8) 第一章緒論 1.1 研究背景與動機多目標問題在現實生活中隨處可見，此類問題並非一般單目標問題僅需考慮單一面向的效能最佳化，而是要多方思考影響多目標問題本身的各種因素，還有多目標問題間彼此衝突造成最佳化上的困難，並不容易利用直觀的方式獲得最佳結果。常見的例子有：生產排程與規畫 [1] 、工業設計 [2] 、飛機翼型設計 (Airfoil design) [2] 、車輛路由問題等等，這些都屬於多目標最佳化問題 (Multiobjective Optimization Problem, MOP) 的範疇。多目標最佳化(最小化)問題可以用函式表示如下： Minimize ＝ ( f1(x) ,. ‧‧‧. , fm(x) ). (1). Subject to x ∈ Ω Ω 為決策空間 (decision variable space) ， Rm 為目標空間 (objective space)， F：Ω → Rm 由 m 個實數目標函式組成，若 Ω 為 Rn 上一個封閉且連續區域，且所有目標都是連續型的，我們可以稱 (1) 是一個連續型的多目標問題 (continuous MOP)。圖 1-1 為一個二維目標空間映射到三維決策空間的多目標問題示意圖。我們能從此圖看到由決策空間中 x1、x2 兩個參數代入函式後，獲得在目標空間中映射出的 y1、y2、y3 三維座標空間結果。 1.

(9) 圖 1-1 決策空間(左)及目標空間(右)示意圖. 假設在最小化問題中 u = (u1,‧‧‧, um)，v = (v1,‧‧‧, vm) 是兩個屬於 Rm 的向量，若對所有的 i = 1,‧‧‧,m，ui  vi ，且至少存在一個 j 屬於｛1,‧‧‧,m｝使得 uj ＜vj，則稱 u 凌越（dominate）v，如圖 1-2 所示。. 圖 1-2 凌越關係示意圖(最小化問題). 如果不存在一個 x ∈ Ω 使得 F(x) 凌越 F(x*)，則稱此點 x*∈ Ω 為柏拉圖最佳解 (Pareto optimal solution) ；PS 表示所有柏拉圖最佳解的集合，以柏拉圖集合 (Pareto set) 稱之；PF 表示所有柏拉圖目標向量的集合，稱為柏拉圖前緣 (Pareto. 2.

(10) front)，PF ＝｛F(x) ∈Rm︱x∈PS｝。在多目標最佳化問題裡，找到單一非凌越解並不困難，困難的是如何找到所有的非凌越解，也就是 PS。在無法找到完整 PS 時 (基於問題複雜度或者 PS 的大小)，我們希望盡可能地找到足以代表 PS 的近似解集合。. 1.2 研究目的、方法與貢獻本篇論文主要是參考林裕傑於 2012 年研究所畢業論文 [4] 中的各項剖析 MOEA/D-APC 各項優劣比較結果，此演算法是由陳政南於 2011 年研究所畢業論文 [5] 所實作的演化式演算法。MOEA/D-APC 則是由賴永斌於 2010 年研究所畢業論文提出的 MOEA/D-AMS [6] 加入了參數調整機制改良而來。從參考 2008 年 IEEE Transactions on Evolutionary Computation 最佳論文獎得主： MOEA/D: A Multi-objective Evolutionary Algorithm Based on Decomposition [7] 的基礎，一路發展至 MOEA/D-APC 有不小的進步幅度，但也留下了不少改進空間：像是為增強效能而發展的機制產生新的參數設定問題。綜合以上論述，我們找出其中尚待改進的問題與可能加強的部分，讓原本演算法的效能增進，更少的參數初始設定與影響，使得本演算法能夠更容易使用。本文將會論述各類單目標差分演算法中的優缺點，並利用陳政南 [5] 所提出的分類方式，與林裕傑在 [4] 中各種參數調整控制分析將其特點分類後作為參考、改進，以此來為 MOEA/D-AMS 這個多目標差分演算法量身打造一套適合的自適應參數調整機制，使得該演算法更容易使用與效能上的增進。 3.

(11) 1.3 全文架構本篇論文共分為五個章節，以下為各章的內容概述：. 【第一章】緒論說明本論文的研究背景、動機、目的、方法、貢獻及本文架構。【第二章】文獻探討介紹多目標演化式演算法流程和多個具適應性參數調整機制的演化式演算法的參數調整方式。【第三章】MOEA/D-AMS 演算法之多狀態適應性參數調整機制實現介紹本演算法的基礎：MOEA/D-AMS 演算法和本論文所提出之多狀態適應性參數調整機制 ( MOEA/D-MAPC )。【第四章】實驗數據與效能評比系統環境的說明、相關實驗數據分析及討論。【第五章】結論與未來發展. 對本論文所提出的適應性參數調整機制與實驗結果作總結，以及未來發展方向。. 4.

(12) 第二章文獻探討. 近十年來，各類型多目標演化式演算法發展蓬勃，解品質的評估方式(Fitness assignment) 往往決定了該演算法的效能與實作方式，像是利用效能指標來比較兩組解集合計算適應度的演算法，如 SMS-EMOA [3]，常用的效能參考指標有 hypervolume 、 ϵ-indicator… 等；利用解與解之間的凌越關係來調整適應度 (Fitness) 的計算，如 Non-dominated Sorting Genetic Algorithm Ⅱ (NSGAⅡ) [8]、 Strength Pareto Evolutionary Algorithm Ⅱ (SPEAⅡ) [9]；利用權重值調整適應度的演算法也發展許久，早期簡單利用將目標值乘上個別權重值 (weight) 總和的加權法 ( weighted sum approach ) 來控制族群發展方向，實作方式簡單但其缺點在於如何找到一組適合該問題的權重值設定。目前經改良衍生出許多加權的方法，如柴比雪夫法 (Tchebycheff Approach)、邊界交叉法 (Boundary Intersection Approach) …等，採用的演算法如 MOEA/D [7] 與 MOEA/D–DE [10] 比單純使用加權法線性控制權重值擁有更佳的效能。. 本篇論文採用演算法的是由 MOEA/D [7] 與 MOEA/D–DE [10] 演算法為基礎改良而來，在接下來的篇幅內我們將會概述演算法內容。在 MOEA/D–DE 裡採用繁殖方式為差分演化式演算法 (Differential Evolution - DE) [11]，演算法內部的參數控制行為往往關係到子代個體產生方式，是決定. 5.

(13) 本演算法效能的關鍵所在，所以下面篇幅論述一些代表性的差分演化式演算法作為改進參數調整機制參考。差分演化式演算法發展至今種類繁多，但由於目前常見的分類方法不容易看出同類型內的參數控制細部差異，所以我們改用陳政南 [5] 提出的分類方式來對該演算法特徵作詳細說明與探討該參數調整機制優缺點，作為改進本演算法參考基礎。. 2.1 MOEA/D、MOEA/D-DE 與 DE 2.1.1 MOEA/D MOEA/D 的核心概念分為兩個部分：其一是利用分解 (Decomposition) 的方式將多目標問題分解成多個單目標問題，而個別子問題通常會偏重某些目標的演化，藉此讓各個子問題往不同方向發展來獲得均勻分布的解集合。將問題分解成子問題的方法有若干種，該篇論文提及了權值整合 (Weighted Sum Approach)、柴比雪夫法、邊界交叉法等三種方法，其中的柴比雪夫法，可利用下式表示（假設此多目標問題為最小化問題）：. (2) Subject to x∈ Ω z* = (z1* … zm*)T 為參考點，是由目前各目標上所找到的最佳值產生，zi* = min{ fi(x) | x∈ Ω}，i = 1,..,m，為一組權重值， 6. ，. 0 ， i=1….

(14) m，. = 1。上述式子代表每個子問題中的個體能以不同的方向向量去靠近參. 考點。其二為使用鄰居 (neighborhood) 的概念來進行交配選擇。個體間利用權重向量來計算彼此之間的歐基里德距離 (Euclidean distance) 以判斷是否為鄰居：距離越遠則越不容易被選為鄰居，同時於交配時從鄰居之中選擇親代，若產生之子代優於親代則直接取代，反之亦然。. 2.1.2 MOEA/D-DE MOEA/D-DE 是改良 MOEA/D 缺點後加上差分演化式演算法 (DE) 的交配機制發展出來的。MOEA/D 在演化過程初期時，相對較好的個體會快速取代所有相對較差的鄰居，而某幾個品質較優的點總是佔有優勢，使得物種多樣性在演化初期即被耗損，造成在目標空間中演化擴散的速度緩慢。對於以上的問題 MOEA/D-DE 利用以下機制作為改良：在演化時對可取代的個數有所限制，同時有機率是挑選整個族群當成鄰居，以增加演化出來的個體多樣性。而 MOEA/D-DE 的交配方式則是參考差分演化式演算法，增強個體在演化中的變化與可控性。. 2.1.3 Differential Evolution（DE） DE 會從族群中隨機選擇三個不同的個體 xr1、xr2、xr3 這三個個體在突變階段產生一個新的突變個體 ( 7. ( xr1≠xr2≠xr3)，利用. , mutant vector )，由下列式子.

(15) 表示:. (4) 在嘗試個體 ( trial vector ) 中每個基因位置，則會隨機選擇突變基因或是親代基因，可由下列式子表示:. (5) rand ∈ U(0,1) 表示是在第 i 個子代的第 j 個基因，I 則是隨機選出的一個基因位置，使得選到這個位置的基因必為突變基因，讓最後產生親代跟子代不完全相同。上述 DE 策略稱為 DE/rand/1/bin，其他還有幾種具不同特性的策略。. (6) 方程式 (6) 表示 DE 的突變基因 ( ) 是由基底 (base) 和差異向量 (difference vector ) 組成。基底和差異向量分別有各種不同的選擇方式，一般 DE 策略以 DE/x/y/z 表示，x 為基底選擇的方式，y 為差異向量個數，而 z 為交配的方法。此種表示法可以簡單看出該 DE 策略的特性。下面就上述三個部份的種類分別進行介紹。. 2.1.3.1 基底選擇方式一般常見的基底選擇策略分別有 rand、best、current to best 三種：rand 代表. 8.

(16) 隨機從族群中挑一個體基因作為基底；rand to best 選擇目前最佳個體基因與隨機個體基因中的值作當作基底，而靠近最佳解的多寡是由 F 值大小決定。 current to best 和 rand to best 相似，相異處在使用目前被選擇用以突變之個體基因，取代隨機個體基因。除了前述選擇策略之外，某些演算法也會特別設計一些變化：如 JADE [12] 的 current to pbest 則是挑選最佳解中百分比 ( p) 部分個體基因選擇，為的是避免過早收斂的問題。以下三個例子分別代表基底是以 rand、rand to best、 current to best 來選擇時的情形。. rand：. + 差異向量 + 差異向量. rand to best：. current to best：. =. +. 差異向量. 2.1.3.2 差異向量的個數差異向量的個數主要決定突變出來的個體基因與原本的基底個體基因差異有多大：有著重於提升突變後差異量的突變策略，為的是增加演化的多樣性；而有的則是求子代能出現在最佳解附近，兩者都可以由差異向量的大小來調整。每個差異向量至少需要兩個不同個體的差異量乘以 F 的參數倍來計算，個別差異向量間挑選的個體也都必須不同。下面兩個例子分別為差異向量個數分別為 1 和 2 的情形。 DE/rand/1 ： 9.

(17) DE/rand/2 ：. 2.1.3.3 交配方法在個體中交配的基因位置是由交配方法決定，分為二項式 (binomial) 與冪次 (exponential) 兩種，分別用 bin 或 exp 表示。二項式是指所有基因都有機會進行交配；而冪次則限於個體其中一段基因位置。此外，F 與 CR 是控制 DE 的兩個主要參數：F 是控制突變後和親代的差異程度，也就是前述差異向量所占的比重，值的高低關係到子代與親代差異大小；選擇子代基因交配機率則是由 CR 值負責控制，值的高低關係到影響選擇突變基因的機會多寡，數值越高則機率越大，反之亦然。大多數 DE 演算法的改進方向皆是對 F 與 CR 這兩個控制參數進行調整，使其能配合演化狀態進行適當調整來提高效能，而參數調整機制又能分為許多種類，詳見下一節 2.2。. 2.2 參數調整機制分類改進 DE 這個演化式演算法類別裡的參數調整機制在近年來為流行的發展方向，利用在演化過程中的參數變化方式來判別該演算法特徵，一般參數調整機制常使用 Eiben 於 [13] 中所提出的以下三種分類： (1) 決定性參數控制 (deterministic parameter control) 、 (2) 適應性參數控制 (adaptive parameter control) 及 (3) 自適應性參數控制 (self-adaptive parameter control)。除了第一種決定性參數控制相對於其他兩者容易區分外，(2) 和 (3) 兩種在定義上並不明確，經常由 10.

(18) 該篇文獻作者自行定義該演算法參數控制機制屬於何種。而不同作者在不同的觀點去分類相同的演算法，則會造成不同的分類結果：因為此種由作者區分的方式常有主觀見解模糊地帶。陳政南於 [5] 中提出新穎且明確的分類方法：參數調整機制依照 (1) 數值分布、(2) 族群參數個數及 (3) 參考資訊範圍等三個特徵來分類，藉此我們可以較容易的理解各個 DE 的概念與目的，方便找出該種參數調整機制影響成因來改進我們的演算法；而 Chiang 等人於 [14] 中則是將族群參數個數內的分類方式更詳細劃分，以求更明確表現所使用的參數控制行為。以下將說明其分類方式如圖 2.1 所示：. 圖 2-1 參數調整機制分類示意圖. 2.2.1 數值的分布方式數值的分布方式劃分為連續數值和離散數值。連續數值表示以一段連續實數當作參數值的範圍，參數值可能是這段連續實數中的任何一值，在相同決策空間. 11.

(19) 下，具有個體多樣性較高的特點；而離散數值分布則為預先設定好的離散數值範圍，通常進行實驗過後依據其結果來修正參數增進效能。. 2.2.2 族群參數個數依族群的參數個數可分成單一參數 (single parameter)、多重參數 (multiple parameter)、個別參數 (individual parameter) 與變數參數 (variable parameter) 。單一參數指的是整個族群共用一個參數，在應對不同演化狀態時的靈敏度可能就沒有比個別參數好，但調整時能夠以族群為單位改變整體參數變化狀態；多重參數則是使用分配指定數值範圍中不同的隨機值給個別個體，而個體在每一個子代時所分配到的值都會不同，分配的方式經常使用常態分配來決定；個別參數表示每個個體都擁有自己的參數，來針對個體作細微的調整，比較能視個體自己的演化狀態決定參數的調整方式，為常見的族群參數類型；變數參數則是類似個體參數，但控制方式是由調整機制自身的決策變數影響，而非個別個體上的參數決定。. 2.2.3 參考資訊的範圍參數調整機制有時依賴某些特定的資訊才能對參數進行適合的修正，這些資訊參考的範圍又能分為：(1) 沒有資訊、(2) 個體資訊、(3) 親代資訊與 (4)群體資訊共四種。(1) 沒有資訊為不需參考任何東西便能產生新的參數，大都使用在一定範圍內取出隨機值的方式，該參考方式多樣性較高，但無法隨著目前演化狀 12.

(20) 況改變而適當調整。(2) 個體資訊的調整方式是靠參考個體演化情形來調整，有時個體在演算法中會擁有自己的參數組，讓個體利用觀察自己過往的演化情形來修正參數，其缺點在於該個體無法利用其它個體產生的資訊作出即時回饋產生適當的演化參數調整。(3) 親代資訊的參數值則是由許多個親代提供的資訊來產生，使得子代可以參考多個親代各項資訊來提升演化效能。(4) 群體資訊則是使用整個族群的資訊作為參考，像是統計所有個體產生優良子代的次數，這類的資訊因樣本多，好的參數值可以藉求群體資訊參考方式擴大影響其他個體，通常較為可靠。四種不同的參考資訊範圍我們以圖 2.2 表示其具體行為介紹：. 圖 2-2 參考資訊範圍示意圖(陳政南[5]). 13.

(21) 2.3 具參數調整機制之差分演化式演算法介紹根據上一節的參數調整機制的分類方式，以下將會介紹在各種分類下代表性的差分演化式演算法，以及分析該種分類下的參數調整機制的優缺點，供本論文演算法作為改進方向參考：. 2.3.1 連續數值-多重參數-沒有資訊 Neighborhood Search DE (NSDE) [15] NSDE 主要是針對 DE 中差異向量的計算，利用親代為基底，再搜尋親代鄰近的區域以達成演化目的。此方法稱為鄰居搜尋 (neighborhood search) 的概念，其計算式如下:. (7) (8) NSDE 每個個體皆擁有屬於自己的 F 與 CR ，在上式 (7) 與 (8) 中的 i 表示個體編號，而調整 F 的方式為一半機率的常態分布 (normal distribution) 的 N(0.5,0.5) 方式來產生新值，此種方式能提供較平均的參數分布，使突變後親代與子代間的距離較為平均。調整 F 另一半機率則使用柯西分布 (Cauchy distribution) 的 C (0,1) 方式產生，此種方式讓 F 值差異增大，個體多樣性隨著差異向量的多變增加。對半的機率使用不同的分布方式，使得個體能利用多變的. 14.

(22) 差異向量來移動。 CR 的調整則是使用均勻分佈的隨機值 U(0,1) 。CR 的部分則是使用均勻分布 U(0,1) 來設定。NSDE 不參考其他的資訊來輔助調整參數，因此無法靠前代的演化結果來增進效能；但相對其他參數調整機制，NSDE 因不受親代或其它最佳化資訊影響，其突變機率相對較高，增加脫離區域最佳解的可能性。. 2.3.2 連續數值-多重參數-群體資訊 Self-adaptive DE (SaDE) [16] SaDE 在 F 與 CR 的參數調整方式如下面 (9) 和 (10) 所示 (9) (10) F 使用常態分布隨機值，其平均數為 0.5，標準差 0.3，範圍為 (0, 2]，演化初期不需特別設定；CR 也是使用常態分布隨機值，以為 0.1。. 為平均值，標準差. 則是所有產生過優良個體的 CR 值之中位數，經過 25 代的演化後. 會進行統計與更新，而 CR 部分則是每 5 代便重新計算一次，讓 CR 值利用之前的優良經驗來提升效能。而 SaDE 使用多種突變策略的演算法，分別為隨機性提供了族群探索空間機會；. ：該突變策略的則對收斂效果較有幫助。. 選擇策略的方式則是由該策略產生優良子代的比例來決定，如 (16) 所示：. 15.

(23) 突變策略. (11). 突變策略的選擇方法則是利用. 與. 這兩. 個策略在學習時間（learning period ，在此設定為 50 代）內成功產生優良子代的次數再搭配上兩個策略成功的比例作挑選。. 則表示選擇使用. 這個突變策略的機率，. 分別表示. 與. 在學習時間內成功產生優良子代的次數，而則是失敗的次數。初始重新計算並將. 、. 與與. 為 0.5，每經過學習時間 (50 代) 演化後，依照上式、. 與. 歸零，所以選擇兩種策略的機率會從一開始. 相同的 50% 隨著成功演化策略比例而增減。. 2.3.3 連續數值-個別參數-沒有資訊 jDE [17] jDE 參數調整機制容易實作，因此有許多參數調整機制會參考 jDE 演化修改而成； jDE 作法是希望一定機率保留產生優良子代的參數值，當作下一代參考繼續使用，同時隨著演化過程淘汰掉對提升個體效能沒幫助的參數值，下面詳細說明其參數的調整方法。 (12) (13) 均勻分布於. 的隨機值 16.

(24) 為正整數且不同值的. 互不相同. 選擇新參數與否的門檻值最小值，最小值，. 最大值最大值. jDE 參數調整方式是利用隨機值是否超越初始設定的門檻值來控制：當門檻值小於隨機數值時，則使用原參數值進行突變；當門檻值大於等於隨機值時，則重新隨機挑選定異域範圍中的一個數值作為參數值，目的是希望在演化過程中能變化出更多種可能成功增進效能的參數值。. 2.3.4 連續數值-個別參數-個體資訊 DE algorithm with Self-adaptive strategy and control parameters (SspDE) [18] SspDE 主要是希望藉由之前演化成功的經驗，希望保留住優良參數的影響力，同時調整突變策略來加強後代的演化效果。下面為其參數調整方式：. (14). (15) }. (16). (11)、(12)、(13) 分別表示了 F 、 CR 與突變策略三個參數的範圍與定義，而這三個參數個別擁有長度為 50 的串列來存放演化時所需的參考資訊：在演化開始時，分別依照各自的設定範圍產生隨機值填滿對應的串列；而演化時則是依. 17.

(25) 序使用對應串列中的參數組，並紀錄產生之親代與子代的優劣情況。串列更新方式則是將之前曾產生優良子代的參數組，有一定的機率保存到新的串列中，每經過 50 代更新一次串列，而參數組不足的部份則會以隨機值填滿，再打亂序列順序同時進行下 50 次的演化，重覆上述步驟直到代數終結。上述的參數控制機制使得表現優秀參數值能在演化過程中保存下來，使得參數能綜合大多數優秀的趨勢去發展；但此種控制方式有隱憂：如果紀錄的串列長度太短，則可能使優秀參數參考價值相對變低，因為樣本數可能不足以符合問題中實際趨勢；相反的，當串列長度太長時，優秀個體在短時間演化內無法表現出優勢，則會造成收斂速度變慢或效能低落的可能。因此如何在 SspDE 中設定適合的串列長度是此種參數調整機制重要的效能關鍵。. Self-adaptive Neighborhood Search DE (SaNSDE) [19] 由於 NSDE 對參數只有隨機性方式產生的缺點，SaNSDE 利用 SaDE 對 CR 與突變策略的調整方式，改良 NSDE 參數調整上的問題。在突變策略方面， SaNSDE 作法則是效法 SaDE 的方式依照策略成功機率作選擇。 F 值調整方面， SaNSDE 紀錄一序列突變出優良子代 F 值的分布方法：是由常態分布還是科西分布產生的，並以其成功及失敗的次數比例來對之後的 F 值調整，該調整方式類似於 SaDE，見 (17)： (17). 18.

(26) CR 值的算法也效法了 SaDE 調整方式並且加上改良，除了 SaDE 獨有的外新增了 CRrec 來紀錄 25 代之內產生過優良子代的 CR 值，具體算法如 (18)： (18). 為了使較優秀的 CR 值在求取擇，在. 時凸顯出來，並且有相對較大的機會被選. 的計算中加入了當前適應度差占整體的比重. 25 代之內所對應的 CR 值，即求出. ，而. ，再乘上 CRrec 紀錄. 代表新值與舊值間的適應. 度差。此方式利用加權方式來區別 CR 值優劣，使得 CR 值之影響力擴大以求獲得更佳的效能目的，所以捨棄原先 SaDE 單純挑選中位數的方式。 Adaptive DE with Optional External Archive. （JADE）. [12]. JADE 參數調整方式是用一定比例的親代參數值，參雜算術平均 (arithmetic mean) 和勒莫平均 (Lehmer mean) 調合來保存優良的 CR 與 F 值，其計算方式如 (19) 和 (20) 所示。 (19). 為產生過優於親代的 CR 值集合，而決定參考之前 CR 值的比例，其範圍介於 0 與 1 之間。 19. 為其算術平均。c 值初始值則設為 0.5，.

(27) 在每代演化結束時會依上式 (19) 與. 進行更新，再利用常態分布產生新的. 。 (20). ∈ ∈. F 值的調整也參考了前代演化的結果，差別在於平均，而. 為產生優良子代的 F 值之集合，計算出. 的部分使用勒莫後由科西分布得出 F. 值。F 值利用勒莫平均大於算術平均的方式，追求較大的 F 值來提高演化速度，以避免太小的. 值產生過早收斂之情形。. 2.3.5 連續數值-個別參數-群體資訊 Improved Self-Adaptive DE (ISADE) [20]: ISADE 是由 jDE 的參數調整機制衍伸修改而成。當參數被調整時，會評估使用這參數的個體於在族群的效能優劣：效能較佳的參數則保留，並對該參數值做一些微調；相反的，效能較差的參數值則會被置換成隨機數值，以求找到更佳效能的機會。. (21). (22). 20.

(28) 類似於 jDE [17] 的調整機制：當隨機數小於門檻值時，則讓參數 F 和 CR 執行變更的動作。同時間檢查該個體的參數值效能，若比族群平均 (favg) 還要差，則讓個體參數用均勻分布隨機值取代；反之個體優於族群平均時，其參數數值依照其和最佳解效能的距離做調整：效能和最佳解差距越小的個體則 F 和 CR 越小，比較適合做移動距離較小的調整；而效能和最佳解差距越大，則增加 F 和 CR 使個體有大範圍的突變。 Randomised Adaptive DE (RADE) [21]: RADE演算法表示如下： -. (23) (24). (25). 參數 F 的初始值為 0.1 到 0.9 間隨機數值，而每個個體會記錄前α次演化代數中適應度數值 (fitness value) 的更新幅度。下的百分比，前第. 為族群個數，β 為決定 F 留. 則是族群中決定留下與否的門檻值，產生方式為取更新幅度. 個的優良參數值。更新幅度超越族群平均的個體使用之前的參數值；更. 新幅度小於族群平均的個體其參數值用隨機數值取代，讓不適合的參數值用隨機選取置換成效率更好的數值。. 21.

(29) 2.3.6 連續數值-個別參數-親代資訊 SDE. [22]. SDE 中的個體皆擁有自己參數值，其初始值為隨機產生，參數調整部分主要是利用常態分布來調整 F 與 CR，見下式 (26) 與 (27)：. (26). (27) F 值的調整方式是先從族群中隨機挑出三個個體 i1、i2、i3 作為參考，再將一個常態分布值乘上兩個個體（i2、i3）的 F 差值，與第三個體 i1 的 F 值相加即得到一個新的 F 值，目的是讓好的參數能彼此影響，使參數往個體最佳化發展；而 CR 則是單純利用常態分布方式來產生新值。. 2.3.7 連續數值-單一參數-群體資訊 Adaptive DE Algorithm for Multiobjective Optimization Problems (ADEA) [23] ADEA 對 F 的參數調整方式主要分成三個部分：族群的分布情形、族群中非凌越解的比例、F 的最小限制。參考依據相較於其他參數調整機制較為不同，調整方式如下式 (28) 表示：. ，. ，. (28). 第一個參數表示族群的分布情形，值的大小顯示個體在階級中的不平均分布. 22.

(30) 程度，值越大則越不平均，反之亦然。在處理第一個參數前必須先計算族群得分階 (ranking) [8] 與擁擠距離 (crowding distance) [8] 兩個部分，表示平均擁擠距離，df 為邊界解的距離，dij 表示第 j 階第 i 個個體的擁擠距離，階的個體的平均擁擠距離，. 表示第 j. 表示族群個數。其中分子表示個體在階級中的分. 布情形，而分母則代表整個族群的擁擠距離。第二個參數表示目前族群中非凌越解數量. 占族群中的比例。第三個參數為 F 最小值，讓 F 值有下界限制來避. 免逼近至 0。演化初期時，族群的分布情形較不均勻，第一個參數相對於其他兩者，會呈現較高的數值，之後隨著演化族群收斂到柏拉圖前緣附近時才慢慢降低。隨著演化代數增加，非凌越解數量也會增加，造成第二個參數值跟著下降。大致來說， F 值的變化在演化前期是偏高，而後期因為族群分散度降低和非凌越解數量增多的關係呈現降低的趨勢，ADEA 藉此來強化族群演化前期的廣闊度。綜合本章所討論到各種差分演算法的參數調整機制，可以歸納出分類中的特性：連續數值為一般普遍使用的資訊參考方式，因為連續數值相對於離散數值來說，可以做出更細微的參數控制，避免由離散範圍間隔過大影響到無法找出最佳參數值造成的效能瓶頸。族群參數個數影響到的是演化時族群演化趨勢：當使用個體參數控制時，參數較能依照個別參數演化狀況做調整；相對的，單一參數大多是配合群體資訊 [20]. 23.

(31) 去做整體演化趨勢推估，再共用參數於個體上：此種方式較優於將較劣勢的個體部分，讓優勢演化的個體影響參數調整過程來增強劣勢部分的效能；多重參數則是常伴隨著群體資訊修正隨機值範圍，或是沒有資訊的狀態下固定範圍去分配給個體使用，利用個別參數不同來提升族群的突變多樣性。參考資訊範圍決定個體演化方向：個體資訊是由個體自身演化歷程決定未來，該種方式最能獲得適合該個體的演化資訊；但相對於群體資訊而言，易於困於區域最佳解中，因為個體資訊無法表現出個體未演化過的趨勢，也無法藉由群體的演化趨勢資訊來修正未來演化方向。在單目標差分演算法中每一種參數調整機制有各自的特色，但這些特色要轉換到多目標上可能會有些缺陷和問題存在：像是本文中的多目標演算法基礎 MOEA/D-AMS，不同的子問題方向向量會造成不同的適應度結果，可能造成原本單目標資訊參考方式有了誤差，使得參數調整機制的效果打了折扣與錯誤評估，一連串錯誤之後的參數調整自然就無法達到理想。. 因此，在 MOEA/D-AMS 這個多目標差分演算法中，本文提出了一種基於綜合連續數值、變數參數與個體資訊的適應性參數調整機制，再輔以多狀態參數調整機制，對應個體在演化時各階段適宜的參數調整方式，自動依據個體演化階段選擇對應的參數調整機制，則是本參數調整機制異於本章前述之各項參數調整機制的部分。. 24.

(32) 第三章多目標演化式演算法之多狀態適應性參數調整機制實現. 本章介紹 MOEA/D-AMS 從 MOEA/D-DE 改進要點與差異的地方，在此基礎上提出新穎改進的參數調整機制方法-“MOEA/D-MAPC”。. 3.1 MOEA/D-AMS MOEA/D-AMS 主要著重在 MOEA/D 上的改良親代選擇機制，提出了三個機制作為改良：收斂評估機制、密集度評估機制與交配池選擇機制，分別概述如下：. 3.1.1 收斂評估機制在 MOEA/D 的演化過程中，不同的子問題中個體的演化速度並不相同。由於演化速度較快且接近柏拉圖前緣的個體經常會占用計算資源卻苦無進展，所以 MOEA/D-AMS 會個別紀錄個體沒有更新的代數，提出了經過  次未更新則判定為已收斂的機制，將其占用計算資源分配給其他尚未收斂的個體使用，讓可用的計算資源能著重於其他尚需計算的部分而相對減少運算時間。在此個體更新所指的是：子代個體適應度評估優於親代時，子代取代親代成為新個體，並且擁有新的適應度。. 25.

(33) 3.1.2 密集度評估機制求解問題時產生的柏拉圖前緣可能會分佈不均，造成演算法個體多樣性與效能不佳，MOEA/D-AMS 提出在每代開始繁殖前會計算在目標空間裡個體間的密集度，以確保密集度較分散的前  % 個體能獲得計算資源：通常此類較密集度較分散的個體常會比密集度高的個體容易獲得效能提升，同時該機制也能使在柏拉圖前緣的個體能更均勻分布在上面。. 3.1.3 交配池選擇機制在交配選擇階段，MOEA/D 常選擇目標空間中鄰近相似的個體作為交配池，而這些目標空間相似的個體對應至決策空間時卻未必相似；有時在決策空間中不相似的個體卻在交配後易產生與親代差異較大之子代，因為在演化後期與決策空間中相似之個體交配較容易產生可以更新效能的個體。所以設定經過一定演化代數後啟動交配池選擇機制，將交配池成員置換成決策空間相似的解，進以增進演算法效能。. 3.1.4 MOEA/D-AMS 主要流程與參數介紹 MOEA/D-AMS 的流程說明如圖 3-1 所表示:. 26.

(34) 步驟3：代數終結. 步驟1：初始化 ◎初始化鄰居組成. 步驟2：更新. ◎初始化個體. ◎繁殖. ◎評估個體. ◎更新族群. ◎初始化參考點. ◎更新參考點. ◎初始化交配池. ※密集度評估機制 ※收斂評估機制 ※是否達到交配池選擇條件? ◎未達停止條件則重覆步驟2，否則輸出結果. 圖 3-1 MOEA/D-AMS 演算法流程. MOEA/D-AMS 流程主要是分成三個段落：首先是將整個演算法初始化設定，然後經由第二步驟將族群繁殖與更新，第三步驟為評估族群演化狀況，個體是否達到停止條件。交配池選擇機制主要在增強族群繁殖與更新的效果；而收斂度和密集度評估機制則在個體演化後再作處理。 MOEA/D-AMS 所使用到的相關參數介紹如下演算法初始輸入 : . N : 族群大小（個體數量）. . T : 個體擁有的鄰居數量. . {1,…, N} : 均勻分布的權重向量. .  : 突變時親代選擇其範圍為鄰居的機率. . nr : 每個子代能取代目前族群個體的最大數量. .  : 當個體連續  代數未被更新時，判斷為已收斂的限制參數. .  : 個體為目標空間中密集度最鬆散的前  %. .  : 當演化達到最大演化代數的  %時，啟動交配池選擇機制 27.

(35) .  : 每經過  代時執行交配池選擇機制. . F: 使用 DE 演化方法時，控制差異向量的比例. . CR: 使用 DE 演化方法時，控制選擇子代的基因交配機率. . 終止演算法條件. . 欲求解的多目標問題. 演算法輸出 : . 一組目標空間個體的集合 : { F(x1 … F(xN) }，接近柏拉圖前緣的近似最佳解. 3.2 MOEA/D-AMS 演算法之多狀態適應性參數調整機制 (MOEA/D-MAPC) 每種多目標演化式演算法在各類欲求解的多目標問題中，都有獨特且最適宜的一套參數選擇，在眾多組的參數設定中找出一組最佳設定是個困難且耗時的過程。因此本篇論文選擇在 MOEA/D-AMS 中參數控制影響效果較大的部分─差分演化式 (DE) 參數控制部分，提出一套具適應性參數調整機制來針對演化過程中個體作效能上的優化與設定上的簡化。本論文參考 Chiang & Lai 於 MOEA/D-AMS [6] 中提出的最佳參數設定為基礎，主要對原本固定的兩個重要參數 F 與 CR 使用適應性參數調整。以上兩個 28.

(36) 參數對演算法的影響已於前面段落提及，所以不再詳加論述。. 3.2.1 參數初始值設定為了減少初始化的困難與設定，同時兼顧演化初期親代與子代變動幅度較大的緣故，本篇論文提出 F 在參數初始化設定時使用隨機值分配，每個個體初始化 F 時都有屬於自己獨特的隨機值，以確保在不同問題中隨機對應適宜的參數，降低初始值調整的困難。數值範圍設定於 0.1 至 1.0，如下列方程式 (29) 所示：. (29) 另一個重要參數 CR 由於前面論述變動較大的緣故，初始值則是固定 CR = 1，以增進演化初期的效果，直到演化過程停滯時才由演化過程中的參數調整再做適宜的更新。. 3.2.2 演化過程中的參數調整在 MOEA/D-AMS 演化更新步驟中，個體可能因為參數值沒有作出適當的對應調整而陷入在區域最佳解的問題裡。所以個體參數要能在演化過程裡自動調整出該演化世代中最適宜的參數值，突破目前個體無法增強的困境。本篇論文實作主要參考自 2009 年由 Gong 與 Wu 等人 [17] 發表的 ISADE 參數調整機制，和 2008 年 Nobakhti 與 Wang [18] 發表的 RADE 參數調整機制，兩種機制皆使用連續數值、個別參數與群體資訊。啟發自以上兩篇參數調整機制，同時參考第二章所討論到的各類調整機制並根據 MOEA/D-AMS 各 29.

(37) 項特色修改後量身打造一套適宜的參數調整機制。首先，由於群體資訊受限於 MOEA/D 這個基礎，將整個族群分解出多個子問題的方向向量，而方向向量則會影響個別個體間適應度計量結果，所以將此種群體參考資訊的方式改為個體參考資訊方式，避免因方向向量干擾造成群體資訊的誤差產生適應度計算錯誤或無法預期的影響。 MOEA/D-AMS 提供的收斂度評估機制有助於判斷演化過程的階段，所以在彙集各類的參考資訊時，本論文嘗試使用已收斂個體數目占整體族群個數的百分比作為整體演化情況的參考。在 MOEA/D-AMS [6] 該篇論文中，發現已收斂的個體其實有些還有更接近柏拉圖前緣的機會，但受限於 F 與 CR 這兩個參數固定的緣故，再啟動其實也不會有任何更佳的效果；本篇論文採用的是具適應性參數調整機制，因此會對判定為已收斂個體部分在適當時機再作隨機值嘗試，以求獲得更佳的演化效果與柏拉圖邊緣。本篇論文所提出的參數調整機制，主要將個體分成三種狀態去作相對應之處理。其中第一個判別的要素是將個體分為收斂或未收斂，第二個要素則是將未收斂的個體分為增進或未增進兩種，如下圖 3-2 所示. 30.

(38) 圖 3-2 個體狀態分類示意圖. 將個體依照性質分類後，再依照個別的性質作出對應的處理： . 對未收斂狀態且參數值增進適應度的個體處理：由於該參數值能有效增進個體適應度，則將原本的參數值直接保留給下一代使用，其調整方式如 (30) 所示：. (30) . 對未收斂狀態且參數值未增進或相同適應度個體的處理： F 調整部分：參數值將連續未增進的次數作為變動量範圍參考，並以此參數值為中心作參數的微調：即依照未增進的次數與已收斂條件次數 (  ) 相除獲得變動量範圍(. )，再以舊參數值為中心，向外以. 作隨機選取新的參數值作為取代。. 31. 比例為半徑. 在本調整機制中會因為連續未更.

(39) 新次數增加而造成隨機值生成範圍逐步擴張，直到. 時剛好轉變. 為完全隨機選取參數值。調整方式如 (31) 所示：. (31) 未增進次數. 變動量範圍. 收斂度機制次數. CR 調整部分：基本產生新參數的方式與上列 (31) 類似，但新增將參數值依據整體未收斂總數相對於族群總數的百分比 (C) 作為參考，作為調整 CR 變動中心，再將連續未增進的次數作為變動量範圍參考，最後以此中心點作參數的微調。其中差異在於 C 會造成 CR 值在演化初期和末期大量抬升 CR 值，而收斂比例在一半時才不會影響原本的 CR 值的變化方式，其調整方式如 (32) 所示：. (32). 收斂個數比例. . 未收斂個體總數族群個體總數. 對已收斂狀態個體的處理：每間隔一定代數作隨機值分配後嘗試是否有更佳的參數值，其中最多嘗試更新次數為. 次，若達到上限則視為完全收斂狀態；為避免頻. 32.

(40) 繁更新已收斂個體使用過多的計算資源，所以參考未收斂個體數相對於族群個體數的比例，作為更新間隔代數限制，上述內容如 (33) 所示：. (33). 更新間隔代數. 未收斂個體個數族群個體個數. ，更新次數上限. 已達完全收斂狀態的個體計算時則不會再被選擇，以節省計算資源給其他需要的個體，維持原先 MOEA/D-AMS 收斂度評估機制能有效利用計算資源的特性；但若在 MOEA/D-AMS 密集度評估機制中被評為前  % 的個體，則參數調整也會依 (33) 的參數調整方式，隨機去嘗試新值求演化改進效果。以上對應個體三種狀態的參數調整方式為本論文核心。族群內每個個體從演化開始到終結可能經過這三種參數調整：一開始的未收斂且該參數值增進適應度狀態，在持續演化過程中進入未收斂且該參數值無法增進適應度狀態，直到第三種判斷已收斂而隨機搜尋參數值：當個體達到第三種狀態且達到更新次數上限時，則該個體完全被放棄，釋放出運算資源給其他需要的個體，直到 MOEA/D-AMS 收斂評估機制回收該個體再行運算；若個體在這三種狀態的演化過程中有更新個體增進適應度，則會將狀態變為起始的未收斂且參數值增進適應度狀態，讓整個流程再度循環。上述參數調整機制流程如圖 3-3 所示： 33.

(41) 圖 3-3 參數控制流程圖. 3.2.3 參數值選擇在已閱讀的大多數差分演化式演算法與多目標演化式演算法文獻中，族群在演化過程間大都會往兩個方向發展：探索 (Exploration) 與開發 (Exploitation) 。兩者差異部分如圖 3-4 表示：. 34.

(42) 探索 (Exploration) •演化初期，適應度增進幅度大 •維持族群多樣性為主，找尋相異於親代的個體 • F 與 CR 參數值通常較大. 開發 (Exploitation) •演化晚期，適應度增進幅度小 •子代與親代差異較小，找尋目標空間上接近親代但能凌越該親代的子代 • F 與 CR 參數值通常較小圖 3-4 探勘 (Exploration) 與開發 (Exploitation) 比較圖. 這些文獻中大多提出從參數控制或多目標演算法架構上去維持探索與開發這兩個演化方向的平衡，避免族群在演化過程中困於區域最佳解，同時在適當的平衡下能達到該演算法最佳效能。所以如何讓族群能在自行依照狀況去調整演化方向，則是演算法效能的關鍵；本論文是利用具適應性參數控制機制的方式去達成這兩個演化方向平衡。因此，在差分式演化式參數控制機制的架構下，演化初期 F 與 CR 通常會是較大的狀態，使得演化過程中親代和子代差異性大，演化效果也較好；而到演化末期時，F 與 CR 往往會偏低，才能利用親代和子代差異性小的條件下去找到接近柏拉圖邊緣的適應度增進空間。在前一節當中討論到了整個參數調整機制的運作流程：個體的參數分為三個階段去處理，分別對應個體在族群演化中會碰到的情形，同時做出相對應參數控制調整。演化一開始每個個體先用隨機值分配 F 與 CR ＝ 1 作為參數值起點， 35.

(43) 在個體演化初期時通常很有機會增進適應度，直到個體使用該參數久了遇到演化瓶頸，才開始從舊參數值為中心慢慢的調整參數範圍向外擴張找尋可能有用的隨機值使用。此種調整方式是基於個體參數舊有的值有其演化效果的參考價值，稍作微調去找尋演化機會；當一次小幅度找尋新參數值不可行，下一次就擴大搜尋範圍作嘗試。當搜尋次數達到上限，參數的搜尋範圍也轉變為整個 [0.1,1] 區間內。而達到收斂之後的再嘗試則是希望利用整個區間範圍隨機產生出一個對個體優秀的參數值，不被之前參數值選擇束縛，若有進展則該參數值變為新的起點，再度輪迴整個參數調整機制流程，參數值變化也會從小幅度變動重新開始；若給了這麼多次機會卻無法再求進步空間，則此個體就沒有耗費運算資源的價值。. 以上整個參數調整流程是基於最基礎的演化概念中加入了個體演化經驗去對應調整，而非一般參數調整僅只於單一狀態去處理不同演化時期的個體。因為不同演化的時期需要的參數值通常大不相同，這就是加入未收斂個體與族群大小的百分比 ( C ) 作為參考來畫分演化時期控制 CR 值的原因。C 本身會在演化過程中自動隨著演化狀態去調整：C 在演化過程中會隨著未收斂個體的多寡改變。在演化初期時會將舊有的 CR 往上拉高，中期則是往下拉低，末期則再度往上拉高：使用這種 CR 值控制方式的原因是希望演化初期符合探索的演化方向；收斂個數占族群一半時能往開發的演化方向，讓演化程度較快的個體獲得產生接近柏拉圖邊緣機會，以期達到演化過程中對應演化時期的特性所作的調整；而未收斂個體數少的演化末期，是希望利用 MOEA/D-AMS 特性中的收斂度評估機制， 36.

(44) 提供足夠的演化代數資源和親代與子代差異性大的方式，找尋未收斂個體困於區域最佳解的突破點。. 3.2.4 加入多狀態適應性參數調整機制 MOEA/D-AMS 演算法的流程加入多狀態適應性參數調整機制 MOEA/D-AMS 演算法的流程如下: 步驟 1 初始化 : 1.1 計算權重向量之間的歐基里德距離，再對每個權重向量 i 找 T 個歐基里德距離最短的權重向量為其鄰居，記為 B(i) = { i1,…, iT }，而i1,… ,iT 即為 i 的鄰居。 1.2 產生均勻分布的初始族群 { x1 … xN } 在決策空間中。 1.3 計算個體在目標空間的目標值 { F(x1 … F(xN) }。 1.4 依照族群在目標空間的目標值計算參考點 z = (z1 … zm)，而對於每個 zi 為族群在第 i 個維度的最佳目標數值。 1.5 初始化個體交配池 M(i) = {i1 … iT}，M(i) 的初始等同於 B(i)。 1.6 以隨機值 [0.1,1] 分配個體初始化參數 ( F, CR ) 為參數初始值設定。步驟 2 更新 : 循環地選擇 (round robin) 挑選未收斂的個體執行下列工作，直到挑選 N 次個體個數為止:. 37.

(45) 2.1 選擇交配池 : 均勻分布的方式產生一個隨機數 rand，若 rand <  以 M(i) 交配池，若 rand.  以整個族群為交配池。. 2.2 繁殖 : 由交配池中選擇親代進行 DE/current/1/bin 突變策略，基底為目前個體，參考向量由交配池選擇出來的親代決定，交配方式為 bin。 2.3 更新族群 : 隨機由交配池中選擇一個個體，而當繁殖出來的子代優於這個個體時，則由子代取代之，而子代可以取代交配池中的個體最多 nr 次，並將更新的狀況紀錄給收斂評估機制使用。 2.4 更新參考點 : 判斷更新族群後是否要更新參考點。步驟 3 代數終結 : 3.1 執行收斂評估機制。 3.2 執行密集度評估機制。 3.3 執行多狀態適應性參數調整機制。 3.4 若演化代數已達到終止代數的 %，將交配池 M(i) 置換為與個體在決策空間中歐基里的距離小的為鄰居。 3.5 若達到終止條件則將 { F(x1 … F(xN) } 輸出，即為近似最佳解，若未達終止條件，再執行步驟 2，直到達成中止條件為止。下一個章節將會利用實驗說明參數調整對於族群演化的影響，以及所提出的參數調整機制和其他類似的參數調整機制做比較。. 38.

(46) 第四章實驗分析. 4.1 測試問題測試的 17 個多目標最佳化問題分別為 DTLZ1-DTLZ2 [7]、F1-F9 [10] 以及 UF4-UF7、UF9-UF10 [24]，表 4-1 為 17 個多目標問題的定義: 表 4-1 多目標最佳化問題問題. F1. 多目標函式. 數值範圍. ∈. ∈. }. F2 ∈. (UF1) ∈. }. F3 ∈. ∈. }. 39.

(47) F4 ∈. ∈. }. F5. ∈. (UF2). }. ∈. }. }. F6 ∈. (UF8) ∈. ∈. }. }. 40.

(48) F7. ∈. ∈. }. … F8. ∈. ∈. (UF3). ∈. ∈. }. … F9 ∈. ∈. }. 41.

(49) DTLZ1. }. DTLZ2. UF4. ∈. ∈. …. }. 42.

(50) UF5. ∈. ∈. …. }. }. UF6. ∈. ∈. }. ∈. ∈. …. }. UF7. ∈. ∈. …. }. 43.

(51) UF9. ∈. }. ∈. ∈. }. }. UF10. ∈. ∈. ∈. … }. }. 4.2 比較文獻本論文以 MOEA/D-AMS 這個多目標演化試演算法基礎上，嘗試改進 DE 部分的參數設定而提出了多狀態適應性參數調整機制；為了評量該參數調整機制對 44.

(52) MOEA/D-AMS 改進效果，另外增加在第二章提到的四種類似參數調整機制作為比較基準： 1.. jDE [16]：連續數值-個別參數-沒有資訊. 2.. ISADE [20]：連續數值-個別參數-群體資訊. 3.. RADE [21]：連續數值-個別參數-群體資訊. 4.. SspDE [17]：連續數值-個別參數-個體資訊. 4.3 效能指標此處使用 inverted generational distance (IGD) 作為評估指標，其計算方式如下: ∈. (34). P 為演算法求得的近似最佳解，而 P* 則為在柏拉圖前緣均勻分布的最佳解。利用每個柏拉圖前緣最佳解與距離該解最近的個體距離之總和除以柏拉圖前緣最佳解個數，以求出每個柏拉圖前緣最佳解到最近之近似解的平均距離：當數值越小則表示近似最佳解的效能越好，因為使其值變小必須同時逼近柏拉圖前緣並且分布均勻，是一種常見評估近似最佳解的指標。除了 IGD 作為效能指標外，同時搭配了 Mann–Whitney U test 對每一次實驗產生的 IGD 再作檢定差異是否明顯。 Mann–Whitney U test 亦稱 Wilcoxon rank-sum test，或 Wilcoxon-Mann-Whitney test ，用於檢查兩個母群體統計量 (中位數) 差異。檢查方法則是將兩樣本資料混合，依數值由小排到大並標記排序分數，再將排序分數依兩樣本分別列出，分開加總兩樣本的排序分數得 R1、R2。檢 45.

(53) 定 R1、R2 與期望值差異情形推斷兩個母群體統計量差異情況。. 4.4 實驗與參數設定實驗目標為找出 MOEA/D-MAPC 最佳值的參數設定，因此利用上述四種參數調整機制去觀察問題與各調整機制間的影響，以調整各項參數並計算出結果作修正，直到找出 MOEA/D-MAPC 適合的參數調整與更佳效能的結果為止。在論文內所有的演算法實作皆以 C++ 程式語言實作，開發工具為 Microsoft Visual Studio 2010，以下是各個演算法的參數設定:. 4.4.1 基礎參數設定 (MOEAD-AMS) 1.. DE 控制變數 CR = 1.0 、 F = 0.5 ， polynomial mutation 分布變數 η = 20、突變機率 pm = 1/n，n 為決策空間的維度。. 2.. 權重向量的個數與族群個體個數相同，目標空間維度為 2 時族群個數 N 設定為 300；當目標空間維度為 3 時族群個數設定為 595，權重向量為均勻分布於目標空間的向量。. 3.. 個體的鄰居個數 T = 20，選擇鄰居為交配池的機率 δ = 0.9，每個突變產生的子代最多可以取代族群個體的數量. = 2。. 4.. 演算法終止代數為 500 代。. 5.. 收斂評估機制參數 α = 5，密集度評估機制參數 β = 2%，交配池選擇機制啟動參數 γ = 50%，ε = 5。 46.

(54) 4.4.2 具參數調整機制設定 1.. 在 MOEA/D-MAPC 中，第一代演化個體 F 值為範圍 [0.1,1.0] 中任意值， CR = 1 ，各代 F 與 CR 值皆在 [0.1,1.0] 中。. 2.. jDE [16] 根據文獻內的參數設定兩個門檻值. 、. 設為 0.1，即是 0.9. 的機率使用之前的參數值。 3.. ISADE [20] 文獻內的參數設定兩個門檻值. 、. 和 jDE 設定一樣為 0.1，. 也同樣是 0.9 的機率選擇之前的參數值。 4.. RADE [21] 裡設定代數間隔的參數 α 為 5 ，決定 F 保留百分比的參數 β 為 2 (即保留 50 %)，F 上界值 FU 設為 0.9，下界值 FL 設為 0.1。. 5.. SspDE [17] 中個體的參考串列長度為 50，即每 50 代會重新安排串列內容，而串列中每個位置的內容有 0.8 的機率使用之前有更新親代的參數值，有 0.2 的機率使用隨機數值。. 4.5 效能評比本節將 4.2 節比較文獻裡的參數調整機制結合於 MOEA/D-AMS 中，依據 4.3 說明裡的各項參數設定對 4.1 節的 17 個問題各執行 20 次，再將這 20 次的 IGD 值平均來比較各參數調整機制的近似最佳解效能；除了以 IGD 平均值比較外，本論文將此 20 組的 IGD 結果作 Mann–Whitney U 檢定，由此檢定判斷各項參數調整機制的結果彼此間是否有顯著差異存在。統計檢定所需的顯著水準設定為. 47.

(55) 0.05，若統計數值大於 0.05 則表示兩組實驗結果沒有顯著差異標記為 (=)，小於 0.05 表示兩組實驗結果具顯著差異，其中如果本論文的參數調整機制較優標記為 (+)，較差則標記為 (-)。表 4-2 IGD 效能評比方法. MOEA/D-A MS. MOEA/DMAPC. jDE. ISADE. RADE. SspDE. 問題. 平均值. 平均值. 平均值. 平均值. 平均值. 平均值. 0.00147735 (+) 0.0108698 (+) 0.00452189 (+) 0.00384995 (+) 0.0055597 (=) 0.0313711 (+) 0.0149444 (+) 0.100873 (+) 0.00184761 (+) 0.0462382 (+) 0.322024 (=) 0.303238 (=) 0.0806481 (+) 0.0822007 (+) 0.377197 (=) 0.0220666 (-) 0.0268368 (=). 0.00169134 (+) 0.0314922 (+) 0.0222723 (+) 0.0137226 (+) 0.0163312 (+) 0.0334636 (+) 0.11955 (+) 0.150648 (+) 0.00466636 (+) 0.0506378 (+) 0.400677 (+) 0.400677 (=) 0.118403 (+) 0.0868175 (+) 0.387608 (=) 0.0224081 (=) 0.0267174 (-). 0.00134995 (-) 0.00439232 (=) 0.00261547 (-) 0.00223477 (=) 0.00632826 (=) 0.0280414 (-) 0.00139126 (-) 0.00708385 (-) 0.00148034 (+) 0.0647186 (+) 0.47626 (+) 0.24666 (=) 0.0120083 (=) 0.0574351 (=) 0.463734 (=) 0.0224594 (+) 0.0267312 (-). 0.0014624 (+) 0.0104858 (+) 0.00457308 (+) 0.00333483 (+) 0.00659338 (+) 0.0315999 (+) 0.00641067 (+) 0.105963 (+) 0.00180871 (+) 0.0459431 (=) 0.275772 (-) 0.271237 (=) 0.0229097 (-) 0.0819893 (+) 0.289038 (-) 0.0220433 (-) 0.0268771 (=). F1 F2 F3 F4 F5 F6 F7 F8 F9 UF4 UF5 UF6 UF7 UF9 UF10 DTLZ 1 DTLZ 2. 0.0013 (-) 0.00233 (-) 0.00344 (=) 0.00291 (+) 0.00727 (+) 0.0277 (-) 0.00136 (-) 0.00138 (-) 0.00133 (-) 0.06689 (+) 0.40606 (+) 0.27555 (=) 0.00226 (=) 0.05721 (=) 0.41634 (-) 0.06689 (+) 0.40606 (+). 0.00136606 0.00515006 0.00311018 0.00259132 0.00519947 0.0293028 0.0015511 0.0153354 0.00145334 0.0449117 0.335633 0.364797 0.018392 0.0612207 0.451941 0.0221886 0.0268333. 由表 4-2 的實驗結果，其中的粗體數字表示 IGD 效能評估結果平均值最佳者；本論文再由表 4-2 統整理出表 4-3 統計參數調整機制的優劣。 48.

(56) 表 4-3 IGD 效能評比統整 MOEA/D-MAPC 優於. 不明顯. 較劣. MOEA/D-AMS. 6. 4. 7. jDE. 11. 4. 2. ISADE. 13. 3. 1. RADE. 4. 7. 6. SspDE. 10. 3. 4. 觀察表 4-2 與表 4-3 結果，本論文提出的多狀態適應性演算法相對於 jDE 、 ISADE、 SspDE 以上三種參數調整機制，在評比的 17 個問題經過統計檢定後，大都擁有明顯優勢或不明顯的差異，僅在某些個別的問題中屈居明顯劣勢：如 SspDE 於 UF5 和 UF10 這兩個問題中明顯表現比其他參數調整方式佳。而 MOEA/D-AMS 與 RADE 參數調整機制則是在占優勢的問題數量超越本論文提出之 MOEA/D-MAPC 演算法，所以在下一節本論文針對這三個參數調整機制差異較明顯的問題提出討論。. 4.6 觀察與討論由於 RADE 參數調整機制與 MOEA/D-MAPC 使用個體參數作控制，僅使用 F 與 CR 演化過程平均值較難以觀察個體收斂時的細微變化。因此本論文嘗試觀察在個別問題中，族群在演化中的分布情形和未收斂個體數，試以解釋該種參數調整機制對族群演化影響所造成 IGD 評比結果。以下選出 F2 (LZ2) 和 UF5 這兩個 IGD 差異性大的問題，同時對 MOEA/D-AMS、MOEA/D-MAPC、RADE 與 SspDE 作演化族群觀察。 49.

(57) 圖 4-1 問題 LZ2 第 2 代族群演化 F 值狀態分布圖. 圖 4-2 問題 LZ2 第 2 代族群演化 CR 值狀態分布圖 50.





(62) LZ2 F 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0. 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 AMS. MAPC. RADE. SspDE. 圖 4-11 問題 LZ2 族群演化平均 F 值趨勢圖 (橫軸為代數，縱軸為數值). LZ2 CR 1.2 1 0.8 0.6 0.4 0.2 0 0. 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 AMS. MAPC. RADE. SspDE. 圖 4-12 問題 LZ2 族群演化平均 CR 值趨勢圖 (橫軸為代數，縱軸為數值). 55.

(63) LZ2 350 300 250 200 150 100 50 0 0. 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 AMS. MAPC. RADE. SspDE. 圖 4-13 問題 LZ2 族群演化未收斂個數趨勢圖 (橫軸為代數，縱軸為數值). 4.6.1. F2 效能問題探討. 由圖 4-1 到圖 4-10 中可以觀察到前段提出的四種參數調整機制，在執行的過程中族群演化與參數改變的情況；圖 4-11 和圖 4-12 分別是演化過程中 F 與 CR 的族群演化平均值趨勢圖。作為基礎的對照組，MOEA/D-AMS 沒有任何參數變化，並使用已最佳化的參數值，在演化過程中呈現穩定而連續的逼近柏拉圖前緣；相較於其他參數控制機制，RADE 僅調整 F 值，CR 值則維持 1。圖 4-1 到圖 4-10 為觀察每個執行回合的狀態分佈圖後，選出其中一個和大多數執行回合相似的狀態分布圖。從代表的狀態分布圖中可以得知 RADE 像是 MOEA/D-AMS 一般，約分成三個子族群演化，穩定演化接近柏拉圖前緣；而. 56.

(64) MOEA/D-MAPC 與 SspDE 加入了個別 CR 值的調整，使得演化過程中族群分裂成多個小族群貼近柏拉圖前緣。從圖 4-11、圖 4-12 和圖 4-13 觀察 LZ2 這個問題，F 值在 MOEA/D-MAPC、 SspDE 與 RADE 這三種參數調整結果差異並不大。觀察本問題中的 CR 值演化過程（圖 4-12），可以發現到演化過程的 CR 值平均越大，則 IGD 結果越佳。而 MOEA/D-MAPC 與 SspDE 無法將 CR 調整至較大的值，使得這兩種參數調整機制效能相對弱於固定於 1 的另兩種參數調整機制。因為 MOEA/D-MAPC 主要缺乏了較深度的親代參考資訊做為依據。由於只有上一代資訊作為演化參考，並無法給予足夠的資訊找出參數調整方向來脫離區域最佳解瓶頸，只能依靠隨機選到適合的參數值脫離區域最佳解；SspDE 也遇到類似問題：由於能產生優良子代的參數組在演化末期會慢慢減少，取而代之的折是隨機參數值的遞補，造成原本優良的參數組在演化末期被稀釋掉，產生相同的問題。. 57.

(65) 圖 4-14 問題 UF5 第 2 代族群演化 F 值狀態分布圖. 圖 4-15 問題 UF5 第 2 代族群演化 CR 值狀態分布圖 58.





(70) UF5 F 0.6 0.5 0.4 0.3 0.2 0.1 6E-16 0 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 -0.1 AMS. MAPC. RADE. SspDE. 圖 4-24 問題 UF5 族群演化平均 F 值趨勢圖 (橫軸為代數，縱軸為數值). UF5 CR 1.2 1 0.8 0.6 0.4 0.2 0 0. 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 AMS. MAPC. RADE. SspDE. 圖 4-25 問題 UF5 族群演化平均 CR 值趨勢圖 (橫軸為代數，縱軸為數值). 63.

(71) UF5 350 300 250 200 150 100 50 0 0. 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 AMS. MAPC. RADE. SspDE. 圖 4-26 問題 UF5 族群演化未收斂個數趨勢圖 (橫軸為代數，縱軸為數值). 4.6.2 UF5 效能問題探討在圖 4-15 到圖 4-24 中可以觀察到 UF5 這個問題對於 CR 部分有做調整的參數調整機制是占有優勢的。MOEA/D-AMS 和 RADE 由於 CR 沒有變動，族群分布不像 MOEA/D-MAPC 和 SspDE 一般的均勻且較接近柏拉圖前緣；而 MOEA/D-MAPC 的平均 CR 值在演化過程中皆落在 0.8 – 1.0，相對於 SspDE 的平均值大都落在 0.4 上下，MOEA/D-MAPC 的 CR 偏高且變化性不大，造成族群在演化時無法像 SspDE 一樣能夠有較接近柏拉圖邊緣演化的個體產生。造成 MOEA/D-MAPC 的平均 CR 值無法下降的主要原因，是因為未收斂個數始終沒有低於族群總數 80％，在未增進且未收斂狀態下的參數調整會一直維持在較高平均 CR 值的狀態，和原先設計所預想的狀況有所不同，使得該部分功能無法發揮作用，則是 MOEA/D-MAPC 應該改進的部分。 64.

(72) 第五章結論與未來展望. 本論文是以 MOEA/D-AMS 演算法為基礎，依照該演算法特點新增多狀態適應性參數調整機制，期望能讓 MOEA/D-AMS 中差分式演化法的參數控制部分更加容易使用。MOEA/D-MAPC 以三種狀態區分族群內的個體，再佐以收斂個數佔族群的比例是種創新的嘗試。雖然 MOEA/D-MAPC 在本論文的效能評比中沒有明顯超越原本的 MOEA/D-AMS 演算法，但也增加了不少的改進空間與方向可以發揮。在前一章的實驗與討論中發現到 MOEA/D-MAPC 的參數調整機制對評測問題適合的參數調整趨勢並不敏感。因此，加入一些親代或群體資訊作為演化方向參考，改進參數調整機制以求更貼近個別問題的最佳參數，與有效利用 MOEA/D-AMS 中的收斂度評估機制作為演化參數調整參考條件則是未來可行的發展方向。. 65.