书 书 书
第４４卷 第８期
２０２１年８月 计 算 机 学 报
ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．Ａ４４Ｎｕｇ．２ｏ０．２８１
收稿日期：２０２００５２０；在线发布日期：２０２１０１２２．本课题得到浙江省自然科学基金项目（ＬＱ２０Ｆ０２００１４）、浙江省重点研发计划项目
（２０１８Ｃ０１０８０）、国家自然科学基金项目（６１４７２３６６，６１３７９０７７）资助．王丽萍，博士，教授，中国计算机学会（ＣＣＦ）会员，主要研究领域为计 算智能、决策优化．Ｅｍａｉｌ：ｗｌｐ＠ｚｊｕｔ．ｅｄｕ．ｃｎ．任 宇，硕士研究生，主要研究方向为计算智能、决策优化．邱启仓，硕士，主要研究方向为 智能控制．邱飞岳（通信作者），博士，教授，主要研究领域为智能控制、深度学习．Ｅｍａｉｌ：ｑｆｙ＠ｚｊｕｔ．ｅｄｕ．ｃｎ．
多目标进化算法性能评价指标研究综述
王丽萍
１） １）任 宇
１）邱启仓
２）邱飞岳
３）（浙江工业大学计算机科学与技术学院 杭州 ３１００２３）
２）（之江实验室 杭州 ３１１１２１）
３）（浙江工业大学教育科学与技术学院 杭州 ３１００２３）
摘 要 多目标进化算法根据性能评价指标衡量其优劣，主要从算法所求解集的质量、算法求解效率以及算法鲁 棒性三方面来评价，并侧重于解集的质量，现有的相关工作缺乏对评价指标数学性质的分析．本文将评价指标按性 能标准分为四类：计数指标、收敛性指标、多样性指标、综合性指标，其中计数指标统计符合指标要求的解个数或比 例，收敛性指标衡量解集与参考集的贴近程度，多样性指标衡量解集分布的均匀程度与求解极端值的能力，并按性 质类型分为分布性指标、延展性指标和同时衡量前两者的指标，综合性指标同时衡量收敛性和多样性，并按适用范 围分为通用指标和专用指标．本文对比分析了７７种指标的参考集、比较函数以及时间复杂度，并从高维目标适应 性、离群点敏感性、参考集合理性、指标值最优性四个方面对部分指标进行了分析，为研究者们选择合适的指标提 供方法，以应对不同环境下的复杂问题．最后展望了多目标进化算法性能评价有待进一步研究的方向．
关键词 多目标优化；进化算法；评价指标；收敛性；多样性
中图法分类号ＴＰ３９１ 犇犗犐号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２１．０１５９０
犛 狌 狉 狏 犲 狔 狅 狀 犘 犲 狉 犳 狅 狉 犿 犪 狀 犮 犲 犐 狀 犱 犻 犮 犪 狋 狅 狉 狊 犳 狅 狉 犕 狌 犾 狋 犻 犗 犫 犼 犲 犮 狋 犻 狏 犲 犈 狏 狅 犾 狌 狋 犻 狅 狀 犪 狉 狔 犃 犾 犵 狅 狉 犻 狋 犺 犿 狊
ＷＡＮＧＬｉＰｉｎｇ１） ＲＥＮＹｕ１） ＱＩＵＱｉＣａｎｇ２） ＱＩＵＦｅｉＹｕｅ３）
１）（犆狅犾犾犲犵犲狅犳犆狅犿狆狌狋犲狉犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔，犣犺犲犼犻犪狀犵犝狀犻狏犲狉狊犻狋狔狅犳犜犲犮犺狀狅犾狅犵狔，犎犪狀犵狕犺狅狌 ３１００２３）
２）（犣犺犲犼犻犪狀犵犔犪犫，犎犪狀犵狕犺狅狌 ３１１１２１）
３）（犆狅犾犾犲犵犲狅犳犈犱狌犮犪狋犻狅狀，犣犺犲犼犻犪狀犵犝狀犻狏犲狉狊犻狋狔狅犳犜犲犮犺狀狅犾狅犵狔，犎犪狀犵狕犺狅狌 ３１００２３）
犃犫狊狋狉犪犮狋 Ｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｍｕｌｔｉｏｂｊｅｃｔｉｖｅａｌｇｏｒｉｔｈｍｓｉｓｅｖａｌｕａｔｅｄｂｙｉｎｄｉｃａｔｏｒｓ，ｗｈｉｃｈｍａｉｎｌｙ ｔａｋｅｔｈｒｅｅａｓｐｅｃｔｓｉｎｔｏｃｏｎｓｉｄｅｒｉｎｇａｎｄｆｏｃｕｓｅｓｏｎｔｈｅｆｉｒｓｔａｓｐｅｃｔ：ｔｈｅｑｕａｌｉｔｙｏｆｔｈｅｓｏｌｕｔｉｏｎｓｅｔ ｏｂｔａｉｎｅｄｂｙｔｈｅａｌｇｏｒｉｔｈｍｓ，ｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍｓ，ａｎｄｔｈｅｒｏｂｕｓｔｎｅｓｓｏｆｔｈｅ ａｌｇｏｒｉｔｈｍｓ．Ｅｘｉｓｔｉｎｇｒｅｌａｔｅｄｗｏｒｋｌａｃｋｓｍａｔｈｅｍａｔｉｃａｌａｎａｌｙｓｉｓｆｏｒｉｎｄｉｃａｔｏｒｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅ ｃａｔｅｇｏｒｉｚｅｔｈｅｉｎｄｉｃａｔｏｒｓｉｎｔｏｆｏｕｒｇｒｏｕｐｓｂａｓｅｄｏｎｐｅｒｆｏｒｍａｎｃｅｃｒｉｔｅｒｉａ：ｃｏｕｎｔｉｎｇｉｎｄｉｃａｔｏｒｓ， ｃｏｎｖｅｒｇｅｎｃｅｉｎｄｉｃａｔｏｒｓ，ｄｉｖｅｒｓｉｔｙｉｎｄｉｃａｔｏｒｓ，ａｎｄｃｏｍｐｒｅｈｅｎｓｉｖｅｉｎｄｉｃａｔｏｒｓ．Ｔｈｅｃｏｕｎｔｉｎｇｉｎｄｉｃａｔｏｒｓ ｔａｌｌｙｔｈｅａｍｏｕｎｔｏｒｔｈｅｒａｔｉｏｏｆｎｏｎｄｏｍｉｎａｔｅｄｓｏｌｕｔｉｏｎｓｏｒｅｌｉｔｅｓｏｌｕｔｉｏｎｓｔｈａｔｓａｔｉｓｆｙｔｈｅｃｒｉｔｅｒｉｏｎ ｏｆｔｈｅｍｅｔｒｉｃｓ，ｔｈｅｒｅａｒｅｔｗｏｍａｉｎｄｉｆｆｅｒｅｎｃｅｓｏｆｃｏｕｎｔｉｎｇｉｎｄｉｃｔｏｒｓａｎｄｎｏｎｃｏｕｎｔｉｎｇｉｎｄｉｃａｔｏｒｓ， ｏｎｅｉｓｗｈｅｔｈｅｒｔｈｅｒａｎｇｅｏｆｉｎｄｉｃａｔｏｒｓｉｓｄｉｓｃｒｅｔｅ，ｔｈｅｏｔｈｅｒｉｓｗｈｅｔｈｅｒｔｈｅｖａｌｕｅｓｏｆａｌｌｏｂｊｅｃｔｉｖｅｓ ａｒｅｏｎｌｙｕｓｅｄｆｏｒｃｏｍｐａｒｉｓｏｎｂｕｔｎｏｔｄｉｒｅｃｔｌｙｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｃａｌｃｕｌａｔｉｏｎ．Ｔｈｅｃｏｎｖｅｒｇｅｎｃｅｉｎｄｉｃａｔｏｒｓ ｅｖａｌｕａｔｅｔｈｅｃｏｎｖｅｒｇｅｎｃｙｏｆｔｈｅｓｏｌｕｔｉｏｎｓｅｔｍａｉｎｌｙｂｙｃａｌｃｕｌａｔｉｎｇｔｈｅｄｉｓｔａｎｃｅｏｆｔｈｅｓｏｌｕｔｉｏｎｓｅｔ ｔｏｔｈｅａｐｐｒｏｘｉｍａｔｉｏｎｏｆＰａｒｅｔｏＦｒｏｎｔｏｒｔｈｅｒｅｆｅｒｅｎｃｅｓｅｔ，ｕｎｉｖａｒｉａｔｅｃｏｎｖｅｒｇｅｎｃｅｉｎｄｉｃａｔｏｒｓ ｅｖａｌｕａｔｅｔｈｅｃｌｏｓｅｎｅｓｓｂｅｔｗｅｅｎｔｈｅｓｏｌｕｔｉｏｎｓｅｔａｎｄＰａｒｅｔｏＦｒｏｎｔ，ａｎｄｂｉｎａｒｙｃｏｎｖｅｒｇｅｎｃｅｍｅｔｒｉｃｓ ｅｖａｌｕａｔｅｔｈｅｃｌｏｓｅｎｅｓｓｂｅｔｗｅｅｎｔｗｏｄｉｆｆｅｒｅｎｔｓｏｌｕｔｉｏｎｓｅｔｓ．Ａｃｃｏｒｄｉｎｇｔｏｐｒｏｐｅｒｔｙ，ｔｈｅｄｉｖｅｒｓｉｔｙ
《 计
算
机
学
报
》
ｉｎｄｉｃａｔｏｒｓａｒｅｆｕｒｔｈｅｒｄｉｖｉｄｅｄｉｎｔｏｄｉｓｔｒｉｂｕｔｉｏｎｉｎｄｉｃａｔｏｒｓ，ｓｐｒｅａｄｉｎｄｉｃａｔｏｒｓ，ａｎｄｉｎｄｉｃａｔｏｒｓｍｅａｓｕｒｉｎｇ ｂｏｔｈｄｉｓｔｒｉｂｕｔｉｏｎｓａｎｄｓｐｒｅａｄ，ｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｈｅｓｏｌｕｔｉｏｎｓｅｔｃｏｎｓｉｄｅｒｓｔｈｅｕｎｉｆｏｒｍｉｔｙｉｎｔｈｅ ｏｂｊｅｃｔｉｖｅｓｐａｃｅ，ａｎｄｔｈｅｓｐｒｅａｄｏｆｔｈｅｓｏｌｕｔｉｏｎｓｅｔｍｅａｓｕｒｅｓｔｈｅｃａｐａｂｉｌｉｔｙｔｏｏｂｔａｉｎｅｘｔｒｅｍｅ ｓｏｌｕｔｉｏｎｓ．Ｔｈｅｃｏｍｐｒｅｈｅｎｓｉｖｅｉｎｄｉｃａｔｏｒｓｅｖａｌｕａｔｅｔｈｅｃｏｎｖｅｒｇｅｎｃｅａｎｄｔｈｅｄｉｖｅｒｓｉｔｙｏｆｔｈｅｓｏｌｕｔｉｏｎ ｓｅｔａｔｔｈｅｓａｍｅｔｉｍｅ，ｗｈｉｃｈａｒｅｆｕｒｔｈｅｒｄｉｖｉｄｅｄｉｎｔｏｇｅｎｅｒａｌｉｎｄｉｃａｔｏｒｓａｎｄｓｐｅｃｉａｌｉｎｄｉｃａｔｏｒｓｂｙ ｓｃｏｐｅｏｆａｐｐｌｉｃａｔｉｏｎ，ｗｈａｔ’ｓｍｏｒｅ，ｓｐｅｃｉａｌｉｎｄｉｃａｔｏｒｓｉｎｃｌｕｄｅｔｈａｔｕｓｅｄｆｏｒｕｓｅｒｂａｓｅｄｅｖｏｌｕｔｉｏｎａｒｙ ａｌｇｏｒｉｔｈｍｓ，ｄｙｎａｍｉｃｅｖｏｌｕｔｉｏｎａｌｇｏｒｉｔｈｍｓ，ａｎｄｍｕｌｔｉｍｏｄａｌｅｖｏｌｕｔｉｏｎａｒｙａｌｇｏｒｉｔｈｍｓ．Ｗｅａｌｓｏ ｉｌｌｕｓｔｒａｔｅｔｈｅｒｅｆｅｒｅｎｃｅｓｅｔ，ｔｈｅｃｏｍｐａｒｉｓｏｎｆｕｎｃｔｉｏｎ，ａｎｄｔｈｅｔｉｍｅｃｏｍｐｌｅｘｉｔｙｏｆ７７ｉｎｄｉｃａｔｏｒｓ．
Ｓｐｅｃｉｆｉｃａｌｌｙ，ｔｈｅｒｅｆｅｒｅｎｃｅｓｅｔｉｓｕｓｅｄｔｏａｓｓｉｓｔｉｎｔｈｅｃａｌｃｕｌａｔｉｏｎｏｆｔｈｅｐｅｒｆｏｒｍａｎｃｅｉｎｄｉｃａｔｏｒｓ ｖａｌｕｅ，ｔｈｅｃｏｍｐａｒｉｓｏｎｆｕｎｃｔｉｏｎｃａｎｔｅｌｌｒｅｓｅａｒｃｈｅｒｓｗｈｅｔｈｅｒｔｈｅｖａｌｕｅｏｆｉｎｄｉｃａｔｏｒｓｂｉｇｇｅｒｉｓｂｅｔｔｅｒ ｏｒｓｍａｌｌｅｒ，ａｎｄｔｈｅｔｉｍｅｃｏｍｐｌｅｘｉｔｙｒｅｆｌｅｃｔｓｔｈｅｄｉｆｆｉｃｕｌｔｙｔｏｃａｌｃｕｌａｔｅｔｈｅｉｎｄｉｃａｔｏｒｓ．Ｔｈｅｎｗｅ ａｎａｌｙｚｅｓｏｍｅｉｎｄｉｃａｔｏｒｓｆｒｏｍｆｏｕｒａｓｐｅｃｔｓ：（１）ｍａｎｙｏｂｊｅｃｔｉｖｅａｄａｐｔａｂｉｌｉｔｙ，ｗｈｅｔｈｅｒｔｈｅｉｎｄｉｃａｔｏｒｓ ａｒｅａｐｐｌｉｃａｔｉｖｅｉｎｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｏｂｊｅｃｔｉｖｅｓｐａｃｅ，（２）ｏｕｔｌｉｅｒｓｅｎｓｉｔｉｖｉｔｙ，ａｓｓｅｓｓｉｎｇｗｈｅｔｈｅｒｔｈｅ ｖａｌｕｅｓｏｆｔｈｅｉｎｄｉｃａｔｏｒｓａｒｅａｆｆｅｃｔｅｄｂａｄｌｙｂｙｏｕｔｌｉｅｒｓ，（３）ｒｅｆｅｒｅｎｃｅｓｅｔｒａｔｉｏｎａｌｉｔｙ，ｄｉｓｃｕｓｓｉｎｇｔｈｅ ｒｅａｓｏｎａｂｌｅｒａｎｇｅｏｆｖａｌｕｅｓｆｏｒｔｈｅｒｅｆｅｒｅｎｃｅｓｉｔｅ，（４）ｖａｌｕｅｏｐｔｉｍａｌｉｔｙ，ｓｏｍｅｍａｔｈｅｍａｔｉｃａｌｗｏｒｋ ｆｏｒｔｈｅｏｐｔｉｍａｌｖａｌｕｅｔｈｅｉｎｄｉｃａｔｏｒｓｃａｎｒｅａｃｈ．Ｔｈｒｏｕｇｈｔｈｅｓｅａｎａｌｙｓｅｓ，ｗｅｏｆｆｅｒａｐｐｒｏａｃｈｅｓｆｏｒ ｒｅｓｅａｒｃｈｅｒｓｔｏｃｈｏｏｓｅｔｈｅｒｉｇｈｔｉｎｄｉｃａｔｏｒｓｔｏｄｅａｌｗｉｔｈｃｏｍｐｌｅｘｐｒｏｂｌｅｍｓｕｎｄｅｒｄｉｆｆｅｒｅｎｔｃｉｒｃｕｍｓｔａｎｃｅｓ．
Ｆｉｎａｌｌｙ，ｗｅｅｎｄｕｐｗｉｔｈｄｉｓｃｕｓｓｉｎｇｓｏｍｅｄｉｒｅｃｔｉｏｎｓａｂｏｕｔｐｅｒｆｏｒｍａｎｃｅｉｎｄｉｃａｔｏｒｓｔｈａｔｓｈｏｗ ｐｏｔｅｎｔｉａｌｆｒｏｍｎｉｎｅｄｉｆｆｅｒｅｎｔａｓｐｅｃｔｓ：ｃｏｍｐｒｅｈｅｎｓｉｖｅｉｎｄｉｃａｔｏｒｓｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎ，ａ ｎｅｗｔｙｐｅｏｆｍｕｌｔｉｖａｒｉａｔｅｉｎｄｉｃａｔｏｒｓｆｏｒｅｖａｌｕａｔｉｎｇｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｍｕｌｔｉｔａｓｋｉｎｇｏｐｔｉｍｉｚａｔｉｏｎ， ｉｎｄｉｃａｔｏｒｓｕｓｅｄｆｏｒｍａｎｙｏｂｊｅｃｔｉｖｅｅｖｏｌｕｔｉｏｎａｒｙａｌｇｏｒｉｔｈｍｓ，ｐｅｒｆｏｒｍａｎｃｅｍｅａｓｕｒｅｍｅｎｔｉｎｌａｒｇｅｓｃａｌｅ ｏｐｔｉｍｉｚａｔｉｏｎ，ｔｈｅｅｖａｌｕａｔｉｏｎｏｆｔｈｅｒｏｂｕｓｔｎｅｓｓｏｆａｌｇｏｒｉｔｈｍｓ，ｎｏｖｅｌｉｎｄｉｃａｔｏｒｓｕｓｅｄｆｏｒｕｓｅｒｂａｓｅｄ， ｄｙｎａｍｉｃａｎｄｍｕｌｔｉｍｏｄａｌｅｖｏｌｕｔｉｏｎａｒｙａｌｇｏｒｉｔｈｍｓｔｏｏｖｅｒｃｏｍｅｔｈｅｄｅｆｉｃｉｅｎｃｙｏｆｔｈｅｅｘｉｓｔｉｎｇｉｎｄｉｃａｔｏｒｓ， ａｎｄｌａｓｔｂｕｔｎｏｔｌｅａｓｔ，ｒｅｓｅａｒｃｈｏｎｔｈｅｍａｔｈｅｍａｔｉｃａｌｐｒｏｐｅｒｔｉｅｓｏｆｐｅｒｆｏｒｍａｎｃｅｉｎｄｉｃａｔｏｒｓ．
犓犲狔狑狅狉犱狊 ｍｕｌｔｉｏｂｊｅｃｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎ；ｅｖｏｌｕｔｉｏｎａｒｙａｌｇｏｒｉｔｈｍｓ；ｐｅｒｆｏｒｍａｎｃｅｉｎｄｉｃａｔｏｒｓ； ｃｏｎｖｅｒｇｅｎｃｅ；ｄｉｖｅｒｓｉｔｙ
１ 引 言
多目标优化问题（ＭｕｌｔｉｏｂｊｅｃｔｉｖｅＯｐｔｉｍｉｚａｔｉｏｎ Ｐｒｏｂｌｅｍｓ，ＭＯＰｓ）是指同时优化多个目标的问题，这
些目标相互矛盾，一个目标性能的提升意味着另一个 或多个目标性能的下降．近几十年来，研究者们提出 了许多求解ＭＯＰｓ的方法，其中主要方法是多目标进 化算法［１３］（ＭｕｌｔｉｏｂｊｅｃｔｉｖｅＥｖｏｌｕｔｉｏｎａｒｙＡｌｇｏｒｉｔｈｍｓ， ＭＯＥＡｓ），这是一类基于种群的启发式搜索方法，模 拟了生物的选择与进化过程，采用随机搜索的策略， 无需知道ＭＯＰｓ的先验性知识即可进行求解，代表 性的ＭＯＥＡｓ有：（１）基于支配关系的ＮＳＧＡＩＩ［４］
（ＮｏｎｄｏｍｉｎａｔｅｄＳｏｒｔｉｎｇＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈｍＩＩ）、 ＳＰＥＡ２［５］（ＳｔｒｅｎｇｔｈＰａｒｅｔｏＥｖｏｌｕｔｉｏｎａｒｙＡｌｇｏｒｉｔｈｍ２） 以及ＰＥＳＡＩＩ［６］（ＰａｒｅｔｏＥｎｖｅｌｏｐｂａｓｅｄＳｅｌｅｃｔｉｏｎ ＡｌｇｏｒｉｔｈｍＩＩ）；（２）基于分解的ＭＯＥＡ／Ｄ［７］（Ｍｕｌｔｉ
ｏｂｊｅｃｔｉｖｅＥｖｏｌｕｔｉｏｎａｒｙＢａｓｅｄｏｎＤｅｃｏｍｐｏｓｉｔｉｏｎ）、 ＭＯＥＡ／ＤＭ２Ｍ［８］（ＤｅｃｏｍｐｏｓｉｔｉｏｎｏｆａＭｕｌｔｉｏｂｊｅｃｔｉｖｅ ＮｕｍｂｅｒｏｆＳｉｍｐｌｅＭｕｌｔｉｏｂｊｅｃｔｉｖｅＳｕｂｐｒｏｂｌｅｍｓ）以及 ＲＶＥＡ［９］（ＲｅｆｅｒｅｎｃｅＶｅｃｔｏｒｇｕｉｄｅｄＥｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ）；（３）基于性能评价指标的ＩＢＥＡ［１０］
（ＩｎｄｉｃａｔｏｒＢａｓｅｄＥｖｏｌｕｔｉｏｎａｒｙＡｌｇｏｒｉｔｈｍ）、ＳＭＳ ＥＭＯＡ［１１］（ＳＭｅｔｒｉｃＳｅｌｅｃｔｉｏｎｂａｓｅｄＥｖｏｌｕｔｉｏｎａｒｙ ＭｕｌｔｉｏｂｊｅｃｔｉｖｅＡｌｇｏｒｉｔｈｍ）以及ＨｙｐＥ［１２］（Ｈｙｐｅｒ ｖｏｌｕｍｅｂａｓｅｄＥｖｏｌｕｔｉｏｎａｒｙａｌｇｏｒｉｔｈｍ）．这些算法在
众多实际领域中均有应用，如物流工程［１３］、能源与 动力工程［１４］、自动化控制［１５］等．
为了更好地选择算法求解不同类型的ＭＯＰｓ， 如何衡量这些不同ＭＯＥＡｓ的性能成为了一大热门 课题，但是求解ＭＯＰｓ不同于求解单目标优化问题
（ＳｉｎｇｌｅｏｂｊｅｃｔｉｖｅＯｐｔｉｍｉｚａｔｉｏｎＰｒｏｂｌｅｍ，ＳＯＰ），后 者只需寻找出所求得解集中的最小值或是最大值即 可来比较算法性能优劣，而前者由于多个目标之间的
１ ９ ５ ８期 王丽萍等：多目标进化算法性能评价指标研究综述 １
《 计
算
机
学
报
》
矛盾性，所得最优解并非单个解，而是由一组非支配 解构成的集合，以最小化ＭＯＰｓ为例，如算法求得一 组解犛１＝｛（０．１，０．９），（０．４，０．６），（０．９，０．１）｝，另 一算法求得犛２＝｛（０．２，０．８），（０．６，０．４），（０．８， ０．２）｝，此时无法通过直接比较两组解集来判断算法
性能优劣，所以设计一种适用于ＭＯＰｓ的性能评价 指标变得十分重要．
比较不同ＭＯＥＡｓ的性能优劣可以考虑以下三 个方面［１６］：算法所求解集的质量、算法的求解效率 以及算法的鲁棒性．
（１）ＭＯＥＡｓ所求解集的质量，主要衡量解集 的非支配解数量、收敛性（Ｃｏｎｖｅｒｇｅｎｃｅ）和多样性
（Ｄｉｖｅｒｓｉｔｙ）．收敛性衡量的是算法所求得的Ｐａｒｅｔｏ 近似最优解集犛到真实Ｐａｒｅｔｏ前沿［１７］的贴近程 度；多样性衡量的是解集犛的分布性与延展性［１８］
（ＤｉｓｔｒｉｂｕｔｉｏｎａｎｄＳｐｒｅａｄ）．
（２）ＭＯＥＡｓ的求解效率，包括分析算法的时间 复杂度，统计算法运行的实际时间开销，以及评估 评价指标的数值与迭代次数的关系．当多种不同算 法所求解集质量相近时，比较算法的求解效率会更 有意义．此外，算法的求解效率在动态相关的实际问 题［１９２１］中较为关注．
（３）ＭＯＥＡｓ的鲁棒性，算法的强鲁棒性是指对 更多具有不同特征的问题具有良好的求解能力，对于 算法参数以及随机的初始种群具有较低的敏感性，并 且算法所求得解集比较稳定．针对某一ＭＯＥＡｓ进 行多次独立的实验，其鲁棒性可以从评价指标的方 差得到体现．
ＭＯＥＡｓ的评价指标主要通过衡量解集的质量 来比较其性能优劣．不少学者针对ＭＯＥＡｓ所求得 解集质量的某一或某些性能进行了相关研究，提出 了一系列的评价指标．
ＶａｎＶｅｌｄｈｕｉｚｅｎ等人［２２］提出了一系列用于统计 非支配解的数量或是比例的计数指标，这些指标并 未考虑真实Ｐａｒｅｔｏ前沿的信息，故ＶａｎＶｅｌｄｈｕｉｚｅｎ 等人［２３］提出了错误率（ＥｒｒｏｒＲａｔｉｏ，ＥＲ），与Ｐａｒｅｔｏ 近似前沿犘（ＡｐｐｒｏｘｉｍａｔｉｏｎｏｆＰａｒｅｔｏＦｒｏｎｔ）的 信息进行了交互．Ｚｉｔｚｌｅｒ等人［２４］提出了覆盖率
（Ｃｏｖｅｒａｇｅ，Ｃ），用于比较两个解集之间的相互关系 而非衡量解集与真实Ｐａｒｅｔｏ前沿的关系，适用于真 实Ｐａｒｅｔｏ前沿信息未知的情况下算法性能的比较．
ＶａｎＶｅｌｄｈｕｉｚｅｎ等人［２５］提出了经典的收敛性 指标世代距离（ＧｅｎｅｒａｔｉｏｎａｌＤｉｓｔａｎｃｅ，ＧＤ），ＧＤ计
算的是解到相距最近参考点的平均距离，其中参考 集由真实Ｐａｒｅｔｏ前沿均匀采样而得．类似地有收敛 性指标γ［２６］（ｔｈｅＣｏｎｖｅｒｇｅｎｃｅＭｅｔｒｉｃ）和犕１［２７］，它 们与ＧＤ的区别在于计算的距离类型不同．Ｓｃｈｏｔｔ 提出了收敛性指标七点平均距离［２８］（ＳｅｖｅｎＰｏｉｎｔｓ ＡｖｅｒａｇｅＤｉｓｔａｎｃｅ，ＳＰＡＤ），Ｓｃｈｏｔｔ认为在实际问题
中难以获取真实Ｐａｒｅｔｏ前沿的准确信息，故用参考 集犚取代了Ｐａｒｅｔｏ近似前沿犘来对解集的收敛性 进行评价．
Ｄｅｂ等人［２６］提出了多样性指标Δ′，计算的是连 续解之间的距离与其平均值之差，Ｓｃｈｏｔｔ［２８］提出了 类似的多样性指标空间指标（Ｓｐａｃｉｎｇ，ＳＰ），计算的 是相距最近的两个解与其平均值之差的平方，但Δ′ 与ＳＰ均只针对解集的分布性而未考虑延展性，故 Ｄｅｂ等人［４］提出了多样性指标Δ，Δ在Δ′的基础上 将Ｐａｒｅｔｏ前沿边界点对算法性能的影响纳入考虑， 因此能够同时衡量解集的分布性与延展性，但Δ只 在２维的ＭＯＰｓ中适用，为了应对更高维度的目标 空间，Ｚｈｏｕ等人［２９］提出了多样性指标Δ，计算的是 在某一目标上相距最近的解与边界点的距离．
ＣｏｅｌｌｏＣｏｅｌｌｏ等人［３０］提出了综合性指标反世 代距离（ＩｎｖｅｒｔｅｄＧｅｎｅｒａｔｉｏｎａｌＤｉｓｔａｎｃｅ，ＩＧＤ），ＩＧＤ 计算的是参考点到相距最近的解的平均距离，距 离所有解都较远的参考点具有较大的ＩＧＤ值，因 此在反映解集收敛性的同时也能反映解集的多样 性．Ｓｃｈｕｔｚｅ等人［３１］则结合了ＧＤ与ＩＧＤ提出了综 合性指标Δ狆，修改ＧＤ与ＩＧＤ为ＧＤ狆与ＩＧＤ狆以减 弱解集犛中解的数量对指标值的影响，Δ狆计算的是 ＧＤ狆与ＩＧＤ狆之间的豪斯多夫距离［３２］（Ｈａｕｓｄｏｒｆｆ Ｄｉｓｔａｎｃｅ）．Ｚｉｔｚｌｅｒ等人［３３］提出了著名的综合性指标
超体积指标（Ｈｙｐｅｒｖｏｌｕｍｅ，ＨＶ），计算的是由所有 非支配解与最低点（ＮａｄｉｒＰｏｉｎｔ）构成的超立方体的 超体积之和．
上述综合性指标能够很好地反映ＭＯＥＡｓ求解 静态非多模态的全局ＭＯＰｓ时所得解集的质量，但 是对于偏好多目标优化问题［３４］（ＰｒｅｆｅｒｅｎｃｅＢａｓｅｄ ＭＯＰｓ，ＰＭＯＰｓ），动态多目标优化问题［３５］（Ｄｙｎａｍｉｃ ＭＯＰｓ，ＤＭＯＰｓ）以及多模态多目标优化问题［３６］
（ＭｕｌｔｉｍｏｄａｌＭＯＰｓ，ＭＭＯＰｓ），这些综合性指标均 不再适用．这是因为在ＰＭＯＰｓ中只需求解决策者 感兴趣的局部解，解集的质量与全局解的多样性存 在矛盾［３７］；ＤＭＯＰｓ不再是静态的多目标优化问题， 上述综合性指标均难以应对Ｐａｒｅｔｏ前沿的动态变
２ ９ ５
１ 计 算 机 学 报 ２０２１年
《 计
算
机
学
报
》
化［３８］；求解ＭＭＯＥＡｓ时不仅需要在目标空间中求 得优质解集，更要在决策空间中求得最佳分布［３９］．
针对ＰＭＯＰｓ，Ｗｉｃｋｒａｍａｓｉｎｇｈｅ等人［４０］提出了综 合性指标ＨＶＵＭ（ＨＶｆｏｒＵｓｅｒｐｒｅｆｅｒｅｎｃｅＥＭＯ Ａｌｇｏｒｉｔｈｍｓ），通过人为划定偏好区域（Ｒｅｇｉｏｎｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）以计算区域内的ＨＶ值．Ｍｏｈａｍｍａｄｉ 等人［４１］针对ＨＶＵＭ受参考点影响较大的问题提 出了基于复合Ｐａｒｅｔｏ前沿（ＣｏｍｐｏｓｉｔｅＦｒｏｎｔ，ＣＦ） 的综合性指标ＩＧＤＣＦ，通过合成Ｐａｒｅｔｏ前沿来代 替真实Ｐａｒｅｔｏ前沿以评估落在局部Ｐａｒｅｔｏ前沿上 的解集质量．喻果［４２］则提出了无需人为划定偏好区 域的综合性指标ＰＭＤＡ．
针对ＤＭＯＥＡｓ，Ｚｈｏｕ等人［４３］提出了综合性指 标平均反世代距离（ＭｅａｎＩＧＤ，ＭＩＧＤ），将基于代 数的时间变量狋纳入了评价指标的计算．类似地有 综合性指标平均超体积［４４］（ＭｅａｎＨＶ，ＭＨＶ）．Ｚｏｕ 等人［４５］则提出了综合性指标平均超体积差异
（ＭｅａｎＨＶＤ，ＭＨＶＤ）．
针对ＭＭＯＥＡｓ，Ｚｈｏｕ等人［４６］提出了新的反世 代距离ＩＧＤＸ，计算的是决策空间中的ＩＧＤ值．Ｙｕｅ 等人［４７］提出了综合性指标Ｐａｒｅｔｏ集合逼近（Ｐａｒｅｔｏ ＳｅｔＰｒｏｘｉｍｉｔｙ，ＰＳＰ），计算的是决策空间中的覆盖
率比率（ＣｏｖｅｒＲａｔｅ，ＣＲ）与ＩＧＤＸ的比值，ＣＲ［４７］由 多样性指标最大延展度［４８］（ＭａｘｉｍｕｍＳｐｒｅａｄ，ＭＳ） 改进而得．
随着评价指标的不断提出，一些关于评价指标 的综述也相继发表．如Ｋｎｏｗｌｅｓ等人［４９］根据解集的 优胜关系对评价指标进行分析与比较．Ｚｉｔｚｌｅｒ等 人［５０］分析了不用类型评价指标的限制，并使用数学 框架对评价指标进行了分类．Ｙｅｎ等人［５１］通过双重 淘汰锦标赛选择组合评价指标，以集成的方式评价 ＭＯＥＡｓ．Ｏｋａｂｅ等人［５２］将评价指标分类为计数、距 离、体积、分布性和延展性指标．Ｌａｓｚｃｚｙｋ等人［５３］在 Ｏｋａｂｅ等人［５２］的分类基础上又新增了支配、目标 值、密度、统计、分区这５个类别，并试图统一评价指 标的命名方式．Ｊｉａｎｇ等人［１８］将评价指标分为了计 数、收敛性、多样性和综合性指标，并研究了部分具 有代表性的评价指标在不同凹凸性的Ｐａｒｅｔｏ前沿 上的一致性与矛盾性．Ｌｉ等人［５４］和本文延用了 Ｊｉａｎｇ等人［１８］的分类标准，文献［５４］中将多样性中 的分布性命名为均匀性，本文则增加了针对特定问 题的综合性指标．文献［５０，５５］分别在文中提出了新 的评价指标．上述这些文献在某些方面缺乏对指标
的数学性质探讨．
本文的贡献主要如下：（１）对具有代表性的 ＭＯＥＡｓ评价指标进行了整理与归纳，给出了它们 的参考集、比较函数与时间复杂度；（２）从高维目标 适应性、离群点敏感性、参考集合理性、指标值最优 性四个方面对部分指标进行了分析与比较；（３）提 出了一些关于评价指标的性质与定理，并对文中涉 及的所有定理进行了数学证明．
本文第１节引言部分简要介绍ＭＯＥＡｓ评价指 标的研究现状；第２节背景详细介绍多目标优化的 相关概念；第３节着重介绍各个指标的相关概念与 计算方式，根据计数、收敛性、多样性、综合性这四种 类型划分评价指标，并探讨它们的优势与不足；第４ 节选取一些具有代表性的指标，分析目标维度、离群 点、参考集、指标值四个方面对这些评价指标的影 响，给出并证明一些关于评价指标的定理；第５节结 语，提出ＭＯＥＡｓ评价指标有待进一步研究的方向．
２ 多目标优化相关概念
不失一般性地以最小化ＭＯＰｓ为例，定义ＭＯＰｓ 的相关概念如下：
定义１． 多目标优化问题．对于一个具有狀维 决策变量，犿（犿２）维目标的ＭＯＰｓ，其数学模 型［１６］的定义为
ｍｉｎ犉（狓）＝（犳１（狓），犳２（狓），…，犳犿（狓））Ｔ 犌犻（狓）０，犻∈｛１，２，…，狆｝
犎犼（狓）＝０，犻∈｛１，２，…，狇 烅烄
烆 ｝ （１） 其中，狓＝（狓１，狓２，…，狓狀）∈Ω，狓为决策变量，Ω为 决策空间，Ω＝犻
∏
狀＝１［犔犻，犝犻］，犔犻和犝犻分别为狓犻的上下 边界．!犿为犿维的目标空间，犉（狓）为目标向量，代 表Ω→!犿的映射关系，犌犻（狓）和犎犼（狓）分别为问题 的约束条件．定义２． Ｐａｒｅｔｏ支配．设狓１＝（狓１１，狓１２，…，狓狀１） 和狓２＝（狓２１，狓２２，…，狓２狀）是目标空间中满足约束条件 的两个决策向量，狓１Ｐａｒｅｔｏ弱支配狓２，记作狓１狓２， 满足：
（犻）犳犻（狓１）犳犻（狓２），犻∈｛１，…，犿｝ （２） 狓１Ｐａｒｅｔｏ支配狓２，记作狓１狓２，满足：
（犻）犳犻（狓１）犳犻（狓２）∧（犼）犳犼（狓１）＜犳犼（狓２）（３） 其中犻∈｛１，…，犿｝，犼∈｛１，…，犿｝．
狓１Ｐａｒｅｔｏ强支配狓２，记作狓１狓２，满足：
３ ９ ５ ８期 王丽萍等：多目标进化算法性能评价指标研究综述 １
《 计
算
机
学
报
》
（犻）犳犻（狓１）＜犳犻（狓２），犻∈｛１，…，犿｝ （４） 定义３． Ｐａｒｅｔｏ最优解．若在可行域Ω中的解 狓满足约束条件且不被任何其他解支配，则称狓
为Ｐａｒｅｔｏ最优解：
狓∈Ω∧
／
狓∈Ω：狓狓 （５） 定义４． Ｐａｒｅｔｏ最优解集．所有Ｐａｒｅｔｏ最优解 构成的集合称为Ｐａｒｅｔｏ最优解集（ＰａｒｅｔｏＯｐｔｉｍａｌ ＳｏｌｕｔｉｏｎＳｅｔ，ＰＳ）．犘犛＝｛狓｜狓∈Ω∧
／
狓∈Ω：狓狓｝ （６） 定义５． Ｐａｒｅｔｏ近似最优解集．由ＭＯＥＡｓ在 某次求解过程中所求得的最优解集称为Ｐａｒｅｔｏ 近似最优解集（ＡｐｐｒｏｘｉｍａｔｉｏｎｏｆＰａｒｅｔｏＯｐｔｉｍａｌ ＳｏｌｕｔｉｏｎＳｅｔ，Ｓ），简称解集．犛＝｛狓犻｝，犻∈｛１，…，犖｝ （７） 其中犖为人为设定的参数．
定义６． 非支配解．若解集犛中的解狓，不被 解集犛中的其他解Ｐａｒｅｔｏ支配，则称狓为解集犛中 的非支配解．
狓∈犛∧
／
狔∈犛：狔狓 （８） 定义７． Ｐａｒｅｔｏ近似最优非支配解集．Ｐａｒｅｔｏ 近似最优解集犛中所有非支配解所构成的集合称 为Ｐａｒｅｔｏ近似最优非支配解集（Ａｐｐｒｏｘｉｍａｔｉｏｎｏｆ ＰａｒｅｔｏＯｐｔｉｍａｌＮｏｎｄｏｍｉｎａｔｅｄＳｏｌｕｔｉｏｎＳｅｔ，ＮＳ），简称非支配解集，记为犖犛．
犖犛＝｛狓｜狓∈犛∧
／
狔∈犛：狔狓｝ （９） 定义８． Ｐａｒｅｔｏ前沿．Ｐａｒｅｔｏ最优解集犘犛中 的所有Ｐａｒｅｔｏ最优解狓在目标空间!犿上的映射， 称为Ｐａｒｅｔｏ前沿（ＰａｒｅｔｏＦｒｏｎｔ，ＰＦ），或称真实 Ｐａｒｅｔｏ前沿．犘犉＝｛犳（狓）∈!犿｜狓∈犘犛｝ （１０） 定义９． 参考集．人为设定的参考点的集合称 为参考集（ＲｅｆｅｒｅｎｃｅＳｅｔ，Ｒ），其中外部参考集不包 括其它解集．
定义１０． Ｐａｒｅｔｏ近似前沿．在真实Ｐａｒｅｔｏ前 沿上均匀采样得到一组参考点的集合称为Ｐａｒｅｔｏ 近似前沿（ＡｐｐｒｏｘｉｍａｔｉｏｎｏｆＰａｒｅｔｏＦｒｏｎｔ，Ｐ）．
定义１１． Ｐａｒｅｔｏ极端点．在Ｐａｒｅｔｏ最优解集 犘犛中的某个目标上不存在比解狓更优的解，则称 解狓为Ｐａｒｅｔｏ极端点（ＰａｒｅｔｏＥｘｔｒｅｍｅＰｏｉｎｔ），记 为狓犲狓狋．所有Ｐａｒｅｔｏ极端点构成的集合称为Ｐａｒｅｔｏ 极端点集，记为犘犅犛．
犘犅犛＝｛狓犲狓狋｜狓犲狓狋∈Ω｜犽∈｛１，…，犿｝∧
／
狓∈Ω：犳犽（狓）＜犳犽（狓犲狓狋）｝ （１１） 定义１２． Ｐａｒｅｔｏ前沿边界．Ｐａｒｅｔｏ极端点集 ＰＢＳ在目标空间!犿上的映射称为Ｐａｒｅｔｏ前沿边界（ＰａｒｅｔｏＦｒｏｎｔＢｏｕｎｄａｒｙ，ＰＦＢ），简称边界．
犘犉犅＝｛犳（狓犲狓狋）∈!犿｜狓犲狓狋∈犘犅犛｝（１２） 定义１３． 边界点．在解集犛中的某个目标上不 存在比解狓更优的解，则称解狓为边界点（Ｂｏｕｎｄａｒｙ Ｐｏｉｎｔ），或称为极端点（ＥｘｔｒｅｍｅＰｏｉｎｔ），记为狓犲狓狋， 所有边界（极端）点构成的集合称为边界（极端）点 集，记为犅犛．
犅犛＝｛狓犲狓狋｜狓犲狓狋∈犛｜犽∈｛１，…，犿｝∧
／
狓∈犛：犳犽（狓）＜犳犽（狓犲狓狋）｝ （１３） 定义１４． 理想点．取解集犛中各个目标上的 最小值组成一个新的点，称为理想点（ＩｄｅａｌＰｏｉｎｔ）， 记为狕．狕犻＝ｍｉｎ犳犻（狓），狓∈犛，犻∈｛１，…，犿｝（１４） 定义１５． 最低点．取Ｐａｒｅｔｏ最优解集犘犛中 各个目标上的最大值组成一个新的点，称为最低点
（ＮａｄｉｒＰｏｉｎｔ），记为狕狀犪犱．
狕狀犻犪犱＝ｍａｘ犳犻（狓），狓∈犘犛，犻∈｛１，…，犿｝（１５） 假定表达式犃犅代表定义犅以定义犃为基 础，则上述１５个定义存在如下的关系：１｛２，９｝、 ２｛３，５｝、３４、｛２，５｝６、６７、４８、｛８，９｝１０、 ４１１、１１１２、５｛１３，１４，１５｝．
根据上述定义，给出本文涉及的一些相关性质、 定理及其数学证明：
性质１． Ｐａｒｅｔｏ近似最优解集是算法运行到 最大进化代数时所求得解的有穷集合．
性质２． 当Ｐａｒｅｔｏ前沿非离散时，Ｐａｒｅｔｏ最优 解集是实际问题所能求得的全部解的无穷集合．
性质３． Ｐａｒｅｔｏ前沿唯一性．一个ＭＯＰｓ问题 有且只有唯一的Ｐａｒｅｔｏ前沿（分段或不分段）．
证明． 即证一个ＭＯＰ只存在唯一的Ｐａｒｅｔｏ 最优解集，假设存在两个在目标空间上的映射不尽 相同的Ｐａｒｅｔｏ最优解集，分别为犘犛１，犘犛２，则必然
狓１∈犘犛１，狓２∈犘犛２使得狓１，狓２互不支配，而犘犛 中包含了所有非支配解，故有犘犛＝犘犛１∪犘犛２，即 犘犛１与犘犛２都不是Ｐａｒｅｔｏ最优解集，与假设矛盾，假 设不成立，原命题得证．当涉及多模态多目标优化问 题时，该证明依然成立． 证毕．
性质３的存在为定义１０的Ｐａｒｅｔｏ近似前沿提 供了人为采样的可行性．
性质４． 一个ＭＯＰｓ问题可以存在多个Ｐａｒｅｔｏ
４ ９ ５
１ 计 算 机 学 报 ２０２１年
