相较于强化学习（ＲＬ）方法，模仿学习方法不 需要专家手工设置合适的奖赏函数．它模仿专家演 示的样本，从而学习得到与人类相当的策略．基于生 成对抗网络的模仿学习（ＧＡＮｓＩＬ）是模仿学习的 一类重要方法，它将基于逆向强化学习的模仿学习
（ＩＲＬＩＬ）推广到了更复杂的大规模问题，使得模 仿学习方法能够解决现实的应用问题．并且，随着生 成对抗网络（ＧＡＮｓ）和ＲＬ等技术的不断发展， ＧＡＮｓＩＬ中遇到的模态崩塌与生成样本利用效率
低等问题将以更为有效的方式得到解决．从而， ＧＡＮｓＩＬ能够稳定、有效地解决实际问题．
本文首先介绍了最早出现且最具代表性的 ＧＡＮｓＩＬ方法，即生成对抗模仿学习（ＧＡＩＬ）的核 心思想，然后分析了其所面临的模态崩塌和生成样 本利用效率低等问题．接着从这两个问题出发综述 了前沿的改进工作．其中，针对模态崩塌的问题综述 了结合ＧＡＮｓ技术的改进方法，针对生成样本利用 效率低的问题综述了结合强化学习等技术的改进方 法．最后综述了ＧＡＮｓＩＬ在不同观察环境和多智能 体等方面的拓展．
综上，本文将ＧＡＮｓＩＬ的未来发展前景作如下 展望：（１）结合ＧＡＮｓ技术的发展，ＧＡＮｓＩＬ在模 态崩塌问题将进一步改善，并且二者博弈的训练过 程将更为稳定，且易于训练［１００］；（２）结合ＲＬ技术的 发展，ＧＡＮｓＩＬ将在多智能体方面、部分可观察的 马尔可夫决策过程［１０１］等方面有更深的应用拓展；
（３）随着深度学习的发展，ＧＡＮｓＩＬ将具有更强的 表征能力，并能应用于需要感知复杂状态的实际 问题．不仅如此，在决策问题中，对抗式学习的运用
６ ４
３ 计 算 机 学 报 ２０２０年
《 计
算
机
学
报
》
将更为广泛，如将对抗式的模仿学习结合在ＲＬ 中［１０２］，或将对抗式学习用来使得ＲＬ具有更强的泛 化性和鲁棒性［１０３］．
致 谢 在此感谢南京大学的俞扬教授参与本文的 讨论并给出了大量的修改意见！
参考文献
［１］ＳｉｌｖｅｒＤ，ＨｕａｎｇＡ，ＭａｄｄｉｓｏｎＣＪ，ｅｔａｌ．Ｍａｓｔｅｒｉｎｇｔｈｅ ｇａｍｅｏｆＧｏｗｉｔｈｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｔｒｅｅｓｅａｒｃｈ． Ｎａｔｕｒｅ，２０１６，５２９（７５８７）：４８４４８９
［２］ＡｂｂｅｅｌＰ，ＮｇＡＹ．Ａｐｐｒｅｎｔｉｃｅｓｈｉｐｌｅａｒｎｉｎｇｖｉａｉｎｖｅｒｓｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌ ＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）．Ｂａｎｆｆ，Ｃａｎａｄａ， ２００４：１８
［３］ＳｕｔｔｏｎＲＳ，ＢａｒｔｏＡＧ．ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ：Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ．Ｃａｍｂｒｉｄｇｅ，ＵＳＡ：ＭＩＴＰｒｅｓｓ，１９９８
［４］ＬｉｕＱｕａｎ，ＺｈａｉＪｉａｎＷｅｉ，ＺｈａｎｇＺｏｎｇＺｈａｎｇ，ｅｔａｌ．Ａ ｓｕｒｖｅｙｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆ
Ｃｏｍｐｕｔｅｒｓ，２０１８，４１（１）：１２７（ｉｎＣｈｉｎｅｓｅ）
（刘全，翟建伟，章宗长等．深度强化学习综述．计算机学 报，２０１８，４１（１）：１２７）
［５］ＧａｏＹａｎｇ，ＣｈｅｎＳｈｉＦｕ，ＬｕＸｉｎ．Ｒｅｓｅａｒｃｈｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇｔｅｃｈｎｏｌｏｇｙ：Ａｒｅｖｉｅｗ．ＡｃｔａＡｕｔｏｍａｔｉｃａＳｉｎｉｃａ， ２００４，３０（１）：８６１００（ｉｎＣｈｉｎｅｓｅ）
（高阳，陈世福，陆鑫．强化学习研究综述．自动化学报， ２００４，３０（１）：８６１００）
［６］ＺｈａｏＤｏｎｇＢｉｎ，ＳｈａｏＫｕｎ，ＺｈｕＹｕａｎＨｅｎｇ，ｅｔａｌ．Ｒｅｖｉｅｗ ｏｆｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇａｎｄｄｉｓｃｕｓｓｉｏｎｓｏｎｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔｏｆｃｏｍｐｕｔｅｒＧｏ．ＣｏｎｔｒｏｌＴｈｅｏｒｙａｎｄＡｐｐｌｉｃａｔｉｏｎｓ， ２０１６，３３（６）：７０１７１７（ｉｎＣｈｉｎｅｓｅ）
（赵冬斌，邵坤，朱圆恒等．深度强化学习综述：兼论计算机 围棋的发展．控制理论与应用，２０１６，３３（６）：７０１７１７）
［７］ＳｉｌｖｅｒＤ，ＳｃｈｒｉｔｔｗｉｅｓｅｒＪ，ＳｉｍｏｎｙａｎＫ，ｅｔａｌ．Ｍａｓｔｅｒｉｎｇｔｈｅ ｇａｍｅｏｆＧｏｗｉｔｈｏｕｔｈｕｍａｎｋｎｏｗｌｅｄｇｅ．Ｎａｔｕｒｅ，２０１７，５５０
（７６７６）：３５４３５９
［８］ＭｎｉｈＶ，ＫａｖｕｋｃｕｏｇｌｕＫ，ＳｉｌｖｅｒＤ，ｅｔａｌ．ＰｌａｙｉｎｇＡｔａｒｉｗｉｔｈ ｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＷｏｒｋｓｈｏｐｓ ａｔｔｈｅ２７ｔｈＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．
ＬａｋｅＴａｈｏｅ，ＵＳＡ，２０１３：２０１２２０
［９］ＢｙｒｎｅＲＷ，ＲｕｓｓｏｎＡＥ．Ｌｅａｒｎｉｎｇｂｙｉｍｉｔａｔｉｏｎ：Ａｈｉｅｒａｒｃｈｉｃａｌ ａｐｐｒｏａｃｈ．ＢｅｈａｖｉｏｒａｌａｎｄＢｒａｉｎＳｃｉｅｎｃｅｓ，１９９８，２１（５）：６６７ ７２１
［１０］ＳｃｈａａｌＳ．Ｉｓｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇｔｈｅｒｏｕｔｅｔｏｈｕｍａｎｏｉｄｒｏｂｏｔｓ？ ＴｒｅｎｄｓｉｎＣｏｇｎｉｔｉｖｅＳｃｉｅｎｃｅｓ，１９９９，３（６）：２３３２４２
［１１］ＰｏｍｅｒｌｅａｕＤ．Ｅｆｆｉｃｉｅｎｔｔｒａｉｎｉｎｇｏｆａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ ｆｏｒａｕｔｏｎｏｍｏｕｓｎａｖｉｇａｔｉｏｎ．ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ，１９９１，３（１）： ８８９７
［１２］ＢｏｊａｒｓｋｉＭ，ＤｅｌＴｅｓｔａＤ，ＤｗｏｒａｋｏｗｓｋｉＤ，ｅｔａｌ．Ｅｎｄｔｏｅｎｄ ｌｅａｒｎｉｎｇｆｏｒｓｅｌｆｄｒｉｖｉｎｇｃａｒｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１６０４． ０７３１６，２０１６
［１３］ＲｏｓｓＳ，ＢａｇｎｅｌｌＤ．Ｅｆｆｉｃｉｅｎｔｒｅｄｕｃｔｉｏｎｓｆｏｒｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ／／ Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１３ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌ ＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＳｔａｔｉｓｔｉｃｓ（ＡＩＳＴＡＴＳ）．Ｓａｒｄｉｎｉａ，Ｉｔａｌｙ， ２０１０：６６１６６８
［１４］ＲｏｓｓＳ，ＧｏｒｄｏｎＧＪ，ＢａｇｎｅｌｌＤ．Ａｒｅｄｕｃｔｉｏｎｏｆｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇａｎｄｓｔｒｕｃｔｕｒｅｄｐｒｅｄｉｃｔｉｏｎｔｏｎｏｒｅｇｒｅｔｏｎｌｉｎｅｌｅａｒｎｉｎｇ
／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌ ＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＳｔａｔｉｓｔｉｃｓ（ＡＩＳＴＡＴＳ）．ＦｏｒｔＬａｕｄｅｒｄａｌｅ，
ＵＳＡ，２０１１：６２７６３５
［１５］ＬｉＹａｏＹｕ，ＺｈｕＹｉＦａｎ，ＹａｎｇＦｅｎｇ，ｅｔａｌ．Ｉｎｖｅｒｓｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｂａｓｅｄｏｐｔｉｍａｌｓｃｈｅｄｕｌｅｇｅｎｅｒａｔｉｏｎ ａｐｐｒｏａｃｈｆｏｒｃａｒｒｉｅｒａｉｒｃｒａｆｔｏｎｆｉｇｈｔｄｅｃｋ．ＪｏｕｒｎａｌｏｆＮａｔｉｏｎａｌ ＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｇｙ，２０１３，３５（４）：１７１１７５（ｉｎ Ｃｈｉｎｅｓｅ）
（李耀宇，朱一凡，杨峰等．基于逆向强化学习的舰载机甲板 调度优化方案生成方法．国防科技大学学报，２０１３，３５（４）： １７１１７５）
［１６］ＪｉｎＺｈｕｏＪｕｎ，ＱｉａｎＨｕｉ，ＣｈｅｎＳｈｅｎＹｉ，ＺｈｕＭｉａｏＬｉａｎｇ． Ｓｕｒｖｅｙｏｆａｐｐｒｅｎｔｉｃｅｓｈｉｐｌｅａｒｎｉｎｇｂａｓｅｄｏｎｒｅｗａｒｄｆｕｎｃｔｉｏｎ ｌｅａｒｎｉｎｇ．ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ，２００９， ４（３）：２０８２１２（ｉｎＣｈｉｎｅｓｅ）
（金卓军，钱徽，陈沈秩，朱淼良．回报函数学习的学徒学习 综述，智能系统学报，２００９，４（３）：２０８２１２）
［１７］ＮｇＡＹ，ＲｕｓｓｅｌｌＳＪ．Ａｌｇｏｒｉｔｈｍｓｆｏｒｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）．Ｓｔａｎｆｏｒｄ，ＵＳＡ，２０００：６６３ ６７０
［１８］ＬｅｖｉｎｅＳ，ＰｏｐｏｖｉｃＺ，ＫｏｌｔｕｎＶ．Ｎｏｎｌｉｎｅａｒｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇｗｉｔｈＧａｕｓｓｉａｎｐｒｏｃｅｓｓｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２５ｔｈ ＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．Ｇｒａｎａｄａ， Ｓｐａｉｎ，２０１１：１９２７
［１９］ＨｏＪ，ＧｕｐｔａＪＫ，ＥｒｍｏｎＳ．Ｍｏｄｅｌｆｒｅｅｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ ｗｉｔｈｐｏｌｉｃｙｏｐｔｉｍｉｚａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ ＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）．ＮｅｗＹｏｒｋ，ＵＳＡ， ２０１６：２７６０２７６９
［２０］ＨｏＪ，ＥｒｍｏｎＳ．Ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ／／ Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３０ｔｈＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ（ＮＩＰＳ）．Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，２０１６：４５６５４５７３
［２１］ＧｏｏｄｆｅｌｌｏｗＩＪ，ＰｏｕｇｅｔＡｂａｄｉｅＪ，ＭｉｒｚａＭ，ｅｔａｌ．Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌｎｅｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２８ｔｈＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎ ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．Ｍｏｎｔｒｅａｌ，Ｃａｎａｄａ，２０１４：２６７２ ２６８０
［２２］ＷａｎｇＫｕｎＦｅｎｇ，ＧｏｕＣｈａｏ，ＤｕａｎＹａｎＪｉｅ，ｅｔａｌ．Ｇｅｎｅｒａ ｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ：Ｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔａｎｄｂｅｙｏｎｄ． ＡｃｔａＡｕｔｏｍａｔｉｃａＳｉｎｉｃａ，２０１７，４３（３）：３２１３３２（ｉｎＣｈｉｎｅｓｅ）
（王坤峰，苟超，段艳杰等．生成式对抗网络ＧＡＮ的研究进 展与展望．自动化学报，２０１７，４３（３）：３２１３３２）
７ ４ ３ ２期 林嘉豪等：基于生成对抗网络的模仿学习综述
《 计
算
机
学
报
》
［２３］ＨｉｎｔｏｎＧＥ，ＯｓｉｎｄｅｒｏＳ，ＴｅｈＹＷ．Ａｆａｓｔｌｅａｒｎｉｎｇ
［５１］ＳｃｈｕｌｍａｎＪ，ＭｏｒｉｔｚＰ，ＬｅｖｉｎｅＳ，ｅｔａｌ．Ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌ
［７７］ＲｅｚｅｎｄｅＤＪ，ＭｏｈａｍｅｄＳ，ＷｉｅｒｓｔｒａＤ．Ｓｔｏｃｈａｓｔｉｃｂａｃｋｐｒｏｐ ａｇａｔｉｏｎａｎｄａｐｐｒｏｘｉｍａｔｅｉｎｆｅｒｅｎｃｅｉｎｄｅｅｐｇｅｎｅｒａｔｉｖｅｍｏｄｅｌｓ／／ Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ（ＩＣＭＬ）．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２０１４：１２７８１２８６
［７８］ＪａｎｇＥ，ＧｕＳ，ＰｏｏｌｅＢ．Ｃａｔｅｇｏｒｉｃａｌｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎｗｉｔｈ ＧｕｍｂｅｌＳｏｆｔｍａｘ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１６１１．０１１４４，２０１６
［７９］ＣｈｏＫ，ｖａｎＭｅｒｒｉｅｎｂｏｅｒＢ，ＧｕｌｃｅｈｒｅＣ，ｅｔａｌ．Ｌｅａｒｎｉｎｇ ｐｈｒａｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｕｓｉｎｇＲＮＮｅｎｃｏｄｅｒｄｅｃｏｄｅｒｆｏｒ ｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １４０６．１０７８，２０１４
［８０］ＰｅｔｅｒｓＪ，ＢａｇｎｅｌｌＪＡ．Ｐｏｌｉｃｙｇｒａｄｉｅｎｔｍｅｔｈｏｄｓ．Ｅｎｃｙｃｌｏｐｅｄｉａ ｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｂｏｓｔｏｎ，ＵＳＡ：Ｓｐｒｉｎｇｅｒ，２０１０：７７４ ７７６
［８１］ＳｉｌｖｅｒＤ，ＬｅｖｅｒＧ，ＨｅｅｓｓＮ，ｅｔａｌ．Ｄｅｔｅｒｍｉｎｉｓｔｉｃｐｏｌｉｃｙ ｇｒａｄｉｅｎｔａｌｇｏｒｉｔｈｍｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌ ＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ， ２０１４：３８７３９５
［８２］ＳｕｔｔｏｎＲＳ，ＭｃＡｌｌｅｓｔｅｒＤ，ＳｉｎｇｈＳ，ｅｔａｌ．Ｐｏｌｉｃｙｇｒａｄｉｅｎｔ ｍｅｔｈｏｄｓｆｏｒｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｗｉｔｈｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１３ｔｈＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎ ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．Ｄｅｎｖｅｒ，ＵＳＡ，１９９９：１０５７ １０６３
［８３］ＬｉｌｌｉｃｒａｐＴＰ，ＨｕｎｔＪＪ，ＰｒｉｔｚｅｌＡ，ｅｔａｌ．Ｃｏｎｔｉｎｕｏｕｓｃｏｎｔｒｏｌ ｗｉｔｈｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ４ｔｈ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ（ＩＣＬＲ）． ＳａｎＪｕａｎ，ＰｕｅｒｔｏＲｉｃｏ，２０１６
［８４］ＰｆａｕＤ，ＶｉｎｙａｌｓＯ．Ｃｏｎｎｅｃｔｉｎｇｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓａｎｄａｃｔｏｒｃｒｉｔｉｃｍｅｔｈｏｄｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １６１０．０１９４５，２０１６
［８５］ＳｕｔｔｏｎＲＳ．Ｌｅａｒｎｉｎｇｔｏｐｒｅｄｉｃｔｂｙｔｈｅｍｅｔｈｏｄｓｏｆｔｅｍｐｏｒａｌ ｄｉｆｆｅｒｅｎｃｅｓ．Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，１９８８，３（１）：９４４
［８６］ＴｚｅｎｇＥ，ＨｏｆｆｍａｎＪ，ＺｈａｎｇＮ，ｅｔａｌ．Ｄｅｅｐｄｏｍａｉｎｃｏｎｆｕ ｓｉｏｎ：Ｍａｘｉｍｉｚｉｎｇｆｏｒｄｏｍａｉｎｉｎｖａｒｉａｎｃｅ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸ ｉｖ：１４１２．３４７４，２０１４
［８７］ＳｕｎｄｅｒｍｅｙｅｒＭ，ＳｃｈｌｕｔｅｒＲ，ＮｅｙＨ．ＬＳＴＭｎｅｕｒａｌｎｅｔｗｏｒｋｓ ｆｏｒｌａｎｇｕａｇｅｍｏｄｅｌｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１３ｔｈＡｎｎｕａｌ ＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈＣｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ（ＩＳＣＡ）．Ｐｏｒｔｌａｎｄ，ＵＳＡ，２０１２：１９４１９７
［８８］ＯｈＪ，ＣｈｏｃｋａｌｉｎｇａｍＶ，ＳｉｎｇｈＳ，ＬｅｅＨ．Ｃｏｎｔｒｏｌｏｆｍｅｍｏｒｙ， ａｃｔｉｖｅｐｅｒｃｅｐｔｉｏｎ，ａｎｄａｃｔｉｏｎｉｎＭｉｎｅｃｒａｆｔ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ３３ｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ（ＩＣＭＬ）．ＮｅｗＹｏｒｋ，
ＵＳＡ，２０１６：２７９０２７９９
［８９］ＷｉｅｒｓｔｒａＤ，ＦｏｒｓｔｅｒＡ，ＰｅｔｅｒｓＪ，ＳｃｈｍｉｄｈｕｂｅｒＪ．Ｒｅｃｕｒｒｅｎｔ ｐｏｌｉｃｙｇｒａｄｉｅｎｔｓ．ＬｏｇｉｃＪｏｕｒｎａｌｏｆｔｈｅＩＧＰＬ，２０１０，１８（５）： ６２０６３４
［９０］ＣｈｕｎｇＪ，ＧｕｌｃｅｈｒｅＣ，ＣｈｏＫＨ，ＢｅｎｇｉｏＹ．Ｅｍｐｉｒｉｃａｌ ｅｖａｌｕａｔｉｏｎｏｆｇａｔｅｄｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｏｎｓｅｑｕｅｎｃｅ
ｍｏｄｅｌｉｎｇ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１４１２．３５５５，２０１４
［９１］ＡｙｔａｒＹ，ＰｆａｆｆＴ，ＢｕｄｄｅｎＤ，ＬｅＰａｉｎｅＴ．Ｐｌａｙｉｎｇｈａｒｄ
ｅｘｐｌｏｒａｔｉｏｎｇａｍｅｓｂｙｗａｔｃｈｉｎｇＹｏｕＴｕｂｅ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０５．１１５９２，２０１８
［９２］ＴｏｒａｂｉＦ，ＷａｒｎｅｌｌＧ，ＳｔｏｎｅＰ．Ｂｅｈａｖｉｏｒａｌｃｌｏｎｉｎｇｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔ ＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ）．Ｓｔｏｃｋｈｏｌｍ， Ｓｗｅｄｅｎ，２０１８：４９５０４９５７
［９３］ＥｄｗａｒｄｓＡＤ，ＳａｈｎｉＨ，ＳｃｈｒｏｅｃｋｅｒＹ，ＩｓｂｅｌｌＣＬ．Ｉｍｉｔａｔｉｎｇ ｌａｔｅｎｔｐｏｌｉｃｉｅｓｆｒｏｍｏｂｓｅｒｖａｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １８０５．０７９１４，２０１８
［９４］ＧｉｂｂｏｎｓＲ．ＡＰｒｉｍｅｒｉｎＧａｍｅＴｈｅｏｒｙ．ＵｐｐｅｒＳａｄｄｌｅＲｉｖｅｒ， ＵＳＡ：ＰｒｅｎｔｉｃｅＨａｌｌ，１９９２
［９５］ＨｕＪ，ＷｅｌｌｍａｎＭＰ．Ｍｕｌｔｉａｇｅｎｔｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ： Ｔｈｅｏｒｅｔｉｃａｌｆｒａｍｅｗｏｒｋａｎｄａｎａｌｇｏｒｉｔｈｍ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ １５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）．
Ｍａｄｉｓｏｎ，ＵＳＡ，１９９８：２４２２５０
［９６］ＳｏｎｇＪ，ＲｅｎＨ，ＳａｄｉｇｈＤ，ＥｒｍｏｎＳ．Ｍｕｌｔｉａｇｅｎｔｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３１ｓｔＮｅｕｒａｌ ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．ＬｏｎｇＢｅａｃｈ，ＵＳＡ， ２０１７：７４７１７４８２
［９７］ＷｕＹ，ＭａｎｓｉｍｏｖＥ，ＬｉａｏＳ，ｅｔａｌ．Ｓｃａｌａｂｌｅｔｒｕｓｔｒｅｇｉｏｎ ｍｅｔｈｏｄｆｏｒｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｕｓｉｎｇＫｒｏｎｅｃｋｅｒ ｆａｃｔｏｒｅｄａｐｐｒｏｘｉｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３１ｓｔＮｅｕｒａｌ ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．ＬｏｎｇＢｅａｃｈ，ＵＳＡ， ２０１７：５２７９５２８８
［９８］ＬｏｗｅＲ，ＷｕＹ，ＴａｍａｒＡ，ｅｔａｌ．Ｍｕｌｔｉａｇｅｎｔａｃｔｏｒｃｒｉｔｉｃｆｏｒ ｍｉｘｅｄｃｏｏｐｅｒａｔｉｖｅｃｏｍｐｅｔｉｔｉｖｅｅｎｖｉｒｏｎｍｅｎｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ３１ｓｔＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ）．
ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０１７：６３７９６３９０
［９９］ＧｕｐｔａＪＫ，ＥｇｏｒｏｖＭ，ＫｏｃｈｅｎｄｅｒｆｅｒＭＪ．Ｃｏｏｐｅｒａｔｉｖｅ ｍｕｌｔｉａｇｅｎｔｃｏｎｔｒｏｌｕｓｉｎｇｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ／／ Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｎｏｍｏｕｓ ＡｇｅｎｔｓａｎｄＭｕｌｔｉａｇｅｎｔＳｙｓｔｅｍｓ（ＡＡＭＡＳ）．ＳａｏＰａｕｌｏ， Ｂｒａｚｉｌ，２０１７：６６８３
［１００］ＰｅｎｇＸＢ，ＫａｎａｚａｗａＡ，ＴｏｙｅｒＳ，ｅｔａｌ．Ｖａｒｉａｔｉｏｎａｌｄｉｓｃｒｉｍ ｉｎａｔｏｒｂｏｔｔｌｅｎｅｃｋ：Ｉｍｐｒｏｖｉｎｇｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ，ｉｎｖｅｒｓｅＲＬ， ａｎｄＧＡＮｓｂｙｃｏｎｓｔｒａｉｎｉｎｇｉｎｆｏｒｍａｔｉｏｎｆｌｏｗ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１０．００８２１，２０１８
［１０１］ＣｈｏｉＪ，ＫｉｍＫＥ．Ｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｎｐａｒｔｉａｌｌｙ ｏｂｓｅｒｖａｂｌｅｅｎｖｉｒｏｎｍｅｎｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２１ｓｔＩｎｔｅｒｎａ ｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ）．
Ｐａｓａｄｅｎａ，ＵＳＡ，２００９：１０２８１０３３
［１０２］ＰｅｎｇＸＢ，ＡｂｂｅｅｌＰ，ＬｅｖｉｎｅＳ，ＶａｎＤｅＰａｎｎｅＭ．ＤｅｅｐＭｉｍｉｃ： Ｅｘａｍｐｌｅｇｕｉｄｅｄｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｏｆｐｈｙｓｉｃｓｂａｓｅｄ ｃｈａｒａｃｔｅｒｓｋｉｌｌｓ．ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＧｒａｐｈｉｃｓ，２０１８，３７（４）： １４３：１１４３：１４
［１０３］ＰｉｎｔｏＬ，ＤａｖｉｄｓｏｎＪ，ＳｕｋｔｈａｎｋａｒＲ，ＧｕｐｔａＡ．Ｒｏｂｕｓｔ ａｄｖｅｒｓａｒｉａｌｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３４ｔｈ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＩＣＭＬ）． Ｓｙｄｎｅｙ，Ａｕｓｔｒａｌｉａ，２０１７：２８１７２８２６
０ ５
３ 计 算 机 学 报 ２０２０年
《 计
算
机
学
报
》
犔犐犖犑犻犪犎犪狅，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓ ｍａｉｎｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇａｎｄｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ．
犣犎犃犖犌犣狅狀犵犣犺犪狀犵，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｈｉｓ ｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ｉｎｔｅｌｌｉｇｅｎｔ ｐｌａｎｎｉｎｇ，ａｎｄｍｕｌｔｉａｇｅｎｔｓｙｓｔｅｍｓ．
犑犐犃犖犌犆犺狅狀犵，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇａｎｄｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ．
犎犃犗犑犻犪狀犢犲，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇａｎｄｍｕｌｔｉａｇｅｎｔ ｓｙｓｔｅｍｓ．
犅犪犮犽犵狉狅狌狀犱
Ｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇｂａｓｅｄｏｎｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｓ
（ＧＡＮｓＩＬ），ａｓａｃｏｍｂｉｎａｔｉｏｎｏｆｔｈｅａｄｖｅｒｓａｒｉａｌｔｒａｉｎｉｎｇ ｍｅｃｈａｎｉｓｍｏｆｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｎｄｔｈｅｉｄｅａｏｆ ｔｈｅｉｔｅｒａｔｉｖｅｉｍｐｒｏｖｅｍｅｎｔｉｎｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇｍｅｔｈｏｄｓｂａｓｅｄ ｏｎｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ｈａｓａｃｈｉｅｖｅｄｒｅｍａｒｋａｂｌｅ ｓｕｃｃｅｓｓｅｓｉｎａｖａｒｉｅｔｙｏｆｄｏｍａｉｎｓ，ｓｕｃｈａｓａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ，ｓｉｍｕｌａｔｉｏｎ，ｒｏｂｏｔｉｃｃｏｎｔｒｏｌ，ａｎｄｓｏｏｎ．Ｏｕｒｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓｔｈｅｍａｉｎｉｄｅａｏｆｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ（ＧＡＩＬ），ｓｕｍｍａｒｉｚｅｓｔｗｏｍａｉｎｐｒｏｂｌｅｍｓｉｎＧＡＩＬ， ｏｕｔｌｉｎｅｓｍａｎｙｓｏｌｕｔｉｏｎｓｔｏｔｈｅｓｅｔｗｏｐｒｏｂｌｅｍｓ，ｄｉｓｃｕｓｓｅｓ
ｓｏｍｅｐｒａｃｔｉｃａｌＧＡＮｓＩＬａｐｐｌｉｃａｔｉｏｎｓ，ａｎｄｈｉｇｈｌｉｇｈｔｓｓｏｍｅ ｆｕｔｕｒｅｔｒｅｎｄｓｉｎｔｈｅｆｉｅｌｄ，ｗｉｔｈｔｈｅｈｏｐｅｏｆｐｒｏｖｉｄｉｎｇａｖａｌｕａ
ｂｌｅｒｅｆｅｒｅｎｃｅｉｎｉｔｓｆｕｔｕｒｅｄｅｖｅｌｏｐｍｅｎｔ．
ＴｈｉｓｐａｐｅｒｉｓｐａｒｔｉａｌｌｙｓｕｐｐｏｒｔｅｄｂｙｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌ ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（６１８７６１１９，６１５０２３２３）ａｎｄｔｈｅ ＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＪｉａｎｇｓｕ（ＢＫ２０１８１４３２）．Ｔｈｅｓｅ ｐｒｏｊｅｃｔｓａｉｍｔｏｅｎｒｉｃｈｔｈｅｌｅａｒｎｉｎｇａｎｄｐｌａｎｎｉｎｇｔｈｅｏｒｙａｎｄ ｄｅｖｅｌｏｐｅｆｆｉｃｉｅｎｔｌｅａｒｎｉｎｇａｎｄｐｌａｎｎｉｎｇａｌｇｏｒｉｔｈｍｓｔｏｅｘｐａｎｄ ｔｈｅｐｏｗｅｒａｎｄａｐｐｌｉｃａｂｉｌｉｔｙｏｆｌｅａｒｎｉｎｇａｎｄｐｌａｎｎｉｎｇａｇｅｎｔｓｉｎ
ｐａｒｔｉａｌｌｙｏｂｓｅｒｖａｂｌｅｓｔｏｃｈａｓｔｉｃｅｎｖｉｒｏｎｍｅｎｔｓ．
１ ５ ３ ２期 林嘉豪等：基于生成对抗网络的模仿学习综述