４
４ 计 算 机 学 报 ２０２１年
《 计
算 机
学 报
》
不需要函数的连续性；（２）全局寻优；（３）并行性，从 多个点开始寻优，容易获得最优解．这些特点可以解 决深度学习中遇到的问题．
同时进化算法和深度学习类似，也能够从可用 的计算和大数据中得到提升．然而，它解决了一个截 然不同的需求：深度学习侧重于建模我们已知的知 识，而进化算法则专注于创建新的知识．从这个意义 上讲，对特定的新任务，来创建对应的新知识正是元 学习的目标．因此，将进化算法与深度学习结合，是 元学习未来的研究方向之一．
５．２．３ 元学习可解释性
广义上的可解释性是指在学习或者解决一个问 题时，可以获得所需要的足够的可以理解的信息．如 果我们无法获得足够的信息，那么这个学习或者问 题是不可解释的．元学习通过利用先验信息可以把 部分不可解释的问题转化为可解释问题，研究元学 习，是研究深度学习可解释性自然的方法．
２０１９年图灵奖的获得者Ｂｅｎｇｉｏ在２０１９年初新 发表的文章“ＡＭｅｔａＴｒａｎｓｆｅｒＯｂｊｅｃｔｉｖｅｆｏｒＬｅａｒｎ ｉｎｇｔｏＤｉｓｅｎｔａｎｇｌｅＣａｕｓａｌＭｅｃｈａｎｉｓｍｓ”［７１］中提出
了一种基于学习器适应稀疏分布变换速度的元学习 因果结构．这篇文章阐述了如何确定两个观察到的 变量之间的因果关系．而且还证明了因果结构可以 通过连续变量和端到端的学习进行参数化．这篇文 章就是未来从可解释性方面研究的典型．
其次本文在贝叶斯学习中提到的ＭＬＡＰ模型 的文章中作者结合ＰＡＣＢａｙｅｓ即可计算理论对元 学习也作出了相应的解释研究．综上所述元学习的 可解释性问题上取得了一定的成果但仍然只是初级 阶段还有很多值得研究的方向．
５．２．４ 元学习连续性
元学习的目的之一便是通过掌握一定具有共通 性的基础知识，实现对新任务的快速学习，在对新任 务的持续学习过程中，可将待学习数据看作已学习 数据内容的延续或其子集，即新接触任务均由已有 任务数据组合而成，如何有效利用已有数据本身而 非通过已有数据学习的网络参数加强对新任务的学 习能力是可提升元学习能力的自然思路．
５．２．５ 元学习可扩展性
可拓展性实际上是和并行算法以及并行计算机 体系结构放在一起讨论的．元学习算法在某个机器 上的可拓展性反映该算法是否能有效利用不断增加 的ＣＰＵ．研究元学习算法可扩展性的目的就是要使 算法尽可能的利用最多的处理器，并且我们也可以
预测当元学习算法移植到大规模处理机上后的运行 效果（即问题规模扩大时对处理器的利用情况）．元 学习未来在这一方面的研究重点在于如何有效利用 更多的计算资源来解决更大规模的问题．
参考文献
［１］ＭｎｉｈＶ，ＫａｖｕｋｃｕｏｇｌｕＫ，ＳｉｌｖｅｒＤ，ｅｔａｌ．Ｈｕｍａｎｌｅｖｅｌ ｃｏｎｔｒｏｌｔｈｒｏｕｇｈｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ．Ｎａｔｕｒｅ，２０１５， ５１８（７５４０）：５２９５３３
［２］ＳｉｌｖｅｒＤ，ＳｃｈｒｉｔｔｗｉｅｓｅｒＪ，ＳｉｍｏｎｙａｎＫ，ｅｔａｌ．Ｍａｓｔｅｒｉｎｇｔｈｅ ｇａｍｅｏｆｇｏｗｉｔｈｏｕｔｈｕｍａｎｋｎｏｗｌｅｄｇｅ．Ｎａｔｕｒｅ，２０１７，５５０（７６７６）： ３５４３５９
［３］ＫｒｉｚｈｅｖｓｋｙＡ，ＳｕｔｓｋｅｖｅｒＩ，ＨｉｎｔｏｎＧＥ．Ｉｍａｇｅｎｅｔｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏｆ ｔｈｅＡＣＭ，２０１７，６０（６）：８４９０
［４］ＨｅＫ，ＺｈａｎｇＸ，ＲｅｎＳ，ｅｔａｌ．Ｄｅｅｐｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇｆｏｒ ｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＬａｓＶｅｇａｓ， ＵＳＡ，２０１６：７７０７７８
［５］ＳｉｍｏｎｙａｎＫ，ＺｉｓｓｅｒｍａｎＡ．Ｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ ｆｏｒｌａｒｇｅｓｃａｌｅｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １４０９．１５５６，２０１４
［６］ＬａｋｅＢ，ＳａｌａｋｈｕｔｄｉｎｏｖＲ，ＧｒｏｓｓＪ，ｅｔａｌ．Ｏｎｅｓｈｏｔｌｅａｒｎｉｎｇ ｏｆｓｉｍｐｌｅｖｉｓｕａｌｃｏｎｃｅｐｔｓ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆｔｈｅＣｏｇｎｉｔｉｖｅＳｃｉｅｎｃｅＳｏｃｉｅｔｙ，２０１１，３３（３３）：２５６８２５７３
［７］ＬｉＦｅｉＦｅｉ，ＦｅｒｇｕｓＲ，ＰｅｒｏｎａＰ．Ｏｎｅｓｈｏｔｌｅａｒｎｉｎｇｏｆｏｂｊｅｃｔ ｃａｔｅｇｏｒｉｅｓ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄ
ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００６，２８（４）：５９４６１１
［８］ＬａｍｐｅｒｔＣＨ，ＮｉｃｋｉｓｃｈＨ，ＨａｒｍｅｌｉｎｇＳ．Ａｔｔｒｉｂｕｔｅｂａｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎｆｏｒｚｅｒｏｓｈｏｔｖｉｓｕａｌｏｂｊｅｃｔｃａｔｅｇｏｒｉｚａｔｉｏｎ．ＩＥＥＥ ＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ， ２０１３，３６（３）：４５３４６５
［９］ＥｄｗａｒｄｓＨ，ＳｔｏｒｋｅｙＡ．Ｔｏｗａｒｄｓａｎｅｕｒａｌｓｔａｔｉｓｔｉｃｉａｎ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔａｒＸｉｖ：１６０６．０２１８５，２０１６
［１０］ＶｉｎｙａｌｓＯ，ＢｌｕｎｄｅｌｌＣ，ＬｉｌｌｉｃｒａｐＴ，ｅｔａｌ．Ｍａｔｃｈｉｎｇ ｎｅｔｗｏｒｋｓｆｏｒｏｎｅｓｈｏｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓ ｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，
２０１６：３６３０３６３８
［１１］ＳａｎｔｏｒｏＡ，ＢａｒｔｕｎｏｖＳ，ＢｏｔｖｉｎｉｃｋＭ，ｅｔａｌ．Ｍｅｔａｌｅａｒｎｉｎｇ ｗｉｔｈｍｅｍｏｒｙａｕｇｍｅｎｔｅｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｎｅｗ
Ｙｏｒｋ，ＵＳＡ，２０１６：１８４２１８５０
［１２］Ｋａｉｓｅｒ，ＮａｃｈｕｍＯ，ＲｏｙＡ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｔｏｒｅｍｅｍｂｅｒ ｒａｒｅｅｖｅｎｔｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１７０３．０３１２９，２０１７
［１３］ＫｏｃｈＧ，ＺｅｍｅｌＲ，ＳａｌａｋｈｕｔｄｉｎｏｖＲ．Ｓｉａｍｅｓｅｎｅｕｒａｌｎｅｔｗｏｒｋｓ ｆｏｒｏｎｅｓｈｏｔｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ／／ＩＣＭＬＤｅｅｐＬｅａｒｎｉｎｇＷｏｒｋ ｓｈｏｐ．Ｌｉｌｌｅ，Ｆｒａｎｃｅ，２０１５，２
［１４］ＦｉｎｎＣ，ＡｂｂｅｅｌＰ，ＬｅｖｉｎｅＳ．Ｍｏｄｅｌａｇｎｏｓｔｉｃｍｅｔａｌｅａｒｎｉｎｇ ｆｏｒｆａｓｔａｄａｐｔａｔｉｏｎｏｆｄｅｅｐｎｅｔｗｏｒｋｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７０３．０３４００，２０１７
３ ４ ２期 李凡长等：元学习研究综述 ４
《 计
算 机
学 报
》
［１５］ＭｕｎｋｈｄａｌａｉＴ，ＹｕＨ．Ｍｅｔａｎｅｔｗｏｒｋｓ．Ｐｒｏｃｅｅｄｉｎｇｓｏｆ
［４５］ＦｏｒｔＳ．Ｇａｕｓｓｉａｎｐｒｏｔｏｔｙｐｉｃａｌｎｅｔｗｏｒｋｓｆｏｒｆｅｗｓｈｏｔｌｅａｒｎｉｎｇ
犅犪犮犽犵狉狅狌狀犱
Ｍｅｔａｌｅａｒｎｉｎｇｉｓｃｕｒｒｅｎｔｌｙａｒｅｓｅａｒｃｈｈｏｔｓｐｏｔｔｈａｔａｉｍｓ ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｓｏｆｔｒａｄｉｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ ｗｈｉｃｈｒｅｑｕｉｒｅｓａｌａｒｇｅａｍｏｕｎｔｏｆｔｒａｉｎｉｎｇｄａｔａａｎｄｉｔｅｒａｔｉｖｅ ｓｔｅｐｓ，ａｎｄｐｅｒｆｏｒｍｓｐｏｏｒｌｙｏｎｌｅｓｓｓａｍｐｌｅｔｒａｉｎｉｎｇｄａｔａ ｔａｓｋｓ；ｃａｎｎｏｔｓｈａｒｅｔｈｅｅｘｐｅｒｉｅｎｃｅｇａｉｎｅｄｆｒｏｍｔｒａｉｎｉｎｇ ｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔｔａｓｋｓ；ｉｓｐｏｏｒｔｏａｄａｐｔｔｏｎｅｗｔｙｐｅｓｏｆ ｔａｓｋｓ，ａｎｄｅａｃｈｔｉｍｅｈａｖｅｔｏｓｔａｒｔｔｒａｉｎｉｎｇｆｒｏｍｓｃｒａｔｃｈ．Ｔｈｅ ｔｒａｉｎｉｎｇａｎｄｔｅｓｔｉｎｇｐｒｏｃｅｓｓｏｆｍｅｔａｌｅａｒｎｉｎｇｃａｎｂｅａｎａｌｏｇｉｚｅｄ ｔｏｔｈｅｆａｃｔｔｈａｔｈｕｍａｎｓｃａｎｑｕｉｃｋｌｙｌｅａｒｎａｎｄａｄａｐｔｔｏｎｅｗ ｔａｓｋｓａｆｔｅｒｍａｓｔｅｒｉｎｇｓｏｍｅｂａｓｉｃｓｋｉｌｌｓ．Ｆｏｒｅｘａｍｐｌｅ，ｃｈｉｌｄｒｅｎ ｃａｎｑｕｉｃｋｌｙｒｅｃｏｇｎｉｚｅｔｈｅａｎｉｍａｌｔｈｒｏｕｇｈｏｎｅｐｈｏｔｏｏｆａｎ ａｎｉｍａｌ，ｃｏｒｒｅｓｐｏｎｄｉｎｇｔｏＦｅｗｓｈｏｔｌｅａｒｎｉｎｇｉｎｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ；Ｅｖｅｎｗｉｔｈｏｕｔｔｈｅｎｅｅｄｆｏｒｉｍａｇｅｐｈｏｔｏｇｒａｐｈｓ， ｈｕｍａｎｓｃａｎｌｅａｒｎｔｏｒｅｃｏｇｎｉｚｅｎｅｗｔｙｐｅｓｊｕｓｔｂｙｄｅｓｃｒｉｐｔｉｏｎ， ｃｏｒｒｅｓｐｏｎｄｉｎｇｔｏｔｈｅＺｅｒｏｓｈｏｔＬｅａｒｎｉｎｇｉｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇ． Ｔｈｅｂａｓｉｃｋｎｏｗｌｅｄｇｅｏｆｔｈｅｗｏｒｌｄａｎｄｔｈｅｃｏｇｎｉｔｉｖｅｂａｓｉｓ ｏｆｂｅｈａｖｉｏｒｐａｔｔｅｒｎｓｔｈａｔｈｕｍａｎｓｈａｖｅｍａｓｔｅｒｅｄｉｎｅａｒｌｙ ｃｈｉｌｄｈｏｏｄｃｏｒｒｅｓｐｏｎｄｔｏｔｈｅｃｏｎｃｅｐｔｏｆ“ｍｅｔａ”ｉｎｍｅｔａｌｅａｒｎｉｎｇ，
ｔｈａｔｉｓ，ａｎｉｎｉｔｉａｌｎｅｔｗｏｒｋｗｉｔｈｓｔｒｏｎｇｇｅｎｅｒａｌｉｚａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ ａｎｄａｒａｐｉｄａｄａｐｔｉｖｅｌｅａｒｎｉｎｇａｂｉｌｉｔｙｆｏｒｎｅｗｔａｓｋｓ．Ｔｈｅ ｐｕｒｐｏｓｅｏｆｍｅｔａｌｅａｒｎｉｎｇｉｓｔｏｄｅｓｉｇｎａｍａｃｈｉｎｅｌｅａｒｎｉｎｇ ｍｏｄｅｌｔｈａｔｈａｓａｌｅａｒｎｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｓｉｍｉｌａｒｔｏｔｈａｔ ｍｅｎｔｉｏｎｅｄａｂｏｖｅ，ｔｈａｔｉｓ，ｕｓｉｎｇａｓｍａｌｌａｍｏｕｎｔｏｆｓａｍｐｌｅ ｄａｔａｔｏｑｕｉｃｋｌｙｌｅａｒｎｎｅｗｃｏｎｃｅｐｔｓｏｒｓｋｉｌｌｓ，ａｎｄｌｅａｒｎ
“Ｌｅａｒｎｉｎｇｔｏｌｅａｒｎ”．
ＴｈｉｓｐａｐｅｒｉｓｓｕｐｐｏｒｔｅｄｂｙｔｈｅＫｅｙＳｐｅｃｉａｌＰｒｏｊｅｃｔ ｏｆｔｈｅＮａｔｉｏｎａｌＫｅｙＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔＰｒｏｇｒａｍ
“ＫｅｙＳｃｉｅｎｔｉｆｉｃＩｓｓｕｅｓｏｆＴｒａｎｓｆｏｒｍａｔｉｖｅＴｅｃｈｎｏｌｏｇｙ”
（２０１８ＹＦＡ０７０１７００，２０１８ＹＦＡ０７０１７０１）．
Ｉｎｔｈｉｓｐａｐｅｒ，ｆｉｒｓｔ，ｗｅｃｌａｒｉｆｙｔｈｅｃｕｒｒｅｎｔｍｅｔａｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈａｄｖａｎｃｅｓｉｎｄｉｆｆｅｒｅｎｔｄｉｒｅｃｔｉｏｎｓ，ｓｕｍｍａｒｉｚｅｔｈｅ ｃｏｍｍｏｎｔｈｏｕｇｈｔｓａｎｄｅｘｉｓｔｉｎｇｐｒｏｂｌｅｍｓ，ｔｈｅｎｃｌａｓｓｉｆｙａｎｄ ｄｅｓｃｒｉｂｅｔｈｅｒｅｓｅａｒｃｈｉｄｅａｓｏｆｍｅｔａｌｅａｒｎｉｎｇｗｉｔｈｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ．Ｆｉｎａｌｌｙ，ｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｔｈｅｃｏｍｍｏｎｌｙｕｓｅｄ ｄａｔａｓｅｔｓａｎｄｅｖａｌｕａｔｉｏｎｃｒｉｔｅｒｉａｉｎｍｅｔａｌｅａｒｎｉｎｇｒｅｓｅａｒｃｈ，ａｎｄ ｆｏｒｅｃａｓｔｓｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｓｏｆｍｅｔａｌｅａｒｎｉｎｇ．
６ ４
４ 计 算 机 学 报 ２０２１年