总结及未来趋势与展望

５１　^总　结

记忆网络是近年来机器学习领域中的新生方 向^，这一方向与传统的机器学习方法的不同在于记 忆网络能够使用独立的存储器使有用的信息保存下

２ ８ ５

１ 计　　算　　机　　学　　报 ２０２１年

《 计

算

机

学

报

》

来^，从而完成需要记忆的任务和推理^，这一方向具有 可期的研究前景，蕴含着巨大的潜在效益．

文章首先指出了记忆网络的发展过程^，以及记 忆网络的具体定义，并对具有历史意义的与记忆网 络相关的学习模型^：ＲＮＮ^、ＬＳＴＭ^、ＮＴＭ^、ＭＮ和变 送器进行了介绍．

在第二部分，我们详细介绍了记忆网络的发展 现状^，目前记忆网络实现记忆功能的方法都各有不 同，比如ＲＮＮ是通过每个状态与前一状态之间的 关系来保留部分过去的信息^；ＬＳＴＭ是通过遗忘门 和记忆门来对重要的信息进行处理；ＮＴＭ使用图 灵机模型来增强神经网络的记忆能力^；ＭＮ则使用 了独立的外部存储器进行信息的记忆^；而变送器抛 弃了传统的ＲＮＮ结构^，仅使用注意力机制来权衡 输入信息对当前输出的重要程度．因此^，我们按照每 个模型实现记忆功能机制的不同类别，对更多的记 忆网络模型进行分类介绍和对比．

除此之外，还有在此基础上新提出的记忆网络 分支模型，比如动态记忆网络以及在视觉和文本问 答系统当中的应用．还有键值记忆网络^，将上下文 向量以键值对的形式保存在存储器中，可以完成知 识库问答和视频内容描述的任务．以及分层记忆网 络，分别从存储器结构、输入文本内容结构以及二叉 树模型结构三个不同的角度来实现不同情境下的记 忆功能．

最后，我们对记忆网络目前的应用场景：自然语 言处理^、计算机视^、语音处理等领域进行了分析和梳 理，可以看到记忆网络现有的主要研究领域还是在 自然语言处理方向^，但依然可以应用于众多冷门的 领域，如医学、网络安全、业务流程等．

随着记忆网络理论与方法研究的深入^，记忆网 络将会更为成熟^，并应用于更多的机器学习场景^，终 将为机器学习领域做出更大的贡献．

５２　^{未来趋势与展望}

作为机器学习领域中的一个新兴方向，记忆网 络近几年来取得了飞速的发展^，因为研究人员都意 识到记忆和学习相比，同样是一个复杂的过程．虽然 现有的记忆网络模型都取得了令人激动的成就，但 是无论是记忆网络本身的模型结构^，还是记忆网络 的算法以及评价标准都是值得研究的问题．而且记 忆网络在各个领域的应用还只是刚刚开始^，依然有 许多未知的领域值得我们去探索．对于记忆网络现 有的问题和未来的发展方向^，我们给出以下一些自 己的想法和见解^：

（１^）目前来说^，记忆网络如果想要实现更精确 的推理，需要对记忆的内容进行更大范围的扩展．如 果可以使用现有数据库中的内容^，添加到记忆网络 的存储器模块中，这样可以大大减少记忆网络的运 算复杂性^，使得记忆网络推广到更多应用领域．

（２^）记忆网络研究的关键问题是输入的查询问 题与存储器中信息的匹配问题，如何定义匹配标准， 如何使得匹配过程计算复杂性更低^，如何能够更准 确地进行信息的匹配，这影响着记忆网络的输出结 果的精度．

（３^）ＭＮ在问答系统的迁移学习上有良好的表 现^，可见迁移学习方法在大数据系统上有应用前景． 依托于ＭＮ的记忆和寻址能力^，它将具有更强的知 识迁移能力．相对于ＬＳＴＭ模型^，ＭＮ的记忆容量 理论上是不受限制的^，因此ＭＮ可以在公共知识库 上进行更好的迁移学习^{［１１１］}．

（４^）人们通常认为遗忘是记忆的负面现象或者 是记忆失效，但是遗忘的真实含义却没有完全被揭 示出来．希伯来大学计算机与神经科学教授Ｔｉｓｈｂｙ 提出了信息瓶颈理论^{［１１２］，}指出神经网络就像把信 息挤出瓶颈口一样，只留下与一般概念最相关的特 征^，去掉大量无用的噪声数据．并且论证了遗忘能够 通过减少过时信息对决策的影响提升了学习的灵活 性^，还阻止了对于特定过去时间记忆信息的过拟合^， 从而提升了模型的通用性．根据这个观点^，记忆的目 标不是通过时间来传递信息，而是应该把记忆看作 最优化决策过程^{［１１３］}．因此神经网络中记忆的短暂 即逝和保持同样重要．所以对于记忆网络来说，如何 从存储器中选择特定信息以便遗忘^，在记忆网络中 如何引入遗忘机制，也是未来的发展方向．

（５^）记忆网络在未来应该探索更复杂的记忆结 构^，来应对更复杂的数据^，比如涉及到多个动词和名 词、具有多样性输出结构的句子，以及需要学习高阶 因果关系或者学习时间和空间关系推理的情况．对 于ＭＮ来说^，应该使用更复杂的记忆管理机制和句 子结构化表示形式进行记忆^，如图结构^，树结构^，空 间暂态结构等，存储器模块也可以考虑加入类似于 ＬＳＴＭ遗忘门^，用来处理无用信息的遗忘结构．

（６^）与记忆网络相对应^，变送器是基于生物学 机制实现记忆功能的神经网络．根据当前的研究进 展^{［２３］，}将循环结构加入变送器弥补了它自身不能捕 获序列依赖关系的缺点．因此记忆网络与变送器具 有互补性^，将二者进行更加深入的研究和结合也是 记忆网络未来的发展方向．

３ ８ ５ ８期 刘建伟等：深度记忆网络研究进展 １

《 计

算

机

学

报

》

（７^）从本文可以看到很多与记忆网络结合的神 经网络模型，特别是记忆能力较弱的ＲＮＮ和 ＬＳＴＭ．这些模型的提出不仅完善了记忆网络^，而且 在此基础上涌现出各种各样的应用．因此，将记忆网 络与现有的其他神经网络进行融合创新^，不仅能提 高原有神经网络模型的记忆能力^，还能丰富记忆网 络的应用种类和领域．

（８^）现有的记忆网络模型性能评价都是基于数 据集或者应用领域的评价标准，并没有统一用来衡 量模型记忆能力的评估方法^，因此只能在特定数据 集上对多个记忆网络模型进行比较．所以，未来记忆 网络模型的统一评估方法亟待建立和完善^，这样有 利于方便地比较不同模型的记忆能力．

（９^）记忆网络的主要应用是在自然语言处理领 域中^，但是由于语言的多义性^，如何在对自然语言处 理的过程中正确地推断出真实表达的含义，这也是 需要解决的问题之一．

（１０^）在计算机视觉领域，记忆网络的主要应用 还是在一些与文本有关的内容，比如视频问答、字幕 生成^、视频内容描述等．因此^，可以将记忆网络与 ＣＮＮ结合用于更多的计算机视觉领域^，甚至可以与 当前最新的ＧＡＮ相结合^{［９０］，}获得更好的处理图像 和视频的能力．

（１１^）在语音处理领域^，记忆网络的应用还不够 丰富^，因此^，未来可能更多地将记忆网络与现有的语 音处理模型相结合，使语音处理模型具有更好的记 忆能力^，从而获得更好的性能．

（１２^）随着这两年机器学习领域的快速发展，人 工智能也不断走进我们的生活^，比如智能家居^、语言 助手、无人驾驶等，人工智能的发展离不开机器学习 模型的记忆能力．因此^，如何加速人工智能模型与记 忆网络的融合^，让记忆网络的优势在人工智能领域 充分发挥出来，这也是记忆网络未来的发展方向．

（１３^）记忆网络已经开始应用于各个行业^，比如 医学^{［１００１０２］}、网络安全^{［１０３］}、业务流程分析^{［１０７］}等等， 可以说记忆网络将会在各行各业崭露头角．但是^，记 忆网络在这些行业的应用才刚刚起步，因此如何改 进记忆网络来适应这些不同的行业应用，也是记忆 网络未来的发展方向．

（１４^）记忆网络还可以应用于工业生产，比如机 器设备的故障诊断预测．将设备过去的工作状态和 故障状态作为记忆网络的记忆，以设备当前的运 行参数作为序列输入^，通过记忆网络对当前输入 和过去运行状态进行分析推理^，可以在设备发生

故障之前就进行预测^，并紧急停车进行检修．这一 应用若能成功实现，将会为工业生产领域带来巨大 的经济效益．

（１５^）记忆网络研究的问题本质上是如何选择 参与到预测输出的输入特征问题^，既要考虑到过往 收集到的有用信息，同时，又不能引入过大的存储复 杂性和访问复杂性^，应该开发自适应调度策略^，根 据学习场景的变化^，按信息收集的时间粒度和信 息的有用性粒度，动态地分层次存储信息，使得很 快地就能定位到对当前输出最有用的特征上．存 储单元的大小应能动态变化^，存储的信息也要定时 的调整更新，不但存储以前学习到的特征，也要存储 以前学习到的结果^，像人一样^，根据以往学习的结 果^，不用太多的学习^，就能很快地识别和推理出想要 的预测结果．

（１６^）人类的记忆具有联想、类比、匹配、排序等 功能^，而且^，不限定学习到的结果的使用范围．不一 定学习到的文字理解，就不能用于图像内容理解；人 类到了一个陌生的环境，可以根据以往到过的地方， 大致事先给出环境可能包含的物体和物体之间关系 的大致轮廓^，如何使得记忆网络能够记住抽象的概 念，以及抽象的概念之间的可能关系组合，而不单单 是低层次的特征^，而且这些概念以什么形式存储^，都 是值得认真思考的问题．

从以上的分析可以看出，记忆网络的发展越来 越快^，应用领域也越来越广泛^，并且在各个领域的模

从以上的分析可以看出，记忆网络的发展越来 越快^，应用领域也越来越广泛^，并且在各个领域的模