基 于 可 解 释 基 拆 解 和 知 识 图 谱 的 深 度 神 经 网 络 可 视 化

书 书 书

第４４卷　第９期

２０２１年９月 计　　算　　机　　学　　报

ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ ^{Ｖｏｌ．Ｓ４ｅ４Ｎｐｔ．２ｏ０．２９１} 　

收稿日期：２０２００８１２^；在线发布日期：２０２０１２２１．本课题得到国家重点研究计划（２０１７ＹＦＢ０２０２００４^）、软件开发环境国家重点实验室课 题（ＳＫＬＳＤＥ２０２０ＺＸ１５^）和国家自然科学基金青年项目（１１７０１５４５^，６１７７２０５３^）资助．阮　^利，博士，硕士生导师，研究领域为ＡＩ安全、时 序分析、知识图谱和分布式系统．Ｅｍａｉｌ^：ｒｕａｎｌｉ＠ｂｕａａ．ｅｄｕ．ｃｎ．温莎莎，学士，研究方向为知识图谱．牛易明，本科生，研究方向为知识图 谱．^李绍宁，本科生，主要研究方向为时序分析、网络安全．^薛云志，博士，研究员，主要研究领域为可信赖人工智能、人工智能测试与评 估、知识图谱．阮　^涛，硕士，助理研究员，研究方向为国内外专利翻译等．肖利民，博士，教授，研究领域为高性能计算、分布式系统．

基 于 可 解 释 基 拆 解 和 知 识 图 谱 的 深 度 神 经 网 络 可 视 化

阮 　 ^利

　 ^温莎莎

　 ^牛易明

　 ^李绍宁

　 ^薛云志

　 ^{阮 　 涛}

　 ^肖利民

（软件开发环境国家重点实验室　北京　１００１９１^）

２^）（北京航空航天大学计算机学院　北京　１００１９１^）

３^）（中国科学院软件研究所　北京　１００１９０^）

４）（中国专利信息中心　北京　１０００８８^）

摘　^要　近年来^，以卷积神经网络（ＣＮＮ）等为代表的深度学习模型，以其深度分层学习，无标签化学习等优势，已 在图像识别为代表的各个领域得到日益广泛的应用．然而，深度神经网络模型由于其内在的黑盒原理，对其内部工 作机制的解释仍然面临巨大挑战，其可解释性问题已成为了研究界和工业界的前沿性热点研究课题．针对现有研 究存在的缺乏基于图谱的可解释性方法的问题，以及可解释基模型的图谱构建优势，本文提出了一种基于可解释 基拆解和知识图谱的深度神经网络可视化方法．首先采用一种面向可解释基模型特征拆解结构的知识图谱构建方 法，构建了场景和解释特征之间的解释关系和并列关系等图谱信息；利用场景特征的解释关系网络，提出了一种 基于Ｊａｃｃａｒｄ系数的场景间相似度聚类方法；针对现有可解释基模型对相似的场景，其解释特征重合率可能很高的 问题，提出了一种基于场景的判别性特征提取方法，在特征拆解结果中能对每一类样本分别提取出能够区别此类 和其他类并且拥有同等重要性的拆解特征（即判别性特征）；针对现有可解释基的深度网络可视化测试缺乏保真度 测试的问题，提出了一种适于深度神经网络的保真度测试方法．保真度测试和人类置信度测试，均表明本文所提方 法可取得优异效果．

关键词　深度神经网络^；可视化；可解释基拆解模型；知识图谱；解释深度学习模型 中图法分类号ＴＰ３９１　　　犇犗犐号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２１．０１７８６

犇 犲 犲 狆 犖 犲 狌 狉 犪 犾 犖 犲 狋 狑 狅 狉 犽 犞 犻 狊 狌 犪 犾 犻 狕 犪 狋 犻 狅 狀 犅 犪 狊 犲 犱 狅 狀 犐 狀 狋 犲 狉 狆 狉 犲 狋 犪 犫 犾 犲 犅 犪 狊 犻 狊 犇 犲 犮 狅 犿 狆 狅 狊 犻 狋 犻 狅 狀 犪 狀 犱 犓 狀 狅 狑 犾 犲 犱 犵 犲 犌 狉 犪 狆 犺

ＲＵＡＮＬｉ^{１），２）}　ＷＥＮＳｈａＳｈａ^２）　ＮＩＵＹｉＭｉｎｇ^２）　ＬＩＳｈａｏＮｉｎｇ^２）　ＸＵＥＹｕｎＺｈｉ^３） ＲＵＡＮＴａｏ^４）　ＸＩＡＯＬｉＭｉｎ^{１），２）}

１）（犛狋犪狋犲犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犛狅犳狋狑犪狉犲犇犲狏犲犾狅狆犿犲狀狋犈狀狏犻狉狅狀犿犲狀狋^，犅犲犻犼犻狀犵　１００１９１^）

２^）（犛犮犺狅狅犾狅犳犆狅犿狆狌狋犲狉犛犮犻犲狀犮犲犪狀犱犈狀犵犻狀犲犲狉犻狀犵^，犅犲犻犺犪狀犵犝狀犻狏犲狉狊犻狋狔^，犅犲犻犼犻狀犵　１００１９１^）

３^）（犐狀狊狋犻狋狌狋犲狅犳犛狅犳狋狑犪狉犲^，犆犺犻狀犲狊犲犃犮犪犱犲犿狔狅犳犛犮犻犲狀犮犲狊^，犅犲犻犼犻狀犵　１００１９０^）

４）（犆犺犻狀犪犘犪狋犲狀狋犐狀犳狅狉犿犪狋犻狅狀犆犲狀狋犲狉^，犅犲犻犼犻狀犵　１０００８８^）

犃犫狊狋狉犪犮狋　Ｒｅｃｅｎｔｌｙ^，ｏｗｉｎｇｔｏｔｈｅａｄｖａｎｔａｇｅｓｏｆｄｅｅｐｌａｙｅｒｅｄｌｅａｒｎｉｎｇａｎｄｕｎｌａｂｅｌｅｄｌｅａｒｎｉｎｇ^， ｅｔｃ．^，ｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓｒｅｐｒｅｓｅｎｔｅｄｂｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ^，ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ^， ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ^，ｈａｖｅｇａｉｎｅｄｉｎｃｒｅａｓｉｎｇａｐｐｌｉｃａｔｉｏｎｓｉｎｖａｒｉｏｕｓｆｉｅｌｄｓ^，ｓｕｃｈａｓｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ^，ｖｉｄｅｏ^，ａｎｄｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｔｏａｃｈｉｅｖｅｔｈｅｈｉｇｈｔｒａｎｓｐａｒｅｎｃｙａｎｄｓｅｃｕｒｉｔｙ ａｓｓｕｒａｎｃｅｏｆｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓ^，ｔｈｅｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｒｅｓｅａｒｃｈｏｆｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓｉｓｏｆ ｇｒｅａｔｔｈｅｏｒｅｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅａｎｄｉｎｄｕｓｔｒｉａｌａｐｐｌｉｃａｔｉｏｎｖａｌｕｅａｎｄｒｅｃｅｎｔｌｙｇａｉｎｓｉｎｃｒｅａｓｉｎｇｌｙ ａｔｔｅｎｔｉｏｎ．Ｈｏｗｅｖｅｒ^，ｂｅｃａｕｓｅｏｆｔｈｅｉｎｔｒｉｎｓｉｃｂｌａｃｋｂｏｘｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓ^，

《 计

算

机

学

报

》

ｔｈｅｉｎｔｅｒｐｒｅｔａｔｉｏｎｏｆｉｔｓｉｎｔｅｒｎａｌｓｔｒｕｃｔｕｒｅａｎｄｔｈｅｒｕｎｎｉｎｇｍｅｃｈａｎｉｓｍｉｓｓｔｉｌｌｏｆｇｒｅａｔｃｈａｌｌｅｎｇｅｓ^， ｉｎｃｌｕｄｉｎｇｔｈｅｒｉｇｏｒｏｕｓｔｈｅｏｒｅｔｉｃａｌｒｅｓｕｌｔｓｏｒｉｇｉｎａｔｅｄｆｒｏｍｔｈｅｍａｎｕａｌｏｂｓｅｒｖａｔｉｏｎｓｏｆｌａｒｇｅｓｃａｌｅ ｔｒａｉｎｉｎｇａｎｄｔｅｓｔｉｎｇｓｅｔ^，ａｎｄｓｃａｒｃｅａｐｐｒｏｐｒｉａｔｅｅｘｐｌａｎａｔｉｏｎｏｆｔｈｅｌｅａｒｎｉｎｇｒｅｓｕｌｔｓｂａｓｅｄｏｎｔｈｅ ｈｕｍａｎｕｎｄｅｒｓｔａｎｄｉｎｇ．Ｍｏｒｅｏｖｅｒ^，ｍｏｓｔｏｆｔｈｅｅｘｉｓｔｉｎｇｒｅｓｅａｒｃｈｅｓａｎａｌｙｚｉｎｇｔｈｅｄｅｃｉｓｉｏｎｍａｋｉｎｇ ｐｒｏｃｅｓｓｏｆｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓｏｎｌｙｆｒｏｍａｌｏｃａｌｐｅｒｓｐｅｃｔｉｖｅａｎｄｌａｃｋｓａｇｒａｐｈｉｃａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂａｓｅｄｏｎｔｈｅｏｖｅｒａｌｌｕｎｄｅｒｓｔａｎｄｉｎｇ．Ｏｎｔｈｅｏｔｈｅｒｈａｎｄ^，ｔｈｅｉｎｔｅｒｐｒｅｔａｂｌｅｂａｓｉｓｄｅｃｏｍｐｏｓｉｔｉｏｎ

（ＩＢＤ^）ｍｏｄｅｌｈａｓｔｈｅａｄｖａｎｔａｇｅｓｔｈａｔｉｔｓｉｎｔｅｒｐｒｅｔａｔｉｏｎｒｅｓｕｌｔｉｓｎｏｔｏｎｌｙａｓｔｒｉｃｔｃｏｒｒｅｓｐｏｎｄｉｎｇ ｒｅｌａｔｉｏｎｆｒｏｍｓｃｅｎｅｔｏｆｅａｔｕｒｅ^，ｂｕｔａｌｓｏｉｓａｋｉｎｄｏｆｓｅｍｉｓｔｒｕｃｔｕｒｅｄｄａｔａｗｈｉｃｈｃａｎｆａｃｉｌｉｔａｔｅＩＢＤ ｂａｓｅｄｋｎｏｗｌｅｄｇｅｍａｐｃｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍｉｔ．Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｔｈａｔｅｘｉｓｔｉｎｇｄｅｅｐｎｅｕｒａｌ ｎｅｔｗｏｒｋｖｉｓｕａｌｉｚａｔｉｏｎｒｅｓｅａｒｃｈｅｓｌａｃｋｓｔｈｅｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｂａｓｅｄｏｎｔｈｅｋｎｏｗｌｅｄｇｅｍａｐａｎｄｔｈｅ ｗｅｌｌｓｕｉｔｅｄｋｎｏｗｌｅｄｇｅｍａｐｒｅｐｒｅｓｅｎｔａｂｉｌｉｔｙｏｆＩＢＤ^，ｗｅｐｒｏｐｏｓｅａｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｖｉｓｕａｌｉｚａｔｉｏｎ ａｐｐｒｏａｃｈｂａｓｅｄｏｎｉｎｔｅｒｐｒｅｔａｂｌｅｂａｓｉｓｄｅｃｏｍｐｏｓｉｔｉｏｎａｎｄｋｎｏｗｌｅｄｇｅｍａｐ^，ｗｈｉｃｈｆｕｌｌｙｔａｋｅｓｔｈｅ ａｄｖａｎｔａｇｅｏｆｍａｐｃｏｎｓｔｒｕｃｔｉｏｎａｂｉｌｉｔｙｏｆｉｎｔｅｒｐｒｅｔａｂｌｅｂａｓｉｓｄｅｃｏｍｐｏｓｉｔｉｏｎ．Ｆｉｒｓｔｌｙ^，ｗｅｐｒｏｐｏｓｅａ ｋｎｏｗｌｅｄｇｅｍａｐｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｆｅａｔｕｒｅｄｅｃｏｍｐｏｓｉｔｉｏｎｓｔｒｕｃｔｕｒｅｏｆＩＢＤ^，ｗｈｉｃｈ ｃｏｎｓｔｒｕｃｔｓｔｈｅｍａｐｉｎｆｏｒｍａｔｉｏｎ^，ｓｕｃｈａｓｔｈｅｉｎｔｅｒｐｒｅｔａｔｉｏｎｒｅｌａｔｉｏｎｓｈｉｐａｎｄｊｕｘｔａｐｏｓｉｔｉｏｎ ｒｅｌａｔｉｏｎｓｈｉｐ^，ｂｅｔｗｅｅｎｔｈｅｓｃｅｎｅａｎｄｔｈｅｉｎｔｅｒｐｒｅｔａｂｌｅｆｅａｔｕｒｅ．Ｔｈｅｎ^，ａｓｉｍｉｌａｒｉｔｙｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｂｅｔｗｅｅｎｓｃｅｎｅｓｕｓｉｎｇＪａｃｃａｒｄｃｏｅｆｆｉｃｉｅｎｔｂａｓｅｄｏｎｔｈｅｉｎｔｅｒｐｒｅｔａｔｉｏｎｒｅｌａｔｉｏｎｎｅｔｗｏｒｋｏｆ ｓｃｅｎｅｓａｎｄｆｅａｔｕｒｅｓｉｓｐｒｏｐｏｓｅｄ．Ｂａｓｅｄｏｎａｓｃｅｎｅｄｉｓｃｒｉｍｉｎａｎｔｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄ^，ｔｈｅ ｄｅｃｏｍｐｏｓｅｄｆｅａｔｕｒｅｓｔｈａｔｃａｎｄｉｓｔｉｎｇｕｉｓｈｔｈｉｓｃｌａｓｓｆｒｏｍｏｔｈｅｒｃｌａｓｓｅｓａｒｅｅｘｔｒａｃｔｅｄｆｒｏｍｅａｃｈｔｙｐｅ ｏｆｓａｍｐｌｅ^，ｎａｍｅｌｙｄｉｓｃｒｉｍｉｎａｎｔｆｅａｔｕｒｅｓ．Ｍｅａｎｗｈｉｌｅ^，ｗｅｑｕａｎｔｉｆｙｔｈｅａｃｃｕｒａｃｙｏｆｄｉｓｃｒｉｍｉｎａｎｔ ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｂｙｍｅａｎｓｏｆｍａｎｕａｌｅｖａｌｕａｔｉｏｎｂｙｅｘｐｌｏｒｉｎｇｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔ ｍｏｄｅｌｓ^’ｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｔｈｅｒｅｃｏｇｎｉｔｉｏｎｔａｒｇｅｔａｎｄｔｈａｔｏｆｈｕｍａｎｂｅｉｎｇｓ．Ｆｕｒｔｈｅｒｍｏｒｅ^，ａｆｉｄｅｌｉｔｙ ｔｅｓｔｍｅｔｈｏｄｆｏｒｄｅｅｐｎｅｔｗｏｒｋｈａｓｂｅｅｎｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔｅｘｉｓｔｉｎｇｒｅｓｅａｒｃｈｌａｃｋｓ ｆｉｄｅｌｉｔｙｔｅｓｔ．Ｗｅｃｏｍｂｉｎｅｔｈｅｍｕｌｔｉｆｅａｔｕｒｅｔｈｅｒｍａｌｓｐｅｃｔｒｏｇｒａｍｓｉｎｔｏａｃｏｍｐｒｅｈｅｎｓｉｖｅｃｈａｒａｃｔｅｒｉｓｔｉｃ ｔｈｅｒｍａｌｓｐｅｃｔｒｏｇｒａｍ^，ａｎｄｔｈｅｎｕｓｅｔｈｅＨａｄｍａｇｐｒｏｄｕｃｔｔｏｒｅｆｕｓｅｔｈｅｃｏｍｐｒｅｈｅｎｓｉｖｅｃｈａｒａｃｔｅｒｉｓｔｉｃ ｔｈｅｒｍａｌｓｐｅｃｔｒｏｇｒａｍｗｉｔｈｔｈｅｏｒｉｇｉｎａｌｉｍａｇｅｔｏｏｂｔａｉｎｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｆｕｓｉｏｎｓｐｅｃｔｒｏｇｒａｍ．Ｔｈｅ ｌｕｍｉｎａｎｃｅｌａｂｅｌｅｄｄｅｐｔｈｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｏｆｆｅａｔｕｒｅｆｕｓｉｏｎｍａｐｗａｓｕｓｅｄｔｏ ｉｄｅｎｔｉｆｙｔｈｅｔａｒｇｅｔｌｏｃａｔｉｏｎｐｉｘｅｌａｒｅａ^，ａｎｄｔｈｅｔａｒｇｅｔｌｏｃａｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｒｍａｌｓｐｅｃｔｒｕｍｍａｐｗａｓ ｍｅａｓｕｒｅｄｂｙｃｏｍｐａｒｉｎｇｔｈｅｄｅｖｉａｔｉｏｎｏｆｉｎｐｕｔｏｒｉｇｉｎａｌｍａｐａｎｄｆｅａｔｕｒｅｆｕｓｉｏｎｍａｐｔｏｔｈｅｍｏｄｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎａｂｉｌｉｔｙ^，ｓｏａｓｔｏｏｂｔａｉｎｔｈｅｆｉｄｅｌｉｔｙｏｆｔｈｅｉｎｔｅｒｐｒｅｔａｂｌｅｂａｓｉｓｄｅｃｏｍｐｏｓｉｔｉｏｎｍｏｄｅｌ． Ｂｏｔｈｔｈｅｆｉｄｅｌｉｔｙｔｅｓｔａｎｄｔｈｅｈｕｍａｎｃｏｎｆｉｄｅｎｃｅｔｅｓｔｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎａｃｈｉｅｖｅ ｅｘｃｅｌｌｅｎｔｒｅｓｕｌｔｓ．

犓犲狔狑狅狉犱狊　ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ^；ｖｉｓｕａｌｉｚａｔｉｏｎ^；ｉｎｔｅｒｐｒｅｔａｂｌｅｂａｓｉｓｄｅｃｏｍｐｏｓｉｔｉｏｎ^；ｋｎｏｗｌｅｄｇｅ ｍａｐ^；ｉｎｔｅｒｐｒｅｔｉｎｇｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓ

１ 　 ^{引 　 言}

近年来，以深度神经网络（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ^， ＤＮＮ^）、卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ^， ＣＮＮ^{）［１］、}循环神经网络^（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ^， ＲＮＮ^）［２］等为代表的深度学习模型以其深度分层学

习、无标签化学习模型等优势，已在计算机视觉、语 音识别^、自然语言处理为代表的各个领域都得到日

益广泛的应用．

近年来^，随着深度学习应用领域的不断拓展^，作 为制约深度学习更深入和长远应用的瓶颈，可解释 性问题受到各领域研究者的日益广泛的重视^{［３４］}．深 度学习的模型学习、训练的推演过程以数字运算为 主导且具有黑盒性质^，缺乏可解释性且难以通过人 类社会的概念进行理解．更具体的挑战包括^：（１^）在 深度学习观测值和结果层面，由于对观测值无法进 行严密的逻辑推理^，进而观测结果缺乏强有力的理

７ ８ ７ ９期 阮　利等^：基于可解释基拆解和知识图谱的深度神经网络可视化 １

《 计

算

机

学

报

》

论支撑或基于现实的合理解释^；（２^）在深度学习网 络层面^，深度网络缺乏因果逻辑推理^，因此深度神经 网络存在一定安全隐患^，难以对某些神经网络的木 马攻击进行有效防范^，如特洛伊木马^［５］．可见^，如何 提高深度神经网络模型的透明性已成为了当前一个 前沿和热点的研究课题．

神经网络的可解释性研究经历了从早期利用了 模型对输入的敏感度差异性特征的粗粒度探索^，到 近期探索单个^／组合神经元在一次识别任务中的功 能体现的过程．然而现有研究的思路仍然仅仅是从 局部的角度分析神经网络的决策依据^／决策过程^，缺 乏对神经网络学习和决策的整体理解的图形化的抽 象表示，尤其缺乏一套完整的神经网络学习结果的 知识图谱构建方法和实例．因此，针对现有研究存在 的上述问题，开展深度神经网络的可解释性研究将 对深度网络模型透明性、安全性保障都有重大的理 论研究意义和工业应用价值．另一方面，由于可解释 基拆解模型对深度神经网络的解释结果为场景到特 征的严格对应关系，是一种半结构化数据，从结构上 就具有便于进行知识图谱构建的优势．因此，针对现 有深度神经网络研究缺乏基于可解释基拆解和图谱 融合的可解释性方法的问题，以及可解释基模型的 图谱构建优势^，本文提出了一种基于可解释基拆解 模型和知识图谱的深度神经网络可视化方法．

２ 　 ^相关研究

从可解释性的角度给机器学习模型分类^，主要 有两大类^：自解释模型和依赖外部可解释性技术的 模型．

深度神经网络属于后者^———依赖外部可解释性 技术的模型^，针对深度神经网络的解释算法也可从 多种角度进行设计．下文将按规则提取^、显著性映 射^、深度网络表示这三大解释角度对上述两种模型 分析最新的研究进展及其不足．

２１　基于规则提取的可解释性相关研究

规则提取是研究人员最早提出的对黑盒模型的 解释方法，其把已训好的模型当作黑盒，借助自解释 模型的优势，使用自解释模型模拟黑盒模型的决策 过程，抽象出一系列决策依据，使得自解释模型尽可 能接近黑盒模型的决策能力，这样的自解释模型也 被称为代理模型．代理模型主要有两大类：线性代理 模型和决策树模型．

２０１６年^，Ｒｉｂｅｉｒｏ等人提出的线性代理模型 ＬＩＭＥ^［６］通过探测输入数据扰动构建一个局部线性

模型^，用于判断输入数据中某些部分对模型输出结 果的影响度^，且可根据线性模型非零维数量来量化 表示ＬＩＭＥ解释性的复杂度．２０１６年^，Ｚｉｌｋｅ等人提 出ＤｅｅｐＲＥＤ模型^［７］构建的决策树几乎达到了深度 神经网络模型的完整性^，但执行时间和内存开销大 是其一大弊端．２０１９年ＵＣＬＡ的张拳石教授团队 提出一种新的决策树解释模型^［４］，该模型挖掘了 ＣＮＮ的所有潜在决策模式^，决策模式提供从粗到细 粒度的决策依据^，用以解释ＣＮＮ在不同粒度上的 预测依据．然而^，基于规则提取的方法存在依赖于已 训练模型^、泛化性和可扩展性受限等问题．

２２　基于显著性映射的可解释性相关研究

２０１１年^，纽约大学的Ｚｅｉｌｅｒ等人^［８］提出了一种 通过卷积稀疏编码和最大池交替层学习图像分解的 分层模型ＡｄａｐｔｉｖｅＤｅｃｏｎｖｎｅｔ．２０１３年^，Ｚｅｉｌｅｒ等 人^［９］通过对ＣＮＮ逐层还原结果表明^，从Ｄｅｃｏｎｖｎｅｔ 模型的深浅层可提取图像不同粗细粒度的信息，以 及模型对输入图像的平移、缩放不敏感，但对图像的 旋转敏感．以上工作忽略了神经网络内部除了梯度 以外的其他重要信息．其他显著性映射方法还有： ＬＲＰ^、ＤｅｅｐＬＩＦＴ^{［１０］、}ＣＡＭ^{［１１］、}ＧｒａｄＣＡＭ^{［１２］、}Ｇｒａｄ ＣＡＭ＋＋^{［１３］、}Ｉｎｔｅｇｒａｔｅｄｇｒａｄｉｅｎｔｓ^［１４］等．这些工作

的核心思想是利用神经元激活值找到输入样本中对 输出结果影响最大的区域^，以及高网络敏感度． ＥＴＨ的Ａｎｃｏｎａ等人^［１５］对比了以上显著性映射方

法的解释能力．

２０１５年^，法国国家信息与自动化研究所的Ｏｑｕａｂ 等人^［１６］提出使用全局最大池化^（ｇｌｏｂａｌｍａｘｐｏｏｌｉｎｇ^） 方式^，对目标分类模型的识别点进行定位．受文献

［１６^］启发^，２０１６年^，ＭＩＴ的Ｚｈｏｕ等人^［１１］提出一种 类映射激活^（ＣＡＭ^）方法^，用于具有全局平均池化

（ＧＡＰ^）的ＣＮＮ模型^，并证实ＣＮＮ提取的特征含 有位置信息．２０１８年^，ＭＩＴ的Ｚｈｏｕ等人^［３］在之前 的研究^［１１］基础上，提出一种ＩｎｔｅｒｐｒｅｔａｂｌｅＢａｓｉｓ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ^（ＩＢＤ^）方法，核心思想是对ＣＮＮ得

到的ＡｃｔｉｖａｔｉｏｎＭａｐ^（ＡＭ^）进行解码得到对预测结 果的合理解释．２０１８年^，Ｓｅｌｖａｒａｊｕ等人^［１７］利用神经 元能够在分类任务中从训练集中学习到的物体特征 的特性，可以通过神经网络可视化的技术获取到模 型学习到的概念，用以构建相关领域的知识网络． ２３　基于深度网络表示的可解释性相关研究

深度网络表示的出发点是从网络结构本身的功 能来解释网络的决策依据．

深度网络表示的工作可按网络结构层次分为： 层级解释、神经元级解释、向量级解释．２０１４年^，

８ ８ ７

１ 计　　算　　机　　学　　报 ２０２１年

《 计

算

机

学

报

》

Ｒａｚａｖｉａｎ等人^［１８］发现^，使用ＩｍａｇｅＮｅｔ数据集训练 的分类网络的内部层的输出产生了一个特征向量^， 可通过复用该特征向量来解决对不同种类的鸟类进 行细粒度分类^、属性检测和对象定位等图像处理问 题．２０１４年Ｎｇｕｙｅｎ等人^［１９］对ＡｌｅｘＮｅｔ模型进行实 验^，使用梯度上升法最大化ｓｏｆｔｍａｘ输出^，最终 ＤＮＮ分类模型对图像的识别结果可信度达 ９９．９９％^，在ＭＩＮＩＳＴ数据集上错误率达０．９４％．

康奈尔大学的Ｙｏｓｉｎｓｋｉ等人^［２０］在２０１５年提出 并实现了两种不同的神经网络可视化工具^，最终得 到辨识度更高的图像．

ＭＩＴ的Ｚｈｏｕ等人在２０１７年提出Ｎｅｔｗｏｒｋ Ｄｉｓｓｅｃｔｉｏｎ模型^［２１］，模型通过评估隐层神经元和一

系列语义概念之间的契合度来解释神经网络，与实 际意义关联度高的神经元被赋予具象化解释，如物 体标签、场景的具体某个部分、文字、材料和颜色等， 并以一系列神经元的随机线性组合为单位，赋予网 络实际意义．同时提出了“分割表示”的概念，借鉴独 热编码的思想，通过将神经网络黑盒学习的特征分 割成若干个人类可辨识的视觉概念特征．基于Ｚｈｏｕ 等人^［２１］的分割思想，２０１９年^，ＭＩＴ的Ｂａｕ等人^［２２］ 将ＣＮＮ的分割延展到ＧＡＮ模型上^，这篇论文介绍 了一种对ＧＡＮ模型的可视化框架^，通过人为定义 一些检测功能神经元^，并将这一改动介入到网络中^， 探索ＧＡＮ网络的人为介入对模型的影响^，进而推 测并解释ＧＡＮ模型．Ｃａｏ等人^［２３］采用观察神经网 络的反馈来分析ＣＮＮ的视觉定位与分割．近几年^， 有研究人员探究单个神经元的线性组合在表示空 间中的其他方向形成的表示^，如２０１８年谷歌大脑提 出的概念激活向量解释方法^（ＣｏｎｃｅｐｔＡｃｔｉｖａｔｉｏｎ Ｖｅｃｔｏｒｓ^，ＣＡＶｓ^{）［２４］}．

可解释基拆解模型^（ＩｎｔｅｒｐｒｅｔａｂｌｅＢａｓｉｓＤｅｃｏｍ ｐｏｓｉｔｉｏｎ^，以下简称ＩＢＤ模型^）［３］是ＭＩＴ的Ｚｈｏｕ等

人近年来新提出的对ＣＮＮ的另一种可视化方法．

算法核心思想是拆解ＣＮＮ最后一层激活特征向 量，将多分类任务中对每个识别目标的激活特征向 量拆解，最终分解成若干个不同相对更细粒度概念 特征向量的表示．然而，以ＩＢＤ模型的直接结果^（如 百分比方式）对网络结构的解释缺乏场景类型维度 的抽象，只能提取出单个输入样本的特征解释结果， 而无法对一类场景或整个数据集样本总体进行解 释．同时文献［３^］对可解释基拆解模型的测试仅覆盖 人类置信度的度量，缺乏保真度做量化测试，模型存 在测试维度不全面的问题．本文的工作针对Ｚｈｏｕ 等人^［３］的工作存在的结果采用百分比，缺乏场景理

解和以及ＩＢＤ测试存在的问题^，提出了新方法． 综上可知^，虽然知识图谱具有更直观的解释能 力^，是近年来进行可视化直观解释的前沿技术^，然而 深度学习神经网络可解释性的现有研究中^，仍然缺 乏一套完整的神经网络学习结果的知识图谱构建方 法和实例．另一方面^，虽然现有的研究已经有基于可 解释基拆解模型的深度可视化方法^，但是现有方法 并没有有效利用到可解释基拆解模型对深度神经网 络的解释结果为场景到特征的严格对应关系^，是一 种半结构化数据^，其结构上就具有便于进行知识图 谱构建的优势．

３ 　 基于可解释基拆解和知识图谱的 深度网络可视化建模及问题分析

基于可解释基拆解的深度神经网络可视化方 法^，主要针对场景是^：在ＣＮＮ等分类模型中^，有不 同的网络结构实现^，如Ｒｅｓｎｅｔ１８^、Ｒｅｓｎｅｔ５０^、ＶＧＧ^、 ＡｌｅｘＮｅｔ等深度网络结构在同一数据集上训练的识

别效果不同．因为神经网络的黑盒特性^，所以模型应 用人员无法直接分辨是什么原因导致这些模型在同 样的数据上有不同的识别效果．ＩＢＤ方法的目的就 是为了探究对同一识别目标的识别任务中^，这些深 度网络学习了哪些特征^，以及哪些特征更能作为识 别目标的特有属性^，在多分类任务中帮助区分不同 识别目标．ＩＢＤ深度网络可视化方法主要是通过作 用于ＣＮＮ最后一层的激活特征向量^，最终得到每 类识别目标对应激活特征向量的具象化概念标签拆 解^，并给出百分比的形式衡量具象化特征在ＣＮＮ 识别模型中的重要性．向量拆解表示和概念特征热 谱图的构建算法是本文ＩＢＤ模型中的核心^，下面首 先引入ＭＩＴ^［３］中对这两者的理论介绍^，为本文的算 法提出打下理论基础．

３１　^理论基础

３．１．１　深度网络向量拆解表示

假设犳^（狓^）∈犚^犓为深度网络对输入狓的犓维输 出结果．犳^犽（狓^）表示输入狓对应分类结果为犽的概 率^，由此可得输入标签为犮的狓样本被误分到犽标 签的概率犳^犽（狓^）．用犺^（犵^（狓^））作为犳^（狓^）的中间表示 方式^，其中犺^（犪^）为网络最顶层^，犪＝犵^（狓^）∈犚^犇为表 示域中的一个点．在本算法中^，将ＣＮＮ倒数第二层 输出抽象为犪＝犵^（狓^），犺^（犪^）为简单线性组合^，犺^犽可表 示为狑^犽和犪的线性组合^，如式^（１^）所示．

犺^（犪^）＝犠^（犺）犪＋犫^（犺）

犺^犽（犪^）＝狑^犽Ｔ犪＋犫^{犽 （}１^）

９ ８ ７ ９期 阮　利等^：基于可解释基拆解和知识图谱的深度神经网络可视化 １

《 计

算

机

学

报

》

假设有一系列向量狇^犮犻∈犚^犇，每个概念特征犮^犻， 总存在一个向量狇^犮犻与之对应．其中犮^犻标签比犽标签 粒度更细，用于辅助解释分类结果．这样狑^犽可向量 分解为式（２^）所示，这样的一组狇^犮犻就是概念特征正 交基．

狑^犽≈狊^犮１狇^犮１＋^…＋狊^犮狀狇^犮狀 （２^） 将狇^犮犻用犆矩阵表示^，则使得该式子两边最接近 的问题可类比为最小二乘问题^，如式^（３^）所示．即找 到狊^犮犻使得｜狉｜最小．

狑^犽＝狊^犮１狇^犮１＋^…＋狊^犮狀狇^犮狀＋狉＝犆狊＋狉 ^（３^） 由此得到的狊＝犆^＋狑^犽为最优解^，其中犆^＋是犆 的伪逆解．

３．１．２　概念特征热谱图

在图像识别任务中，由于图像包含的信息非常 丰富^，尽管深度网络用到的数据集^（如Ｂｒｏｄｅｎ数据 集等^）已经包含丰富且密集的标签^，但也无法囊括 ＣＮＮ在图像识别任务中提取到的特征．因此本文考 虑在候选基向量组犆^犽中加入一项残差向量狉＝狑^犽－ 犆^犽狊^，记为犆^犽．这样犆^犽包括了整个ＣＮＮ学习到的特 征表示．对于ＣＮＮ最后一层分类结果为犽的分数可 表示为如式^（４^）所示．

犺^犽（犪^）＝狑^犽Ｔ犪＋犫^犽＝^（犆^犽狊^）Ｔ犪＋犫^犽

＝狊^１狇^犮Ｔ１犪＋^…＋狊^狀狇^犮Ｔ狀犪＋狉^Ｔ犪＋犫^{犽 （}４^） 其中狊^１狇^犮Ｔ犻犪为拆解向量对应概念标签犮^犻对识别结果 为犽的贡献度^，狉^Ｔ犪为残差狉对识别结果为犽的贡献 度（可理解为非Ｂｒｏｄｅｎ数据集包含的标签）．

因此对每个标签犮^犻可作用于池化层，得到输入 图像狓关于特征犮^犻的热谱图如式^（５^）所示．

狊^犻狇^犮Ｔ犻犪＝狊^犻狇^犮Ｔ犻狆狅狅犾^（犃^）＝狆狅狅犾^（狊^犻狇^犮Ｔ犻犃^{） （}５^） 其中狇^犮Ｔ犻犃为特征犮^犻的热谱图．

３２　犐犅犇模型解释结果可视化效果及问题分析 以Ｒｅｓｎｅｔ１８网络结构为例，我们运用ＩＢＤ模型 在Ｐｌａｃｅｓ３６５数据集上对其进行解释，解释结果可 视化效果如图１所示^，图中展示了样本对应的类向 量特征热谱图^，以及该类向量拆解得到的一组概念 特征正交基的贡献度最大的４组热谱图．图１为其 中４种识别场景^，如第一个例子中^，识别对象为人行 道，拆解结果中重要性百分比排前三的特征分别是： 人行道、迷你自行车和厢式货车，重要性分别占 ２５．３４％^、４．６２％和３．４４％．在热谱图中，网络在红 色部分^（暖色^）活性较高^，蓝色部分^（冷色^）活性较低^， 即网络更关注热谱图中活性高的区域．

图１　ＩＢＤ模型在Ｒｅｓｎｅｔ１８网络结构和Ｐｌａｃｅｓ３６５数据集上的类向量拆解结果可视化 ０

９ ７

１ 计　　算　　机　　学　　报 ２０２１年

《 计

算

机

学

报

》

图２　基于ＩＢＤ和知识图谱的深度神经网络可视化算法总体设计

以上解释结果可视化图是ＩＢＤ模型的直接解 释结果，主要以两种形式呈现：特征热谱图和特征贡 献度百分比．从中我们只能直观地感受场景的主要 特征组成^，以及从热谱图中可以直接看出这些特征 在原图中的像素分布区域．可见，由于以上两点均是 以输入样本为解释单位^，缺乏对数据集中场景类型 维度的解释．模型对结果的解释为从拆解特征中提 取出权重最高的几个特征作为类的解释^，对解释结 果的分析角度较为单一，这些权重是仅针对一个样 本而言^，并不能体现该类所有样本的普遍性结果^，权 重仅能体现某一特征对分类目标的重要性^，而不能 体现该特征是否有助于区别其他类特征．

即以ＩＢＤ模型的直接结果对网络结构的解释 缺乏场景类型维度的抽象，只能提取出单个输入样 本的特征解释结果^，而无法对一类场景或整个数据 集样本总体进行解释．我们的研究目标是希望解释 模型能够达到以场景为单位的解释效果^，对一类场 景的特征做更进一步的可视化工作^，进而构建出对 整个数据集样本的抽象解释结果．

４ 　 基于可解释基拆解和知识图谱的 深度神经网络可视化

４１　^{基本思路和总体设计}

基于可解释基拆解和知识图谱的深度神经网络 可视化方法核心思想是：基于第３节理论，首先采用 ＩＢＤ模型通过作用于ＣＮＮ最后一层的激活特征向 量，最终得到每类识别目标对应激活特征向量的具 象化概念标签拆解^；然后通过知识图谱更加图谱化

和场景化地衡量具象化特征在ＣＮＮ识别模型中的 重要性，将可以直观地看出神经网络对不同标签事 物的决策依据，知识图谱内容在训练数据集包含的 范围内^，既能对不同的数据集可产生不同的知识图 谱，也可在训练时融合多个数据集的知识或分别在 不同的数据集上训练模型并把解释结果融合成一个 覆盖范围更广的图谱．

基于上述设计思路^，本文方法的模型^（图２^）主 要包括３个核心^：（１^）基于ＩＢＤ对深度神经网络进 行可视化^；（２^）可解释基拆解模型特征拆解结果的 知识图谱构建^；（３^）基于保真度和人类置信度的测 试．总体设计如图２所示．如图２所示^，其中“（１^）基 于ＩＢＤ对深度神经网络进行可视化方法^”的网络结 构构成方法是包括神经网络的输入数据集（图２左 上角^），改进的ＣＮＮ网络结构^（图２中间部分^）．其 中改进ＣＮＮ网络结构主要指将ＣＮＮ最后一层全 连接层替换为ＧＡＰ层．其算法流程是^，首选通过可 解释基拆解算法将权向量拆解为若干个特征向量的 表示．然后，对每个特征向量，使用ＧｒａｄＣＡＭ算法

（用每一类的分数对倒数第二层激活图进行一次反 向传播求导），可以得到特征热谱图．

其中^“（２^）可解释基拆解模型特征拆解结果的知 识图谱构建”方法主要对于现有对ＩＢＤ模型的结果 解释缺乏对神经网络学习和决策的整体抽象问题^， 本文通过场景提取^、判别性特征提取^、场景特征关系 构建、场景相似度和差异度计算步骤，构建了一个完 整的神经网络学习结果的知识图谱的方式^，实现对 ＩＢＤ模型解释结果的知识图谱化解释．

　　作为示例^，图３以ＩＢＤ模型对ｒｅｓｎｅｔ１８网络结

１ ９ ７ ９期 阮　利等^：基于可解释基拆解和知识图谱的深度神经网络可视化 １

《 计

算

机

学

报

》

图３　ＩＢＤ模型对ｒｅｓｎｅｔ１８网络结构的解释结果，在数据集ｐｌａｃｅｓ３６５＿ｖａｌ上的知识图谱构建总体设计图

构的解释结果为例^，展示了本文方法在数据集 ｐｌａｃｅｓ３６５＿ｖａｌ上的知识图谱构建步骤和效果．图３中 输入部分为ＩＢＤ模型解释结果构成的特征场景数 据集，特征和场景被视为同类节点；中间部分为通 过关系抽取构建的特征场景关系网络^，该关系将 被存储到Ｎｅｏ４ｊ图数据库中^；针对特征场景之间的 解释关系和加权解释关系分别进行本文的场景间相 似度计算和基于ＴＦＩＤＦ^（ＴｅｒｍＦｒｅｑｕｅｎｃｙＩｎｖｅｒｓｅ ＤｏｃｕｍｅｎｔＦｒｅｑｕｅｎｃｙ^）指标提取每类样本的判别性

特征提取．更详细的关键技术将在后续详细分析． ４２　^算法流程

特征向量确定和图谱输入是基于ＩＢＤ和图谱 模型进行深度神经网络可视化的输入的关键．本文 算法输入模型的特征向量来自训练数据集^，使用 ＩＢＤ和知识图谱模型对其验证数据集在多种深度神 经网络结构上的多分类任务进行解释．现有的深度 学习网络的训练数据集常常是融合了多个不同标注 的数据集，例如ＡＤＥ^、ＯｐｅｎＳｅｒｆａｃｅｓ^、ＰａｓａｌＣｏｎｔｅｘｔ^、 ＰａｓｃａＰａｒｔ和ＤｅｓｃｒｉｂａｌｅＴｅｘｔｕｒｅｓＤａｔａＳｅｔ^，每个样

本都有若干个ｐｉｘｅｌｗｉｓｅ的标签（例如物体、场景、 物体的部分^、纹理^、材料和颜色^），除了纹理和场景标 签外，大部分样例都细分到像素级别，每张图片都对 应若干个标签图^（ｌａｂｅｌｍａｐ^）．用于构建知识图谱的 数据包含两大类概念：类别和特征，数据以文本标签 的形式存储．ＩＢＤ解释模型的拆解结果为半结构化 数据^，本文选取每一类样本拆解向量平均贡献度 Ｔｏｐ５的特征构建知识图谱，并将特征和类别视为概 念^，而非从属关系^，从而使数据结构化．下面进一步结 合图２^，介绍本文的算法流程（以“客厅”场景为例）．

基于可解释基拆解和知识图谱的深度神经网络 可视化算法的核心步骤设计如下所示（以“客厅”为 例^），目标是^：输入^“客厅^”场景^，本文方法能够输出与

“客厅^”场景相关的场景特征关系网络．

（１^）场景识别．将场景图片（如“客厅”）输入场景识别深 度网络模型（如ＣＮＮ^），得到判别结果为“客厅”的权向量狑^犽、 打分狊犮狅狉犲^、置信度犮狅狀犳犻犱犲狀犮犲^；

（２^）可解释基拆解．可解释基拆解算法将ＣＮＮ判别结 果为“客厅”的权向量拆解为若干个特征向量的表示，得到的 拆解结果严格依赖于可解释基拆解模型的训练数据．如图２ 所示“客厅”被拆解为：“扶手”、“沙发”、“靠枕”这三个特征 向量；

（３）输出特征热谱图．为了达到更直观的可视化效果， 以及方便后续对拆解结果准确性校验，对上一步得到的每个 特征向量在原图中进行可视化，对ＣＮＮ最后一层激活图使 用ＧｒａｄＣＡＭ算法，经过一次反向传播求导得到对应的特 征热谱（图２^）；

（４^）进行特征场景解释．基于哈德玛积输出场景的热 谱（ｍａｓｋ^）图，我们使用重要程度最高的三个特征作为

“客厅”场景的解释：“扶手”、“沙发”、“靠枕”，合并三个特征 热谱图得到“客厅”场景的热谱图，然后进行特征^{场景解释；}

（５^）场景热谱增强图生成．基于哈德玛积在原图中对这 三个特征进行增强处理，生成“客厅”场景的ｍａｓｋ图；

（６^）计算场景识别效果评分．这一步作为可解释基拆解 模型的算法保真度测试，将上一步得到的ｍａｓｋ图重新输入 到第一步的场景识别ＣＮＮ模型^，得到打分狊犮狅狉犲^{ｍａｓｋ、置信度} 犮狅狀犳犻犱犲狀犮犲^ｍａｓｋ．通过生成热谱图对应的ｍａｓｋ图，对比实验测 试ｍａｓｋ集和原图集在分类神经网络中的准确率等指标，可 量化测试热谱图在目标识别任务下的聚焦能力，并分析网络 结构在物体识别任务上的可优化点；

（７^）计算可解释基拆解模型保真度．对原图的打分 狊犮狅狉犲^、置信度犮狅狀犳犻犱犲狀犮犲和ｍａｓｋ图的打分狊犮狅狉犲^{ｍａｓｋ、置信度} 犮狅狀犳犻犱犲狀犮犲^{ｍａｓｋ数据进行分析，}得到可解释基拆解模型保真度

的量化结果；

（８^）构建场景知识图谱．利用第二步得到的半结构化数 据（包含场景、拆解特征以及场景^{特征之间的关系）构建知} 识图谱，并把知识图谱存储到图数据库．以“客厅”场景为例， 第二步得到三个特征向量“扶手”、“沙发”、“靠枕”，利用三个 ２

９ ７

１ 计　　算　　机　　学　　报 ２０２１年

《 计

算

机

学

报

》