基于神经网络的主题模型主要通过神经网络来 生成包含潜在主题的文本．该类模型通常将文档中 的词以“词袋”形式作为输入，然后增加相应的其它 网络层来生成文档，最后，利用反向求导方法对网络 参数进行学习．
早期的研究主要集中于基于前馈的多层感知神 经网络，之后，随着神经网络模型的快速发展，Ｋｉｎｇ ｍａ等人提出基于变分自编码器［７４］的主题模型． Ｃａｒｄ等人考虑到在实际情况中，主题模型中分布往
往具有稀疏性，因此，提出基于稀疏约束的神经主题 模型［７５］；为了能够更好地捕获文档的上下文结构信 息，Ｄｉｅｎｇ等人提出将文本单词序列作为输入的基 于ＲＮＮ结构的主题模型［７６］等．
４１ 神经主题模型（犖犲狌狉犪犾犜狅狆犻犮犕狅犱犲犾，犖犜犕） 早期，Ｋｅｌｌｅｒ等人［７７］采用多层感知器来捕获单 词和文档的分布式表示，但在该模型中并不是所有
层都是可解释的．随后，Ｃａｏ等人［７８］提出基于前馈 神经网络的主题模型
①
（ＮｅｕｒａｌＴｏｐｉｃＭｏｄｅｌ， ＮＴＭ），开始从神经网络的角度来构建主题模型．由于该模型遵循主题模型的概率特征，因此，单词和文 档的分布表示具有合理的概率性解释．
在经典的ＬＤＡ以及其扩展模型中，文档主题 分布概率矩阵表示为θ，主题单词分布概率矩阵表 示为φ．在文档犱中单词狑的分布概率表示为狆（狑 犱）＝φ．，狑×θ犱Ｔ．ＮＴＭ则从前馈神经网络的角度对 上述两个概率分布进行描述，其中，φ．，狑表示为带有 ｓｉｇｍｏｉｄ激活函数的单词查找层犾狋，θ犱表示带有 ｓｏｆｔｍａｘ激活函数的文档查找层犾犱，神经网络的输 出层，即文档单词的概率分布是φ．，狑和θ犱做点积． 其相应的模型结构如图３１所示．
图３１ ＮＴＭ结构图
ＮＴＭ模型通过使用ｓｉｇｍｏｉｄ以及ｓｏｆｔｍａｘ激 活函数生成网络的隐藏层，如下式所示．最后，使用 神经网络中常用的后向传播算法来对模型参数进行 更新，进而学习出模型的两个分布以及相应的权重 矩阵犠１、犠２．相较于ＬＤＡ等概率主题模型，神经主 题模型不需要事先对先验分布进行假设且结构简 单，但依旧可以获得较好的主题表示．
犾狋（犵）＝ｓｉｇｍｏｉｄ（犾犲（犵）×犠２） （３３） 犾犱（犱）＝ｓｏｆｍａｘ（犠１（犱）） （３４） ４２ 基于变分自编码器主题模型
Ｍｉａｏ等人考虑使用ＶＡＥ结构［７９］来进行主题 建模，进而在此基础上提出基于ＶＡＥ结构的 ＮＶＤＭ模型（ＮｅｕｒａｌＶａｒｉａｔｉｏｎａｌＤｏｃｕｍｅｎｔＭｏｄｅｌ， ＮＶＤＭ）［８０］，用于实现对文档的主题建模．ＮＶＤＭ
的主要思想遵从ＶＡＥ网络结构，根据输入文档的 词向量空间生成其潜在的主题特征，然后根据此潜 在特征生成文档．用于文档建模的ＮＶＤＭ结构如 图３２所示．
１ ２ １ ６期 韩亚楠等：概率主题模型综述 １
①
ＴｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＮＴＭｉｓａｖａｉｌａｂｌｅａｔｈｔｔｐｓ：／／ ｇｉｔｈｕｂ．ｃｏｍ／ｅｌｂａｍｏｓ／ＮｅｕｒａｌＴｏｐｉｃＭｏｄｅｌｓ《 计
算
机
学
报
》
图３２ ＮＶＤＭ结构
该模型将“词袋”文档表示为一个连续的潜在 分布狇（犺犡）＝狉犲犾狌（μ犱＋εσ犱），其中，μ犱和σ犱是由 ＭＬＰ学习可得，而ε用于减少随机估计中的方差．
基于ｓｏｆｔｍａｘ激活层的解码器（生成模型）通过 独立生成单词来重建文档．值得注意的是，ＮＶＤＭ 仅用神经网络学习的权重矩阵犠来描述主题单 词的分布，因此，在主题词语义一致性问题上不及 ＬＤＡ．
Ｄｉｎｇ等人［８１］对上述问题进行研究，利用预训练 的词向量来实现对单词对之间语义相似度的描述， 相较于之前的ＮＶＤＭ模型，该方法可以显著提高 了模型主题间语义的一致性．
当下大多主题模型均以文档的词汇或词向量作 为输入来执行相关任务，但在实际应用中，文档还包 括作者、文档来源、出版日期等元数据信息可以帮助 其进行模型主题推断．Ｃａｒｄ等人在２０１８年提出了 一种将ＳＬＤＡ［１４］和稀疏加性生成模型（ＳｐａｒｓｅＡｄ ｄｉｔｉｖｅＧｅｎｅｒａｔｉｖｅＭｏｄｅｌｓ，ＳＡＧＥ）相结合的通用的
稀疏模型框架［７５］．在该模型中，可以灵活地使用各 种元数据作为标签信息来解决多标签分类问题或帮 助推断预测与该标签相关的主题．此外，该模型也可 以用ＳＡＧＥ模型单位指数先验来控制主题词汇分 布的稀疏性．由于该模型可以方便地融合元数据信 息进行扩展，因此，不但可以应用于纯文本的分类或 聚类，还可以灵活地应用于情感分析、时序文本数据 分析等．
Ｇｏｕ等人［８２］考虑到动态主题模型（ＤＴＭ）是对 文本语料库动态表示中最流行的时间序列主题建 模，然而，ＤＴＭ的后验分布需要复杂的推理过程，且 建模计算时间成本高，即使是很小的变化也需要对模 型进行重构，因此其可变性和通用性较差．在此基础 上，Ｇｏｕ等人提出了一种新的利用变分自编码和因子 图（ＦａｃｔｏｒＧｒａｐｈ，ＦＧ）来构建ＤＴＭ的方法（ＶＡＦＧ ＤＴＭ）．其ＶＡＦＧＤＴＭ网络结构如图３３所示．
图３３ ＶＡＦＧＤＴＭ网络结构图
ＶＡＦＧＤＴＭ网络结构在时间切片狋内，从神经 网络输入层来获取文档狑狋，由编码器来计算用于生 成文档分布的平均值μ′狋和协方差σ′犱．通过编码器学 习的变分近似后验分布狇（θ狋狑狋），可以将文档狑狋 映射为文档主题分布，与此同时，可以获取其动态先 验分布，避免局部最优．其中，生成过程中的参数μ′狋、 σ′犱和θ狋被定义为重参数（Ｒｅｐａｒａｍｅｔｅｒｉｚｅ）．解码器
是用于对文档的生成概率建模的神经网络，可以将 分布狇（θ狋狑狋）映射为用于生成新文档的狑′狋的生成 概率狆（狑′狋θ狋，β狋），与此同时，解码器通过整合动态 因子图的方式实现对时序状态变量的建模．
基于变分自编码的主题模型通常是直接利用网 络隐藏层中的软最大函数来对主题模型中的假设分 布进行学习，但是这种方式没有进行稀疏假设，因 此，没有较好的主题提取能力．Ｌｉｎ等人在此基础 上，提出了一个基于Ｓｐａｒｓｅ稀疏表示的稀疏约束的 神经主题模型（ＮｅｕｒａｌＳｐａｒｓｅＭａｘｄｏｃｕｍｅｎｔａｎｄ ＴｏｐｉｃＭｏｄｅｌｓ，ＮＳＭＴＭ）［８３］．同一般的变分自编码
的主题模型类似，首先利用ＭＬＰ学习出文档的μ犱 和σ犱，在此，使用Ｓｐａｒｓｅｍａｘ函数［８４］来产生具有 稀疏表示的文档主题和主题单词分布，替代原来 的ｓｏｆｔｍａｘ函数；此外，在参数学习过程中，使用 Ｗａｓｓｅｒｓｔｅｉｎ散度来度量分布之间的相似度，相较与 ＫＬ散度，可以有效增加训练的稳定性［８５］；相较于 ＮＶＤＭ和ＡＶＩＴＭ，该模型在对短文本进行处理
时，具有较好的泛化性能和语义一致性． ４３ 基于犚犖犖结构的主题模型
上述的基于神经网络主题模型是以文档词袋的 形式作为网络的输入，进而产生主题词汇分布．然 而，在自然语言处理应用中，ＲＮＮ（ＲｅｃｕｒｒｅｎｔＮｅｕ
２ ２ １
１ 计 算 机 学 报 ２０２１年
《 计
算
机
学
报
》
ｒａｌＮｅｔｗｏｒｋ）网络结构由于可以对任意长度序列数 据进行处理，生成有效的特征的优势，受到学者们的 青睐．在基于ＲＮＮ网络结构的主题训练模型中，输 入层文档不再是以“词袋”形式进行输入，而是文本 单词序列．输入单词序列通过ＲＮＮ网络生成特定 的潜在单元，并基于该单元生成指定主题下的自然 文本．
由于ＲＮＮ主题模型的序列性，该模型使其可 以很好地捕获单词序列的局部结构，即语义和语法， 但是可能在记忆长期依赖关系时遇到困难．直观地 说，这些长期依赖关系具有语义性质．相反，潜在主 题模型能够捕获文档的全局语义结构，但不考虑单 词排序．Ｄｉｅｎｇ等人在此基础上提出了ＴｏｐｉｃＲＮＮ模 型［７６］
①
，该模型融合了ＲＮＮｓ和潜在主题模型的优 点，即它使用ＲＮＮ捕获局部（语法）依赖关系，使用 潜在主题捕获全局（语义）依赖关系，通过对两者的 联合建模，提高模型在应用中的建模能力．该模型的 生成过程如下所示：对于包含词汇狔１：犜的文档：
（１）获取其主题向量θ～犖（０，犐）；
（２）给定单词狔１：狋－１，对于在文档中的第狋个单 词狔狋：
①计算潜在单元犺狋＝犳犠（狓狋，犺狋－１），其中狓狋 狔狋－１；
②获取停用词指示器犾狋～Ｂｅｒｎｏｕｌｌｉ（σ（Γ犺⊥ 狋））， 其中σ是ｓｉｇｍｏｉｄ函数；
③生成单词狔狋～狆（狔狋｜犺狋，θ，犾狋，犅），其中狆（狔狋＝ 犻｜犺狋，θ，犾狋，犅）∝ｅｘｐ（狏犻犺⊥ 狋＋（１－犾狋）犫犻θ⊥ ）
上述停止词指示器犾狋用于控制主题向量θ是否 影响输出．如果犾狋＝１则表示狔狋是停止词，主题向量 θ不影响输出；否则，将利用θ与第犻个单词的潜在 词向量犫犻作点积增强词汇到该主题的分配概率．因 此，该模型能够对文档中出现的停用词进行自动处 理，也能够使文档实现特征的自动提取．
Ｇｕｏ等人为了能够更好地从文本语料库中同时 捕获文档语法和全局语义关系，提出一种基于语言 模型的更长上下文的循环神经网络（Ｌａｒｇｅｒｃｏｎｔｅｘｔ ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｂａｓｅｄＬａｎｇｕａｇｅＭｏｄｅｌ）［８６］．
该模型通过动态深层主题模型提取递阶语义结构， 进而指导语言文本生成．传统的基于ＲＮＮ语言模 型忽略了远程单词间的依赖和句子顺序，该模型不 仅捕获了句子内部的词依赖，而且还捕获了句子之 间的时间转换关系以及主题依赖．
４４ 小结
近年来，随着神经网络的逐步发展，基于神经网 络的主题模型引起了研究者的关注．表１１对比分析 了各类神经网络主题模型在其网络结构和模型输入 上的异同．
表１１ 基于神经网络主题模型对比
模型 输入层 模型特点 网络结构 应用领域 ＮＴＭ［７８］ 文档的狀ｇｒａｍ向量 开始从神经网络的角度来构建主题模型，且单词和
文档的分布表示具有合理的概率性解释 前馈神经网络 主题提取、文本分类 ＮＶＤＭ［８０］ 词向量 遵从ＶＡＥ网络结构，根据输入文档词向量空间生成
潜在的主题特征，然后据此潜在特征生成文档 变分自编码器 主题提取 ＳＣＨＯＬＡＲ［７５］ 词向量 可以利用各种元数据作为标签信息来解决多标签分
类问题或帮助推断预测与该标签相关的主题 变分自编码器 文本分类 ＶＡＦＧＤＴＭ［８２］ 词袋子 通过整合动态因子图的方式实现对时序状态变量
的建模 变分自编码器 信息检索、文本分类 ＮＳＭＴＭ［８３］ 词向量 在基于ＶＡＥ的主题模型建模基础上，施加稀疏约
束，产生具有稀疏表示的主题和单词分布 变分自编码器 文本分类 ＴｏｐｉｃＲＮＮ［７６］ 文档单词序列 根据主题及上下文单词生成词汇，且可判别生成的
词汇是否是停用词，能够捕获语法和语义关系 循环神经网络 单词预测、情感分析 Ｌａｒｇｅｒｃｏｎｔｅｘｔ
ＲＮＮ［８６］ 文档单词序列 不仅捕获了句子内部的单词依赖，而且还可以捕获
ＲＮＮ［８６］ 文档单词序列 不仅捕获了句子内部的单词依赖，而且还可以捕获