(12)发明专利申请
(10)申请公布号 CN 109670036 A(43)申请公布日 2019.04.23
(21)申请号 201811542145.9(22)申请日 2018.12.17
(71)申请人 广州大学
地址 510006 广东省广州市番禺区广州大
学城外环西路230号(72)发明人 朱静 杨晋昌 黄颖杰 黄文恺
陶为俊 邓文婷 黄双萍 (74)专利代理机构 广州市华学知识产权代理有
限公司 44245
代理人 李斌 裘晖(51)Int.Cl.
G06F 16/34(2019.01)G06F 17/27(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
权利要求书2页 说明书5页 附图4页
(54)发明名称
一种新闻评论自动生成方法及其装置(57)摘要
本发明涉及本发明涉及一种新闻评论自动生成方法及其装置，其将新闻标题作为原始数据；对新闻标题数据进行预处理来构造训练数据，训练数据作为LSTM模型的输入进行模型的训练；通过训练样本数据得到预先训练的LSTM模型，在模型中加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值，为保证输出结果(模型生成的评论)与新闻的上下文相关性，运用门控注意力机制，有效处理上下文信息。
CN 109670036 ACN 109670036 A
权 利 要 求 书
1/2页
1.一种新闻评论自动生成方法，其包括以下步骤：步骤S1、收集多组目标特征新闻标题；步骤S2、对收集到的上述新闻标题进行预处理来构造训练数据，将所述训练数据输入LSTM模型进行训练，从而形成新闻编码；
步骤S3、加入门控注意力机制，对上述新闻编码进行解码，从而生成新闻评论；步骤S4、加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值。
2.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S1中，所述目标特征新闻标题要求使用编码方式相同，语言一致。
3.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S2中，对收集到的新闻标题数据进行预处理来构造训练数据，得到字符-数字的映射和数字-字符的映射，建立LSTM模型的输入one-hot向量，根据one-hot向量构建词嵌入表示。
4.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S3中，计算当前隐藏向量和新闻标题的所有隐藏向量之间的注意力分数，并进行归一化得到最终的注意力权重；通过使用新的隐藏向量，模型可以在生成每个词时强调标题的不同部分；这个过程在该解码阶段可以看到，模型不仅自适应地使用上下文信息，而且选择性地使用信息。
5.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S4中，所述博弈具体包括，生成器与鉴别器进行二元极小极大的博弈，最终达到纳什均衡。
6.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S4中，选择CNN卷积神经网络作为鉴别器，利用策略梯度强化学习进行对抗训练，在对抗训练开始时，使用极大似然估计对训练集上的评论生成器进行预训练，直到生成器达到收敛为止。
7.根据权利要求1的所述新闻评论自动生成方法，其特征在于，所述门控注意力机制涉及的公式如下：
①
di＝vTtanh(Whhi+Wssj)式(8)；
其中，是一个参数向量，均为参数矩阵，hi表示编码阶
段结束后，所有评论词构成的一个最终隐藏向量，Sj表示解码阶段评论词的隐藏向量，tanh
是非线性激活函数；
②计算上下文向量hc：hc＝∑aihi 式(10)；
其中，
③然后使用一个门控函数，此函数值域在0-1，作为权重决定解码阶段的现在的隐藏向量：
mj＝σ(Gsj+b) 式(11)；
2
CN 109670036 A
权 利 要 求 书
σ(.)是sigmoid函数，b为偏置矩阵；
2/2页
其中，
④计算新隐藏向量Sj：
sj＝Wg[sj-1,me hc]+b 式(12)；其中，
8.根据权利要求1的所述新闻评论自动生成方法，其特征在于，步骤S4中涉及的公式包括：
X＝[e1,e2,…,em,ey1,…,eyn] 式(13)；
其中，em、eyn∈R1是词的嵌入，内核W∈Rk×1应用卷积运算来产生新的特征映射，运算符是两个任意大小的矩阵间的运算，b是一个偏置项，f是一个非线性函数。
9.一种新闻评论自动生成装置，其包括，收集目标特征新闻标题单元；新闻编码单元，用于对收集到的新闻标题数据进行预处理来构造训练数据，输入LSTM模型进行训练，从而对新闻进行编码；
数据解码单元，该单元加入门控注意力机制，以确保输出与新闻之间的相关性；评论鉴别单元，采用LSTM模型作为生成器与鉴别器进行博弈，直至输出结果达到阈值。10.根据权利要求9的所述新闻评论自动生成装置，其特征在于，所述鉴别器为CNN卷积神经网络，所述博弈为生成器与鉴别器进行二元极小极大博弈，最终达到纳什均衡。
3
CN 109670036 A
说 明 书
一种新闻评论自动生成方法及其装置
1/5页
技术领域
[0001]本发明涉及计算机网络技术领域，尤其涉及一种新闻评论自动生成方法及其装置。
背景技术
[0002]经典的网络之循环神经网络(RNN)，这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。[0003]RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。以往的深度生成模型需要马尔科夫链或近似极大似然估计，产生很多难以计算的概率问题，不能为部分序列打分，只能评价完整序列，针对离散数据，反向传播存在难题。发明内容
[0004]针对现有技术中存在的技术问题，本发明的首要目的是提供一种新闻评论自动生成方法及其装置。基于此目的，本发明主要提供如下技术方案：[0005]一种新闻评论自动生成方法，其包括以下步骤：[0006]步骤S1、收集多组目标特征新闻标题；[0007]步骤S2、对收集到的上述新闻标题进行预处理来构造训练数据，将所述训练数据输入LSTM模型进行训练，从而形成新闻编码；[0008]步骤S3、加入门控注意力机制，对上述新闻编码进行解码，从而生成新闻评论；[0009]步骤S4、加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值。[0010]进一步的，步骤S1中，所述目标特征新闻标题要求使用编码方式相同，语言一致。[0011]进一步的，步骤S2中，对收集到的新闻标题数据进行预处理来构造训练数据，得到字符-数字的映射和数字-字符的映射，建立LSTM模型的输入one-hot向量，根据one-hot向量构建词嵌入表示。[0012]进一步的，步骤S3中，计算当前隐藏向量和新闻标题的所有隐藏向量之间的注意力分数，并进行归一化得到最终的注意力权重；通过使用新的隐藏向量，模型可以在生成每个词时强调标题的不同部分；这个过程在该解码阶段可以看到，模型不仅自适应地使用上下文信息，而且选择性地使用信息。[0013]进一步的，步骤S4中，所述博弈具体包括，生成器与鉴别器进行二元极小极大的博弈，最终达到纳什均衡。[0014]进一步的，步骤S4中，选择CNN卷积神经网络作为鉴别器，利用策略梯度强化学习
4
CN 109670036 A
说 明 书
2/5页
进行对抗训练，在对抗训练开始时，使用极大似然估计(MLE)对训练集上的评论生成器进行预训练，直到生成器达到收敛为止。[0015]进一步的，所述门控注意力机制涉及的公式如下：[0016]①
[0017]di＝vTtanh(Whhi+Wssj) 式(8)；
[0018][0019][0020]
其中，是一个参数向量，均为参数矩阵，hi表示编
码阶段结束后，所有评论词构成的一个最终隐藏向量，Sj表示解码阶段评论词的隐藏向量，tanh是非线性激活函数；
[0021]②计算上下文向量hc：[0022]hc＝∑aihi 式(10)；
[0023][0024]
其中，
③然后使用一个门控函数，此函数值域在0-1，作为权重决定解码阶段的现在的隐藏向量：[0025]mj＝σ(Gsj+b) 式(11)；
[0026]
其中，σ(.)是sigmoid函数，b为偏置矩阵；
[0027][0028][0029][0030][0031][0032][0033]
④计算新隐藏向量Sj：
sj＝Wg[sj-1，me hc]+b 式(12)；其中，
进一步的，步骤S4中涉及的公式包括：x＝[e1，e2，...，em，ey1，...，eyn] 式(13)；
其中，em、eyn∈Rl是词的嵌入，内核W∈Rk×l应用卷积运算来产生新的特征映射，运
算符是两个任意大小的矩阵间的运算，b是一个偏置项，f是一个非线性函数。[0035]一种新闻评论自动生成装置，其包括，[0036]收集目标特征新闻标题单元；[0037]新闻编码单元，用于对收集到的新闻标题数据进行预处理来构造训练数据，输入LSTM模型进行训练，从而对新闻进行编码；[0038]数据解码单元，该单元加入门控注意力机制，以确保输出与新闻之间的相关性；[0039]评论鉴别单元，采用LSTM模型作为生成器与鉴别器进行博弈，直至输出结果达到阈值。
[0040]进一步的，所述鉴别器为CNN卷积神经网络，所述博弈为生成器与鉴别器进行二元极小极大博弈，最终达到纳什均衡。
[0034]
5
CN 109670036 A[0041]
说 明 书
3/5页
与现有技术相比，本发明至少具有如下有益效果：
[0042]本发明利用深度学习算法，采用LSRM模型结合GAN模型，并融入门控注意力机制来自动生成新闻评论，从而避免了采用人工进行书写，节约了人力物力资源；并且本申请的方法及其装置同时使用GAN生成对抗网络及门控注意力机制，既极大的提高了新闻评论与新闻的相关性，又确保了新闻评论与上下文之间的相关性，具有极大的实用价值。附图说明
[0043]图1为本发明新闻评论自动生成方法流程图。[0044]图2为本发明LSTM模型的基本原理示意图。
[0045]图3为本发明数据在记忆单元中流动以及单元中的门控制数据流动示意图。[0046]图4为本发明门控注意力原理示意图。
[0047]图5为本发明的LSTM与GAN结合的基本原理示意图。
具体实施方式
[0048]下面将结合附图对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图仅示出了与有关发明相关的部分。
[0049]图1为本发明新闻评论生成方法的流程图，如图1-图5所示，本发明的新闻评论生成方法具体包括以下步骤：[0050]步骤SI：收集多组目标特征新闻标题。
[0051]其中要求收集的目标特征新闻标题使用编码方式相同，语言一致。[0052]步骤S2：对收集到的新闻标题数据进行预处理来构造训练数据，将所述训练数据输入LSTM模型进行训练，从而形成新闻编码。[0053]该过程为新闻的编码阶段，其中编码阶段获得字符-数字的映射和数字-字符的映射，建立LSTM模型的输入one-hot向量，根据one-hot向量构建词嵌入表示。[0054]上述LSTM模型具体公式如下：[0055]it＝σ(Wxixt+Whiht-1) 式(1)；[0056]ft＝σ(Wxfxt+Whfht-1) 式(2)；[0057]ot＝σ(Wxoxt+Whoht-1) 式(3)；[0058]gt＝tanh(Wxcxt+Whcht-1) 式(4)；[0059]ct＝ft⊙ct-1+it⊙gt 式(5)；[0060]ht＝ot⊙tanh(ct) 式(6)[0061]式(1)-(6)中，it为更新门，控制有多少新的信息流入memory cell；gt是ct的新值函数；ct-1是ct的旧值函数；ft为遗忘门，控制有多少上一时刻的memory cell中的信息可以累积到当前时刻的memory cell中；ot为输出门，控制有多少当前时刻的memory cell中的信息可以流入当前隐藏状态ht中；W为权重矩阵，σ为逻辑sigmoid函数，h为隐藏层单元。LSTM靠3个gates将信息的积累建立在线性自连接的memory cell之上，并靠其作为中间物来计算当前ht。[0062]从而获得：ht＝ot⊙tanh(ft⊙ct-1+it⊙tanh(Wxcxt+Whcht-1+bc)) 式(7)
6
CN 109670036 A[0063]
说 明 书
4/5页
步骤S3：加入门控注意力机制，对上述新闻编码进行解码，从而生成新闻评论。该
门控注意力机制的引入有效自适应的选择了上下文。[0064]在编码阶段结束后，数据进入解码阶段，在解码阶段加入门控注意力机制，以确保输出与新闻之间的相关性。计算当前隐藏向量和新闻标题的所有隐藏向量之间的注意力分数，并对其注意力分数进行归一化得到最终的注意力权重。通过使用新的隐藏向量，模型可以在生成每个词时强调标题的不同部分。这个过程在解码阶段可以看到，模型不仅自适应地使用上下文信息，而且选择性地使用信息。[0065]其中，门控注意力机制涉及的公式如下：[0066]①
[0067]di＝vTtanh(Whhi+Wssj) 式(8)；
[0068][0069][0070]
式(8)-(9)中，hj表示编码阶段结束后，所有评论词构成的一个最终隐藏向量，Sj
是一个参数向量，T表示矩阵转置，
表示解码阶段评论词的隐藏向量，
均为参数矩阵，tanh是非线性激活函数。
[0071][0072][0073][0074]
②计算上下文向量hc：
hc＝∑aihi 式(10)；式(10)中，
③使用一个门控函数σ(.)，此函数值域在0-1，作为权重决定解码阶段的现在的隐
藏向量：[0075]mj＝σ(Gsj+b) 式(11)；
[0076]
式(11)中，σ(.)是sigmoid函数，b为偏置矩阵。
[0077][0078][0079][0080]
④计算新隐藏向量：
sj＝Wg[sj-1，me hc]+b 式(12)；式(12)中，
步骤S4：加入鉴别器，形成GAN模型，将LSTM模型生成的评论用鉴别器区别真假，
LSTM模型作为生成器与鉴别器相互博弈，直至输出结果达到阈值。[0081]数据解码结束，生成新闻评论后，在模型中加入鉴别器，模型整体形成GAN模型。将LSTM模型生成的评论用鉴别器区别真假评论，LSTM模型作为生成器，选择CNN卷积神经网络作为鉴别器，利用策略梯度强化学习进行对抗训练。在对抗训练开始时，使用极大似然估计(MLE)对训练集上的评论生成器进行预训练，直到生成器达到收敛为止。[0082]生成器与鉴别器相互博弈，通过博弈微调训练得到LSTM模型参数。[0083]其具体的博弈过程为：生成器与鉴别器进行二元极小极大(minmax)的博弈，最终达到纳什均衡，即鉴别器无法区分样本是来自生成器伪造的样本还是真实样本。[0084]其中，GAN模型所涉及到的公式如下：
7
CN 109670036 A[0085][0086][0087]
说 明 书
5/5页
X＝[e1，e2，...，em，ey1，...，eyn] 式(13)；
式(13)-(15)中，em、eyn∈Rl是词的嵌入，内核w∈Rk×l应用卷积运算来产生新的特
征映射，运算符是两个任意大小的矩阵间的运算，b是一个偏置项，f是一个非线性函数。[0089]为了捕获复杂的关系，使用具有不同窗口大小的各种内核来提取不同的特征。
[0088][0090][0091]
然后，在特征映射上应用最大时间池化操作来获得最终向量
最后，用sigmoid激活的完全连接层来计算评论是真实的概率。
[0092]本发明还公开了与上述新闻评论自动生成方法相对应的新闻评论自动生成装置，该装置包括，收集目标特征新闻标题单元；[0093]新闻编码单元，用于对收集到的新闻标题数据进行预处理来构造训练数据，输入LSTM模型进行训练，从而对新闻进行编码；[0094]数据解码单元，该单元加入门控注意力机制，以确保输出与新闻之间的相关性；[0095]评论鉴别单元，采用LSTM模型作为生成器与鉴别器进行博弈，直至输出结果达到阈值。
[0096]鉴别器为CNN卷积神经网络，所述博弈为生成器与鉴别器进行二元极小极大博弈，最终达到纳什均衡。
[0097]收集目标特征新闻标题单元与新闻编码单元连接，新闻编码单元与数据解码单元连接，数据解码单元与评论鉴别单元连接，从而同时使用GAN生成对抗网络及门控注意力机制，既极大的提高了新闻评论与新闻的相关性，又确保了新闻评论与上下文之间的相关性，具有极大的实用价值。
[0098]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
8
CN 109670036 A
说 明 书 附 图
1/4页
图1
9
CN 109670036 A
说 明 书 附 图
2/4页
图2
10
CN 109670036 A
说 明 书 附 图
3/4页
图3
图4
11
CN 109670036 A
说 明 书 附 图
4/4页
图5
12
因篇幅问题不能全部显示，请点此查看更多更全内容