基于方面情感的层次化双注意力网络-AET-电子技术应用

基于方面情感的层次化双注意力网络

《信息技术与网络安全》2020年第6期

宋婷1，陈战伟2

1.太原科技大学计算机科学与技术学院，山西太原030024； 2.中国移动通信集团山西有限公司，山西太原030001

摘要：基于深度学习的方面级情感分析，结合注意力机制的神经网络模型取得较好的分类效果，但常用方法仅考虑单一层面注意力机制，且无法获取句子间依赖关系。设计了一种层次化的双注意力神经网络模型用于方面级情感分析，针对特定方面引入方面目标的注意力机制以及文本上下文自注意力机制，获取方面特征信息和句子的全局依赖信息；设计层次化GRU网络，其中单词层嵌入特定方面信息，获取针对方面目标的句子内部特征信息，句子层网络通过双注意力机制和词语层的输入，获取句子间的特征依赖信息，从而实现深层次的方面情感分类。在SemEval 2014两个数据集和Twitter数据集上进行对比实验，验证了该方法的有效性，针对方面级情感，分类准确率均得到了有效提升。

关键词： 层次化双注意力方面情感注意力机制 GRU

中图分类号：TP391
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2020.06.005
引用格式：宋婷，陈战伟. 基于方面情感的层次化双注意力网络[J].信息技术与网络安全，2020，39(6)：24-30.

Hierarchical double attention network for aspect sentiment analysis

Song Ting1，Chen Zhanwei2

1.School of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan 030024，China； 2.China Mobile Communications Group Shanxi Co.，Ltd.，Taiyuan 030001，China

Abstract：Aspect-level sentiment analysis based on deep learning, and a neural network model combined with attention mechanisms achieve good classification results. But common methods only consider single-level attention mechanisms and cannot obtain inter-sentence dependencies. In this paper，a hierarchical dual attention neural network model for aspect-level sentiment analysis was designed. It introduces the attention mechanism of aspect targets for specific aspects, and the text context self-attention mechanism to obtain aspect characteristic information and global dependency information of sentences; designs Hierarchical GRU network, in which the word layer embeds specific aspect information to obtain the internal characteristic information of the sentence for the aspect target，and the sentence layer network uses the dual attention mechanism and the input of the word layer to obtain the feature-dependent information between sentences and to achieve a deep level aspect emotion classification. A comparison experiment was performed on the two SemEval 2014 datasets and the Twitter dataset to verify the effectiveness of the method. The classification accuracy rate for aspect-level emotions was effectively improved.

Key words :hierarchical；dual attention；aspect emotion；attention mechanism；GRU

情感分析是自然语言处理任务之一，文本中针对某实体给出总体评价的同时，对于实体的不同属性也会分别给出各自观点，由此文本的方面级情感分析是情感分析的重要任务之一，实现对文本观点更深层次的情感挖掘。如何利用自然语言处理现有技术从社交网络大量信息中获取文本的情感倾向，是方面情感分析的主要研究工作。

方面级情感分析首先对方面词进行提取，方面词可以是一个单词，或者是一个短语；接着针对提取出的不同方面分别获取情感信息。例如：“Good food but dreadful service at that restaurant”,句中的评论实体是餐厅，分别对它的两个方面即两种属性描述观点，两种属性分别是food和service,相对应的情感极性分别是积极和消极。由此得出两个方面情感极性可能相同，也可能相反。

深度学习在自然语言处理领域被广泛应用，深度神经网络模型早期在机器翻译、文本情感分类等任务中取得了比以往更好的效果。注意力机制的结合使神经网络模型高度关注特定目标的特征信息，当前使用较多的结合注意力机制的神经网络模型有卷积神经网络(CNN)和循环神经网络(RNN)。文献[3]提出基于多注意力机制的CNN，计算词向量、词性、位置信息的注意力机制，结合卷积神经网络，在不依赖外部知识的情况下获取方面级情感极性。文献[4]提出首先利用长短期记忆网络(LSTM)获取句子的上下文信息，再使用卷积神经网络提取注意力获得具体的句子表示，模型中嵌入了方面信息，取得较好的分类效果。基于注意力机制的CNN使用滤波器获取文本特征，仅得到局部单词间的依赖关系，未得到整体句子中所有单词间关系。基于注意力机制的RNN、LSTM等循环神经网络考虑前一时刻的状态信息，对过往信息具有记忆功能，但文本中单词间的依赖关系随着距离的增大逐渐减弱。上述两种情况均使用单一注意力模式。本文提出层次化双注意力 GRU网络的方面级情感分析模型，主要贡献如下：

(1)提出采用双注意力机制模式进行方面级情感分析，通过特定方面目标在句中的注意力机制和文本上下文自注意力机制，抽取方面特征信息和句子的全局依赖信息，从而深层次地获取情感特征。

(2)利用层次化的GRU网络获取句子内部和句子间的依赖关系。网络下层嵌入特定方面信息，获取了针对方面目标的局部特征信息，网络上层通过双注意力机制和词语层的输入，获取针对特定方面整体文本的特征依赖信息。

(3)在SemEval 2014两个数据集和Twitter数据集上进行对比实验，验证了该方法的有效性，针对方面级情感，分类准确率均得到了有效提升。

本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003148

作者信息：

宋婷1，陈战伟2

(1.太原科技大学计算机科学与技术学院，山西太原030024；

2.中国移动通信集团山西有限公司，山西太原030001)

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容