面向双注意力网络的特定方面情感分析模型

JournalofComuterResearchandDevelomentpp

:DOI１０．７５４４∕issn１０００Ｇ１２３９．２０１９．２０１８０８２３

():５６１１２３８４２３９５,２０１９

面向双注意力网络的特定方面情感分析模型

孙小婉１３　王　英１２３　王　鑫３４　孙玉东２３

,

,,

,

,

１２３４

()吉林大学软件学院　长春　１３００１２

()吉林大学计算机科学与技术学院　长春　１３００１２()sunxw１７＠mails．lu．edu．cnj

()符号计算与知识工程教育部重点实验室(吉林大学)　长春　１３００１２()长春工程学院计算机技术与工程学院　长春　１３００１２

AsectＧBasedSentimentAnalsisModelBasedonDualＧAttentionNetworkspy

１３１２３３４２３

,W,SunXiaowananinaninandSunYudongYg,WgXg

,

,,

,

,

１

()Colleeootware,JilinUniversitChanchun１３００１２gfSfy,g２()ColleeoomputerScienceandTechnoloJilinUniversitChanchun１３００１２gfCgy,y,g３

４

(,MKeaboratormbolComputationandKnowledeEnineerinJilinUniversitinistrducation,yLyofSyggg(y)yofE)Chanchun１３００１２g()ColleeoomputerTechnolondEnineerinChanchunInstituteoechnoloChanchun１３００１２gfCgyagg,gfTgy,gnaturallanuaeprocessin．Itidentifiestheasectsentimentpolaritftextsbearninromgggpyoylgf

,wcontextinformationhichcaneffectiveleleoleunderstandthesentimentexressiononyhpppp

Abstract　AsectＧbasedsentimentanalsishasbecomeoneofthehottestresearchissuesinthefieldofpy

,blevelsentimentanalsis(DANSA)model．FirstlntroducinhemultiＧheadattentionyyyigt

mechanism,themodelperformsmultilelineartransformationontheinuttoobtainmorepp,wcomrehensiveattentioninformationhichcanrealizeparallelcomutinndenhancethetraininppgag

,seed．SecondltheselfＧattentionmechanismisintroducedtoobtainglobalstructuralinformationbpyy

caturetheglobalstructuralinformation．Fortherecurrentneuralnetwork,thetraininimeＧpgt

,aconsuminstoolonndthedereeofdeendencebetweenwordsgraduallecreasesasthegiggpyd

,wdistanceincreases．TosolvetheaboveproblemseproosethedualＧattentionnetworksforasectＧpp

networkonlonsiderasinlelevelofattentioninformation．WhensolvinsectＧbasedsentimentycggap

,analsistasksthesesmodelshavealotoflimitations．Theconvolutionalneuralnetworkcannoty

,tdifferentasects．Currentlhemostmodelswithcombininttentionmechanismandneuralpyga

,calculatinheattentionscoresbetweeneachwordandallotherwordsintheinutandthedereeofgtpg

,deendencebetweenwordsisnotaffectedbimeandsentencelenth．Finallthemodelmakesapytgyasectofthewordattentioninformation．TheextensiveexerimentsontheSemEval２０１４datasetsandpp

修回日期:－－－－　收稿日期:２０１８１２１１;２０１９０８１２

redictionofasectssentimentpolaritombininhecontextselfＧattentioninformationandtheppybycgt

);;国家自然科学基金项目(吉林省科技发展计划项目(吉林省科技厅优秀青年人才　基金项目:６１８７２１６１,６１６０２０５７,６１９７６１０３２０１８１０１３２８JC)

()JJKH２０１９１２５７KJ

;;;基金项目(吉林省技术攻关项目(吉林省项目(吉林省教育厅科研项目２０１７０５２００５９JH)２０１９０３０２０２９GX)２０１９C０５３Ｇ８)

,ScienceandTechnoloevelomentPlanofJilinProvince(２０１８１０１３２８JC)theScienceandTechnoloeartmentExcellentgyDpgyDp,YouthTalentFoundationofJilinProvince(２０１７０５２００５９JH)theProectofTechnicalTackleＧKeＧProblemofJilinProvincejy

),ThisworkwassuortedbheNationalNaturalScienceFoundationofChina(６１８７２１６１,６１６０２０５７,６１９７６１０３theProectofppytj

)王英(　通信作者:wanin２０１０＠lu．edu．cngygj

)JilinProvincialEducationDeartment(JJKH２０１９１２５７KJ．p

(,,２０１９０３０２０２９GX)theProectofDevelomentandReformofJilinProvince(２０１９C０５３Ｇ８)andtheScientificResearchItemofjp

孙小婉等:面向双注意力网络的特定方面情感分析模型

２３８５

,wtheTwitterdatasetsshowthattheDANSAachievesbetterclassificationperformancehichfurther;s;m;dKeords　asectＧbasedsentimentanalsis(ABSA)elfＧattentionultiＧheadattentionualＧpyyw

;attentionnetworksnaturallanuaeprocessinNLP)ggg(其通过学习文本上下文的信息判别摘　要　特定方面情感分析已经成为自然语言处理领域的研究热点,

文本中特定方面的情感极性,可以更加有效地帮助人们了解用户对不同方面的情感表达．当前,将注意并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离,模型．首先,引入多头注意力机制,通过对输入进networksforasectＧlevelsentimentanalsisDANSA)py

行多次不同的线性变换操作,获取更全面的注意力信息,同时,多头注意力机制可以实现并行化计算,保证了D其次,通过计算输入中每个单词与其他所有单ANSA的训练速度．DANSA引入自注意力机制,词的注意力得分获取全局结构信息,并且单词间的依赖程度不会受到时间和句子长度的影响．最后,融合上下文自注意力信息与特定方面单词注意力信息,共同作为特定方面情感预测的依据,最终实现特定方面情感极性的预测．相比结合注意力机制的神经网络,不仅可DANSA弥补了注意力信息单一问题,进一步证明了DTwitter数据集上进行实验,DANSA获得了更好的分类效果,ANSA的有效性．自注意力机制;多头注意力机制;双注意力网络;自然语言处理关键词　特定方面情感分析;

中图法分类号　TP３９１

demonstratesthevaliditfDANSA．yo

力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息,增加而逐渐减弱．针对上述问题,提出一种面向双注意力网络的特定方面情感分析(dualＧattention

以有效获取全局结构信息,还能够实现并行化计算,大大降低了训练时间．在SemEval２０１４数据集和

　　社交网络的迅猛发展为人们提供了发表和分享个人言论的广阔平台,各种网络数据迅速膨胀,越来越多的人在网络上发表意见和表达情感．如何利用,N自然语言处理(naturallanuaeprocessinLP)ggg技术分析社交网络短文本的情感倾向,已经成为研

１]究人员关注的热点[．

的神经网络模型在特定方面情感分析任务中anism),利用词向量注意力机制、词性注意network,CNN)

力机制和位置注意力机制与卷积神经网络结合,使

[]有效识别特定方面的情感极性．Zhu等人４提出使

目的成功．同时,结合注意力机制(attentionmechＧ

]３取得了比以往方法更好的效果．梁斌等人[提出一种

基于多注意力的卷积神经网络(convolutionalneural

用户在针对某实体发表观点时,除了在评论中模型在不需要依存句法分析等外部知识的情况下,,用双向长短期记忆网络(lonhortＧtermmemorgsy

给出总体评价外,通常也会针对该实体的多个方面,作为情感分析的重要子sentimentanalsisABSA)y

任务之一,可以针对不同的方面挖掘用户更细腻更”,对于特定方面isgoodbuttheserviceishorrible“””是积极情感,而对于特定方面“是消saceservicep极情感．与普通情感分析不同,特定方面情感分析需要判断句子中不同方面的情感极性,这不仅依赖于文本的上下文信息,同时也要考虑不同方面的情感信息．因此,在同一句子中针对不同特定方面可能会出现完全相反的情感极性,可见特定方面情感极性的分析可以更加有效地帮助人们了解用户对不同方面的情感表达．

近年来,深度学习已在NLP领域取得了令人瞩发表观点评论．特定方面情感分析(asectＧbasedp

]２具体的情感表述[例如句子“．Thedesinofsacegp

构建句子的长期记忆,然后使用CLSTM)NN从记

忆中提取注意力以获得更具体的句子表示,该方法使用特定方面嵌入表示目标信息,取得较好的分类

效果．结合注意力机制的神经网络可以在训练过程中高度关注特定方面的特征,并可以有效针对不同特定方面调整神经网络的参数,进而挖掘更多的隐藏特征．

目前,结合注意力机制的神经网络主要包括基

于注意力机制的卷积神经网络(和基于注意CNN)

[]５RNN)．CNN在卷积层使用滤波器抽取文本特征,只能获取滤波器窗口内单词间的依赖关系,无法获取

力机制的循环神经网络(recurrentneuralnetwork,

句子中所有单词间的依赖关系,进而无法获取整体

２３８６

()计算机研究与发展　２０１９,５６１１

结构信息．在图像处理领域,相邻像素点之间往往存法规则和表达习惯的影响,使得相邻单词的相关程

在很大的相关程度,但在N由于修饰词、语LP领域,()在NatedrecurrentunitLP领域应用广泛,RNNg

的原理是基于“人的认知是基于过往经验和记忆”这一观点提出,与CNN不同,RNN不仅考虑前一时刻的输入,而且赋予网络对前面内容的记忆功能,但难以实现并行计RNN及其衍生网络这类序列模型,算,训练时间过慢,并且句子中单词间的依赖程度会度并不高．例如LRNN及其衍生网络,STM,GRU

了重大突破,在特定方面情感分析领域也取得了比

[]

传统机器学习方法更好的效果．Xue等人９提出基

近年来,深度学习技术在NLP各类任务中取得

于卷积神经网络和门控制的模型,利用GatedTanhＧReLU单元根据给定的特定方面或实体选择性地输出情感极性,在训练速度和分类准确度上都

[０]取得了较好的效果．提出使用CPiao等人１NN和

RNN联合解决金融领域中的特定方面情感极性预测问题,利用Ride回归和特定方面预测投票策略,g[１]不依赖任何的手工标注．提出在使用Ma等人１

随着距离增加而减弱．此外,CNN和,都使用单一注意力RNN这２种结合注意力机制的神经网络模型模式,即模型只进行单次注意力计算,导致模型无法对句中单词间的依赖关系实现深层次抽取针对上述问题,本文提出面向双注意力网络的．

特定方面情感分析模型(dualＧattentionnetworks

贡献有oraspectＧlevelsentimentanaly

sis,DANSA),主要注意力机制的多头双注意力网络模型１

)３方面:

提出融合上下文自注意力机制,和不仅实现了特定方面大规模并行计算,大大降低了模型的训练时间,而且能够抽取文本全局结构信息和特定方面与文本的依赖关系感分析任务中２

)．

提出将多,学习文本在不同线性变换下的注意头注意力机制应用在特定方面情力表示,能够更全面、更深层次地理解句中单词之间的依赖关系,更好地解决特定方面情感分析问题３)在,S相比于传统神经网络和基于注意力机制

emEva２０１４数据集和Twitter数据集上．进行实验的神经网络,DANASNA取得了更好的情感分类效果,进一步验证了DSA的有效性．

　相关工作

．１　特定方面情感分析

特定方面情感分析是细粒度的情感分析,对特定方面情感极性的挖掘能够帮助人们做出更正确的

决策[６Ｇ７]

在过去的研究中．

,特定方面情感分析方法主要

是基于情感字典和机器学习的传统方法[８]

这些方法需要对输入文本进行大量的预处理和复杂的特征．

工程,以及例如依存关系分析等外部知识．模型的优劣,很大程度上取决于人工设计和先验知识,耗时耗力且模型推广能力差．

SentiＧLSTM模型解决特定方面情感分析问题时,联合情感常识共同对模型进行训练并得到更好的分类效果．这类基于深度神经网络的模型与传统机器学习方法相比,大大降低了预处理和特征工程的工作量,但仍需要结合一些如依存句法分析、依存关系树等外部知识目前,将注意力机制与神经网络相结合的方法．

,

已经成为特定方面情感分析问题的主流方法．Cai等

人[１２]

提出将注意力机制与面情感的层次提取,同时关注情感术语和特定方面

LSTM结合进行特定方

的潜在联系．[３]认为现有的工作大多忽略特定情感词与句子之间的关系Gu等人１

,提出基于双向门控循环单元(双向注意力网络g

atedr,e认为当特定方面术语出现在某一currentunit,GRU)的位置感知句子中时,其邻近的单词应该比其他长距离单词给

予更多的关注注意力机制中,．H再与e等人[１４]提出将语法信息融入到测特定方面的情感L极ST性M相结合,

可以更好地预．[５]通过卷积运算生成特定方面的注意力ttention机制,将CNN的卷积操作与注意力结合Yi等人１提出convＧ

,

,对上下文单词的时序信息进行建模额外的语．这些结合注意力机制的神经网络在无需义分析等外部知识的情况下,取得了比仅使用神经网络模型更好的效果,多数使用单一层面注意力机制,没有对注意．但此类方法力信息进行更深层次的挖掘,且使用的神经网络存在训练速度慢、无法获得全局结构信息等缺点．２　注意力机制

．

注意力机制最早在图像处理领域提出[１６]

是让网络模型在训练过程中高度关注指定的,目目的

标近年来,注意力机制在．要的作用．Cheng等人１７

N]将注意力机制应用到机器翻

LP领域也发挥着越来越重

[译任务中,提出全局注意力和局部注意力２种机制,为注意力机制在NLP中的应用奠定了基础．Yin等

人[１８]提出将注意力机制与CNN结合解决句子对的

fa１１１孙小婉等:面向双注意力网络的特定方面情感分析模型

２３８７

建模问题,该方法使用在卷积时进行注意力计算、在池化时进行注意力计算以及在卷积和池化时同时进行注意力计算这３种方式进行建模,提供了在CNN中使用注意力机制的基础思路．短短几年内,如何利用注意力机制解决NLP领域问题已经成为研究人

]１９员关注的热点．谷歌翻译团队[提出仅使用注意力

感极性,本文针对不同的特定方面将句子表示为多个分句,分句的个数取决于不同特定方面的数量,例”表示成表１所示形式．本文采用多头注restaurant

意力机制来构建DANSA模型的２种注意力机制:)特定方面注意力机制．将特定方面词向量矩１

阵与上下文词向量矩阵做注意力运算,获取对特定方面的注意力信息,从而加强模型对特定方面的关注程度．

)上下文自注意力机制．对上下文词向量矩阵２

如句子“Goodfoodbutdreadfulserviceatthat

机制的T该网络使用大量自注意ransformer网络,力机制获取单词间的依赖关系,并提出多头注意力的概念,即不再使用单一注意力信息,而是将输入经过不同的线性变化获取更全面的注意力表示．

注意力机制的特性使得其可以很好地解决句子

中特定方面情感极性判别问题．Fan等人[２

０]

提出利用细粒度注意力机制和粗粒度注意力机制组成多粒度注意力网络,并设计特定方面对齐损失来描述具有相同上下文的特定方面之间的方面级别交互W[２]．

络a,n使用全局注意力来捕获特定目标的粗略信息g等人１提出面向语法导向的混合注意力网,利

用语法指导的局部注意力查看在语法上接近特定方面的单词,利用信息门来合成全局注意力和局部注意力信息,并自适应生成较少噪声和更多情绪导向的表示,解决了全局注意力将高注意力得分分配给不相关的情感单词的困扰．这些方法不仅证明了注意力机制在特定方面情感分析领域的有效性,还为今后的研究提供了新的思路．

　问题描述与方法概论

．１　任务定义

２,􀆺,给定长度为wn}

每个句子由一系列的词语n的句子,即s＝{ww１,w２,􀆺,a１,

i组成,其中１和a２是句子s中特定方面的目标词,

每个句子有一个或多个目标词．本文的任务是根据输入的句子判断句子中特定方面的情感极性(积极、消极、中

立),例如句子“otbad,buttahegrboeuepfcofufbrieesndalryes

tnaofft,twheorptihzztahie

smoney”,该句中特定方面“staff”,“p

izza”,“beef句子以词为单位形成ubes

”的情感极性分别为积极层将每一个词映射成低维空间中的连续值词向量１个词序列、中立和消极．本文将,然后通过词嵌入

,

得到上下文词向量矩阵Ec量矩阵Ea文词向量数量∈Rk×a′,a′为特定方面词向量数量,其中k为词向量维度∈Rk×c′和特定方面词向,c′为上下

．

．２　方法概述

为了更好地识别同一句子中不同特定方面的情

中每一个词向量进行自注意力操作,以获得每一个单词与其他单词的依赖关系,进而获取输入句子的全局结构信息T．

able１　FormofSentences

表１　分句形式

GGoooodSentence

Adffoooodbdbuuttddrreeaaddffuullsseerrvviicceeaatttthhaattrreessttaauurraanntt

fsopectservoid

ce２．３　特定方面注意力机制

注意力机制的目的是在训练过程中,让模型了解输入数据中哪一部分信息是重要的,从而使模型高度关注这些信息．对于特定方面情感分析而言,可以通过分析文本内容得到哪些词与句子中特定方面目标词的相关度更高ok,buttheserviceiss．例如句子“lo,词语Theapp

etizersare目标词““是用来形容标词““searpvipceeti”ze的rs,”因的此,而词语w”在该句“sl中owo,词”k是用来形容目”

语“ok”相比词语slow“更高．

s”l与ow目”相比标词““oakpp

”e,t与目标词izers”相关“se程rvi度ce更”的相高．同理,关度“特定方面注意力机制如图１所示,对于句子

过词嵌Theap(入p

et操ize作rs可ar以eo得k到,bu上tt下he文se词rv向ice量is矩sl阵owE”c,通x１,x２􀆺,和特定方面词向量矩阵Ea２),其中,xt９)＝(t＝“１为特定方面“appetizers”,t１,

２为特定方面词与上下文词向量矩阵进行相似度计算service”．

首先,将特定方面词向量矩阵中的每一个,得到相似

度向量e度,形式为

,e中的值表示相应位置词向量间的相似程eijtix．常用相似度计算函数主要有加性相似度函数和

＝f(,j)

(１)点积相似度函数,加性相似度函数使用神经网络来计算２部分的相似度,形式为

２２aacnt２２３８８

()计算机研究与发展　２０１９,５６１１

(,()ewTσtx２ii＋j＝j)

􀅰)其中,表示激活函数,点积注意σ(wT为训练参数．

力通过点积运算计算２部分的相似度,形式为()etx３ii,j＝􀎮j􀎯,

􀎮􀎯”其中,符号“表示点积运算．点积注意力与加性注意力相比,计算更加快且节省空间,特别地,

[９]

使用缩放点积注意力来代替点积Vaswani等人１

注意力,可以减少高维度计算中带来的损失,形式为

对于经过词嵌入的上下文词向量矩Ec经过上下文自注意力机制操作后得到相同维度的自注意力矩阵Bc,如图２所示:

eij＝

􀎮tid,xj􀎯

x,

(４

)其中,dx表示词向量xj的维度．

向量e通过归一化操作得到注意力权重向量

a,ea

中的元素代表相应位置上特定方面单词与上下文中单词的相关程度:

eaij＝∑nexj＝１

e

p(ei)

xp(e．(j)５

)最后,特定方面词向量可以用权重矩阵中对应的权重与原来的词向量加权求和表示:

zani＝∑i＝１

eaixi．(６

)Fig．１　T图１h　ea特定方面注意力机制

sp

ectattentionmechanism．４　上下文自注意力机制

自注意力机制是注意力机制的一种特殊形式,通过计算句子中每一个单词与其他所有单词的注意力得分,获取每一对单词间的依赖关系,对于远程和局部依赖都具有良好的灵活性．本文采用自注意力机制获取输入文本上下文中单词的依赖关系,以获取全局结构信息w．例如句子“Greatfoodbuttheservice

别计算句子中asdreadful

”,７上下文自注意力机制个单词与其他单词的注意力得分的任务是要分．Fig

．２　T图he２c　on上下文自注意力机制

textselfＧattentionmechanism．５　多头注意力机制下的双注意力

传统的注意力机制只考虑单词之间单一层面的注意力信息,多头注意力通过计算句子在不同线性变换下的表示来获取更全面的注意力信息如图句中单词经过３所示,以句子“词嵌入后得T到he相f应oo的di词sg向re量a．

t

x”为例,)１,x２,

３,x４,分别与线性变换矩阵W(１

,W(２),W(３)进行点

乘“得到相对应的线性变换后的向量．特定方面

换矩阵food

”经过词嵌入后得到相Wp点乘后得到对应的向量应的词p向量,与线性变１．

Fig．３　Theex图a３m　p

le线性变换例子

soflineartransformations特定方面“算p１与k１,k２f,oko３d,k”注意力计算过程４的相似度得分;有３个:对相１似)

度计得分进行归一化操作;２)别与对应位置的v１,v３)用归一化后得到的权重分２,v３,v４相乘求和,进而得到最终的注意力向量．

同理,上下文“Thefoodisgreat

”自注意力计算e２x２孙小婉等:面向双注意力网络的特定方面情感分析模型

２３８９

过程就是将p１替换成上下文词向量线性变换后的表示q１,多头注意力机制就是在多次不同q２,q３,q４．组线性变换下,重复上述操作．

次不同线性变换下的映射矩阵,再通过双注意力层对不同映射矩阵进行特定方面和文本上下文双注意力操作得到注意力表示矩阵,最后经过输出层得到最终的情感分类结果,DANSA由４部分组成:)词嵌入层．将输入看作以词为单位的词序１

列,通过本层将输入文本上下文序列和特定方面序列中的每一个词映射为１个的连续值词向量,从而得到２部分的词向量矩阵．

)线性变换层．通过对上下文和特定方面２部２

分词向量矩阵进行多次不同线性变换,得到２部分词向量矩阵在不同线性变换条件下的表示,从而使模型能够从多方面捕获上下文和特定方面的特征信息．

３　面向双注意力网络的特定方面情感分析

模型(DANSA)

　　面向特定方面细粒度情感分析的双注意力网络(如图４所示,文本上下文与特定方面目标DANSA)词首先通过嵌入层将每个单词映射成１个连续值词向量进而得到上下文词向量矩阵与特定方面词向量矩阵,然后通过线性变换层得到２个矩阵在多

Fi．４　FrameworkofDANSAg

图４　DANSA模型框架

２３９０

()计算机研究与发展　２０１９,５６１１

)双注意力层．通过计算上下文部分的多头自　　３注意力,捕获词与词间的依赖关系,获取文本的整体结构信息．然后,计算特定方面对于文本的注意力得分,以获取文本与特定方面间的依赖关系．将２部分注意力进行拼接并再次进行线性映射操作,利用池化操作获得不同线性变换条件下最重要的情感特征．)输出层．使用s４otmax函数得到输出结果,f最终获取特定方面的情感极性．

Pa,Kc􀎯öcæ􀎮()÷V．D＝sotmaxç８fdkøè

将每次线性变换下得到的上下文自注意力矩阵

a

与特定方面注意力矩阵进行拼接,得到双注意力矩

􀆺,再次进行线性变换得到最终的U２,Un进行拼接,注意力表达矩阵Z:

阵Ui,然后将每次线性变换后的双注意力矩阵U１,

􀆺,()Z＝concat(U１,U２,Un)．９

在模型的最后一层,将上层输出矩阵进行平均

３．１　模型构建

给定句子在经过词嵌入层后得到上下文词向量矩阵Eca＝(x１阵进行不同的线性变换＝(t１,t２,􀆺,,xt２,􀆺,m)

,在线性变换层xn)

和特定方,得到,面通过对词向量２矩个阵矩变换下的表示,图５描述了１次线性变换的过程２个矩阵在不同线性,线性变换层的工作就是重复此过程n次．

Fig

．５　Pr图oce５s　so线性变换过程

flineartransformation上下文词向量矩阵Ec经过不同的换得到矩阵Qc,Kc,Vc３组线性变

过线性变换得到矩阵P,特定方面词向量矩阵Ea经a．其中WQ,WK,WV,WP为线性变换参数矩阵．在双注意力层,上下文自注意力矩阵Sc的计算

方式为

Sc

＝softmaxæçè

􀎮Qcd,Kc􀎯ö÷Vckø,(７

)其中,dk为矩阵Kc列向量的维度．使用线性变换后的矩阵Qc同理,,Kc特定方面注意力矩阵,Vc通过缩放点积注意力函数得出．

Da为

　①http:∕∕alt．qcri．org

∕semeval２０１４∕池化操作得到特征向量z络一样,将池化后的结果经过全连接层后输入到最

avg,然后像传统的神经网终的so从而得到最终的情感极性３．２　ftmax分类器中,．模型训练

本文使用双注意力层输出作为全连接层输入,通过一个softmax函数输出最终情感极性y＝softmax其中,z(Wzavg,,即:(阵,B为全连接层偏置项矩阵avg为双注意力层输出,W＋为全连接层权重矩B)１０)．

本文使用反向传播法来优化模型,交叉熵为

loss＝－∑∑^jlnji＋λθ２

(Di∈Dj∈Cyiy,

１１

)其中,为训练集数据量,即训练集合大小;C为数据的类别数;y为待分类句子的预测类别;^y为实际类别;λθ２

为交叉熵正则项．

４　实　　验

４．１　实验数据本文采用据集进行对比实验SemE,v数据样本的情感极性分为积极al２０１４数据集①和Twitter数

、消极和中性．其中,数据集Se,m包E括va领域的用户评论．通过对比实验lla２p０t１o４数据集是语义测评比赛任务的p和,验证了本文提出的

restaurant２个D分类性能ANSA在不同领域数据集上都取得了较好的情感,表２给出本文实验使用数据统计:

Table２　StatisticoftheDatasets

表２　实验使用数据统计

LapDtaotpeＧstert

ainPos９it９i４veNeg８ativeNeLaptop

Ｇtest３４１

１７０４utR２１８２０８７１６ralReTessttaauurraanntＧtrain７６２４２３１９６

６６４１３８９７６

TwwiitttteerrＧtＧtestＧttreasit

n２５８８

２８６１２７２９８１２１８８３３E孙小婉等:面向双注意力网络的特定方面情感分析模型

２３９１

４．２　超参数

在本文的实验中,词向量采用Penninton等g

]２２

人[提出的G其中每个词向量维度love词向量①,

能存在若干的修饰词语,这导致CNN卷积操作所但分类SVM分类器准确率虽然略高于普通CNN,

效果仍不理想,这是因为本文在实验过程中没有做过多特征工程的工作,而传统机器学习方法的优劣很大程度上取决于特征工程的质量．基础LSTM模型的结果优于前２种模型,这是因为LSTM善于处理序列问题并通过门机制来实现长时依赖,但基础LSTM并没有特别关注句子中的特定方面目标词．TDＧLSTM相比普通LSTM在３个数据集上的准获取的信息不完整,不能有效地利用数据信息．传统

为３词典大小为１．对于未登录词,采用００维,９MB．)均匀分布U(随机初始化词向量．－０．０１,０．０１L２正)则项系数设置为１随机失活率(设０－４,drooutratep置为０．模型迭５,Adam优化器初始学习率为０．０１,)代次数(为１在线性变换层,线性变换次数eoch０．p４．３　对比实验

设置为８,注意力函数采用缩放点积注意力．

将本文提出的数据集上进行实验:

DANSA同８种方法在２个不同

１)SVM．基于特征的SVM分类方法,

是传统机器学习的常用方法是最基础的卷积神经网络２)CNN．基于Ki．

m[２

３]

提出的卷积神经网络模型,３)ATTＧCNN．基于Wang．等人[２４]

提出的基于注意力机制的卷积神经网络４)LSTM．基础LSTM．

网络,使用最后隐藏状态作为句子表示,L５ST)输入到最终分类器中MTD网络ＧLST,

分别作用于特定方面之前的文本和M．基于Tang等人[２５]

提出的使用．

个２之后的文本,然后使用状态的拼接预测情感极性２个．

LSTM网络的最后隐藏

６)ATＧLSTM．基于Wang等人[２６

]提出的通过

然后将隐状态与特定方面联合嵌入监督注意力向量的生成STM网络对文本上下文建模,

,再由生成

的注意力向量产生最后的特定方面情感极性,它将特定方面嵌入向量与每个单词嵌入向量相

７)ATAEＧLSTM．是在ATＧLSTM基础上的拓．

展加表示上下文８)IAN．基．

于Ma等人[２

７]

提出的使用２个生成STM网络分别对句子和特定方面进行建模,

交互２部分的注意力向量用于情感分类不同模型在SemEval２０１４和Twitte．

经过r数据集上

果的分析为１０次迭代后的准确率如表:

３所示,对于实验结通１

)在前４种没有使用注意力机制的模型中,普图像处理领域的有效性是有目共睹的CNN网络的情感分析模型准确率偏低,这是因为在．CNN在图像上相邻像素点通常是相关的,而在自然语言处理中,句子中相邻的词语未必相关,相关词语之间可

　①http:∕∕nlp．stanford．edu∕projects∕g

love∕确率分别提升了LSTM开始对特定方面进行关注２．８％,１．２９％,１．５,６它通过在文本中％,原因是TDＧ特定方面的左右分别建模,利用,这种方法虽然取得了一定的２个LSTM网络来学习特定方面的表示效果,但对于模型来说,文本中每个词对特定方面的影响都是相同的,)没有对更重要的部分重点学习在另外４种将注意力机制与神经网络相．合的模型中２

结,其准确率相比没有使用注意力的模型,都有明显提升,证明了注意力机制在特定方面情感分析任务中的有效性性,结合AT的TＧ模C型NN的结果相比于将注意力与．由于CNN在NLP中的局限,结果并不理想．ATＧLSTML,SATTM相LSTMAEＧ,在,IA准N都是将注意力机制与确率上相比４种方法都LS有T所M相结合的方法提升LSTM和ATAEＧLSTM通过注意力机制来监督特．ATＧ定方面上下文中的重要信息,并且将特定方面与文本进行联合嵌入,这为特定方面情感分类生成更合理的表示．IAN对文本和特定方面进行单独建模,交互的生成注意力,不仅学习文本中对特定方面相对重要的信息,也学习了特定方面中对文本更重要的信息,再次证明了注意力机制的有效性３)本文提出的DANSA在对比实验中取．

得了最好的效果,证明了模型的有效性经网络相结合的模型中,都使用了单一的注意力机．在将注意力与神制,都是从单一层面获取注意力信息,而DANSA使用多头注意力机制来搭建注意力网络,它将文本和特定方面进行多次不同的线性变换,学习两者在不同线性变换下的注意力表示,能够更深层次地学习和表示文本．不同于基于CNN的模型,DANSA通过自注意力计算,获取了文本全局的依赖信息;与基于来获取文本LSTM网络的模型相比,模型首先通过自注意力中每一个词向量与其他词向量的相关LL２３９２

()计算机研究与发展　２０１９,５６１１

度,实现了词向量之间的长距离依赖,再通过特定方面注意力的计算,获取了文本中对特定方面的重要信息,从而得到更好的分类效果,同时DANSA能够

Table３　AccuracfDifferentModelsyo

,训练时间ATTＧCNN模型的训练时间也只需１７s

远远优于LSTM网络．DANSA模型完成１次迭代,时间为５虽然高于基于C但是却远８sNN的模型,远优于基于L模型中文本自注意STM网络的模型．实现大规模并行化计算,大大提升了模型训练速度．

力和特定方面注意力的计算必然会消耗一定时间,

表３　不同模型的准确率

MSoVMdelLResCNN

６a５１pt．op６tT７witt％

６９７．３１２６９au．rant７１．１２erTDLＧSLTSTM

M

６５７７５．２４３７０AATTＧTLＧSCTM

NN６８．４．２２７４７５．０．３７２６５．３．６３７７５．１６２ATAIEＧLSTM７０．１２１７８７２７３．９．８６８７７．１２９８９．１．０８DAANNSA７５６．２．８７６

８９．２．６８１８１２．２．３４７

８１８４．５７１６．６．０３８

．４　DANSA模型分析

．４．１本文使用相同的词向量矩阵和相同的数据集　运行时间分析

,

在相同的CPU,给出了不同模型在GPU和网络框架下完成训练时间对比实验,表４Restaurant领域数据集上完成Table４１次迭代的训练时间对比结果　RuntimeofEachTrainin．

gEpoch表４　不同模型完成１次迭代的训练时间

MCoNdN

elTrainingT

ime∕sATLTSＧTCNN４１７８

TADTＧＧLLSSTMTM

M４１７ATAIEAＧLN

STM５９５２０４０８DANSA５６５０８

　　从表４可以看出,在基于LSTM的模型中,

普通的机制的LS超过了ATTM模型训练时间需要ＧLSTM和ATAEＧLS４T１７s,加入注意力点,由于网络接收序列形数据５００s．训练时间过长是,L导致无法实现并行计STM的训练时间都M网络最大的弱算,并且算操作,这些原因都大大增加了LSTM的每一个单元都需要相当复杂的运普通的迭代的训练C时NN模型训练时间是最短的LSTM的训练时间,

,完成间只需要８s加入注意力机制１次．

的但不同线性变换下的注意力是可以并行计算的,这与普通注意力在时间复杂度上是相同的础上,于LDANSA模型的训练时．在保证了准确率的基间相比基４．４．２S　T线性变换次数分析

M的模型平均减少了４４９s．

对DANSA采用的多头注意力机制在不同线性变换次数下的准确率进行对比分析,实验对比结果如图６所示:

Fig．６　A图cc６u　rac不同线性映射次数的准确率

yo

fdifferenttransformationtimes实验对比了线性变换次数为数据集２,４,６,８,１０时在

从图６可以看出Restauran,t上经过模型的准确率大体随着线性变换１０次迭代的准确率情况．次数(k比)的增加而增加,但当k＝１０时的准确率相１０k＝８时有所下降,这说明在此数据集上,当k＝

时,

可能存在模型的过拟合现象,所以本文在对比实验中将线性变换次数设置为４．４．３　注意力类型分析

８．

将采用缩放点积注意力的注意力的确率对比实验DAN,S在A在集上进行训练时间对比实验LaptRoep

sDANSA和采用加性,tRaeusr,ta实验结果如图anut数据rant,集上进行准Twitter数据８所示７与图从图．

性注意力的７可以看到,经过１０次迭代之后,

使用加积注意力的模DA型N．S加A模型准确率略高于使用缩放点性注意力使用神经网络来计算

２个元素的相似度或相关度,

可以更深层次地学习４４孙小婉等:面向双注意力网络的特定方面情感分析模型

２３９３

Fig．７　A图７c　cur不同注意力类型的准确率

acyofdifferentattentiontyp

esFig．８　T图８he　r不同注意力类型的训练时间

untimeofdifferentattentiontyp

es元素之间的依赖关系,实验证明在准确率上使用加性注意力的DANSA确实可以取得更好的效果但从图８可以明显地看出,在３个数据集上,使用加性．注意力的模型在训练时间上是使用点积注意力模型的３倍,加性注意力使用神经网络作为相似度函数,需要训练更多的参数,需要付出更高的时间成本虑到模型的综合性能,在对比实验中,本文采用缩放．考点积注意力来构造．５　注意力可视化

DANSA模型．

从RestaurantＧtest数据集中选取句子“可视化说明oodbutthes,如图ervic９ew所示asd,区域颜色越深readful

!”用作,自代表注意注G意rea力t

力权重越大从图９．

可以看出,名词、动词和形容词等在语义

上重要的词,通常会受到很大的关注,比如句子中的“关注great,但是一些停用词则不会受到过高的关注”,“food”,“service”,“dreadful”都受到更高的中重要的词,比如“food”和“service

”,由于句子主要．全局Fig．９　T图h９e　co上下文自注意力权重

ntextselfＧattentionweig

hts是针对这２个词进行描述,所以它们获得其他单词更多的关注会获得相关词的更高的关注．如果一个单词仅与某些词有关,那么它,例如“相关度极高,“service”只与“dreadfulf”o相关度极高od”与“great．”选取句子“Thea如表ervic５ei所示sslo,w表”

５用中句子区域颜色越深作特定pp

方eti面zer注s意ar力e可ok,代表该词注视,b化utt说明he,意力权重越大Table５．

　TheWeightofAsp

ectAttention表５　特定方面注意力权重

AspectSentence

app

etizersservice

　“　从表“appetizers”５,可以“清楚地看到,对于特定方面代表ok”的区域颜色极深,说明词他区域都为ok”与“app

e较tiz浅ers的”颜这个特定方面相关度极大色,而其有同样的情况,代表“slo．在特定方面为“w”

的区域为深s红er色vic,e说”也“明以有效地捕捉与特定方面相关的信息service”与“slow”

极为相关．这说明注意力机制可,可以使模型更充分地获取有效信息．

　总　　结

在以往的工作中,大部分针对特定方面情感分析的研究都是将注意力机制与．然而基于CNN的模型无法获取全局信息CNN或LSTM网络相结合,

s４f５２３９４

()计算机研究与发展　２０１９,５６１１

[]C,G,H,e８henLonuanZiueJinhontal．Asurvengygyo

]sentimentclassification[J．JournalofComuterResearchp,():)andDeveloment２０１７,５４６１１５０１１７０(inChinesep():)研究与发展,２０１７,５４６１１５０１１７０

(]陈龙,管子玉,何金红,等．情感分类研究进展[计算机J．

而基于LSTM网络的模型则需要很高的时间代价且元素间的依赖关系会受到距离的影响,因此本文提出一种面向双注意力网络的特定方面情感分析模,型(将多头注意力机制应用到细粒度情DANSA)感分析问题中,主要思想是通过双注意力网络学习文本向量之间在不同线性映射下的依赖关系和特定方面与文本之间的依赖关系,并且所获取的依赖关系不会因为距离而减弱,同时,模型可以实现大规模并行化计算,极大地降低了训练时间．实验结果表明,DANSA可以合理有效地解决特定方面情感分[]X,９ueWeiLiTao．Asectbasedsentimentanalsiswithgatedpy

convolutionalnetworks[C]∕∕Procofthe５６thAnnual,StroudsburPA:ACL,２０１８:２５１４２５２３g

MeetinftheAssociationforComutationalLinuistics．gopg

[]P,B１０iaoGuanuanreslinJ．Financialasectandsentimentgyp

redictionswithdeeeuralnetworks[C]∕∕Procofthe２０１８ppn析问题DA．

NSA目前没有考虑文本的时序性问题,在未来的研究中,我们将就文本的时序问题和位置关系进行研究,以提升模型的性能．

参

考

文

献

[１]aMedhatW,HassanA,KorashaSentimentanals[２]Elgnoirintehermisnanodurnaaplp,li２ca０t１i４on,s:(Ay):surH．vey[J]．AinShay

missSWRhagonrgttZehxtognJ

ugnyduearsnt,anCdihpnegng５:AsJiaun４rpveen１yg０,９３１[J]W．a１Jon１２ug３)rnH

alai６ox２fuCno,２６me９ptaut(elir．Cheisneeasre

cha)ndDeveloment,２０１６,５３(:２n(研究与发展王仲远,程健鹏,[３]aLinaanlygBin,asLei２uQ０１６,王海勋douna,n５３m,uX２lu),tiＧJ:等．短文本理解研究[]计算机(ai２tn６te,２２nett６ioanl９

．)J．ACsNp

NectＧ[bJase．JdsoeunrtniamlenotCompsuitserRbesearchandDevelop

ment,２０１７,５]４(８):１７２４f１(７目标情感分梁斌３５(i,nC刘全hinese

)[,１７３５

)J]徐进．计,算等机．基于多注意力卷积神经网络的特定研究与发展,２０１７,５４(８):１７２４

[４]ZdihruectiYoonnaglhLuSaTM,GＧCaoNNXumno,delwZhaitnhagttW

eenitliionn,foetraaslp

．AectＧlevbieＧtextclassifica],:l[５]１sQ２tu７

tion[J．FutureInternet２０１８,１０(１２)１１６uadnyo

WfeiC,NCNahennZdLhSenTgMb,GaasoJediaattnelinatniognn,eetaurlal．nCeotmwp

oarrkastifvoeasectＧler[６]BsLipuignDperCatvihavseen２el０dgh１oju８pioia．nn,PiiosntsHcaeetmainwintiYangmuy

elna,[tnNCＧt,J]op

iE:∕I∕EPrEoEco,２f０I１E８E:EI２１４n１２tC１o５n０foncvedrseotenctiRon,fertomal．texWtea[kJl]y

IEEETransactionsonKnowledgeandDataEngineering,．[７]２aK０ir１i２tc,h２e４nk(６o)S:１,１Z３４１hu１X４i５

aodan,CherryC,etal．Detecting

８stp

heIcnttWsanodsentoipmoenntSiencmaunstticomEevralrueavtiieowns．S[tCro]u∕d∕sPbruorcog

fPtAheACL,２０１４r:ks４h３７４４２

,:[１１]WsMoeaYrldntimuekWnuitandeW,nPaeenbCgHoanifyu．nNe,wCaYmobrrkiaE:A．CTMar,g２e０te１d８a:s１p

９e７ct３１Ｇba９s７e７

dintoanattentilvyeLsisviSg

TiaeenMce[m．CbM]ee∕dn∕dlPinorogPcocoarfmmkt,hCe３onsA２e:nndsekAAAAAnIAoICwled０１og

８nfe５o８n７６５Arti８f８ic３

ialIntell,２:[１２]aCCsaiGopnefctuoＧloneyvoIennlgfos,remnLtiHaimeonntgay

nua．lJyosiisnt[aCtt]e∕n∕tPiornLocoSfTtMnhe２e４ttwhCorkthfionors

a[１３]CA:IEEEComptuiotenRrSeotcriieetvy

al,２(０C１C８I:R２１４７１０１８５)７．LosAlami,aGwuSarehuqbiindi,rZechtainognalLipeatntg

en,tiHoonuYneutewxioarnk,eftoral．aAsppeocstiＧtlieovneＧsentimentanalysis[C]∕∕Procofthe２７thIntConfonl１４７C７omeR４７mpodelu８uii４

tationLinguistics．Stroudsburg

,PA:ACL,２０１８:[]Hndganfo,raLesep

ecWtＧlSev,elNsgenHtimTen,

tcetalalss．ifEicffaeticotinvea[Ct]te∕∕nPtiroonofthe２７thIntConfonComputationalLing

uisticscStroudsburg

,PA:ACL,２０１８:１１２１１１３１．[１５]sYiQian,Li,Z,ePernotcimoefnttchleasus２if５iJitcehatihangGuixuantal．Asp

ectＧlevelIonnwithconvＧattentionmec,hanCism[C]∕∕[１６]CvMoisnmuihVputealat,rSteHontecieiosensty

N,２[C,０]G１t８ra:Cv２oes３n１２f．LA,４３osAlamitosA:IEEEetal．Recurrentmodelsof

InformationProcessing∕∕PSryoscteomfts(heNIP２８St２h０１４Co)n．fCoanmbrNiedugreal

,[１７]CMAhen:gMYIoTPngr,eSshsne,innS２０１gfhoi４qrbi:,２２iH０dieZ４２recth２io１on２

basedjointtraingalajuntt,eentti,oanlＧ．baAsg

erdeenmeeunrtaＧmachinetranslation[C]∕∕Procofthe２５thIntJointConfonl２A７r６ti７

ficialIntellig

ence．MenloPark,CA:AAAI,２０１６:２７６１[１８]YAitntenWtieonnＧpbeansge,dcScohnützeH,XiangBing

,etal．ABCNN:sLeinntg

eunicseticsp,a２i０rs

１６,[v４Jo:]l２．utio５９２Ansa７sln２ocieautiroalnneftowrorkfCoomrp

mutoadtieloinnag

l[１９]nVPeaesdwa[nCiA]∕∕,PSrhoacozeeftrNh,e３Par１smtarNCon,foetanl．Attentionisally

ouPrroecsess,si２n０g１７S:y６st０e００６ms０(１N０

IPS２０１７)．CambNriedugrealI,nMAfor:matMiIoTn孙小婉等:面向双注意力网络的特定方面情感分析模型

[]F,F,Z２０anFeifanenansonhaoDonan．MultiＧrainedgYggyg

attentionnetworkforasectＧlevelsentimentclassificationp,LanuaeProcessin．StroudsburPA:ACL,２０１８:３４３３gggg[C]∕∕Procofthe２０１８ConfonEmiricalMethodsinNaturalp

２３９５

[]M,L,Z,２７aDehoniSuianhaniaodonetal．InteractivegjgXg

attentionnetworksforasectＧlevelsentimentclassificationp[C]∕∕Procofthe２６thIntJointConfonArtificial

[]W,,,２１aniniXuGuanluanZhaninuanetal．SntaxＧgXyggJgyy

],analsis[J．IEEEAccess２０１９,７:５０１４５０２５y

３４４２

,,Intellience．MenloParkCA:AAAI２０１７:４０６８４０７４g

directedhbridattentionnetworkforasectＧlevelsentimentyp

[]P,S:G２２ennintonJocherR,ManninlovelobalggCD．G

vectorsforwordreresentation[C]∕∕Procofthe２０１４Confp,StroudsburPA:ACL,２０１４:１５３２１５４３g

onEmircalMethodsinNaturalLanuaeProcessin．pggg

[],mincludesentimentanalsisachiney

candidate．Hermainresearchinterests

,bSunXiaowanornin１９８９．Master

,learninandnaturallanuaeprocessin．gggg,Waninbornin１９８１．PhD,associategYg

２３cKMliamestshifoicY．dastiionNnCona[tCvou]lural∕t∕iLPoarnoalncguaonfteurgePhareloc２ne０ess１ti４wongCrk．SostnrffouoodnrsbuEsermntg

pierPincce

AalACL,２０１４:１７４６１７５１

,:[２４]cWaninlin,CaoZhu,d５l４atssgificL

ationviamultiＧlevelatetentMioenCloNGN,se[tC]a∕l∕P．RroceloaftitohneLinghAuistnincsua．lStrMoeuedtisnbgurog

ft,PhAe:AAssCoLcia,t２io０nf１６:orC１２９o８１mp

３u０t７ational[２５]TLaSnTgMDsufyourt,arQginetＧBdienp

gen,deFnetsngenXtiiamocehnetcng

la,sseitaficalti．oEnff[eCct]iv∕e∕[２６]SPtrroocoudsftburhg

e,２P６Ath:IAnCtLC,o２n０fo１６:n３２C９o８３mp３ut０a７tionalLing

uistics．AWtatnegntioYequan,HuangMinlie,ZhuXiaoy

an,etmeanlt

．cMlaestshifoicdastniiＧobnNnasea[d

tCu]ral∕∕LLPSarTM

oncguaoftfogePhr

reoc２e０ass１si６p

ecngCtＧ．SoletnvrfelouodnssbuEermntg

pi,irPicAalACL,２０１６:６０６６１５:p

mraoifnessroerse．aSrcehnioirntemreesmtsiberncolfudeCCmFa．Hchinerle

seeaarrncihengn,g

sionceia．lnetwork,dataminingandWangX

inp

rofessor．,Sebnoironirn１me９m８b１er．PohfD,CCasFso．Hciaitselmainresearchinterestsincludemachine

ceoarmnpiuntgin,g

in．formationretrievalandsocialSunYudong

,bornin１９９４．Mastericandidate．Hismainresearchintereasntd

s

nnectlwudoerkrreepcroesmmenteantidoantiloenarnisnyg

st．em