文章摘要:文本相似度的计算是自然语言处理的核心问题.现有的文本相似度计算方法,存在对于深层次的语义信息提取的不充分,且对长文本的相似度计算能力有限的问题.针对现有文本相似度计算方法的缺陷,提出一种基于多头自注意力机制的Siamese网络,利用双向GRU为基础的Siamese模型精确提取文本样本中上下文的语义信息,同时加入多头自注意力机制学习长文本深层次的语义信息.在公开的SICK数据集上,实验结果表明加入多头自注意力机制的Bi-GRU Siamese网络模型可以学习到长文本深层次的语义信息,对比其他的文本相似度的计算方法,相关系数显著提升,处理长文本效果较好.

文章关键词:Siamese网络,文本相似度,多头自注意力机制,双向GRU,SICK数据集,

项目基金:国家自然科学基金(61136002),陕西省工业公关资助项目(2014k06-36),陕西省教育厅科技计划资助项目(2013jk1128),法律方法 网址: http://flff.400nongye.com/lunwen/itemid-105366.shtml

上一篇： 中国古代史论文_经与权：汉代官吏矫制行为考析
下一篇： 铁路运输论文_装配式半铺盖法施工临时立柱稳定性措施研究