基于层次注意力模型的文本分类研究.docVIP

基于层次注意力模型的文本分类研究 摘 要 互联网的普及改变了人的生活方式。电子邮件、在线新闻、网上问答、电子商务等越来越多的互联网服务在提供便利丰富生活的同时，也快速产生着数量庞大、内容丰富的文本信息资源，并催生了大数据的概念。文本分类技术通过计算机实现高速的文本自动分类，对检索、组织和管理当今的海量文本数据有着重要的现实意义。 基于深度学习的文本分类是近年来文本分类的研究热点。卷积神经网络、循环神经网络及长短时记忆、门式循环单元等新模型提升了文本特征提取的准确程度，推动了文本分类研究的进一步发展。注意力机制对文本中的词或句结合上下文施以不同注意程度，实现了更精细、更准确的文本特征提取。层次注意力网络模型更是建立了文本-句-词多级的层次结构，并引入了词、句级注意力机制。实验表明，基于层次注意力网络的文本分类实现了文本分类准确率水平的新高度。 结构化自注意句嵌入作为最近提出的句嵌入模型，旨在通过矩阵结构实现具备自注意能力的句嵌入模型，以此提取句子中侧重于不同层面的多重语义，为本文的创新尝试提供了理论基础。 本文的主要工作包含： (1) 研究并基于TensorFlow机器学习框架实现了基于层次注意力网络的文本分类技术，进行了实验验证并对层次注意力进行了可视化输出与分析。 (2) 研究并引入了结构化自注意句嵌入模型以尝试对层次注意力