基于深度学习的中文特定领域命名实体识别方法研究.pdfVIP

中文摘要 摘 要 互联网信息化社会的高速发展，带给了我们越来越多的便利，随之也产生了 海量文本信息，如何对这些非结构化的信息进行分析挖掘，将自然语言解析为计 算机可处理、可理解的语言形式以实现知识的获取和表示，是自然语言处理 （Natural Language Processing ，NLP ）研究的一个核心目标，同时也是人工智能的 主题之一，对于实现机器认知智能具有重要意义。 命名实体识别（Named Entity Recognition ，NER ）作为自然语言处理研究的重 要组成，要求对各式各样文本数据中具有特定含义的诸如人物名、地名、组织机 构名等实体语言成分进行识别，是对话交互系统 （Dialogue and Interactive Systems ）、 自动问答（Automatic Question and Answering ）等高层自然语言处理技术中必不可 少的一部分。以往的研究主要关注于上述几种常见类型的实体，相对已经成熟， 而在特定领域，尤其是针对中文特定领域的实体识别仍处于发展阶段，相关研究 较少。由于标注语料稀少、专有术语和稀有词较多，中文特定领域的文本更难以 建模和表示，极具挑战性，因而本文的研究重点将集中于此。对于数据低资源产 生的建模表示难点，本文挖掘大规模自然语言数据的潜力，将自然语言本身视为 “天然”标注语料，使用语言模型（Language Model ）提炼其中的语言知识，同时 构建新型的网络架构实现更为有效地建模和标注。 概括地来说，本文工作内容主要有如下几点： ① 首先，对目前命名实体识别领域主流实体识别方法——长短期记忆网络 （Bidirectional Long-Short Term Memory ，BiLSTM ）与条件随机场（Conditional Random Fields ，CRF ）集成模型BiLSTM-CRF 进行了详细地介绍，并在此基础上 从模型网络结构优化改进层面出发，提出了一种基于 Hierarchical BiLSTM-CRF 模 型的端到端实体识别方法，并在三个中文特定领域的实体识别数据集上进行实验， 探索了深层次网络在特征抽取上对实体识别效果的影响，实验结果表明适当深层 次的网络架构有利于捕获更佳语义层次的特征表示，可以提升模型的实体识别效 果； ② 其次，本文引入深度学习最新理论成果 BERT （Bidirectional Encoder Representations from Transformers ）深层语境语言模型（Deep Contextual Language Model ），其利用大规模自然语言文本语料进行双向无监督预训练，再结合具体下 游任务进行微调，相比较于传统浅层语言模型，BERT 能够根据词所在上下文语境 动态地调整相应词嵌入表示，很好地解决了“一词多义”问题，因而具有强大的 上下文语言表征能力。受此启发，本文从语义层面改进出发，提出一种基于 I 重庆大学硕士学位论文 BERT-CRF 模型的端到端实体识别方法，并在上述数据集上进行验证，实验结果 表明当预训练数据与实验数据集中的显性语言表达存在较大共性时，模型识别效 果提升明显； ③ 接着在上述基础上，考虑到 BiLSTM-CRF 模型具备良好的序列标注性能， 长期被作为基准模型（Benchmark Model ），本文提出一种基于BERT-BiLSTM-CRF 模型的端到端实体识别方法，后续的实验证明这两者的融合效果显著，不仅在上 述三个中文特定领域的实体识别数据集上取得了最佳的识别效果，并且在现有多 个公开数据集上超越了以往论文中的方法。 关键词：命名实体识别；条件随机场；BiLSTM ；注意力机制；深层语境语言模型 II 英文摘要