基于深度学习的命名实体识别研究.pdfVIP

摘要

基于深度学习的命名实体识别研究

随着信息时代的发展，互联网带给人们生活便利的同时，也产生了海量的数

据。在数据爆发式增长的趋势下，如何处理海量的非结构化数据，抽取有效信息

成了当下最为重要的问题。而命名实体识别技术可以从海量文本数据中提取关键

实体信息。因此，命名实体识别任务起着至关重要的作用，具有极高的应用价值

与研究意义。

近年来，随着计算机硬件条件的提升，GPU的发展十分迅猛。在充足的算力

面前，深度学习的应用越来越广泛。在没有计算能力的限制下，深度学习的效果

越来越好。面对海量的文本数据，深度学习技术可以从中自动提取有效特征信息，

避免了人工提取特征。本文利用深度学习方法开展命名实体识别任务，主要工作

与贡献体现在下述三个方面：

第一，标注中文命名实体识别数据集。本文实验数据来源于《人民日报》标

注语料库（PFR）和微软亚研院（MSRA）命名实体识别语料。两种数据集均为

已经标注好词性的语料，如：人名、地名、组织机构名标注为nr、ns、nt。本文

将数据集的词性转换为BIO标签，采用BIO和BIOES两种标注形式对两种不同

的数据集进行命名实体识别任务研究。

第二，构建了IDCNN-CRF命名实体识别模型。在命名实体识别领域，卷积

神经网络用来捕获文本的局部信息。除此之外，随着卷积神经网络层数的加深，

网络参数以指数级别加深。针对此问题，本文构建了一种基于膨胀卷积神经网络

（IDCNN）的命名实体识别模型。由于IDCNN没有池化层，该模型避免了卷积

时上下采样导致的数据丢失，同时增大了感受野，以提取更加广阔的全局特征，

有效的解决了长距离句子的上下文依赖关系。接入CRF，利用CRF中的状态转

移矩阵，对文本输出序列的概率规则进行学习，计算得到最佳的输出序列标签。

本文采用不同的参数对IDCNN-CRF模型做了大量的实验，确定了一组最优的实

验参数配置。在两种不同的数据集中取得的F1值比基线模型CRF得到的F1值

分别提升了10.4%和11.41%，比LSTM-CRF模型分别提升了5.16%和8.34%。

与BiLSTM-CRF模型相比，效果提升了0.38%和2.07%，并且在训练时间上缩短

了近30%，明显提高了运行效率。

第三，构建了基于BERT-BiLSTM-CRF的命名实体识别模型。BiLSTM网络

可以提取上下文信息，但是不能对多义字进行表征，针对此问题，本文在BiLSTM-

CRF的基础上，引入了BERT预训练词向量。具有双向Transformer编码的BERT

词向量通过Mask语言模型有效的解决了多义字表征问题，能够提取词级别和句

子级别的特征信息，极大的增强了句子的语义表示能力。本文用BERT预训练词

向量替代了传统词向量表示，为CRF提供了强健的语义表示信息。在《人民日

报》数据集和MSRA数据集的中文命名实体识别任务中，与基线模型CRF相比，

BERT-BiLSTM-CRF模型取得的F1值提升了15.31%和16.04%。与LSTM-CRF

模型相比，提升了10.07%和12.97%。BERT-BiLSTM-CRF模型的F1值比BiLSTM-

CRF模型高出5.29%和6.7%，比IDCNN-CRF模型高出4.91%和4.63%。

关键词：命名实体识别，深度学习，膨胀卷积神经网络，条件随机场，BERT

Abstract

ResearchonNamedEntityRecognitionBasedonDeepLearning

Withthedevelopmentoftheinformationage,theInternetnotonlybrings

conveniencetopeopleslife,butalsoproducesahugeamountofdata.Underthetrend

ofdataexplosivegrowth,howtodealwithmassivenon-structuraldataandextract

effectiveinformationintothecurrent