基于迁移学习的中文命名实体识别研究.pdfVIP

摘要

摘要

基于迁移学习的中文命名实体识别研究

互联网信息时代下，就计算机应用而言，以结构化和非结构化形式存储并用

于语言文字的信息处理占比十分巨大,在神经网络广泛应用于自然语言处理任务

之前，命名实体识别领域的研究通常集中在利用词汇和句法知识来提高模型或方

法的性能。随着低资源的命名实体识别任务成为主流方向，作为应对的手段之一

的迁移学习也逐渐成为热门的研究方向。跨领域迁移学习是一种可以将知识从高

资源领域传递到低资源领域来弥补数据信息不足的技术，在处理资源匮乏的命名

实体识别任务上具有很好的效果。

在低资源领域中，面对缺少完善实体标注数据的情况，为了提高基于神经网

络的命名实体识别模型的性能表现，本文提出了一种基于迁移学习的命名实体识

别模型，具体工作如下：

首先，提出一种基于实体特征的数据迁移方法。应用基于预训练的BERT模

型进行文本向量化，通过计算低资源数据与高资源数据的特征分布相似性，选择

最具类别代表性的实体特征进行特征转移映射，计算两个领域实体分布的距离，

进而弥补两个领域数据之间的差距，利用完善标注的高资源数据进行神经网络模

型的训练。

然后，提出一种基于词汇信息的实体边界检测方法，该方法以BiLSTM+CRF

作为模型的主体架构，再融合字符边界信息辅助注意力网络来改善模型识别实体

边界的能力，从而进一步提高整体模型的实体识别性能。通过对比试验结果可见，

相比于普通模型，加入边界检测方法在F1值的方面能够提升3%，在准确率和

召回率方面分别提升2%和3%。

最后，选择多种基于迁移学习的命名实体识别方法作为基线方法进行对比，

在多个不同领域的数据集上进行实验。结果表明，本文所提出的模型在少标注领

域实体识别的准确率提升了1%，召回率提升2%，F1值的方面平均提升2%。

关键词:

LSTMCRF

命名实体识别，迁移学习，，

I

Abstract

Abstract

AResearchtowardChineseNamedEntityRecognitionBasedon

TransferLearning

IntheinformationageoftheInternet,theproportionofinformationstoredin

structuredandunstructuredformandusedforlanguageprocessingisverylarge.

Beforethewidespreaduseofneuralnetworksfornaturallanguageprocessingtasks,

theresearchersinthefieldofnamedentityrecognitionwasusuallyfocusedonusing

lexicalandsyntacticknowledgetoimprovetheperformanceoftheirmethods.As

low-resourcenamedentityrecognitiontaskshavebecomemainstream,transfer

learningasameanstocopewiththishasbecomeapopularresearchdirection.

Cross-domaintransferlearningisatechniquewhichcantransferknowledgefroma

high-resourcedomaintoalow-resourcedomaintocompensatef