基于半监督学习与CRF的应急预案命名实体识别.docxVIP

基于半监督学习与CRF的应急预案命名实体识别 　　摘要：传统基于统计的命名实体识别方法存在需要大量人工标注的缺陷，导致识别准确率较低。为了提升识别效果，提出一种基于条件随机场的半监督学习方法（s-crf）对命名实体进行识别。该方法将实体识别看作序列标注问题，对少量数据进行人工标注并构建实体集，通过k-means聚类算法选取有代表性的未标注数据文本进行自动标注，采用条件随机场对语料进行训练测试。选取中文应急预案文档进行实验，该方法在各个标签上的识别效果分别达到93.52%、93.04%、95.81%。实验结果表明，该方法优于传统规则方法，能有效提高应急预案命名实体的识别效果。 　　关键词：应急预案;命名实体识别;条件随机场;半监督学习 　　doi：10.11907/rjdk.192096 　　中图分类号：tp301文献标识码：a文章编号：1672-7800（2020）003-0035-04 　　entityidentificationbasedonsemi-supervisedlearningandcrf 　　liutong，weijing，niwei-jian，chensi-yuan 　　（collegeofcomputerscienceandengineering，shandonguniversityofscienceandtechnology，qingdao266590，china） 　　abstract：thetraditionalstatistical-basednamedentityrecognitionmethodrequireslargenumberofmanuallabelingdefects，resultinginlowrecognitionaccuracy.inordertoimprovetherecognitioneffect，weproposeamethodofconditionalrandomfieldsemi-supervisedlearningmethod（s-crf）toidentifyandextractnamedentities.thismethodregardstheentityrecognitionasthesequencelabelingproblem，manuallylabelsmallamountsofdataandconstructedentityset.thek-meansclusteringalgorithmisusedtoselectrepresentativeunlabeleddatatextsforautomaticlabeling，andtheconditionalrandomfieldisusedtosequencethecorpus.thechineseemergencyplandocumentwasselectedforexperiment.theaccuracyoftheb，m，andolabelsreached93.52%，93.04%and95.81%，respectively.theexperimentalresultsshowthatthemethodissuperiortothetraditionalrulesmethodandcaneffectivelyimprovetheidentificationeffectofnamedentityofthecontingencyplan. 　　keywords：emergencyplan;namedentityidentification;conditionalrandomfield;semi-supervisedlearning 　　0引言 　　現代社会中出现的各种突发事件通常具有规模大、复杂度高等特征，各级政府和单位需要设置合理的机构应对突发事件。因此，各省都制定了多种类型且精准的应急预案体系。自然语言作为一个应急预案文档的主要组成成分，其包含命名实体和非命名实体，其中命名实体是指人名、地名、机构名等专有名词及其它名称实体（时间、日期等）[1]。命名实体识别是指对这些词进行识别、整理归类与分析。命名实体识别是nlp处理领域的问题，在机器翻译和信息检索抽取等方面应用广泛，能否正确识别命名实体决定着信息抽取效率[1]。目前，国内外针对命名实体识别的研究方法主要有传统识别方法和神经网络方法，对诸多领域的命名实体识别研究已较为成熟，并且取得了较好效果，但对中文应急预案文本方面的研究较少。因此，对中文应急预案文本进行命名实体识别，提取出其中的组织机构名，对于后续组织间关系效率研究具有一定的实际意义。 　　本文选择中文应