基于BERT的多特征融合农业命名实体识别.pdfVIP

第 38 卷 第 3 期 农 业 工 程 学 报 Vol.38 No.3 112 2022 年 2 月 Transactions of the Chinese Society of Agricultural Engineering Feb. 2022 ·农业信息与电气技术· 基于 BERT 的多特征融合农业命名实体识别 1 1,2※ 2,3,4 2,3 赵鹏飞 ，赵春江 ，吴华瑞 ，王 维 （1. 山西农业大学工学院，太谷 030801 ；2. 国家农业信息化工程技术研究中心，北京 100097 ； 3. 北京农业信息技术研究中心，北京 100097 ；4. 北京农业智能装备技术研究中心，北京 100097 ） 摘 要：命名实体识别是农业文本信息抽取的重要环节，针对实体识别过程中局部上下文特征缺失、字向量表征单一、 罕见实体识别率低等问题，提出一种融合 BERT （Bidirectional Encoder Representations from Transformers ，转换器的双向 编码器表征量）字级特征与外部词典特征的命名实体识别方法。通过 BERT 预训练模型，融合左右两侧语境信息，增强 字的语义表示，缓解一词多义的问题；自建农业领域词典，引入双向最大匹配策略，获取分布式词典特征表示，提高模 型对罕见或未知实体的识别准确率；利用双向长短时记忆（Bi-directional Long-short Term Memory ，BiLSTM ）网络获取 序列特征矩阵，并通过条件随机场（Conditional Random Field，CRF ）模型生成全局最优序列。结合领域专家知识，构建 农业语料集，包含 5 295 条标注语料，5 类农业实体。模型在语料集上准确率为 94.84%、召回率为 95.23%、F 1 值为 95.03% 。 研究结果表明，该方法能够有效识别农业领域命名实体，识别精准度优于其他模型，具有明显的优势。 关键词：农业；命名实体识别；文本；BERT；词典特征；BiLSTM doi ：10.11975/j.issn.1002-6819.2022.03.013 中图分类号：TP391.1 文献标志码：A 文章编号：1002-6819(2022)-03-0112-07 赵鹏飞，赵春江，吴华瑞，等. 基于BERT 的多特征融合农业命名实体识别[J]. 农业工程学报，2022，38(3)：112-118. doi ：10.11975/j.issn.1002-6819.2022.03.013 Zhao Pengfei, Zhao Chunjiang, Wu Huarui, et al. Recognition of the agricultural named entities with multi-feature fusion based on BERT[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(3)