融合BERT和全局指针网络的电网新设备启动方案实体关系联合抽取研究.pdfVIP

2025年2月第28卷第2期电力大数据大数据专题

Feb.2025,Vol.28,No.2POWERSYSTEMSANDBIGDATABigDataSpecialReports

融合BERT和全局指针网络的电网新设备启动方案

实体关系联合抽取研究

张文广1，张竟阳2*，王思瀚？

（1.新能源电力系统全国重点实验室（华北电力大学），北京102206；

2.华北电力大学控制与计算机工程学院，北京102206)

摘要：构建电网新设备启动方案的知识图谱有助于提升电力系统的智能化水平，实体关系抽取是其重要基础任务

之一。针对电网新设备启动方案文本语义关系复杂、存在实体嵌套和三元组重叠的情况，本文提出了一种融合

BERT和全局指针网络的联合抽取模型。首先引入RoBERTa-wwm-ext预训练模型以增强复杂语义关系文本的学

习能力。其次通过全局指针网络将实体首尾作为一个整体进行统一标注，以解决实体嵌套问题。然后搭建全局指

针联合解码模型，以解决三元组重叠的问题。最后引入对抗训练和多任务动态加权机制，以进一步提升该模型的稳

定性和识别效果。所提模型在电网新设备启动方案实体关系联合抽取任务中的精确率、召回率和F，值分别达到

92.77%、94.79%和93.77%,验证了所提模型的有效性。

关键词：联合抽取；电网新设备启动方案；全局指针；BERT；对抗训练；多任务动态加权

中图分类号：TM73文献标志码：A开放获取

DOI:10.19317/j.cnki.1008-083x,2025.02.005

文章编号：2096-4633(2025)02-0038-09

知识图谱是一种结构化的知识表示方式，能够务的输入依赖于命名实体识别任务的输出，存在任

提升人工智能的安全性、可靠性和可解释性，应用在务间误差传播和信息丢失等问题[13-141。

智能对话、问答系统和信息检索等领域[1-3]。实体联合抽取方法把三元组抽取看成一个整体任

关系抽取是构建知识图谱的关键任务，目的是从文务，与流水线方法相比，避免了任务间误差传播等问

本数据中抽取形如（主体，关系，客体)的实体关系三题，从而获得更好的抽取效果[15]。杜刃刃等人[161

元组[4-5]。电网新设备的投运是电力系统运行管理提出了一种融合注意力机制的BiLSTM一CRF模

中的核心环节,利用非结构化文本形式的历史数据型，为电网故障处置领域的知识图谱构建提供支撑。

中的知识信息来构建知识图谱，有助于解决手工编饶东宁等人[17提取每个数据集的Schema进行合并

制电网新设备启动方案效率低下的问题6-7。因作为先验特征传人模型，以解决实体穴余及关系种

此，提高实体关系抽取任务的准确度，对于提升电网类迁移问题。WEI等人[18]设计层叠指针网络，提出

智能化运行水平具有重要意义。了实体关系抽取模型CasRel,以应对三元组重叠问

流水线方法和联合抽取方法是实体关系抽取任题。全局指针网络(GlobalPointer)是指针网络[19]

务的常用方法[8-。流水线方法指先完成命名实体的一个变种，能够解决实体嵌套问题。邓亮等人[201

识别任务，在此基础上再进行实体关系抽取任务。提出实体关系联合抽取方法BGPNRE,该模型基于

ZHANG等[101提出BBCPF模型，采用BERTBERT编码器和全局指针网络设计了3个组件以应

from

(bidirectionalencoderrepresentations对允余关系判断和实体重叠等问题。王彤等人[21]

transformers)预训练模型进行命名实体识别，采用提出了实体关系联合抽取模型RBGPL，能够适配

PERT预训练模型进行关系抽取。王昊等人[11采中文农业病害领域知识抽取任务。张强等人[221在

用一种基于领域词典的实体识别方法，提出了实体关系联合抽