ARCE: 增强的 ROBERTA 带上下文化阐释用于自动规则检查中的 NER.pdfVIP

ARCE:增强的ROBERTA带上下文化阐释用于自动规则检查中的NER

JianChenJinbaoTianYankuiLiZhouLi

NingxiaJiaojianTransportationScienceandTechnologyResearchInstituteCo.,Yinchuan,China

NingxiaCommunicationsConstructionCo.,LTD.,Yinchuan,China

Correspondingauthor.E-mail:nxcc.lab@

ABSTRACT1.介绍

本建筑、工程和施工（AEC）行业作为全球经济的

译基石，面临着大量复杂的安全和监管要求，这些要求

中从专业文本中准确提取信息是一项关键挑战，特别是记录在庞大的非结构化文本中[1–3]。为了应对这一

对于建筑、工程和施工（AEC）领域中的命名实体识复杂性，自动化规则检查（ARC）作为一种确保合规

1

v别（NER），以支持自动规则检查（ARC）。标准预训练性的关键技术应运而生[4,5]。然而，在开发有效的

6ARC系统时的一个关键瓶颈在于“规则解释”阶段，

8模型的性能往往受限于领域差异，因为它们难以解释

2AEC文本中存在的专业化术语和复杂的关系背景。虽这需要从文本中准确提取语义信息——这项任务正式

7

0然可以通过在大型的人工整理领域的语料库上进一步称为命名实体识别（NER）[6]。

.

8预训练来缓解这一问题，如ARCBERT方法所示，但早期尝试解决这一命名实体识别挑战的方法涉及

0这种方法既耗时又成本高昂。因此，利用大语言模型对BERT[7]和RoBERTa[8]等预训练语言模型进行

5

2（LLMs）进行自动化知识生成作为一种有前景的替代微调，使用小规模的领域内标注数据集。然而，这些

:

v方案应运而生。然而，如何生成真正能够提升更小、更模型的表现往往受到其初始训练所用的一般用途语料

i

x高效模型的知识的最佳策略仍是一个开放性问题。为库与AEC领域的专业化词汇之间的显著领域差异的

r

a了解决这个问题，我们提出了ARCE（增强的带上下影响[9,10]。这种差距使得稳健和准确的信息提取成

文解释的RoBERTa），这是一种系统地探索和优化这为一个持续存在的挑战。

一生成过程的新方法。ARCE采用LLM首先生成一为了弥合这个领域差距，已经探索了两种主要范

组简单的直接解释语料库，我们将这称为Cote，然后式。第一种，以ARCBERT[2]为例，涉及在大型的人

使用这个语料库逐步预训练一个RoBERTa模型，在工整理的特定领域语料库上进行进一步预训练。虽然

进行下游任务微调之前。我们广泛的实验表明，ARCE有效，但这种方法极其劳动密集且成本高昂。一种更

在基准AEC数据集上建立了新的最先进的水平，实现近期的范式利用大型语言模型（LLMs）自动生成任务

了77.20%的Macro-F1分数。这一结果还揭示了一个导向的知识，从而增强较小、更高效的模型[11,12]。

关键发现：简单、基于解释的知识对于这项任务来说，我们的工作建立并显著扩展了这一后一方法。

出人意料地比复杂、基于角色的理由更有效。代码公我们提出了ARCE（增强的RoBERTa与上下文

开获取地址为:/nxcc-lab/ARCE。化阐释），一种利用大型语言模型（Qwen3-8B[13]）

生成高质量、任务导向的知识语料库的新方法——

IndexTerms—自动化规则检查，大