基于上下位关系的法律行为-法条推理算法研究.pdf

摘要

上下位关系是一种基本的语义关系，其被用于描述两个概念之间的“is-a”

关系。随着深度学习技术在自然语言处理领域的迅速发展，预训练语言模型在上

下位关系识别任务上发挥了重要作用，但是，基于上下位关系的法律行为-法条推

理算法仍然存在输入模型的文本信息语义表征弱，现有的上下位知识树质量低，

行为-法条推理任务缺少可用的图谱与推理评价体系的问题。本文基于预训练语言

模型，对中文法律领域的上下位知识树构建和行为-法条推理算法进行了研究，成

功构建了法律概念间的上下位知识树，实现了从法律行为概念到法律条文的精准

推理。本文的主要工作内容及创新点如下：

（1）提出了一种在中文法律领域内构建词汇的上下位分类树的方法

CHRRM(ChineseHypernymRelationshipReasoningModel)，该方法在传统判别模型

的基础上增加了上下位词汇发现模块和词汇释义模块，然后通过判别模型结合大

语言模型生成的词汇释义来预测词对间的上下位关系，最后将上下位关系作为全

连接图的边，通过最大生成树算法将该全连接图重整为一棵最大生成树，作为输

出的上下位知识树。该方法在WORDNET数据集上实现了67.9的F1值，相对基

线算法提升15.6%。在自建的法律领域数据集上微调过后，该方法达到了76.3的

F1值。该方法通过增加词汇释义模块，解决了传统模型对词汇的语义表征不足的

问题，并通过预训练模型实现了上下位知识树构建任务，给出了一种构建高质量

上下位知识树的方法。

（2）改进了K-BERT(Knowledge-enabledBidirectionalEncoderRepresentation

fromTransformers)模型，给出了一种基于上下位知识树和改进的K-BERT模型的

行为-法条推理的方法。该方法首先将K-BERT的损失函数更换为二元交叉熵损失

函数，使K-BERT能应用于多标签分类和排序任务，然后使用改进后的K-BERT

理解法律领域知识树和行为序列文本，使输入的行为能通过多标签分类映射到相

应的法条并使用宽容度评估推荐效果，从而实现根据行为进行法条推荐的算法。

该方法在DuEE数据集上达到了94.3%的召回率，在动态宽容度设置下达到83.7%

的行为-法条推理召回率，在10宽容度设置下达到93.4%的召回率。该方法通过改

进K-BERT的损失函数，解决了K-BERT不适用于法律领域多标签分类的问题，

通过引入宽容度概念，解决了行为-法条推理任务缺少评价体系的问题。

（3）将本文所实现的算法整理为数据预处理模块、模型训练模块、行为-法条

推理模块，设计并开发了行为-法条推理的辅助研究系统，该系统提供了数据分析

与结构化功能、模型训练与存储功能、行为-法条推理功能，并能实现自动化与持

久化的运行。

关键词：BERT模型，短文本分类，上下位知识树，行为-法条推理

ABSTRACT

Ahypernymrelationshipisafundamentalsemanticrelationshipusedtodescribethe

is-arelationshipbetweentwoconcepts.Withtherapiddevelopmentofdeeplearning

technologyinthefieldofnaturallanguageprocessing,pre-trainedlanguagemodelshave

playedanimportantroleinhypernymrelationshiprecognitiontasks.However,

algorithmsforlegalbehavior-lawarticleinferencebasedonhypernymrelationshipsstill

facechallengessuchasweaksemanticrepresentationoftheinputtexttomodels,low

qualityofexistingtaxonomies,andthelackofavailableknowledg