CN120235162A 一种基于语义密度的文本处理方法及系统 （山东浪潮科学研究院有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120235162A(43)申请公布日2025.07.01

(21)申请号202510713340.7

(22)申请日2025.05.30

(71)申请人山东浪潮科学研究院有限公司

地址250000山东省济南市高新区浪潮路

1036号S02号楼

(72)发明人张吉臣展恩昊李雪魏子重

(74)专利代理机构北京集佳知识产权代理有限公司11227

专利代理师祁丹

(51)Int.CI.

GO6FGO6F

GO6F

40/30(2020.01)40/295(2020.01)18/241(2023.01)

权利要求书3页说明书14页附图2页

(54)发明名称

一种基于语义密度的文本处理方法及系统

(57)摘要

CN120235162A本申请提供一种基于语义密度的文本处理方法及系统，应用于文本处理技术领域，获取目标文本，并对目标文本进行特征提取，得到目标文本的每个段落的多个文本特征；根据每个段落的文本特征，计算每个段落的语义密度评分；根据各个段落的语义密度评分，对每个段落进行分类，得到每个段落的段落类别；若段落的段落类别为高密度，根据目标文本的文本类型和段落的语义密度评分，对段落进行分块处理，得到段落对应的多个文本分块；若段落的段落类别为低密度，根据目标文本的文本类型、段落及其语义密度评分和各个其他段落及其语义密度评分对段

CN120235162A

性。

获取目标文本，并对目标文本进行特征提取，得到目标文本的每个段落的多个文本特征

根据每个段落的文本特征，计算每个段落的语义密度评分

根据每个段落的语义密度评分对每个段落进行分类，得到每个段落的段落类别

针对每个段落，判断段落的段落类别是否为高密度，或者是否为低密度

段落类别为低密度

段落类别为高密度

根据目标文本的文本类型和段落的语义密度评分，对段落进行分块处理，得到段落对应的多个文本分块

根据目标文本的文本类型、段落及其语义密度评分和各个其他段落及其语义密度评分对段落进行处理，其中，其他段落为除了段落以外的段落

S101

S102

S103

S104

S105

8106

CN120235162A权利要求书1/3页

2

1.一种基于语义密度的文本处理方法，其特征在于，所述方法包括：

获取目标文本，并对所述目标文本进行特征提取，得到所述目标文本的每个段落的多个文本特征；

根据每个所述段落的文本特征，计算每个所述段落的语义密度评分；

根据每个所述段落的语义密度评分对每个所述段落进行分类，得到每个所述段落的段落类别；其中，所述段落类别为高密度，或者为低密度；

若所述段落的段落类别为高密度，根据所述目标文本的文本类型和所述段落的语义密度评分，对所述段落进行分块处理，得到所述段落对应的多个文本分块；

若所述段落的段落类别为低密度，根据所述目标文本的文本类型、所述段落及其语义密度评分和各个其他段落及其语义密度评分对所述段落进行处理；其中，所述其他段落为除了所述段落以外的段落。

2.根据权利要求1所述的方法，其特征在于，所述获取目标文本，并对所述目标文本进行特征提取，得到所述目标文本的每个段落的多个文本特征，包括；

获取待进行处理的目标文本；其中，所述目标文本包括多个段落；

针对每个所述段落，将所述段落输入利用蒸馏后的语言模型，使所述蒸馏后的语言模型通过命名实体识别统计所述段落内的实体数量，并根据所述实体数量计算所述段落的实体密度；通过词频分布计算所述段落的信息熵；统计所述段落内的各个逻辑连接词的出现次数，并根据各个所述逻辑连接词的出现次数计算所述段落的逻辑连接强度；根据预设核心短语识别算法对所述段落进行识别，得到所述段落的多个核心短语，并根据所述段落及其多个核心短语，计算所述段落的核心短语覆盖率；

其中，所述段落的实体密度、信息熵、逻辑连接强度和核心短语覆盖率构成所述段落的多个文本特征。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述段落的文本特征，计算每个所述段落的语义密度评分，包括：

针对每个所述段落，利用所述蒸馏后的语言模型计算所述段落的每个文本特征的特征值，并根据将每个所述文本特征的特征值映射至[0,1]区间内得到的每个所述文本特征的目标特征值，计算所述段落的语义密度评分。

4.根据权利要求1所述的方法，其特征在于，所述根据每个所述段落的语义密度评分对每个所述