知识图谱驱动的大型语言模型训练数据生成与质量优化.pdfVIP

CHUANGXINTANSUO2025年第3期/计算机产品与流通

创新探索CHUANGXINTANSUO

知识图谱驱动的大型语言模型训练数据

生成与质量优化

■何韦澄

本文聚焦知识图谱驱动的大型语言模型训练数关系的技术；构建适应垂直领域需求的知识图谱

据生成与质量优化，解决垂直领域数据构建中的效系统；扩展隐含信息，以确保知识结构的完整性

率和质量问题。通过长文档解析、核心概念提取、与专业性。项目将设计主题聚合和知识检索模块，

关系抽取及知识图谱构建，将非结构化文本转化为提升数据生成的精准性和一致性。针对问答数据生

结构化数据，以提升数据的全面性和精准性。利用成，设计智能化机制，从知识图谱中提取核心信息，

网络分析与主题聚合技术优化知识图谱结构，确保生成符合逻辑和人类表达习惯的高质量问答数据集，

数据的高效传递。问答数据生成依托知识图谱和预并通过数据组织和标准化提高模型在领域问答任务中

训练语言模型，自动生成符合领域标准的高质量问的性能。

答对，并通过多层次评估机制确保数据质量。基于三、实施方案

SFT（supervisedfine-tuning）数据集的构建与微调，为解决垂直领域训练数据构建中的核心问题，

优化模型在垂直领域的适应性，提升其推理和生成本文制定了系统化的实施方案，涵盖长文档解析与

能力，为实际应用提供高效解决方案。知识图谱构建、网络分析与主题聚合、问答数据生

一、背景成与质量评估、SFT数据集构建与模型微调等环节。

近年来，大型语言模型（LLM）在垂直领域的（一）长文档解析与知识图谱构建

应用前景广阔，但高质量训练数据的获取需要极高在长文档解析环节，分句和分段处理可以将非

的成本。垂直领域的训练数据往往来自大量的专业结构化文本转换为易处理的片段。利用命名实体识

文献和技术资料，手工标注和整理问答数据不仅劳别（NER）技术提取文档中的核心实体，如人员、

动强度大、周期长，而且经济投入极为高昂，成为组织、技术术语等，并利用关系抽取算法确定实体

制约模型能力提升的核心瓶颈。尤其在内容高度专间的关联。知识图谱的构建包括基础关系的提取与

业化的情况下，单靠人工标注难以同时满足效率和隐含关系的推理。构建过程中采用基于预训练语言

质量要求。长文档的信息密度与结构复杂性进一步模型的关系预测算法，如公式（1）所示：

提高了解析难度，传统数据提取方式难以精准捕捉PrhtWhrt

(,)=Softmax([;;])（1）

∣

和整合关键知识点及其关系，导致知识覆盖和获取htr

式中，、分别为实体头和尾；为关系类型；

不全面。数据质量的波动也会显著影响模型的推理W关系权重矩阵。

和生成效果，在高要求的应用场景下，低质量数据（二）网络分析与主题聚合

极易削弱模型性能。针对上述痛点，