知识库文档入库与切分规范.doc

知识库文档入库与切分规范

1总则

1.1规范目的

为统一人工智能领域知识库文档的入库标准、文本切分规则、数据管理标准，规范全量业务文档、技术文档、行业资料、运维手册、算法说明等各类知识库资源的加工、入库、存储、更新、运维全流程工作，解决当前知识库存在的文档格式混乱、内容碎片化、切分标准不统一、元数据缺失、更新滞后、责任主体模糊等问题，保障人工智能知识库的结构化、标准化、可检索、可训练、可迭代核心特性，为AI问答系统、智能检索系统、大模型微调、知识推理服务等核心AI业务提供高质量、高精准、高合规的数据源支撑，特制定本规范。

本规范明确了知识库文档从采集初审、格式整改、内容校验、文本切分、元