097_失败案例33：客户数据质量极差，大量乱码、重复文档、残缺文档，FDE没有做数据清洗直接入库，问答效果一塌糊涂复盘.docxVIP

?#FDE数据预处理失败复盘报告：从“脏数据”到“高质量知识库”的整改之路

文档编号：PM-202X-XX日期：202X年X月X日责任人：[FDE团队名称]涉及项目：[客户名称]智能问答系统建设状态：已整改完成，流程优化进行中

1.事件概述(ExecutiveSummary)

在[客户名称]智能问答系统（基于RAG架构）的初版交付中，FDE团队因赶工期，直接将客户提供的原始文档（PDF/Word/Excel等）未经清洗直接导入向量数据库。上线后，系统出现严重的检索召回率低、生成内容幻觉多、答案逻辑混乱等问题，导致客户验收受阻，满意度大幅下降。

本报告旨在复盘此次数据预处理失败的根因，记录FDE驻场紧急清洗的完整流程，并总结教训以优化后续交付标准。

2.问题现象与影响(ProblemStatement)

2.1核心问题*脏数据泛滥：导入数据包含大量页眉页脚、乱码、无关水印、重复段落及格式噪音。*切分不当：机械式按字数切分（Chunking），导致语义截断，上下文丢失。*嵌入失效：噪音干扰了Embedding模型的语义提取，导致向量空间分布混乱。

2.2业务影响|指标|整改前|整改后|变化幅度||:—|:—|:—|:—||检索召回率(Recall@5)|