NLP数据收集与标注自然语言处理开发14课件讲解.pptxVIP

NLP数据收集与标注自然语言处理项目开发何逵田《深度学习技术与应用》

目录CONTENTS01数据源获取：选对数据，成功一半02标注流程：专业标注，方出好数据03标签设计：标签设计错，标注全白费04语料清洗：清洗数据，为数据“排毒”

PART01数据源获取：选对数据，等于成功了一半

通用领域公开语料库如Wiki、BookCorpus，覆盖范围广、体量巨大，适合用于模型预训练，打好语言基础。垂直领域公开数据集如SQuAD、CoNLL-2003，针对特定任务标注，适合用于下游任务的模型微调与评测。自定义爬取数据如微博、电商评论，可根据个性化需求精准获取，灵活可控，但噪声较多。三类典型数据源

预训练模型数据源：通用领域公开语料库核心目标：追求“量大面广”下游任务微调数据源：垂直领域公开数据集核心目标：追求“精准匹配”个性化项目数据源：自定义爬取数据核心目标：追求“灵活可控”数据源选择的核心原则：任务导向，按需选择三个“不选”原则不选版权不明的数据不选噪声过多的数据不选和任务无关的数据

PART02标注流程与众包平台:专业标注，才能出好数据

各核心层级的理论功能与设计逻辑利用基础模型自动打标，人工仅修正错误，大幅降低人力成本。对标注员进行严格培训，确保理解并执行统一的标注标准。通过黄金样本校验和交叉标注，检查并保证数据标注质量。收集反馈，持续优化标注指南，形成闭环的流程改进机制