大规模语言模型训练数据的质量管控与治理准则.docxVIP

大规模语言模型训练数据的质量管控与治理准则

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

数据质量管控概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1数据质量定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2数据质量重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.3数据质量管控原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

数据采集与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1数据源选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2数据清洗策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3数据标注与校验．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

数据治理框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.1治理模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．