生成式人工智能训练数据质量管控与治理框架.docxVIP

生成式人工智能训练数据质量管控与治理框架

目录

一、总则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、数据质量管理体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

三、数据采集阶段质量控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

3.1数据源评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

3.2数据采集规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

3.3数据采集质量监控．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

四、数据加工阶段质量控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

4.1数据清洗规则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

4.2数据转换规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

4.3数据加工质量评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

五、数据存储阶段质量控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．