机器学习数据标注质量协议.docxVIP

机器学习数据标注质量协议

本协议由以下双方于______年______月______日在__________签订：

甲方（委托方）：

公司名称：________________________

法定代表人：____________________

注册地址：________________________

联系地址：________________________

联系人：__________________________

联系电话：________________________

电子邮箱：________________________

乙方（服务商）：

公司名称：________________________

法定代表人：____________________

注册地址：________________________

联系地址：________________________

联系人：__________________________

联系电话：________________________

电子邮箱：________________________

鉴于：

1.甲方需要进行机器学习模型的开发与应用，需要大量高质量的数据标注服务；

2.乙方具备提供机器学习数据标注服务的能力和资源；

3.甲乙双方经友好协商，就乙方为甲方提供机器学习数据标注服务及相关质量保证事宜，达成如下协议，以资共同遵守。

第一条定义与解释

除非本协议上下文另有解释，下列词语具有以下含义：

1.1机器学习数据标注：指根据甲方提供的标注规范和标准，对甲方提供的原始数据（如图像、文本、音频、视频、结构化数据等）进行人工或半自动标记、分类、注释、关键点提取等操作，使其成为可用于训练、验证或测试机器学习模型的结构化或半结构化数据的过程。

1.2原始数据：甲方提供给乙方用于标注的基础数据。

1.3标注数据：经乙方按照约定标准完成标注后的数据。

1.4标注规范/指南：甲方制定并提供，详细说明标注规则、类别定义、操作要求、质量标准的文档或系统。

1.5质量标准：本协议约定的衡量标注数据质量的各项指标和要求，可能包括准确率、召回率、精确率、完整性、一致性等。

1.6合格标注数据：符合本协议约定的质量标准的标注数据。

1.7不合格标注数据：未达到本协议约定的质量标准的标注数据。

1.8错误率/拒收率：指标注数据中不符合质量标准的比例或数量，本协议约定的可接受的最高错误率/拒收率为______%。

1.9服务商：指根据本协议向甲方提供数据标注服务的公司或个人，即乙方。

1.10委托方：指根据本协议委托服务商提供数据标注服务的公司或个人，即甲方。

第二条服务范围与标的

2.1项目描述：乙方将为甲方提供以下数据标注服务：

(1)数据类型：________________________；

(2)数据量：约____________（例如：张、条、小时）；

(3)数据格式：________________________；

(4)标注任务：________________________（例如：对图像中的______进行边界框标注，并对文本进行______情感分类）。

2.2标注目标：甲方期望通过乙方的标注服务，获得满足其机器学习模型训练、验证或测试需求的合格标注数据。

2.3交付物：乙方应按照甲方要求的格式和方式，在约定的交付节点前，向甲方交付完成标注的数据。交付的具体格式为：________________________；交付方式为：________________________（例如：通过加密云存储链接下载、邮件发送等）。

第三条标注质量标准

3.1准确性：标注结果应尽可能准确地反映原始数据的真实情况。对于不同类型的标注任务，具体准确率要求如下：

(1)______标注任务：整体准确率不低于______%；

(2)______标注任务：整体准确率不低于______%；

具体类别准确率要求见附件一（若提供）或另行约定。

3.2一致性：

(1)同一标注员对同一数据或相似数据进行多次标注时，结果的一致性应达到______%以上；

(2)不同标注员对同一标注任务进行标注，其结果经审核后应达到______%以上的一致性。

3.3完整性：标注过程应确保所有需要标注的对象或信息均被完整标注，不允许遗漏。

3.4合规性：乙方标注人员必须严格遵守甲方提供的最新版标注规范/指南进行操作。

3.5量化指标：除上述指标外，本协议约定的整体标注错误率（或拒收率）上限为______%。此指标将通过抽样