文本数据标注质量协议.docxVIP

文本数据标注质量协议

甲方（委托方）：[甲方公司全称]

法定代表人/授权代表：[姓名]

地址：[甲方公司地址]

联系方式：[甲方联系人及电话]

乙方（标注方）：[乙方公司全称]

法定代表人/授权代表：[姓名]

地址：[乙方公司地址]

联系方式：[乙方联系人及电话]

鉴于甲方需要委托乙方进行特定文本数据的标注工作，并希望双方依据本协议明确合作中的权利、义务及质量标准，经友好协商，达成协议如下：

第一条协议目的

本协议旨在明确甲乙双方在合作进行文本数据标注项目中的权利、义务，确保乙方按照甲方要求的质量标准完成标注任务，并交付符合约定的数据成果。

第二条协议范围

2.1数据类型：乙方负责对甲方提供的[具体描述数据来源，例如：社交媒体文本、新闻稿、产品评论等]进行[具体标注任务类型，例如：命名实体抽取（人名、地名、机构名）、情感倾向分类（积极、消极、中性）、文本主题分类、意图识别等]标注工作。

2.2数据来源：甲方将按照本协议第三条约定向乙方提供标注所需的数据。

2.3数据量：本次标注任务共计约[数量]条/字/段落等数据，具体数据清单见附件一（如无附件，则删除此句）。

2.4协议期限：本协议有效期为自[起始日期]至[结束日期]。乙方应于[起始日期]开始开展标注工作，并在[结束日期]前完成全部标注任务的交付。

第三条数据提供与交付

3.1数据提供：甲方应于[具体时间，例如：协议签订后X日内]通过[具体方式，例如：加密传输、指定云存储链接等]向乙方提供标注所需的数据。提供的数据应保证格式清晰、无关键信息缺失，并附有数据描述文档。甲方应对提供的数据拥有合法使用权或所有权。

3.2数据交付：乙方完成全部标注工作后，应于[具体时间，例如：收到甲方全部数据后X日内]通过[具体方式，例如：加密传输、指定云存储链接等]将标注完成的数据成果交付给甲方。交付的数据应符合本协议第四条约定的质量标准及格式要求。

第四条质量标准与规范

4.1标注规则/指南：本协议附件二（如无附件，则删除此句）为本项目标注工作的详细规则和指南，包括但不限于：

a.各类标注类型的定义和解释；

b.标注所需的输出格式（例如：JSON格式、特定分隔符等）；

c.具体的标注示例（包括正确和错误示例）；

d.特殊情况（如模糊表述、矛盾信息）的处理方法；

e.[如适用]相关的词典、分类体系或实体库。

乙方必须严格遵循附件二（或直接写：本协议）规定的标注规则进行工作。甲方应在协议签订后[具体时间]内将附件二（或直接写：标注规则）发送给乙方。

4.2质量评估标准：本项目的标注质量将通过以下标准进行评估：

a.精确率：指正确标注的实例数占所有被标注实例数的比例。

b.召回率：指正确标注的实例数占所有应标注实例数的比例。

c.F1分数：精确率和召回率的调和平均值，计算公式为2*(Precision*Recall)/(Precision+Recall)。

d.[如适用]标注一致性：对于多人标注场景，采用[具体方法，例如：KrippendorffsAlpha系数]评估标注者之间的一致性。

e.人工审核标准：甲方将进行抽样人工审核，抽样比例不低于[百分比]%，审核结果达到[百分比]%以上一致或符合[具体描述]标准即视为合格。

4.3质量目标：双方确认，本项目标注工作的核心质量目标是F1分数不低于[具体数值]%。此目标将作为评估乙方工作是否达标的主要依据之一。

第五条验收与质量控制

5.1验收流程：

a.内部审核：乙方在提交最终成果前，应进行内部质量检查。

b.抽样与评估：甲方有权在收到乙方交付的全部标注数据后[具体时间]内，按照本协议4.2条及4.3条约定，对数据执行抽样人工审核，并依据4.2条标准评估标注质量。

c.反馈与返工：甲方应在完成抽样评估后[具体时间]内，将评估结果（包括准确率统计、错误样例列表及原因分析）反馈给乙方。乙方应在收到反馈后[具体时间]内，对错误部分进行修正，并重新提交修正后的全部数据或更正部分。乙方有义务配合甲方理解错误原因，并采取措施减少未来类似错误的发生。

d.最终验收：甲方在收到乙方修正后的数据后[具体时间]内，进行最终抽样审核。若最终审核结果满足本协议4.3条约定的质量目标（F1分数不低于[具体数值]%），且错误率达到甲方可接受的程度（例如：抽样错误率低于[百分比]%），则甲方确认验收合格。若仍不达标，甲方有权要求乙方进一步返工，直至合格或依据本协议第六条处理。

5.2质量保证期：本项目标注成果自甲方最终验收合格之日起，提供[期限，例如：一个月]的质量保证期。在保证期内，若