《智能手语翻译系统测试规范》.docxVIP

T/CADHOH XXXX—XXXX PAGE III ICS XX. ICS XX.XXX CCS X XX 团 体 标 准 XXXX XXXX - XX -XX发布 T/CADHOH T/CADHOH XXXX-XXXX XXXX XXXX - XX -XX实施 智能手语翻译系统 测试规范 Intelligent Sign Language Translation System Test Criterion 智能手语翻译系统测试规范Intelligent 智能手语翻译系统 测试规范 Intelligent Sign Language Translation System Test Criterion (征求意见稿） 中国聋人协会 发布 T/CADHOH XXXX-XXXX PAGE 13 T/CARD XX-XXXX 智能手语翻译系统测试规范 范围 本文件规定了针对智能手语翻译系统测试的基本要求，提供了实践指南。本文件适用于涉及手语翻译服务的智能系统及业务。 规范性引用文件 本文件基于中国聋人协会团体标准《手语翻译服务规范 第1部分：传译服务》（T/CADHOH 0002.1-2022）、《手语传译职业技能评价规范》（T/CADHOH 0003-2023）及中国通信标准化协会行业标准《数字人系统基础能力要求及评估方法》（CTA/T、《虚拟数字人能力技术要求》（T/CTSA 0015-2023）进行制定，故不再对有关术语进行重复定义。 术语和定义 下列术语和定义适用于本文件。 智能手语翻译 intelligent sign language translation 通过人工智能手段，自动在手语与有声语言或两种手语之间进行翻译，包括手语传译（也就是即时的翻译服务）和非即时的翻译服务。 智能手语翻译系统 intelligent sign language translation system 提供智能手语翻译（3.1）的信息系统。 服务对象 service user 需要使用智能手语翻译系统（3.2）进行服务的组织或个人。 单向翻译 monologue translation 将源语言转换为目标语言。 双向翻译 dialogue translation 将源语言和目标语言相互转换。 手语数字人 sign language avatar 提供智能手语翻译（3.1）服务的虚拟数字人。 测试语料库 为保证测试的一致性、可重复性，应采用基于标准库的测试方法。 智能手语翻译系统测试集的语料来源为国家通用手语词典；测试语料库主要包含手语视频、对译文本等。 手语视频 录制清晰，与对译文本（4.2）内容一致，使用长度为15个手语词以内的连续自然手语表达，样例见附录A。 对译文本 对译文本为手语文本和有声语言中书面语之间的翻译文本对，手语文本除进行词级标注外，还根据人工智能系统的需要细化到手势级标注，标注格式见附录B。 基本原则 行为准则 保障智能手语翻译系统的正常、安全运行，防止意识形态问题的发生。 翻译方式 智能手语翻译系统可以提供的翻译方式，见表1。 表 1 翻译方式 翻译方式 说 明 适用场景 单向翻译 服务对象使用手语或有声语言时的翻译 会议、课堂、讲座、新闻、演出、导览等 双向翻译 服务对象分别用手语和有声语言互相对话的同时进行翻译 公共服务、医疗、审讯、司法等。 技术指标测试步骤及评价方法 准确率 指标定义 识别阶段 用于评价源语言转换为目标语言过程中识别阶段的结果，即：手语译入有声语言时手语视频识别为手语文本、有声语言译入手语时口语识别为书面语或图像中的文字识别为书面语等两个过程的识别结果。使用指标为WER（Word Error Rate，词错率），计算见公式（1）。 WER=S+D+I S表示识别结果与Ground Truth（标准文本）比较时需要进行替换的数量，D表示识别结果与Ground Truth比较时需要进行删除的数量，I代表识别结果与Ground Truth比较时需要进行插入的数量，N代表Ground Truth句子中总的字数。 分数 得分标准 0 手语译入有声语言WER≥0.6，有声语言译入手语WER≥0.2 60 手语译入有声语言0.4≤WER0.6，有声语言译入手语0.1≤WER0.2 80 手语译入有声语言0.2≤WER0.4，有声语言译入手语0.