《信息技术通话智能翻译产品质量评测方法》.pdf

T/GDCSA000—2024

信息技术通话智能翻译产品质量评测方法

1范围

本文件规定了通话过程中可实时机器翻译，并以字幕形式呈现结果的通话智能翻译产品的指标要求

与评测方法，包括评测环境、流程、指标项与评测方法。

本文件适用于通话智能翻译类产品的质量评估。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T21023-2007中文语音识别系统通用技术规范

GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价（SQuaRE）第51部分：就绪可

用软件产品（RUSP）的质量要求和测试细则

GB/T41867-2022信息技术人工智能术语

YD/T4394.3-2023自然语言处理技术及产品评估方法第3部分：智能翻译机翻译服务译文质量

要求

ISO17100-2015翻译服务翻译服务要求

3术语和定义

下列术语和定义适用于本文件。

3.1

人工智能AIartificialintelligence

人工智能系统相关机制和应用的研究和开发。

[来源：GB/T41867-2022]

3.2

语音识别speechrecognition

将人类的声音信号转化为文字或者指令的技术。

[来源：GB/T21023-2007]

3.3

机器翻译MTmachinetranslation

使用计算机系统将文本或语音从一种自然语言自动翻译为另一种自然语言。

[来源：ISO17100-2015]

3.4

通话智能翻译callintelligenttranslation

1

T/GDCSA000—2024

使用机器翻译技术，将通话对方的声音从一种自然语言自动翻译为目标自然语言，并以字幕形式呈

现翻译结果。

3.5

语料corpus

作为通话智能翻译业务的语音物料，具体为一定时长的语音文件。

3.6

关键字词keyword

对译文理解和使用结果的正确与否产生直接作用的字词。

[来源：GB/T19682-2005]

3.7

语义差错semanticerror

由于对原文理解的错误，导致译文表述的错误。

[来源：GB/T19682-2005]

3.8

有效性effectiveness

用户实现指定目标的准确性和完备性。

[来源：GB/T25000.10-2016]

3.9

易学性learnability

在指定的使用周境中，产品或系统在有效性、效率、抗风险和满意度特性方面为了学习使用该产品

或系统这一指定的目标可为指定用户使用的程度。

[来源：GB/T25000.10-2016]

3.10

测试终端testterminal

为测试通话智能翻译业务所需的手机或电脑载体。

3.11

主叫caller

使用通话智能翻译业务时，发起通话一方的测试终端。

3.12

被叫callee

使用通话智能翻译业务时，接收通话一方的测试终端。

4评测环境要求

4.1评测要素

4.1.1所需硬件

所需硬件应包含：

a）音频播放设备。

b）支持视频通话功能的两台智能手机。

c）已开通翻译业务的测试号卡。

d）一台电脑设备。

4.1.2所需软件

2

T/GDCSA000—2024

所需软件应包含：

a）具备图像帧数截取功能的视频播放软件。

b）手机端录屏软件，可以同时录制视频和音频。

4.1.3所需素材

所需素材应包含：