自然语言处理技术及产品评估方法 第3部分：智能翻译机.pdfVIP

自然语言处理技术及产品评估方法 第3 部分：智能翻译机 1 范围 本文件规定了可实现语音输入、自动翻译和语音输出的智能翻译机的指标要求和评估方 法，主要包括智能翻译机基本框架、评估方法概述、指标项及评估方法，所述智能翻译机不 包括支持翻译的蓝牙耳机、电子词典和录音笔。 本文件适用于指导第三方测评机构对智能翻译机的评估、验收等工作。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本 适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 19682-2005 翻译服务译文质量要求 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 21024-2007 中文语音合成系统通用技术规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 语音识别 speech recognition 将人类的声音信号转化为文字或者指令的技术。 [来源：GB/T 21023-2007，3.1] 3.2 语音合成 text to speech 通过机械的、电子的方法合成人类语言的过程。 [来源：GB/T 21024-2007，3.1] 3.3 机器翻译 machine translation 将一种语言（源语言）自动转换为另一种语言（目标语言）的技术。 3.4 用户 users 1 使用智能翻译机解决其业务问题的组织或个人。 4 缩略语 下列缩略语适用于本文件： AI 人工智能 Artificial Intelligence BLEU 双语评估替补 Bilingual Evaluation Understudy 5 智能翻译机基本框架 智能翻译机的工作原理为： a) 使用者通过自然语言对翻译机麦克风说出需要进行翻译的内容； b) 机体通过麦克风阵列采集用户声音； c) 智能翻译机通过使用语音识别、机器翻译等技术，结合服务端资源对用户请求进行 分析； d) 对翻译文本进行语音合成播报或通过翻译机终端显示屏进行展示。 其工作原理见图1。 图1 智能翻译机工作原理 6 评估方法概述 针对智能翻译机的评估方法包括检查和测试两类测评方法，具体为： a) 检查：检查是通过对测评对象进行观察、查验、分析以帮助测评人员理解、澄清或 取得证据的过程。检查主要有评审、核查、审查、观察、研究和分析等，检查对象 是文档等； 2 b) 测试：测试是指使用预定的方法/工具使测评对象产生特定的结果，将运行结果与 预期的结果进行比对的过程，主要包括人工评测、工具测试等测试操作。 7 指标项及评估方法 7.1 智能翻译机指标体系 智能翻译机指标项的权重见表1。 表1 智能翻译机指标体系 维度 指标 评价方法 语种和方向 语言对数量 自动语种识别 语种数量 基础功能 支持篇章翻译 支持与否 错误修复机制 支持与否 私有资源定制