2024智能服务机器人分级评价规范人机对话系统.pdf

智能服á机器人V级评ÿ规范

人机对话系统

2024

目录

1.范围1

2.评测规Y1

2.1基础评测1

2.1.1自然语O理解1

2.1.2数据处理模块2

2.1.3答案的提×和构造2

2.2人机对话系统的多场o评测3

2.3评测àW工作4

3.基础评测方法7

3.1õ式结构多种问法7

3.2õ式，被úPú8

3.3õ式，感叹P祈使9

3.4õ式，ß宾语9

3.5词汇，V词W词处理10

3.6词汇，实词1虚词等处理11

3.7词汇，àO1\O1异形1简称1俗称的处理12

3.8词汇，àO的处理12

3.9词汇，PQO1等关系，\时涉及数据13

3.10词汇，歧O1歧解P多O14

3.11长õ，是v能理解长õ的中心意思15

3.12是v可在新闻1文献1€科等数据中获×充足p效的数据及语料16

3.13系统能v学`到p效的精准数据，体现在对话系统给出的à馈是v

足够精准p效17

3.14能v从O\文献1数据1资料中融合答案18

3.15PQ文语境，是v支持多ï对话18

3.16能v给出用户通过基于某些规Y的或者统计的1p关联的对话，来

体现规Y1算法1语料训ÿ是v完善19

3.17思维，V析--判断20

3.18思维，简单的è理和决策21

3.19思维，进行类比è理22

3.20思维，排W排序能力22

3.21情感，简单的识别P表达23

3.22思维，意Ā理解24

3.23ó语W1\音_语音识别^，或文_录入错误纠k24

3.24是vp自ú形r1生r自然语言的能力25

3.25思维，是vp人类的语言逻辑26

4.多层场o评测26

5.1场oW表26

5.2场o，y气27

5.3人物场o29

5.评测指标合理性V析30

1.范围

q规范适用于家庭作业机器人1娱乐休闲机器人1û老ûì机器人1家庭安

¶机器人等个人/家用服á机器人，以及_业清洁机器人1à恐排爆机器人1巡

检机器人1医疗康复机器人1|共服á机器人等_业服á机器人ÿ参考ÿ际机器

人联盟IFR的服á机器人V类Ā2

服á机器人人机对话系统是人P机器人之间进行ß向信息交换以满足人的

特定需求的计算机ð硬þ系统，一般可V€任á型和开放型的信息交à2任á型

系统针对某些特ë领域或者应用场o，xp较€清p业á语O单元定O1\时_

p清p的用户范畴，例如针对航班查询1设备ç制等Ā开放型信息交àO针对某

个特定领域，而是面向非常广泛的领域，解决人们知识问答1聊y等需求2在l

评测中，对任á型和开放型均进行评测，àÝ认€一个p力à的对话系统能够在

生活多种领域€用户提供实际服á，\时_可以支持知识问答，Ā\聊y甚ó情

感呵护2

2.评测规Y

2.1基础评测

评测一个人机对话系统，需要评测à个系统在任á和开放领域是v能够理解

人类的文_性语言1并`据人类的提问内容给出p效的1精准的à馈，比较流

畅的完rP人类的交à2

一个人机对话系统通常由O个模块Ārÿ一个是提问处理模块Ā一个是资料1

数据处理模块Ā一个是答案的提×和构造模块2基于O个模块的架构，结合语O1

语用和语境1数据1语料等因素来评测一个人机对话系统的