智能机器人实验讲义+（2023年）.docx

智能机器人实验讲义

课程能力要求

智能机器人课程目标

在本门课程当中，围绕智能机器人开展理论课程和实验课程的教学，并配套实验项目；学生通过本门课程的学习，需要掌握了解智能机器人的应用开发能力以及一定的基础理论知识，具体目标如上图所示。

本门课程围绕星途机器人进行二次应用研发，不仅仅需要学会怎么去用基础能力模块，而且需要结合机器人的能力模块以及AIUI技能包进行多场景应用，自我学习如何去用、如何用好是本门课程需要掌握的能力；更深层次的，需要学生掌握一定的理论基础，这为后续创新实践提供一定支撑。

智能机器人开发平台简介

本门课程的实验平台采用的是智能机器人开发平台“小途”，该产品由芜湖星途机器人科技有限公司自主研发，能够自主导航并实现智能化语音交互、人脸识别等一系列操作。小途集成了科大讯飞AIUI人机语音交互、人脸识别、图像分析处理、室内自主导航等核心技术；同时具备事项办理、咨询、接待、引导、闲聊等多种应用功能，可以作为大型公共场所、办事大厅的移动智能服务窗口。

AIUI是科大讯飞提供的一套人机智能交互解决方案，旨在实现人机交互无障碍，使人与机器之间可以通过语音、图像、手势等自然交互方式，进行持续、双向、自然地沟通。现阶段AIUI提供以语音交互为核心的交互解决方案，全链路聚合了语音唤醒、语音识别、语义理解、内容（信源）平台、语音合成等模块。可以应用于智能手机（终端）、机器人、音箱、车载、智能家居、智能客服等多种领域，让产品不仅能听会说，而且能理解会思考。AIUI开放平台主要包含了语义技能（Skill）、问答库（QA）编辑以及AIUI应用（硬件）云端配置的能力，并为不同形态产品提供了不同的接入方式。接入了AIUI的应用和设备可以轻松实现查询天气、播放音视频资源、设置闹钟以及控制智能家居等能力。

***AIUI平台使用简介

（1）开发前准备

点击讯飞开放平台页面右上角“注册”按钮，在注册页面根据提示信息填写基本资料即可。

（2）创建应用

登录讯飞开放平台后，有两种方式可以创建应用：

1）点击“控制台”-“创建应用”，请根据提示信息，完成应用的创建；

2）点击“产品服务”，进入某个服务页面，如“语音基础能力”，选择右侧的“使用服务”，在弹出的窗口中点击“创建新应用”，请根据提示信息，完成应用的创建。

（3）添加服务

点击“我的应用”，找到需要添加功能的应用，点击下面的“添加新服务”，添加需要的服务。

（4）appid和SDK的关联

创建一个应用时，会自动关联一个appid，appid和对应的SDK具有一致性，如：创建Android平台的应用A，关联的appid应用A对应的SDK是一一对应关系。

（5）应用开发

围绕应用的具体需求设计，结合当前AIUI能力设计具体业务逻辑，选择合适Android技术进行编码实现，然后编译至智能机器人开发平台上进行调试和演示。

AIUI平台的使用，是本门课程必须掌握的一个环节，应用开发当中涉及到的语音交互、图像识别、语音合成等技术，均需要从平台上调用，一些具有创新的应用均需要这些技术的支撑。具体实现细节，在实验指导书当中给出具体实施流程、步骤以及注意事项，请各位同学在实验课中进行学习和验证。

开始学习前，我们还需要了解如下这些人工智能基础技术：

语音识别技术

语音识别技术（AutoSpeechRecognize，简称ASR）所要解决的问题是让机器能够“听懂”人类的语音，将语音中包含的文字信息“提取”出来，相当于给机器安装上“耳朵”，使其具备“能听”的功能。

语音听写是基于自然语言处理技术，将自然语言转换为文本输出。语音听写技术与语音识别技术的不同在于，语音听写不需要基于某个具体的命令词列表，其识别范围是整个语种内的词条。

语音合成技术

语音合成，又称文语转换（TexttoSpeech，TTS）技术，涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术，解决的主要问题是如何将文字信息转化为可听的声音信息，也即“让机器像人一样开口说话”。

语义理解技术

语义理解指将一句自然语言转化为计算机可读的结构化数据。语义理解也是AIUI的核心功能。例如“明天上海天气怎么样”这句自然语言中，经过AIUI语义理解引擎，得到这句话所对应具有固定格式的Json数据。

人脸识别技术

人脸识别技术是指利用分析比较的计算机技术识别人脸。人脸识别是一项热门的计算机技术研究领域，其中包括人脸追踪侦测、自动调整影像放大、夜间红外侦测、自动调整曝光强度等技术。目前主要包含三个部分：人脸检测、人脸比对和人脸跟踪，而其具体识别过程主要包括四个组成部分：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取、人脸图像匹配与识别。当前，人脸识别技术比