边缘计算驱动的对话机器人终端部署.pdf

边缘计算驱动的对话机器人终端部署

作者：马壮杨威

来源：《软件工程》2021年第02期

摘要：目前，大部分内置对话功能的终端只是用户文字语音传输的“中转站”，并不承担计

算功能。这导致用于计算的云服务需要承担较高的网络负载和计算负载。随着硬件性能的不断

提升，终端设备也能运行部分自然语言处理算法，分担云服务的压力。本文讨论了使用边缘计

算技术实现对话机器人终端部署的可行性，并设计了基于云+边缘协同计算的对话系统架构。

通过将部分对话机器人部署在终端，可以降低云服务的访问频率，从而降低网络和计算负载。

关键词：对话机器人;边缘计算;深度学习模型部署

Abstract：Atpresent，mostinformationterminalswithbuilt-indialoguefunctionareonly

transitstationsforuserstextandvoicetransmission，andtheydonotundertakecalculationfunctions.

Asaresult，cloudservicesforcomputinghavetocarryhighnetworkloadandcomputingload.With

hardwareimprovement，terminaldevicescanalsolocallyrunsomenaturallanguageprocessing

algorithmstosharepressureofcloudservices.Thispaperdiscussesfeasibilityofusingedge

computingtechnologytorealizedeploymentofchatbotterminals，anddesignsadialoguesystem

architecturebasedoncloud+edgecollaborativecomputing.Bydeployingsomechatbotson

terminals，accesstocloudservicescanbereduced，therebyloweringnetworkandcomputingload.

Keywords：chatbot;edgecomputing;deeplearningmodeldeployment

引言（1Introduction）

基于自然语言处理技术的对话机器人正在深刻地改变人机交互的模式。依托于文本相似度

匹配、命名实体识别等自然语言处理算法，对话机器人能够在一定的封闭域内理解人类的语

言，并给出符合常识的响应。但受制于这些算法的高计算复杂度，对话机器人的算法部署大多

采用云部署的方式，使用云端的高性能计算集群完成算法任务[1]。随着用户数量的增加，云

端需要更大规模的计算集群来完成高并发的对话服务响应，这样一来系统部署的成本就会显著

提升。

在硬件设备计算能力不断高速提升的今天，许多终端设备（例如中高端手機和平板电脑）

都配有高主频多核心的中央处理器。如果使用边缘计算技术充分调动这些计算资源，终端设备

便具备了实时语音视频信号处理、深度学习算法前向推理的能力。在边缘计算技术的支撑下，

经过优化的终端设备就能够独立完成自然语言处理任务，初步实现语义理解和高频问题的应

答，分担云服务器的部分计算压力。云服务器可以将计算资源集中在低频、高精度、依赖海量

常识信息的用户问题的应答中。将对话机器人的云端部署与边缘设备部署相结合，能够充分发

挥二者的优势，在保证对话机器人能够准确回答用户问题的前提下，尽可能地降低部署难度和

部署成本。

本文将先介绍对话机器人部署和边缘计算的研究基础;然后总结边缘计算驱动的对话机器

人部署技术，论证其可行性;最后提出基于云+边缘协同计算的对话机器人部署架构。

相关研究（2Relatedstudy）

对话机器人部署相关研究2.1

目前，已经有很多对话机器人完成了部署并产品化，如图1所示。小米的对话机器人小爱

同学已经融入小米产品生态体系中。用户可以与搭载了小爱同学的小米智能音箱对话，从而控

制35大品类的智能家居设备，例如电视、扫地机器人、智能插座等[2]。高德地图的对话机器

人小德主要面向导航场景，通过语音交互，向用