Agent技术在小爱同学中的应用-小米+杞坚玮.docx

Agent技术在小爱同学中的应用

演讲人：杞坚玮

小米小爱高级算法工程师

目录

01智能语音助手的变革

02Agent技术在小爱中的成功实践

03

03未来优化方向

智能语音助手的变革

智能语音助手的核心链路

决策理解执行

决策

理解

任务拆解与接口选择意图分类与实体识别满足话术与功能调用

任务拆解与接口选择

意图分类与实体识别

Agent技术为语音助手带来新机遇

架构大幅精简

多层分类架构，简化为一个模型

80余个垂域，简化为10个垂直Agent

策略大幅精简

去除大量文法、规则、模板由人力驱动转向数据驱动

Agent技术在小爱中的成功实践

Agent技术应用在语音助手的若干挑战

如何在语义理解中发挥AgentPlanning

传统语义理解是判别任务，如何与生成任务结合

如何让Agent在交互中不断优化

语音助手庞大的用户体量是Agent优化的宝贵财富

如何让Agent掌握各类功能使用方式上百个一方/三方API，如何保证产品质量

如何保证Agent在运行中的响应速度提升效果的同时需要保持良好的产品体验

语义理解与Planning能力的结合

传统语义表示

传统语义表示：不适合作为Agent的理解方式

依靠人工预设、枚举的空间有限

分类任务中类别预先定义，无法囊括长尾需求

意图槽位范式无法发挥Agent规划潜力无法支持复杂嵌套的逻辑关系

“今天北京的天气”

Domain：Weather

Intent：SearchAction

Slots：City:北京,Date:今天

语义理解与Planning能力的结合

代码式语义表示：与人类语言相当的表示能力

发挥LLM在推理规划中的优势

基于定义的动作与实体自由组合意图表示

发挥LLM在Coding任务的优势

根据Instruction输出Code，是LLM的底层能力

语义理解与Planning能力的结合

语义理解与Planning能力的结合

分而治之、协同调度的多agent框架

提升Agent在垂直场景中的表现

垂直场景中包含多种功能与参数

提升Agent在垂直场景中的表现

LLM优化范式：数据是关键

高质量精细化微调根据业务需求进行少量微调

高质量精细化微调

根据业务需求进行少量微调快速适应不同场景业务需求

垂直场景的持续预训练

在大规模业务数据上的无监督训练补充业务知识、熟悉业务定义

提升Agent在垂直场景中的表现

提升Agent在垂直场景中的表现

持续预训练可显著提升模型效果

提升Agent在垂直场景中的表现

分阶段微调：从易到难逐步学习

头部表达学习定义+长尾表达增强泛化

手机还有多少电这个电量还够用吗

电量低了记得打开省电模式

Agent在与用户交互中成长

语音助手场景中的环境反馈

Agent在与用户交互中成长

基于反馈迭代的强化学习链路

Agent在与用户交互中成长

显著改善意向性、歧义性问题

意向性：理解用户主观感受而非直述指令

手机这么卡是不是后台程序太多了、玻璃雾气有点重

实体消歧：结合Context推断单个实体含义

知否知否、播放西游记

提升Agent服务响应速度

LLM的性能问题限制其应用规模

提升Agent服务响应速度

通过压缩Prompt来减少输入序列长度

Ref:MuJ,LiX,GoodmanN.Learningtocompresspromptswithgisttokens[J].AdvancesinNeuralInformationProcessingSystems,2

提升Agent服务响应速度

业务定制投机采样，减少解码步骤

提升Agent服务响应速度

模型量化降低IO开销

Agent视角下的语音助手升级

端到端减少策略

端到端

减少策略、模块堆叠提升迭代效率与维护性

数据驱动

各业务统一优化范式基于数据飞轮持续迭代

更加通用

具备更强的泛化能力善于解决复杂长尾问题

Agent升级带来的体验提升

精准指令

精准指令-表达需求屏幕上的字看着有些费劲

我要把网络分享给别人

32%（原小爱）→67%（超级小爱）

单指令-多指令

声音和亮度都调小一点吧单曲循环上一首歌

3%（原小爱）→76%（超级小爱）

平铺直叙

平铺直叙-逻辑关系到家的时候帮我打开空调

每天早上8点开始扫地

56%（原小爱）→71%（超级小爱）

简单任务-复杂任务把我周岁拍的照片投到电视

上

投屏我在巴黎拍的照片

0%（原小爱）→73%（超级小爱）

未来优化方向

更主动智