Agent技术在语音助手场景中的应用.pptx

DataFunCon#2024Agent技术在语音助手场景中的应用杞坚玮-小米-高级算法工程师

Contents目录Agent简介技术框架未来方向

01Agent简介

LLM-basedAgent以大模型为基础的Agent框架，通常包含三个要素

AgentforAIAssistant在语音助手落地Agent时，我们希望探索一种更面向未来的通用架构让LLM与系统、环境结合得更紧密复用语音助手已有的NLP能力整合现有垂类概念，实现更端到端的体验

02技术框架

Framework为此，我们设计了如下的技术框架：

NLUParserAgent项目在冷启动时缺乏场景信息，大多难以完成规划为此，大多Agent项目会在用户需求的基础上进行扩展例如，AutoGPT会将用户一句话的需求扩展为角色、任务与目标

NLUParser语音助手本身的NLU能力可以作为Prompt构建提供依据传统语音助手的日常工作，就是理解用户请求中蕴含的意图、槽位等信息基于这些信息，可匹配运营准备的模板从而获取可控的启动状态

NLUParser基于更丰富的Prompt模版，模型规划更符合产品需要

PromptManager综合语义理解、知识注入、记忆召回，构建Prompt

PromptManagerPrompt模板包含各阶段的SystemPrompt各场景的预设运营模版

PromptManager接口定义，采用JSONSchema来注入Plugin

PromptManager历史会话需留意尽可能避免将上轮输出结果直接注入到本轮Prompt中，否则十分考验模型的Context能力容易重复生成生成更加稳定

PromptManager输出格式采用ReACT思想，需要LLM给出思考与行动采用JSONSchema格式输出，方便下游解析

PromptManager记忆管理Agent每一步交互可能产生许多信息，若全部注入在Prompt中会浪费大量Token，因此有必要尝试将这些信息维护在agent外部。

PromptManager完整的Prompt构成包含：SystemPromptScenarioPromptUserRequestMemoryAvailableToolsHistoryOutputFormat

ExecutorAPIPlatformExecutor主要负责解析大模型输出，并处理异常情况

ExecutorAPIPlatformAPIPlatform需要隔离大模型与具体业务目标，是支持Plugin热更新仅需在平台上注册新工具，即可在Agent中生效

AgentWorkflow完整的工作流程包含任务规划、执行、总结、反思过程

Optimization生成效果优化在Agent流程中包含多种任务状态，例如任务规划、工具选择、信息总结在对性能有较高要求、模型尺寸有限的条件下，要在一个LLM中同时保证上述能力有一定难度因此，一个可行的方案是在基座模型上分别训练不同的Adapter，分场景调用不同的模型服务Ref:/S-LoRA/S-LoRA

Optimization推理速度优化鉴于LLM输出JSONSchema这类结构化内容，投机采样策略提升2～3倍的推理效率Ref:/blog/2023-11-21-lookahead-decoding/

Evaluation评测指标MetricDescriptionSuccessRateAgent重复执行多次中成功执行的比率，考量整体的稳定性RelativeEfficiencyAgent花费步数与人工执行步数的比值，考量规划的合理性StepSuccessRateAgent成功执行的步数与其花费总步数的比值，考量输出的鲁棒性

Evaluation评测效果我们目前分别构建了时新问答、旅游出行与复杂任务三类评测集EvalSet Samples时新问答旅游出行复杂任务艾尔登法环的DLC什么时候发布9月份去青岛怎么安排比较好庆余年中哪些演员在赘婿中出现过

Evaluation评测效果在这三类评测集上，我们的Agent人工评估效果如下EvalSetOurAgentSRRESSR时新问答 100%90%100%旅游出行 90%90%80%复杂任务 60%70%80%

03未来方向

FutureWork未来希望能在以下方面取得更好的发展：与HyperOS更紧密融合，在手机与汽车上带来更好的使用体验加强Agent跨垂域、跨设备协同能力，应对更复杂的环境与任务提升多模态能力，在机器人场景中发挥更大的作用

感谢