原创力文档从盲目调优到数据驱动
大规模Agent的评估工程实践
章平|亚马逊云科技
目录
Agent
Agent
04
01
02
03
05
06
从盲目调优到数据驱动
真实案例：旅游搜索Agent的7周质量隐形降
级
Agent工具
问题：用户询问：从纽约到巴塞罗那7天行程，包括机票，$3000是否足够？
期望正确行为
调用”计算旅行预算”工具，提供专业建议
实际回答:
从网页搜索通用的巴塞罗那旅行信息
旅游平台Agent
旅游搜索业务：7周隐形降级
Agent评估的挑战
工具激活成功率
98.5%稳定
API延迟
无异常
工具选择准确性
92%→67%大幅
您可能关注的文档
- 2026公益慈善筹款人行业扫描报告.pdf
- 2024年“人工智能向善”项目影响力报告.pdf
- 2024年“人工智能向善”项目影响力报告.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：“智慧实验室”护航外贸大宗有色金属矿产品质量监测.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：催化剂中贵金属检测技术.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：单波长XRF与全息基本参数法在有色冶炼及电池材料元素分析应用示例.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：电感耦合等离子体原子发射光谱法测定锂矿石中7种元素.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：电位滴定仪在我司的应用分享.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：废钯炭催化剂前处理技术对钯含量分析的影响研究.pptx
- 2025第七届有色金属分析检测与标准化技术交流会：公证行在铜精矿等矿产品国际贸易中的必要性和重要性.pptx
文档评论（0）