黄一鹤-大模型及AI应用评估提效.pdfVIP

大模型及AI应用评估提效

百度资深研发工程师黄一鹤

黄一鹤

百度工程效能部ComateStack团队资深工程师

百度工程效能部ComateStack团队资深工程师，目前主要负责百度AI原生

研发新范式下，Prompt研发全流程、LLM和AI原生应用全场景效果评估的

相关工具链建设。同时为智能体多模态等典型应用场景提供高质量、高效

率的评估解决方案。毕业后先后从事搜索引擎策略架构质量保障、计算机

视觉相关AI模型的算法测试效果评测、测试在线化相关工具平台的开发工

作。

1.背景

目录2.评估集生产

CONTENTS3.评估在线化

4.评估自动化

01背景

背景

从论文《ASurveyonEvaluationofLargeLanguageModels》开始：

衡量并评估LLM的智能，会为自己的工作提供支持和指引：

更好地理解LLM的长处和短处：全能还是偏科？记忆还是能力？

更好地为人机协同提供指导和帮助：Prompt工程、基于LLM的Partner能力优化

更好地统筹LLM发展的演变、防范未知风险：训练数据是否被污染？大模型伦理与安全

AI原生研发的最后一公里

Prompt试验

需求验证大模型选型

AI应用原型验证

验证Prompt、LLM以及AI

Prompt工程应用是否能够达到预期效

产品研发模型微调、数据上车果，满足用户需求

AI应用研发帮助研发人员定位问题，持

续迭代和优化效果以提升用

户满意度

效果监控、问题定位

线上运行数据回流、badcase挖掘

AI应用竞对

迭代越来越快

时间模型时间模型时间模型

2025/1/20DeepSeek-R12025/2/26Wan2.12025/4/10Kimi-VL/K-VL-Thinking

2025/1/20Kimi-K1.52025/2/27Hunyuan-TurboS2025/4/16o3ando4-mini

2025/1/22Doubao-1.5-pro2025/3/16Ernie4.5/X12025/4/25DeepResearch-lite

2025/1/28Qwen2.5-VL-3B/7B/72B2025/3/24DeepSeek-V3-03242025/4/25Ernie4.5Turbo/X1-turbo

2025/1/2Qwen2.5-Max2025/3/25Qwen2.5-VL-32B2025/4/2QWen3系列

2025/1/31o3-mini2025/3/25Gemini2.52025/4/30Dee