CodeArts Snap研发大模型评估探索.pdf

CodeArtsSnap研发大模型评估探索

张琦｜华为技术有限公司大模型技术专家

目01大模型评测现状以及面临的挑战

C

O02华为研发大模型评估工程

N

T

E

N

录T03未来的探索以及思考

S

百模大战开启

如何衡量一个模型的好坏?

模型能力越来越强,功能与来越多

智能辅助智能协同智能自主

AI辅助代码开发AIGC应用架构初步形成人监督AI开发

≈10%

需求设运维运

计营

开发验

证

100%≈80%≈20%发布部≈0%

署

CICD

如何衡量一个模型的好坏?

CodeArtsSnap的前世今生

Pangu-CoderCodeArtsSnapPangu-Coder2CodeArtsSnap

代码生成能力亿级/十亿智能开发助手首次亮相HC大推出百亿级参数大模型和千智能开发助手亮相HDC大会，

级参数模型业界SOTA，会，开启邀测亿级参数大模型现场演示端到端应用开发

多项重要指标国际领先

22年7月22年11月23年7月23年7月

CodeArtsSnap8大能力

智能代码UT

问答解释生成

代码代码

注释生成

代码代码代码

调试翻译检查

大模型评测存在的问题

评测标准评测标准落后,模型能力强不代表用户体验好,评测标准需要贴近用户体验.

评测数据集研发场景评测数据集的场景覆盖度不足,比如运维、设计、需求等方向.

垂直领域评测数据集覆盖的产业以及垂直领域也不完整.