原创力文档- 1、本文档共34页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
教育场景下的大模型测评与实践
张元剑｜科大讯飞高级测试架构师、教育BG测试部副总监
01为什么需要建立教育大模型测评体系
目02如何评价这名“教育工作者”是否合格
C
O
N
T
E03以测试视角看整体测试方案
N
录T
S
04自动化能力建设
我们如何评价一名人是好/坏人
年纪
性别测评标准
外貌主观
画像（评价）
人爱好
客观
心理
财富
好人坏人
职业
…..
通用认知智能大模型测评体系
教育通用人工智能
大模型系列标准
当前国内通用认知大模型评测体系举例
以高校为代表的学术答题评测以企业为主体的自建行业评测以机构为主体的产业评测
仅工业互联网领域的八个行业
内部使用提效情况内部使用提效情况内部使用提效情况
从学科种类上，覆盖人类标准考试的选择题
-工程科学（计算机、数理化等国内外考试）
-社会科学（政治、经济、地理等）
-人文科学（法学、语言、历史等）某咨询机构的《AI大模型技术能力评估报告》
-其他科学（公务、GRE等其余国内外考试）仅覆盖医学、法学、心理、教育四个行业
已有了通用大模型测评体系为什么还需要教育领域测评体系？
教育大模型相比通用大模型的区别在哪？
面向教与学的主动引导性、回复权威风格、知识准确度有不同于通用大模型评测体系的要求
1.领域专业知识：教育大模型可能会针对教育领域的特定问题进行训练，因此会对学科知识、教学方法等有更深入的理解，
而通用大模型则更注重对广泛领域的知识的学习和表示。
2.任务定制化：教育大模型可能针对特定的教育任务进行了优化，例如学生作业评估、教学辅助、教育咨询等，而通用大
模型则更多用于广泛的自然语言处理任务，如语言生成、文本分类、问答等。
3.核心价值观：面向教育的生成式内容需要更高的价值观和安全性的评测要求。
4.模型效果提升：公正、准确评估模型的应用性能，揭示当前模型的不足，激发研究创新。
教学考
文档评论（0）