全方位评测神经网络模型的基础能力.pdf

全方位评测神经网络

模型的基础能力

演讲人：张铭二级教授

北京大学计算机学院博士生导师

mzhang_cs@pku.edu.cn

目录

CONTENTS

01背景与动机02多模态STEM能力评测

03语言与社会规范评测04总结与展望

背景与动机

当前的评测指标缺少了什么？

背景与动机：多模态STEM数据集的缺乏

制造一艘火箭，需要具备哪些能力？

科学技术

（Science）（Technology）

工程数学

（Engineering）（Math）

•STEM能力是解决真实世界中许多重要问题的基础

•模型是否理解多模态STEM科目的能力至关重要

背景与动机：多模态STEM数据集的缺乏

•过去的评测数据集常常只关注专家级别的能力，涵盖的技能过于分散

•缺少针对STEM科目的多模态数据集

背景与动机：社会规范基础能力评测的缺乏

我可以把瓶子扔到草地上吗？

这么做或许并不违反法律

这么做不符合社会规范

•可信可靠的AI系统应当遵循一定的社会规范与习俗（SocialNorms）

背景与动机：社会规范基础能力评测的缺乏

HistoryPhilosoph

y

LanguageSocialNorms…

GeographCivics

y

•大语言模型对人类基础的社会规范的理解能力在它们与人类合作过程中至关重要

背景与动机：社会规范基础能力评测的缺乏

•过去的评测数据集常常只关注于高阶的人类价值观

•缺少数据集用来评测模型对于社会规范形成过程中的基础能力的掌握

解决方案

STEM数据集：评估模型的基础STEM科目的能力

发表于机器学习国际顶会ICLR2024会议

Dataset:https://huggingface.co/datasets/stemdataset/STEM

Code:/stemdataset/STEM

Leaderboard:https://huggingface.co/spaces/stemdataset/stem-leaderboard

Arxiv:/abs/2402.17205

Social数据集：评估模型对于基础社会规范的掌握

发表于自然语言处理国际顶会NAACL2024会议

Dataset:https://huggingface.co/datasets/socialnormdataset/social

Code:/socialnormdataset/socialagent

Paper:/abs/2404.02491

多模态STEM能力评测

百万量级多模态细粒度STEM评测数据集

DatasetMeasuringVision-

LeaderboardPaper

LanguageSTEMSkillsof

NeuralModels

ICLR2024