【重点研报】复旦大学（张奇）：2024年大语言模型的能力边界与发展思考报告-101页.pptx

1;;;;;;;;;为什么？;从飞机发展史看AI 发展的核心问题;;;;;16;;;;;21;;;;;;;知识问答任务：

输入：复旦大学有几个校区？

理想输出：复旦大学现有4个校区，分别是邯郸校区、新江湾校区、枫林校区和张江校区。其中邯郸校区是复旦大学的主校区，邯郸校区与新江湾校区都位于杨浦区，枫林校区位于徐汇区，张江校区位于浦东新区。

作文：

输入：写一个小故事，关于一只熊去海滩，与海豹交朋友，然后回家

理想输出：从森林里走出一只可爱的小熊，它叫贝利。贝利一直对大海充满好奇，于是他决定去海滩看看。他跳跃着穿过河流和草地，终于来到了一片美丽的海滩。贝利兴奋地跑着，感受着海风的清凉。突然，他注意到海滩上有一只憨态可掬的海豹，名叫萨米。萨米正在玩耍，好像是在找贝利这样的新朋友。贝利好奇地走过去，和萨米打了个招呼。萨米非常友好地回应道：“嗨，你是新来的吗？我是萨米，很高兴认识你！”贝利开心地笑了起来，他们迅速成为了好朋友。…;针对特定任务如何构造SFT训练数据;;;;;;;36;;;;;;;;;45;;;;;;;;53;;;;;;;;;;单个模型可以处理数千种任务，但是仍需要逐项进行优化;预训练阶段完成知识记忆+表示学习有监督微调+RLHF的Know-How是关键;2.大模型能力边界思考;;目前可以确认的大模型能力：;真正的AGI系统需要具有：;;;;;;;;;;;;;;;;;;;全数据驱动的大模型

实现“推理”面临巨大挑战;3.大模型未来发展思考;;OpenAI–“超级对齐”目标;;92;;;;;人工智能比其它任何领域都容易过度宣传;Google2018年吹的牛，现在也没实现;ShyKids团队使用Sora进行了数百次生成，每次10到20秒，并最终只使用了一小部分（300:1）;大模型基础理论、大模型能力边界的清晰认知决定了投入力度和发展方向;谢谢！