吴锦晟+-大模型时代下的个人成长.pdfVIP

大模型时代下 的个人成长 吴锦晟 2023.9 • 近20年coding的经验； • AI领域的创业，声纹和虹膜识别方向； • 参与部委多个智能算力及AIGC政策制定； • 多个城市级智算中心的规划和落地； 吴锦晟 • 经历数个大模型的训练过程； 资深技术专家 首都在线生态副总裁 • 大规模推理应用部署和交付经验； TGO （上海）学员 • 2020年加入TGO； 大模型时代的个人成长 ① 大模型的演进史与未来洞见 ② 关于大模型，我们应当了解的 ③ 国内大模型的产业链情况 ④ 大模型时代的个人成长 —— 以个人为例 大模型的演进史与未来洞见 GPT与国产大模型的演进时间轴 大模型的演进史与未来洞见 动机 ：AGI快速推动NLP的发展 • 神经网络语言模型发展迅速 • 2017-18年，随着Transformer的诞生，语言模型规模迅速扩大 • 数据规模：使用数T大小的纯文本训练；模型规模：从1亿参数到1750亿参数 • BERT, GPT-1/2 （成本～$30k ）-GPT-3 （成本~$12M ）-GPT-4 （？） • 早在2020年GPT-3 时，人类已开始无法准确识别其生成的新闻 “涌现” 大模型的演进史与未来洞见 发展 ：AGI为何受到重视 • 大规模模型的摩尔定律：模型算力需求迅速增长 - 单模型计算量每年增长10倍 • 机器智能的规模效应：量变到质变的能力 - 千亿稠密参数 （~100B ，或 1023 FLOPs 训练量）时模型能力开始出现 “涌现” 关于大模型，我们应该了解的 —— 核心能力 （1/2） 涌现 We will consider the following general definition of emergence, adapted from Steinhardt (2022) androotedina1972 essay called “More Is Different” by Nobel prize-winning physicist Philip Anderson (Anderson, 1972): Emergence is when quantitative changes in a system result in qualitative changes in behavior. 涌现是指系统的数量变化导致行为的质量变化。 In this paper, we will consider a focused definition of emergent abilities of large language models: An ability is emergent if it is not present in smaller models but is present in larger models. 如果一种能力不存在于较小的模型中，但存在于较大的模型中时，就是涌现能力。 1. Emergent Abilities of Large Language Models 关于大模型，我们应该了解的 —— 核心能力 （2/2） 几个最常用的涌现能力 • Translation 60B • Math 60B • In-context Learning 130B