原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大语言模型MOSS研发进展陈爽复旦大学MOSS团队2024年6月27日
目 录MOSS2能力深化的大语言模型CoLLiE高效分布式训练框架下一代大模型多模态大模型相关工作大语言模型与世界模型NLP发展历程3
致命密码：一场关于语言的较量4
图灵测试1936年51946年1950年英国数学家图灵（Alan M.Turing）提出让计算机理解自然语言，证明计算机能够具备人的思维能力。第一台电子计算机ENIAC问世检验计算机是否具备智能， 最好的办法是让它说英语并理解英语
自然语言发展史6
大语言模型发展历程大模型通用能力强实现多场景任务单模态向多模态发展从文本逐步发展至视觉亟需建立以中文为核心的超大模型2018GPT-11.1亿2019GPT-215亿GPT-1Transformer应用在文本生成中GPT-2展现较强长文本生成能力2020GPT-31750亿GPT-3跨时代意义的大语言模型，标志着AI文本生成进入下一阶段2021DALL-E/ClipOpenAI大规模图像模型，可基于短文本生成对应图像以及图像分类2022ChatGPT在大语言模型中引入人类反馈强化学习，大幅度提升生成结果质量ChatGPT7GPT-4MOSS2023GPT-4多模态大模型，实现文本和图像的输入MOSS注重中文语料，具备问答和对话的中英文双语模型
大模型的关键：语言语言是人类智能对世界的压缩认知8语言世界
大模型通过语言来构建世界知识LanguageWorldModelOperationO
MOSS2能力深化的大语言模型10
MOSSMOSS2023/2/20ChatGPT2022/11/30LLaMA2023/2/24ChatGLM2023/3/13Qwen2023/4/11Bard2023/3/21ERNIEBot2023/3/16Baichuan2023/6/15InternLM2023/6/7Llama-22023/7/18Falcon2023/5/25GPT-42023/3/14Alpaca2023/3/13MOSS-Plugin2023/4/1911
MOSS研发历程通用语言表示是自然语言处理中多任务学习的关键通用语言表示私有语言表示私有语言表示任务1任务2使用语言模型预训练提升多任务通用表示12IJCAI2016PengfeiLiu,XipengQiu,XuanjingHuang,RecurrentNeuralNetworkforTextClassificationwithMulti-TaskLearning,IJCAI2016（被引用次数在所有IJCAI2016录用论文排名第一）
MOSS研发历程中文预训练基座MOSS-Base对话模型MOSS工具增强MOSS-Plugin2023.2.20发布国内最早发布的对话式大型语言模型132023.4.21发布国内首个插件版大模型2020年开始基座研究发布CPT/CBART等模型
MOSS第一代研发路线Sun,T.,Zhang,X.,He,Z.etal.MOSS:AnOpenConversationalLargeLanguageModel.Mach.Intell.Res.(2024)./10.1007/
MOSSTransformer160亿(moon)/1000亿(mars)参数具有思维链、情景学习等涌现能力能够执行人类的指令可以直接与人类对话根据人类反馈进行迭代优化与人类价值观、思维方式对齐3H:helpfulhonestharmless模型能力对话对齐MOSS和ChatGPT具有相近的通用语义理解能力，在推理能力和事实类知识方面有一定差距。扩大模型规模使用工具15
MOSS发布时示例（2023.2.21）16
调用工具能力是大模型向通用人工智能发展的关键工具开关控制搜索引擎计算器公式求解器文生图工具增强版大模型MOSS-P
大语言模型的不足PredictthefutureThewinneroftheUEFAEuro2024is{???}CurrentworldknowledgeThecurrentstockpriceofAPPLis{???}Arbitrarilylongarithmetic36382894730+238302849204={???}Extremelylonginputs[2,000pageHarryPotterfan-fiction]WhathappenedafterHarryopenedthe
文档评论（0）