ChatGPT对GPU算力需求分析报告.pptxVIP

ChatGPT对GPU算力需求分析报告

5?不同于分析式AI只能做些分析型或机械式的认知计算，生成式AI可以创造有意义并具备美感的东西，而且在某些情况下，其生成的结果可能比人类手工创造的还要好。?机器可以分析数据，并针对不同用例需求找到相应的规律，且在不断迭代，变得越来越聪明，这种机器被称为“分析式人工智能”（AnalyticalAI），或者传统AI。机器并非如之前那样仅分析已有的数据，而是创造了全新的东西，这一新型的AI被称为“生成式人工智能”（GenerativeAI）。?2017年谷歌推出一种用于自然语言理解的新型神经网络架构——Transformers模型，不但能生成质量上乘的语言模型，同时具有更高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，可以更容易地针对特定领域做定制修改。?2015-2020年，用于训练这些模型的计算量增加了6个数量级，其表现在手写、语音和图像识别、阅读理解和语言理解方面超过了人类的基准水平。资料来源：《机器学习三个时代的计算趋势》——Sevilla等人，arXiv，2022，《生成式AI：充满创造力的新世界》——红杉汇内参微信公众号资料来源：《生成式AI：充满创造力的新世界》——红杉汇内参微信公众号随着AI模型逐渐发展壮大，已经开始超越人类的基准水平生成式AI的应用格局1.1生成式AI：实现创造，部分领域的能力超越人类的基准水平

6?预训练模型使得模型的训练可以被复用，大幅降低训练成本，但是前期需要大量的数据进行预训练。?预训练模型是一种迁移学习的应用，对句子每一个成员的上下文进行相关的表示，通过隐式的方式完成了语法语义知识的学习。预训练模型通过微调的方式具备很强的扩展性，每次扩展到新场景时，只需要针对这个场景的特定标注数据进行定向的学习，便可以快速应用。?2018年以来，国内外超大规模预训练模型参数指标不断创出新高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模型。国外厂商自2021年开始进入“军备竞赛”阶段。????2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始逐渐走进人们的视野，成为人工智能领域的一大焦点。2019年，OpenAI推出15亿参数的GPT-2，能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿参数的Megatron-LM，谷歌推出110亿参数的T5，微软推出170亿参数的图灵Turing-NLG。2020年，OpenAI以1750亿参数的GPT-3，直接将参数规模提高到千亿级别。2021年1月，谷歌推出的SwitchTransformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。2020年10月，微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。2021年12月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM，在7项小样本学习领域的性能超过GPT-3。资料来源：XavierAmatriain，陈巍谈芯@知乎资料来源：《LargeLanguageModels:ANewMooresLaw?》——JulienSimon@HuggingFace2018年以来LLM算法（大规模语言算法）成长的时间线近年来超大规模预训练模型参数增长趋势1.2预训练模型：大模型提高准确率，2018年开始步入快车道

7?ChatGPT（ChatGenerativePre-trainedTransformer，聊天生成式预训练器）是OpenAI开发的聊天机器人，于2022年11月推出。它建立在OpenAI开发的GPT-3大型语言模型之上，并使用监督学习和强化学习（人类监督）技术进行了微调。?虽然聊天机器人的核心功能是模仿人类谈话者，但ChatGPT是多功能的。例如，它可以编写和调试计算机程序，创作音乐、电视剧、童话故事和学生论文；回答测试问题(有时根据测试的不同，答题水平要高于平均水平)；写诗和歌词；模拟Linux系统；模拟整个聊天室等。??ChatGPT背后的公司为OpenAI，成立于2015年，由特斯拉CEO埃隆·马斯克、PayPal联合创始人彼得·蒂尔、Linkedin创始人里德·霍夫曼、创业孵化器YCombinator总裁阿尔特曼（SamAltman）等人出资10亿美元创立。OpenAI的诞生旨在开发通用人工智能（AGI）并造福人类。ChatGPT中的GPT（GenerativePre-trainedTransformer），是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本