计算机深度报告：ChatGPT引发的大模型时代变革.pptxVIP

ChatGPT 带来大模型时代变革，数据要素重要性提升 ChatGPT 是由 OpenAI 研发的一种语言 AI 模型， 其特点在于使用海量 语料库来生成与人类相似的反应。初代 GPT 模型参数 1.17 亿， GPT2 模型、 GPT3 模型参数分别达到 15 亿、 1750 亿。不断提升的参数量 级，使得 ChatGPT3 当前已经能够应用在商业、研究和开发活动中。 当前此类参数体量庞大的模型，成为各大科技厂商研发重点。大模型的 基础为高质量大数据。 ChatGPT 的前身 GPT-3 就使用了 3,000 亿单 词、超过 40T 的数据。 此类大数据基础的前提为三部分 1）有效场景下 的采集数据； 2） 大数据的存储、 清洗和标注； 3）数据质量检验。 大模型发展之下，算力与网络设施建设成为刚需 算力： ChatGPT 类人工智能需要更充足的算力支持其处理数据， 带来更 多高性能的算力芯片需求。英伟达表示， GPT-3 需要 512 颗 V100 显卡 训练 7 个月， 或者 1024 颗 A100 芯片训练一个月。 2012 年以来， AI 训 练任务中的算力增长（所需算力每 3.5 月翻一倍）已经超越摩尔定律（晶 体管数量每 18 月翻一倍）。 网络设施： 以微软 Azure 为例， 其 AI 基础设施由互联的英伟达 Ampere