计算机行业AIGC系列分析报告：算力，AIGC时代卖铲人.pdfVIP

证券研究报告 | 行业深度报告 信息技术 | 计算机 算力：AIGC时代的“卖铲人” ——AIGC系列报告（二） 2023.4.2 - 1 - 要点概览 本篇报告系统地梳理了大模型训练及推理需要多少算力。 大模型参数量快速提升，Transformer架构成为发展趋势。根据最新论文对“涌现”效应的研究，当模 22 型训练量超过10 后，模型准确率有了很大的提升，近年来，NLP模型的发展十分迅速，模型的参数量 每年以5至10倍的速度在提升，背后的推动力即大模型可以带来更强大更精准的语言语义理解和推理能 力。Transformer架构通过计算数据之间的关系提取信息，相较于卷积神经网络具有更强大的运算效率， 更适合参数和数据集庞大的自然语言处理学习。 基于GPT3大模型的训练/推理所需的算力及金额测算。 • 训练端，以GPT3为例，完成一次大模型训练所需的算力需求量为3646P