人工智能行业AI算力报告：穿越AI的基石，算力基建的起始.pptx

20102030405 / CONTENTS01020304053 / 4 / 算力是智能世界的基础，基础设施从云向算泛在演进1.1智能世界三要素：数据、算力、算法是智能世界三要素，其中算力平台是核心基础。算力两大类：通用算力、 HPC（高性能计算，High-performance computing）算力。其中通用算力计算量小，用于常规应用。HPC算力是一个计算机集群系统，通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算问题。算力基础设施从云向算泛在演进，其位置的分布从中心向边缘和端侧泛在延伸，将出现云、边、端三级算力架构。数据来源：国泰君安证券研究图：构建数据、算力、智能之间的互联网络算力类型通用算力专用算力科学计算类：物理化学、气象环保、生命科学、天文探测等工程计算类：计算机辅助工程/制造、电子设计自动化、电磁仿真等智能计算类：机器学习、深度学习、数据分析等图：专用算力是算力中极为重要一环5图：算力基础设施从云向算泛在演进 AI大模型带动算力需求超越摩尔定律增长1.1AI模型训练算力增长速度超越芯片摩尔定律。AI 训练任务中的算力增长（所需算力每 3.5个月翻一倍）已经超越摩尔定律（晶体管数量每 18 月翻一 倍）。ChatGPT仅推出两个月，月活跃用户数预计已达1亿。ChatGPT在2023年1月达到1亿月活跃用户，平均每天有1,300多万访客，用2个月时间达到1亿月活数，成为史上最快达到1亿月活跃用户的应用，TikTok、I nstagram、Fac ebook、Twitter则分别用了9个月、2年半、4 年半、5年的时间。数据来源：Google Scholar，国泰君安证券研究图：大模型时代算力需求增长超越摩尔定律图：chatgpt仅用2个月月活用户突破1亿两年半9个月2个月五年四年半三年半六年半ChatGPT TikTok Instagram WhatsApp Meta数据来源：Sensor Tower，国泰君安证券研究TwitteriTunes6 7AI大模型核心在数据、算力与模型，需消耗大量算力1.1数据来源：Open AI，国泰君安证券研究模型 总计算量 总计算量（PFlop/s-da y） （Flops）参数量（百万个）令牌数量（十亿）T5模型T5-Small2.08E+001.80E5-Base7.64E+006.60E+202201000T5-Large2.67E+012.31E+217701000T5-3B1.04E+029.00E+2130001000T5-11B3.82E+023.30E+22110001000BERT 模型BERT-Base1.89E+001.64EERT-Large6.16E+005.33EOBERTa-Base1.74E+001.50E+211252000ROBERTa-Large4.93E+014.26E+213552000GPT 模型GPT-3 Small2.60E+002.25EPT-3 Medium7.42E+006.41EPT-3 Large1.58E+011.37EPT-3 XL2.75E+012.38E+211320300GPT-3 2.7B5.52E+014.77E+212650300GPT-3 6.7B1.39E+021.20E+226660300GPT-3 13B2.68E+022.31E+2212850300GPT-3 175B3.64E+033.14E+23174600300预训练算力需求：训练一次13亿参数的GPT-3 XL模型需要的全部算力约为27.5PFlop/s-day，而训练一次1,746亿参数的GPT-3模型需要的算力约为3,640 PFlop/s-day，对应的单次训练成本高达460万美元。日常运营算力需求：ChatGPT在日常与用户交互过程中需要大量的算力支持，结合访问量与内容量测算，单月运营算力约4,800PFlop/s-day；2023 年1月ChatGPT官网总访问量已经达到6.16亿次，而ChatGPT每次交互产生的算力云服务成本约1~5美分，对应的单月运营成本高达千万美元。调优迭代算力需求：ChatGPT模型需要不断进行Finetune模型调优，以确保模型处于最佳应用状态；预计每月模型调优带来的算力需求为82.5~137.5PFlop/s-day。图：模型的尺寸在过去5年增长了5000倍 表：不同 NLP 模型参数量及训练算力对比 8MR、车载等数字经济新型应用场景带来新的算力需求1.1数据来源：中国信通院、华为，国泰君安证券研究MR的推出更带来对低延时网络