ChatGPT，深度拆解AI算力模型.pdfVIP

证券研究报告|行业动态报告 1.ChatGPT，深度拆解AI 算力模型 1.1．ChatGPT 算法的核心壁垒 A I 的完整算法生成分为五部分分别是数据收集、数据清洗、模型训练、模型 测试、模型部署和反馈。 图表 1 A I算法的全流程 核心壁垒一，庞大的数据训练数据。数据是所有人工智能(或大数据)的“燃 料”，根据 appen 的数据，ChatGPT 的前身 GPT-3 就使用了 3,000 亿单词、超过 40T 的大规模、高质量数据进行训练。ChatGPT 在其基础上，加入了人工打标的监 督学习，即对话式模型给出结果后，由训练师对结果做出评价并修改结果以更贴 切对话内容。 原因，往往愈发庞大的“燃料”意味着模型的精准度的提升，数据量的大小 跟深度学习(大数据)的准确度庞大的正相关。此外，数据量的大小对于运算计算 机算力的要求往往呈现指数级别的关系，这也是强大算法的核心需求。原因是数 据清洗和数据标注的核心意义就是将人们理解的非结构化数据转变成计算机可以 理解的结构化数据。可以将人工智能的本质理解成矩阵的运算，矩阵的维度往往 代表着数据特征的维度，这也是训练神经网络参数的基础，一般情况下，数据维 度越多，模型参数量越多，模型越复杂，模型的准确度越高，对算力的指数需求 越高。本质是数据维度与算力指数呈现正相关。(不考虑参数堆积、模型过拟合的 情况) 4 证券研究报告|行业动态报告 图表2 模型的准确度和数据数量呈现正相关 图表 3 A I 需求呈现指数级别的增长 第二，模型训练方面，ChatGPT 强大的底层技术是Transformer 算法，该算法 正逐步取代 RNN(循环神经网络) 。Transformer 算法在神经网络中具备跨时代的意 义: RNN和CNN 已经广泛应用于序列模型、语言建模、机器翻译并取得不错效果， 然而在算法上仍有一定限制和不足。Transformer 具备跨时代的意义的原因是算法 上添加了注意力机制，这种机制具备突破性的原因在于1、突破了RNN 模型不能并