Game Changer大模型赋能金融数据研究创新.docxVIP

▍ 大模型时代加速到来，可及性提高赋能金融数据应用 创新 Transformer 开启大模型时代，超大样本参数带来大模型涌现能力提升 Transformer 是大语言模型的基础。2017 年 6 月，Google 首次提出了基于自我注意力机制（Self-Attention）来提高训练速度的 Transformer 模型。从 Transformer 的结构 来看，Transformer 由Encoder 编码器和 Decoder 解码器两个部分组成。基于 Transformer模型，OpenAI 的 GPT 模型从 GPT-1 不断演进至当前的多模态大模型 GPT-4，Google 的 BERT 模型成为 Meta 和百度各类大模型的基础，但二者在技术路线上走向了两条不同的道路。具体而言，BERT 仅运用了 Transformer 的 Encoder 框架，而 Encoder 中采用了 Self-Attention 机制，即训练时每一个词需要对整个输入序列的上下文进行相关性分析，从模式上来看更接近于一个完形填空模型；而 GPT 运用了 Transformer 的 Decoder 框架， Decoder 中的 Self-Attention 机制是 Mask Self-Attention，在训练时会对下文进行了遮盖处理，仅通过分析上文来生成下文，因此 GPT 更接近人类的语言生成模式，更适合来构建语言生成模型。 图 1：Transformer 模型是各类大语言模型的基础 ChatGPT 带来大模型能力的变革式提升，GPT-4 模型快速跨入多模态。ChatGPT 使用了 Instruct GPT( GPT-3.5 )架构，在 GPT-3 基础上基于人工反馈训练奖励模型，再使 用奖励模型训练学习模型，使得其拥有语言理解和文本生成能力。ChatGPT 相较于GPT-3，在文本生成等方面展现出了非常强大的能力，与人类对话的智能感大幅提升，可以完成许多相对复杂的语言任务，包括文本生成、自动问答、多轮对话等，并且能够主动承认错误，质疑不正确的问题等。此外，它还能编写和调试计算机程序。在海量数据和参数的支撑下，模型的推理与思维链等方面能力开始出现。GPT-4 则在各项能力上有了质的突破，除了在推理能力、文本生成能力、对话能力等方面有大幅提升之外，GPT-4 从语言模型迈向能力更加全面且强大的多模态模型。GPT-4 的最大变化为能够接受图像的输入，并且能够生成 文本语言，并且在图像的识别与理解方面表现出色。同时 GPT-4 的各项能力相较于此前版本也有大幅提升，包括可以处理超过 25000 字的长文本，以及写作能力的大幅提升，能够编歌曲、写剧本、学习用户写作风格，同时包括 GRE、SAT 等考试能力也有大幅提升。然而由于训练数据只更新到 2021 年，两款模型在问题的回答上缺乏时效性。 超大量样本训练能够带来大语言模型智能涌现。ChatGPT 之所以能够火爆“出圈”，核心原因之一便是“涌现”带来的智能表现。在大语言模型中，针对不同任务类型，模型 的预测效果随着训练量或者参数量达到某一临界值后对应的生成结果能够产生质的飞跃，会出现一些不存在于小模型的现象，这种现象被称为“涌现”。“涌现”是自然界中比较普 遍的现象，是指当某种规则单独表达时不存在，但在大规模相互作用时能够出现的特殊模 式。涌现使得模型能够在生成文本或执行任务时表现出一些出乎意料的特性，这些特性不 是通过直接设计或者编程实现的，而是由模型中许多神经元和参数相互作用和协调产生的，使得模型能够生成高质量的自然语言文本，完成语言推理、问答等任务。 图 2：各 LLM 预测效果与模型参数量关系 图 3：各 LLM 预测效果与训练量关系 资料来源：《Emergent Abilities of Large Language Models》,Jason Wei 资料来源：《Emergent Abilities of Large Language Models》,Jason Wei 大模型迭代遵循“摩尔定律”，轻量级开源大模型高频加速迭代 通用大模型参数量成倍增长的变化规律有望成为大模型的“摩尔定律”。2018 年以来， 国内外大模型的参数量不断创出新高。“大”模型已成为行业巨头发力的重要方向。谷歌、百度、微软等国内外科技巨头纷纷投入“大模型”军备竞争，相继推出各自的巨量模型，参数量呈现爆发性增长。五年间，大语言模型的参数量规模实现从亿级到万亿级的“野蛮”生长，增长速度几乎每年达到 10 倍。模型参数量每年成倍增长的规律有望成为“大模型的摩尔定律”。 图 4：国内外大模型演进情况 资料来源： 轻量级大模型开源问世频率持续升高，有望成为全新发展趋势。头部厂商大模型逐渐