AI领域持续发酵，模型推陈出新、科技巨头棋布错峙.docxVIP

一、行业变化 Microsoft：DeepSpeed chat 实现 RLHF 训练加速 2023 年 4 月 13 日，微软发布 DeepSpeed-Chat，使 ChatGPT 类型的模型更容易被普通数据科学家和研究者使用，并使 RLHF 训练真正普及到 AI 社区，其具有以下核心功能：（i）简化 ChatGPT 类型模型的训练和强化推理体验。（ii）加入 DeepSpeed-RLHF 模块。（iii）加入 DeepSpeed-RLHF 系统。 图表1： DeepSpeed-chat 大幅降低第三阶段 RHLF 时延图表2： RHLF 的可扩展性测试 资料来源：Github， 资料来源：Github， DeepSpeed Chat 模型具有高效性和经济性：DeepSpeed-HE 比现有系统快 15 倍以上，使 RLHF 训练快速且经济实惠。例如，DeepSpeed-HE 在 Azure 云上只需 9 小时即可训练一个 OPT-13B 模型，只需 18 小时即可训练一个 OPT-30B 模型。这两种训练分别花费不到 300 美元和 600 美元。 图表3： DeepSpeed Chat 训练费用及时间较少 资料来源：Github， DeepSpeed Chat 拥有卓越的扩展性：DeepSpeed-HE 能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥有 1750 亿参数的庞大模型，使用 DeepSpeed-HE 进行训练也只需不到一天的时间。 图表4： DeepSpeed Chat 支持多种参数模型 资料来源：Github， DeepSpeed Chat 可实现 RLHF 训练的普及化：仅凭单个 GPU，DeepSpeed-HE 就能支持训练超过 130 亿 参数的模型。这使得那些无法使用多 GPU 系统的数据科学家和研究者不仅能够轻松创建轻量级的 RLHF 模型，还能创建大型且功能强大的模型，以应对不同的使用场景。 图表5： DeepSpeed Chat 支持大模型训练 资料来源：Github， DeepSpeed Chat 预计将显著提升 LLM 的人机对话表现。DeepSpeed Chat 助力 LLM 使用 RLHF 进行预训练，使用该工具预训练后的模型性能表现较为出色。以 ColossalChat 为例，ColossalChat 基于 LLaMA 模型，并使用基于人工反馈的强化学习后训练出来的模型，包括完整的 RLHF 过程来复刻类似 ChatGPT 优化训练过程。 ColossalChat 的双语数据集包括 10 万个中英文问答对，该数据集是从社交媒体平台上的真实问题场景中收集和清理得到的。在经过 RLHF 微调训练后，ColossalChat 只需要不到 100 亿个参数就可以达到与ChatGPT 和GPT-3.5相当的效果。 图表6： ColossalChat 数据集收集流程 图表7： ColossalChat 模型表现 资料来源：ColossalChat， 资料来源：ColossalChat， OpenAITorantulino：AutoGPT 引发 AI 代理热潮 AutoGPT 是一个基于 GPT-4 语言模型的、实验性的开源应用程序，可以根据用户给定的目标，自动生成所需的提示，并执行多步骤的项目，无需人类的干预和指导。该程序可接入互联网并完全独立地在电脑上执行操作，无需在每一步都进行人工提示。并且，AutoGPT 具有多个全新特征，包括接入互联网进行信息搜集、长期和短期内存管理、基于 GPT-4 生成文本、可访问流行的网站和平台，以及使用 GPT-3.5 进行文件储存和汇总等。 AutoGPT 借助 GTP-4 及互联网接口，拥有优秀的内容生成能力。在给定目标下，AutoGPT 基于 GPT-4 制定问题解决方案，后对互联网上搜集的信息内容进行真实性评估，在一系列筛选、评估、更新迭代后，即可汇总完成任务。由 AutoGPT 生成的文本结构清晰、信息全面、逻辑通顺。 行业动态 图表8： AutoGPT 制定任务计划 图表9： AutoGPT 内容生成 资料来源：AutoGPT， 资料来源：AutoGPT， AutoGPT 作为一个拥有长短期记忆的人工智能体，有多个应用场景，包括内容生成、网站创建及维护、市场研究和分析、营销以及聊天机器人开发等需要持续更新的任务。随着 AutoGPT 的不断更新和升级，其将在市场营销、金融、医疗健康、电子商务等领域有着更广泛的应用