AI行业市场前景及投资研究报告：ChatGPT技术、国产化尝试、开源模型.pdfVIP

ChatGPT技术、国产化尝 试和开源模型 概览 • 背景 • 1.ChatGPT技术 • 1）技术演进：GPT--InstructGPT--ChatGPT • 2) 存在什么样的问题？ • 3）学习三阶段 • 4）数据组织和效果评估 • 2.国产化 • 1）背景与问题 • 2）解决思路 • 3）效果与实践 • 3.开源模型 • 1）中文开源模型 • 2）基于自有数据训练出本地模型 • 3）可能的问题、差距和如何进一步提升效果 背景 • ChatGPT: 通用功能型助手 • 2022年12月5日，OpenAI首席执行官Sam Altman在社交媒体上发文 称，ChatGPT推出五天，已突破100万用户 • AI聊天机器人ChatGPT爆火出圈！微软正洽谈100亿美元增持股份 uWmVqWaU9UlX9ZrQoP6MbP7NmOpPsQtQfQoOrNeRrQrOaQsQqQvPpOsMNZnNoO 背景 为什么这么受欢迎： 1）更好的理解用户意 图与生成能力更好的效果； 2）便利的使用形式 （对话机器人）人人都能使用 ChatGPT技术：模型演进 ChatGPT技术：之前的模型存在什么样的问题？ • 对齐 问题 ：大模型生成的响应不符合用户意 图 • 原 因：语言模型训练的训练 目标是预测下一个词，而不是按照用 户意 图来生成 • 怎么解决：加入基于人类反馈的强化学习 （RLHF） 参考：InstructGPT, Training language models ChatGPT技术：三步走 to follow instructions with human feedback 1.真实用户输入的监督学习 2.奖励函数，评价模型的生成效果 3.基于人类反馈的强化学习， 生成更符合人类需要的内容 ChatGPT技术：数据组织和效果评估 • 冷启动： • 1）现有系统用户prompt ； • 2）标注相似的prompt ； • 3）标注人员 自己想的prompt • 三部分数据 （77K真实数据）： • 1. 基于真实用户prompt 的监督学习数据 • (用户prompt, 模型response,13k) • 2. 用于奖励模型训练的数据 （一个prompt多个response的排序,33k ） • 3. 基于奖励模型使用强化学习进行训练 （用户的prompt, 31k ） ChatGPT技术：数据组织和效果评估 ChatGPT 国产化：背景与问题 • 背景与 问题 ： 1、ChatGPT效果虽好，但本身不对 中国大陆服务 2 、本地化 问题 ： 可能不能满足国内企业级客户的需求，包括无法提供本地化技术支 持与服务 3 、价格 问题 ： 以欧美为主要市场的美元计价国内多数用户可能承受不了。 ChatGPT 国产化：解决思路 • 分步走： • 1）百亿参数的中文模型的预训练； • 2）亿级别任务数据上的监督学习 （Prompt多任务学习）； • 3）对话化 • • 再 ，引入奖励模型和RLHF用户反馈的强化学习 ChatGPT国产化：Prompt多任务学习 相关工作： 全中文任务支持零样本学习模型(PromptCLUE) google flan-t5, meta opt-iml